CN117671320A - 一种基于多模型融合的点云三维目标自动标注方法及系统 - Google Patents
一种基于多模型融合的点云三维目标自动标注方法及系统 Download PDFInfo
- Publication number
- CN117671320A CN117671320A CN202310627581.0A CN202310627581A CN117671320A CN 117671320 A CN117671320 A CN 117671320A CN 202310627581 A CN202310627581 A CN 202310627581A CN 117671320 A CN117671320 A CN 117671320A
- Authority
- CN
- China
- Prior art keywords
- model
- prediction
- target
- models
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 103
- 230000004927 fusion Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于多模型融合的点云三维目标自动标注方法及系统,该方法包括:训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型;利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测;将多个标注模型的预测结果进行融合,得到目标标注结果。本发明的技术方案结合了多个点云目标标注模型的优势,提高了模型精度、鲁棒性和适应性,采用本发明的方案可在各种环境和目标类型中实现高质量的三维点云目标标注。
Description
技术领域
本发明涉及点云三维目标自动标注技术领域,特别涉及一种基于多模型融合的点云三维目标自动标注方法及系统。
背景技术
目前,对于点云三维目标的自动标注,主要是基于单模型的三维点云目标自动化标注,其在处理点云数据时存在以下几个主要缺点:
1、有限的泛化能力:单一模型难以适应各种场景、目标类型和环境条件。特定模型可能在某些情况下表现良好,但在其他情况下可能性能较差,从而导致整体标注质量不稳定。
2、对噪声和遮挡的敏感性:点云数据通常受到噪声、不完整和遮挡等问题的影响。单一模型对此处理能力有限,从而影响目标检测和标注的准确性。
3、计算效率:针对不同场景和目标类型的单一模型可能需要大量的计算资源和时间,从而限制了实时应用的可行性。
4、优化困难:单一模型的参数可能难以调整,以满足多种应用场景的需求,因此需要针对每种场景单独优化模型,这无疑增加了优化的难度和工作量。
总之,目前现有的基于单模型的三维点云目标自动化标注方法在处理复杂场景、不同目标类型和环境条件方面具有局限性。
发明内容
本发明提供了一种基于多模型融合的点云三维目标自动标注方法及系统,以解决基于单模型的三维点云目标自动化标注方法在处理复杂场景、不同目标类型和环境条件方面具有局限性的技术问题。
为解决上述技术问题,本发明提供了如下技术方案:
一方面,本发明提供了一种基于多模型融合的点云三维目标自动标注方法,所述基于多模型融合的点云三维目标自动标注方法包括:
训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型;
利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测;
将多个标注模型的预测结果进行融合,得到目标标注结果。
进一步地,所述训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型,包括:
在预设数据集上,通过调整模型超参,训练得到适用于不同类型目标的标注模型;通过不同场景数据的调整,训练得到适用于不同工况场景的标注模型。
进一步地,所述利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测,包括:
对于需要标注的点云数据,按照其工况标签进行分类,对点云数据按照其工况标签进行分类后,将需要标注的点云数据划分为不同场景的点云数据;
针对不同场景的点云数据,选用对应的适用于当前场景的一系列标注模型进行预测;预测结果包括目标三维框,目标类别以及模型对预测结果的置信度。
进一步地,将多个标注模型的预测结果进行融合,得到目标标注结果,包括:
对于多个标注模型的预测结果,通过多轮一对一匹配的方式,确定哪些预测结果属于同一个真实目标,从而得到每一目标所对应的对其预测了同样位置同样类别的模型数量;
对于每个预测目标,通过其投票数确定其样本类型;其中,预测目标的投票数为对其预测了同样位置同样类别的模型数量;所述样本类型包括正样本、负样本和不确定样本;对于一个预测目标,当其投票数不少于预设的正样本阈值时,判定其为正样本;当其投票数少于预设的负样本阈值时,判定其为负样本;当其投票数介于正样本阈值和负样本阈值之间时,判定其为不确定样本;
对于判定为负样本的目标,予以剔除;对于判定为正样本或不确定样本的目标,通过加权平均的方式,融合同一个目标对应的不同模型的预测结果;
对于判定为不确定样本的目标,进行人工校验修正。
进一步地,所述对于多个标注模型的预测结果,通过多轮一对一匹配的方式,确定哪些预测结果属于同一个真实目标,包括:
步骤1,选取一个类别,作为待处理类别;
步骤2,获取所述待处理类别所对应的多个标注模型的预测结果,并对每一模型及每一模型的各预测框分别进行编号;
步骤3,在所述待处理类别所对应的多个标注模型中选取第一个模型,作为待处理模型,假设其对所述待处理类别的预测结果包括K1个预测框;
步骤4,将除所述待处理模型外的其他剩余模型依次与所述待处理模型进行预测框匹配操作;其中,假设当前用于匹配的模型对所述待处理类别的预测结果包括K2个预测框;则所述预测框匹配操作过程包括:通过预设的代价函数计算所述待处理模型的K1个预测框与当前用于匹配的模型的K2个预测框之间两两的匹配代价,形成一个维度为K1*K2的代价矩阵,使用匈牙利匹配算法,计算最优匹配结果;针对所述待处理模型中每一预测框,分别将其自身以及与其匹配成功的预测框的编号及对应的模型编号存入其对应的集合;并对匹配成功的预测框进行标记,标记后的预测框不再进入后续的匹配过程;
步骤5,从第二个模型开始,将其他剩余模型依次作为待处理模型,并在每一次确定待处理模型后,重复执行步骤4,完成其他未匹配的预测框的匹配操作;
步骤6,将其他剩余类别依次作为待处理类别,并在每一次确定待处理类别后,重复执行步骤2~步骤5,形成各类别对应的匹配信息集合。
另一方面,本发明还提供了一种基于多模型融合的点云三维目标自动标注系统,所述基于多模型融合的点云三维目标自动标注系统包括:
模型训练模块,用于训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型;
模型预测模块,用于利用经所述模型训练模块训练好的多个标注模型对需要标注的点云数据分别进行结果预测;
模型融合模块,用于将所述模型预测模块输出的多个标注模型的预测结果进行融合,得到目标标注结果。
进一步地,所述模型训练模块具体用于:
在预设数据集上,通过调整模型超参,训练得到适用于不同类型目标的标注模型;通过不同场景数据的调整,训练得到适用于不同工况场景的标注模型。
进一步地,所述模型预测模块具体用于:
对于需要标注的点云数据,按照其工况标签进行分类,对点云数据按照其工况标签进行分类后,将需要标注的点云数据划分为不同场景的点云数据;
针对不同场景的点云数据,选用对应的适用于当前场景的一系列标注模型进行预测;预测结果包括目标三维框,目标类别以及模型对预测结果的置信度。
进一步地,所述模型融合模块包括:
多轮匹配单元,用于针对多个标注模型的预测结果,通过多轮一对一匹配的方式,确定哪些预测结果属于同一个真实目标,从而得到每一目标所对应的对其预测了同样位置同样类别的模型数量;
投票判定单元,用于针对每个预测目标,通过其投票数确定其样本类型;其中,预测目标的投票数为对其预测了同样位置同样类别的模型数量;所述样本类型包括正样本、负样本和不确定样本;对于一个预测目标,当其投票数不少于预设的正样本阈值时,判定其为正样本;当其投票数少于预设的负样本阈值时,判定其为负样本,予以剔除;当其投票数介于正样本阈值和负样本阈值之间时,判定其为不确定样本;
结果融合单元,用于针对判定为正样本或不确定样本的目标,通过加权平均的方式,融合同一个目标对应的不同模型的预测结果;
人工校验模块,用于针对判定为不确定样本的目标,进行人工校验修正。
进一步地,所述多轮匹配单元具体用于执行以下步骤:
步骤1,选取一个类别,作为待处理类别;
步骤2,获取所述待处理类别所对应的多个标注模型的预测结果,并对每一模型及每一模型的各预测框分别进行编号;
步骤3,在所述待处理类别所对应的多个标注模型中选取第一个模型,作为待处理模型,假设其对所述待处理类别的预测结果包括K1个预测框;
步骤4,将除所述待处理模型外的其他剩余模型依次与所述待处理模型进行预测框匹配操作;其中,假设当前用于匹配的模型对所述待处理类别的预测结果包括K2个预测框;则所述预测框匹配操作过程包括:通过预设的代价函数计算所述待处理模型的K1个预测框与当前用于匹配的模型的K2个预测框之间两两的匹配代价,形成一个维度为K1*K2的代价矩阵,使用匈牙利匹配算法,计算最优匹配结果;针对所述待处理模型中每一预测框,分别将其自身以及与其匹配成功的预测框的编号及对应的模型编号存入其对应的集合;并对匹配成功的预测框进行标记,标记后的预测框不再进入后续的匹配过程;
步骤5,从第二个模型开始,将其他剩余模型依次作为待处理模型,并在每一次确定待处理模型后,重复执行步骤4,完成其他未匹配的预测框的匹配操作;
步骤6,将其他剩余类别依次作为待处理类别,并在每一次确定待处理类别后,重复执行步骤2~步骤5,形成各类别对应的匹配信息集合。
再一方面,本发明还提供了一种电子设备,其包括处理器和存储器;其中,存储器中存储有至少一条指令,所述指令由处理器加载并执行以实现上述方法。
又一方面,本发明还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案的核心创新点在于采用多模型融合技术实现三维点云目标的自动标注。这一方法结合了多个点云目标检测模型的优势,提高了检测精度、鲁棒性和适应性,从而可在各种环境和目标类型中实现高质量的三维点云目标标注。基于此,本发明相比于现有技术带来的有益效果至少包括:
1、提高检测性能:本发明通过组合多个点云目标检测模型的优势,可以在各种环境和目标类型中实现更高的检测精度和更低的误报率。多模型融合可以充分利用各个模型在特定场景和目标类型下的优势,提高整体标注质量。
2、增强鲁棒性:本发明提供的多模型融合方法在面对噪声、遮挡和不完整数据等问题时具有更强的鲁棒性。通过综合考虑多个模型的输出结果,可以降低由于单个模型的不足对最终标注结果的影响。
3、更好的泛化能力:本发明提供的多模型融合的方案可以在面对新的或未知的场景和目标类型时实现更好的泛化能力。由于各个模型之间可能具有互补性,因此在处理未知情况时,多模型融合方法相较于单模型具有更好的性能。
4、可扩展性:本发明的多模型融合方法具有良好的可扩展性,可轻松地通过添加更多检测模型或分布式计算来处理更复杂的场景或更高分辨率的点云数据。
总之,本发明提供的基于多模型融合的点云三维目标自动标注方法相比现有的基于单模型的目标自动标注方法具有更高的检测性能、鲁棒性、泛化能力和可扩展性,为实现高质量的点云目标检测和标注提供了有效的解决方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的基于多模型融合的点云三维目标自动标注方法的执行流程示意图;
图2是本发明第二实施例提供的基于多模型融合的点云三维目标自动标注方法的执行流程示意图;
图3是本发明第二实施例提供的多轮匹配方案流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
针对基于单模型的三维点云目标自动化标注方法在处理复杂场景、不同目标类型和环境条件方面具有局限性的问题,为了提高点云目标自动化标注的准确性和鲁棒性,本实施例考虑采用多模型融合的方法,充分利用各个模型在特定场景和目标类型下的优势,从而实现更高质量的目标检测和标注。对此,本实施例提供了一种基于多模型融合的点云三维目标自动标注方法,该方法可以由电子设备实现。该方法的执行流程如图1所示,包括以下步骤:
S1,训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型;
S2,利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测;
S3,将多个标注模型的预测结果进行融合,得到目标标注结果。
综上,本实施例提供了一种基于多模型融合的点云三维目标自动标注方法,其采用多模型融合技术实现三维点云目标的自动标注。这一方法结合了多个点云目标检测模型的优势,提高了检测精度、鲁棒性和适应性,从而可在各种环境和目标类型中实现高质量的三维点云目标标注。具有广阔的应用前景。
第二实施例
本实施例提供了一种基于多模型融合的点云三维目标自动标注方法,该方法可以由电子设备实现。该方法的执行流程如图2所示,包括以下步骤:
1.模型训练:生产适合多种工况的模型;
具体地,本实施例首先需要在有人工标注标签的数据集上,调整模型超参和训练数据分布,训练多个用于自动标注的标注模型。包括:通过调整模型超参,例如调整点云体素的尺寸参数,检测的距离等,可以得到对于行人、锥桶等小型目标更加友好的标注模型。通过不同场景数据的调整,让模型能够对特定工况场景的数据检测效果更好,例如针对雨天等场景单独训练的模型,比通用数据集能更好适应雨天场景。常见标签包括但不限于卡车、轿车、自行车等。
2.模型预测:对需要标注的点云数据,按照场景工况,选择一系列模型进行结果预测;
具体地,对于需要标注的点云数据,本实施例先根据每一段点云数据包的工况进行筛选;其中,点云数据包的工况标签可以是采集时人工打标,也可以通过专门的工况模型分类。对点云的工况进行分类后,本实施例将需要标注的点云划分为不同场景的数据,例如城区道路晴天场景,高速道路雨天场景等。针对不同场景的点云数据,本实施例选用对应的一系列的标注模型进行预测。预测结果包括目标三维框,目标类别以及模型对预测结果的置信度。
3.多轮匹配:每两个模型预测结果进行一一匹配,记录多轮匹配的匹配结果;
具体地,对于多个模型的预测结果,本实施例通过多轮一对一匹配的方式确定哪些预测结果属于同一真实目标;其中,多轮匹配方案如图3所示,包括:
a.假定有N个模型,首先取第一个模型其中一个类别的预测结果,例如对卡
车类别有K1个检测框;
b.取出第二个模型对卡车类别的预测结果,假设有K2个框,对第一个模型的K1个框和第二个模型的K2个框,计算K1个框和K2个框之间两两的匹配代价(代价函数包括但不限于intersection over union,即IOU方式),形成一个维度为K1*K2的代价矩阵,使用匈牙利匹配算法计算最优匹配结果;
c.对剩下的模型,重复上述步骤,与第一个模型的K1个检测框进行两两匹
配,计算匹配结果;
d.对第一个模型卡车类别的K1个目标框的匹配过程结束,形成K1个集合,每个集合里记录K1个框匹配的信息,包括了能匹配上的预测框编号以及对应的模型编号。极端情况下,第一个模型的某个预测框没有任何其他模型的匹配框,集合里只有第一个模型本身的预测框。对于其他模型的检测框中,如已经与第一个框匹配上,则进行标记并且不再进入后续的匹配过程;
e.从第二个模型开始,重复上述a-d步骤,处理为标记匹配的检测框,记录
到匹配信息集合中;
f.重复上述a-e步骤,处理汽车,自行车等其他类别,形成各自类别的匹配信息集合。
基于以上多轮匹配投票策略,本实施例可通过多轮的一一匹配过程,已匹配目标不参与后续匹配的策略,实现一个框参与一次投票,不重不漏的投票结果。对于前序模型漏检的目标,后续的模型可继续投票,达到召回目标的效果。
4.投票判定:对于每个预测目标,通过投票数决定判定为正样本、负样本或者不确定样本;
具体地,在本实施例中,对于每个模型的预测结果,将其视为一张“票”。收集所有模型的票数,并根据预测类别进行计数。例如本实施例使用10个模型对结果进行投票,如果经过上一步匹配过程后,有8个模型预测了同样位置同样类别的目标,那认为这个目标获得了8张选票。为了确定哪些样本是正样本,哪些是负样本和不确定样本,需要对得票设定阈值来判定。这个阈值可以是固定的,也可以根据模型性能、样本分布等因素动态调整。例如,可以设定正样本阈值为60%,表示一个样本需要至少有60%的模型投票结果一致才能被认定为正样本;设定负样本阈值为30%,少于30%模型投票的目标,视为负样本,予以剔除;投票数量介于正负样本阈值之间的,判定为不确定样本。
5.结果融合:对于正样本和不确定样本,融合参与投票的多个候选框;
具体地,对于正样本和不确定样本,本实施例通过加权平均的方式,融合同一个目标不同模型的检测结果。对于判定为负样本的目标,则予以剔除。
6.人工校验:对于不确定的样本,进行人工校验修正;
具体地,对于不确定的样本,可以请专家或标注人员进行人工校验。校验结果可用于修正样本标注,也可以用于进一步优化和调整模型。
另外,在本实施例中,不确定样本也可以在训练过程中,通过不计入损失函数等训练策略,直接在训练过程中进行使用。
综上,本实施例提供了一种基于多模型融合的点云三维目标自动标注方法,其采用多模型融合技术实现三维点云目标的自动标注。这一方法结合了多个点云目标检测模型的优势,提高了检测精度、鲁棒性和适应性,从而可在各种环境和目标类型中实现高质量的三维点云目标标注。具有广阔的应用前景。
第三实施例
本实施例提供了一种基于多模型融合的点云三维目标自动标注系统,该基于多模型融合的点云三维目标自动标注系统包括以下模块:
模型训练模块,用于训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型;
模型预测模块,用于利用经所述模型训练模块训练好的多个标注模型对需要标注的点云数据分别进行结果预测;
模型融合模块,用于将所述模型预测模块输出的多个标注模型的预测结果进行融合,得到目标标注结果。
本实施例的基于多模型融合的点云三维目标自动标注系统与上述第一实施例的基于多模型融合的点云三维目标自动标注方法相对应;其中,本实施例的基于多模型融合的点云三维目标自动标注系统中的各功能模块所实现的功能与上述第一实施例的基于多模型融合的点云三维目标自动标注方法中的各流程步骤一一对应;故,在此不再赘述。
第四实施例
本实施例提供一种电子设备,其包括处理器和存储器;其中,存储器中存储有至少一条指令,所述指令由处理器加载并执行,以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)和一个或一个以上的存储器,其中,存储器中存储有至少一条指令,所述指令由处理器加载并执行上述方法。
第五实施例
本实施例提供一种计算机可读存储介质,该存储介质中存储有至少一条指令,所述指令由处理器加载并执行,以实现上述第一实施例的方法。其中,该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行以下步骤。
此外,需要说明的是,本发明可提供为方法、装置或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是,以上所述是本发明优选实施方式,应当指出,尽管已描述了本发明优选实施例,但对于本技术领域的技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (10)
1.一种基于多模型融合的点云三维目标自动标注方法,其特征在于,包括:
训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型;
利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测;
将多个标注模型的预测结果进行融合,得到目标标注结果。
2.如权利要求1所述的基于多模型融合的点云三维目标自动标注方法,其特征在于,所述训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型,包括:
在预设数据集上,通过调整模型超参,训练得到适用于不同类型目标的标注模型;通过不同场景数据的调整,训练得到适用于不同工况场景的标注模型。
3.如权利要求1所述的基于多模型融合的点云三维目标自动标注方法,其特征在于,所述利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测,包括:
对于需要标注的点云数据,按照其工况标签进行分类,对点云数据按照其工况标签进行分类后,将需要标注的点云数据划分为不同场景的点云数据;
针对不同场景的点云数据,选用对应的适用于当前场景的一系列标注模型进行预测;预测结果包括目标三维框,目标类别以及模型对预测结果的置信度。
4.如权利要求3所述的基于多模型融合的点云三维目标自动标注方法,其特征在于,所述将多个标注模型的预测结果进行融合,得到目标标注结果,包括:
对于多个标注模型的预测结果,通过多轮一对一匹配的方式,确定哪些预测结果属于同一个真实目标,从而得到每一目标所对应的对其预测了同样位置同样类别的模型数量;
对于每个预测目标,通过其投票数确定其样本类型;其中,预测目标的投票数为对其预测了同样位置同样类别的模型数量;所述样本类型包括正样本、负样本和不确定样本;对于一个预测目标,当其投票数不少于预设的正样本阈值时,判定其为正样本;当其投票数少于预设的负样本阈值时,判定其为负样本;当其投票数介于正样本阈值和负样本阈值之间时,判定其为不确定样本;
对于判定为负样本的目标,予以剔除;对于判定为正样本或不确定样本的目标,通过加权平均的方式,融合同一个目标对应的不同模型的预测结果;
对于判定为不确定样本的目标,进行人工校验修正。
5.如权利要求4所述的基于多模型融合的点云三维目标自动标注方法,其特征在于,所述对于多个标注模型的预测结果,通过多轮一对一匹配的方式,确定哪些预测结果属于同一个真实目标,包括:
步骤1,选取一个类别,作为待处理类别;
步骤2,获取所述待处理类别所对应的多个标注模型的预测结果,并对每一模型及每一模型的各预测框分别进行编号;
步骤3,在所述待处理类别所对应的多个标注模型中选取第一个模型,作为待处理模型,假设其对所述待处理类别的预测结果包括K1个预测框;
步骤4,将除所述待处理模型外的其他剩余模型依次与所述待处理模型进行预测框匹配操作;其中,假设当前用于匹配的模型对所述待处理类别的预测结果包括K2个预测框;则所述预测框匹配操作过程包括:通过预设的代价函数计算所述待处理模型的K1个预测框与当前用于匹配的模型的K2个预测框之间两两的匹配代价,形成一个维度为K1*K2的代价矩阵,使用匈牙利匹配算法,计算最优匹配结果;针对所述待处理模型中每一预测框,分别将其自身以及与其匹配成功的预测框的编号及对应的模型编号存入其对应的集合;并对匹配成功的预测框进行标记,标记后的预测框不再进入后续的匹配过程;
步骤5,从第二个模型开始,将其他剩余模型依次作为待处理模型,并在每一次确定待处理模型后,重复执行步骤4,完成其他未匹配的预测框的匹配操作;
步骤6,将其他剩余类别依次作为待处理类别,并在每一次确定待处理类别后,重复执行步骤2~步骤5,形成各类别对应的匹配信息集合。
6.一种基于多模型融合的点云三维目标自动标注系统,其特征在于,包括:
模型训练模块,用于训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型;
模型预测模块,用于利用经所述模型训练模块训练好的多个标注模型对需要标注的点云数据分别进行结果预测;
模型融合模块,用于将所述模型预测模块输出的多个标注模型的预测结果进行融合,得到目标标注结果。
7.如权利要求6所述的基于多模型融合的点云三维目标自动标注系统,其特征在于,所述模型训练模块具体用于:
在预设数据集上,通过调整模型超参,训练得到适用于不同类型目标的标注模型;通过不同场景数据的调整,训练得到适用于不同工况场景的标注模型。
8.如权利要求6所述的基于多模型融合的点云三维目标自动标注系统,其特征在于,所述模型预测模块具体用于:
对于需要标注的点云数据,按照其工况标签进行分类,对点云数据按照其工况标签进行分类后,将需要标注的点云数据划分为不同场景的点云数据;
针对不同场景的点云数据,选用对应的适用于当前场景的一系列标注模型进行预测;预测结果包括目标三维框,目标类别以及模型对预测结果的置信度。
9.如权利要求8所述的基于多模型融合的点云三维目标自动标注系统,其特征在于,所述模型融合模块包括:
多轮匹配单元,用于针对多个标注模型的预测结果,通过多轮一对一匹配的方式,确定哪些预测结果属于同一个真实目标,从而得到每一目标所对应的对其预测了同样位置同样类别的模型数量;
投票判定单元,用于针对每个预测目标,通过其投票数确定其样本类型;其中,预测目标的投票数为对其预测了同样位置同样类别的模型数量;所述样本类型包括正样本、负样本和不确定样本;对于一个预测目标,当其投票数不少于预设的正样本阈值时,判定其为正样本;当其投票数少于预设的负样本阈值时,判定其为负样本,予以剔除;当其投票数介于正样本阈值和负样本阈值之间时,判定其为不确定样本;
结果融合单元,用于针对判定为正样本或不确定样本的目标,通过加权平均的方式,融合同一个目标对应的不同模型的预测结果;
人工校验模块,用于针对判定为不确定样本的目标,进行人工校验修正。
10.如权利要求9所述的基于多模型融合的点云三维目标自动标注系统,其特征在于,所述多轮匹配单元具体用于执行以下步骤:
步骤1,选取一个类别,作为待处理类别;
步骤2,获取所述待处理类别所对应的多个标注模型的预测结果,并对每一模型及每一模型的各预测框分别进行编号;
步骤3,在所述待处理类别所对应的多个标注模型中选取第一个模型,作为待处理模型,假设其对所述待处理类别的预测结果包括K1个预测框;
步骤4,将除所述待处理模型外的其他剩余模型依次与所述待处理模型进行预测框匹配操作;其中,假设当前用于匹配的模型对所述待处理类别的预测结果包括K2个预测框;则所述预测框匹配操作过程包括:通过预设的代价函数计算所述待处理模型的K1个预测框与当前用于匹配的模型的K2个预测框之间两两的匹配代价,形成一个维度为K1*K2的代价矩阵,使用匈牙利匹配算法,计算最优匹配结果;针对所述待处理模型中每一预测框,分别将其自身以及与其匹配成功的预测框的编号及对应的模型编号存入其对应的集合;并对匹配成功的预测框进行标记,标记后的预测框不再进入后续的匹配过程;
步骤5,从第二个模型开始,将其他剩余模型依次作为待处理模型,并在每一次确定待处理模型后,重复执行步骤4,完成其他未匹配的预测框的匹配操作;
步骤6,将其他剩余类别依次作为待处理类别,并在每一次确定待处理类别后,重复执行步骤2~步骤5,形成各类别对应的匹配信息集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310627581.0A CN117671320A (zh) | 2023-05-30 | 2023-05-30 | 一种基于多模型融合的点云三维目标自动标注方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310627581.0A CN117671320A (zh) | 2023-05-30 | 2023-05-30 | 一种基于多模型融合的点云三维目标自动标注方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117671320A true CN117671320A (zh) | 2024-03-08 |
Family
ID=90077739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310627581.0A Pending CN117671320A (zh) | 2023-05-30 | 2023-05-30 | 一种基于多模型融合的点云三维目标自动标注方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117671320A (zh) |
-
2023
- 2023-05-30 CN CN202310627581.0A patent/CN117671320A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210304B (zh) | 用于目标检测和跟踪的方法及系统 | |
CN109272034B (zh) | 一种漏检车牌预测方法及处理终端 | |
CN111310850B (zh) | 车牌检测模型的构建方法及系统、车牌检测方法及系统 | |
CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
CN113688851B (zh) | 数据标注方法和装置和精细粒度识别方法和装置 | |
CN113470206B (zh) | 一种基于车辆匹配的高速公路稽查方法、设备及介质 | |
CN115546705B (zh) | 目标识别方法、终端设备及存储介质 | |
CN115170611A (zh) | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 | |
CN116824862B (zh) | 一种智慧隧道交通运行管控方法、设备及介质 | |
CN115620518A (zh) | 基于深度学习的交叉口交通冲突判别方法 | |
CN115376101A (zh) | 一种面向自动驾驶环境感知的增量式学习方法和系统 | |
CN112101156A (zh) | 一种目标识别的方法、装置和电子设备 | |
CN116206451A (zh) | 一种智慧交通车流数据分析方法 | |
CN114842285A (zh) | 路侧泊位号码识别方法以及装置 | |
CN117292338B (zh) | 基于视频流解析的车辆事故识别和分析方法 | |
CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
CN117671320A (zh) | 一种基于多模型融合的点云三维目标自动标注方法及系统 | |
CN112733864A (zh) | 模型训练方法、目标检测方法、装置、设备及存储介质 | |
CN116050963A (zh) | 基于交通路况的配送路径选择方法、系统、装置及介质 | |
CN115187886A (zh) | 一种车辆违规行为检测方法、装置及电子设备 | |
CN114781149A (zh) | 一种场景元素信息自动获取方法及系统 | |
CN117612115B (zh) | 一种基于高速公路的车辆识别方法 | |
CN115050028B (zh) | 一种恶劣天气下小样本车牌检测方法 | |
Prawinsankar et al. | Traffic Congession Detection through Modified Resnet50 and Prediction of Traffic using Clustering | |
CN113743488B (zh) | 基于平行车联网的车辆监控方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |