CN116630957B - 基于伪标签大小的无监督领域自适应目标检测方法及系统 - Google Patents

基于伪标签大小的无监督领域自适应目标检测方法及系统 Download PDF

Info

Publication number
CN116630957B
CN116630957B CN202310552336.8A CN202310552336A CN116630957B CN 116630957 B CN116630957 B CN 116630957B CN 202310552336 A CN202310552336 A CN 202310552336A CN 116630957 B CN116630957 B CN 116630957B
Authority
CN
China
Prior art keywords
point cloud
cloud data
size
target
domain point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310552336.8A
Other languages
English (en)
Other versions
CN116630957A (zh
Inventor
马惠敏
陈世杰
王荣全
储华珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310552336.8A priority Critical patent/CN116630957B/zh
Publication of CN116630957A publication Critical patent/CN116630957A/zh
Application granted granted Critical
Publication of CN116630957B publication Critical patent/CN116630957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于伪标签大小的无监督领域自适应目标检测方法及系统，该方法包括：S1，获取带标注的源域点云数据和无标注的目标域点云数据；利用源域点云数据进行训练，得到三维目标检测模型；S2，利用检测模型对目标域点云数据进行预测，得到伪标签；S3，计算伪标签中的尺寸统计大小；S4，利用伪标签中的尺寸统计大小对源域点云数据进行放缩增强操作；再利用增强后的源域点云数据再次训练模型；S5，迭代执行S2～S4，直至模型收敛；S6，利用最终检测模型对待测点云数据进行检测。本发明无需任何目标域的统计信息，可有效解决跨领域尺寸不匹配问题，并具有更好的性能和更广泛的适用性。

Description

基于伪标签大小的无监督领域自适应目标检测方法及系统
技术领域
本发明涉及点云数据三维目标检测技术领域，特别涉及一种基于伪标签大小的无监督领域自适应目标检测方法及系统。
背景技术
随着三维传感器数据(如激光雷达点云)在自动驾驶汽车和移动机器人上的广泛应用，点云上的三维物体检测受到越来越多的关注。近年来，得益于大规模三维物体检测数据集的发展，使得基于深度学习的模型取得了显著成功。
然而在一个数据集(源域)上训练的深度学习模型，在另一个数据集(目标域)上评估时，往往会遭受巨大的性能下降。由于不同类型的三维传感器、天气条件、地理位置或者特定物体的外观变化等因素不可避免地会引起领域转移。此外，基于点云的模型的性能在很大程度上取决于点云的密度、空间分辨率和范围。虽然从不同领域收集更多的训练数据可以缓解这一问题，但不幸的是，考虑到各种现实场景和三维标注的巨大成本，这可能是不可实现的。因此，如何有效地将在标记源域上训练的三维探测器适应新的未标记目标域是实际应用中非常需要的。该任务也称为用于无监督领域自适应的三维目标检测问题。
目前，关于无监督领域自适应的三维检测方面的探索很少。同时，数据结构和网络架构的根本差异使得用于图像任务的无监督领域自适应方法不适用于这一问题。最先进的方法通常依赖于自训练的某种变体、输入转换、特征对齐。这些方法都有一个共同的问题:物体大小之间的差异，即跨领域尺寸不匹配问题。
目前对于统计归一化已成为弥合物体大小差异的标准方法。它试图将源域数据统计大小转移到目标域统计大小，其通过有意缩放源域数据作为训练增强。另一种方法是随机对象缩放，它努力在没有定向缩放的情况下克服这种物体大小差异。相反，它通过更大范围的尺度极大地增强了源域数据。然而，这两种方法都利用了关键的目标领域信息，这在无监督的环境设置中通常是不可用的。
综上，针对跨领域的三维目标检测问题，目前现有的方法需要大量的标注数据来训练模型，这会增加数据采集和标注成本。因此，需要一种更有效、更经济、更实用的解决方案来提高三维目标检测模型在不同领域之间的泛化能力和鲁棒性。此外，由于存在跨领域尺寸不匹配问题，导致三维目标检测模型在不同领域之间的性能显著下降。而目前现有的解决跨领域尺寸不匹配的方法，都需要目标域数据的统计信息，这在无监督的环境设置下是不被允许的。
发明内容
本发明提供了一种基于伪标签大小的无监督领域自适应目标检测方法及系统，以解决无监督领域自适应的三维目标检测所存在的跨领域尺寸不匹配问题，提高三维目标检测模型在不同领域之间的泛化能力和鲁棒性。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种基于伪标签大小的无监督领域自适应目标检测方法，所述基于伪标签大小的无监督领域自适应目标检测方法包括：
S1，获取带标注的源域点云数据和无标注的目标域点云数据；并利用所述源域点云数据对预设模型进行训练，得到三维目标检测模型；
S2，利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签；
S3，计算所述伪标签中的尺寸统计大小；
S4，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，以增加数据多样性和丰富性，并使得源域点云数据物体大小更接近目标域点云数据物体大小；然后利用增强后的源域点云数据再次训练所述检测模型；
S5，迭代执行S2～S4，直至所述检测模型收敛，得到最终的检测模型；
S6，利用最终得到的检测模型对待测点云数据进行检测，得到检测结果。
进一步地，在利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签时，只选择所述检测模型预测结果中置信度超过预设阈值的样本作为伪标签。
进一步地，计算所述伪标签中的尺寸统计大小，包括：
计算所述伪标签中的尺寸信息平均值，公式如下：
其中，表示所述伪标签中的尺寸信息平均值，/>表示第i帧的尺寸信息；nt表示目标域数据帧的数量。
进一步地，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，包括：
根据源域点云数据的标签的尺寸统计大小和目标域的伪标签的尺寸统计大小，计算需要优化的尺寸大小差值，公式如下：
其中，(ψΔl,ψΔw,ψΔh)表示需要优化的尺寸大小差值，表示源域点云数据的标签的尺寸统计大小；
将源域点云数据中的物体点云坐标从原始坐标系转换到以给定的三维边界框中心点为坐标原点的坐标系中；其中，坐标转换公式如下：
其中，表示转换后的物体点云坐标，/>分别表示转换前的第i个物体点云坐标的三轴坐标值，·表示矩阵乘法，R表示旋转矩阵，θ表示点云数据的转向角，xc,yc,zc分别表示三维边界框中心的三轴坐标值；
计算得到每个点云数据的放缩因子，公式如下：
其中，(rl,rw,rh)表示放缩因子，(l,w,h)表示三维边界框的形状大小；
对所述三维边界框内部的物体点云坐标根据所述放缩因子进行坐标放缩，并将所述三维边界框根据所述放缩因子进行形状大小放缩；然后将所述三维边界框内缩放后的物体点云坐标转换回所述原始坐标系下，并移至所述三维边界框中心，实现对源域点云数据的放缩增强操作，得到增强后的源域点云数据。
另一方面，本发明还提供了一种基于伪标签大小的无监督领域自适应目标检测系统，所述基于伪标签大小的无监督领域自适应目标检测系统包括：
检测模型训练模块，用于执行以下步骤：
S1，获取带标注的源域点云数据和无标注的目标域点云数据；并利用所述源域点云数据对预设模型进行训练，得到三维目标检测模型；
S2，利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签；
S3，计算所述伪标签中的尺寸统计大小；
S4，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，以增加数据多样性和丰富性，并使得源域点云数据物体大小更接近目标域点云数据物体大小；然后利用增强后的源域点云数据再次训练所述检测模型；
S5，迭代执行S2～S4，直至所述检测模型收敛，得到最终的检测模型；
三维目标检测模块，用于执行以下步骤：
S6，利用最终得到的检测模型对待测点云数据进行检测，得到检测结果。
进一步地，在利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签时，只选择所述检测模型预测结果中置信度超过预设阈值的样本作为伪标签。
进一步地，计算所述伪标签中的尺寸统计大小，包括：
计算所述伪标签中的尺寸信息平均值，公式如下：
其中，表示所述伪标签中的尺寸信息平均值，/>表示第i帧的尺寸信息；nt表示目标域数据帧的数量。
进一步地，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，包括：
根据源域点云数据的标签的尺寸统计大小和目标域的伪标签的尺寸统计大小，计算需要优化的尺寸大小差值，公式如下：
其中，(ψΔl,ψΔw,ψΔh)表示需要优化的尺寸大小差值，表示源域点云数据的标签的尺寸统计大小；
将源域点云数据中的物体点云坐标从原始坐标系转换到以给定的三维边界框中心点为坐标原点的坐标系中；其中，坐标转换公式如下：
其中，表示转换后的物体点云坐标，/>分别表示转换前的第i个物体点云坐标的三轴坐标值，·表示矩阵乘法，R表示旋转矩阵，θ表示点云数据的转向角，xc,yc,zc分别表示三维边界框中心的三轴坐标值；
计算得到每个点云数据的放缩因子，公式如下：
其中，(rl,rw,rh)表示放缩因子，(l,w,h)表示三维边界框的形状大小；
对所述三维边界框内部的物体点云坐标根据所述放缩因子进行坐标放缩，并将所述三维边界框根据所述放缩因子进行形状大小放缩；然后将所述三维边界框内缩放后的物体点云坐标转换回所述原始坐标系下，并移至所述三维边界框中心，实现对源域点云数据的放缩增强操作，得到增强后的源域点云数据。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
1、本发明通过引入缩放增强模块来增加数据多样性和丰富性，从而提高了三维目标检测模型在不同领域之间的泛化能力和鲁棒性；
2、由于本发明采用无监督学习方法，只需要利用源域数据进行训练，而不需要对目标域数据进行标注。因此，本发明可以大大降低数据采集和标注成本，节省时间和人力资源；
3、由于本发明是以增强数据为特点的方法，因此可适应不同三维检测器，且不需对检测器进行修改。这使得本发明具有更广泛的适用性和更好的通用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于伪标签大小的无监督领域自适应目标检测方法的执行流程示意图；
图2是本发明实施例提供的数据增强方法的执行流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种基于伪标签大小的无监督领域自适应目标检测方法，该方法可由电子设备实现。该方法的执行流程如图1所示，包括以下步骤：
S1，获取带标注的源域点云数据和无标注的目标域点云数据；并利用所述源域点云数据对预设模型进行训练，得到三维目标检测模型；
其中，需要说明的是，本实施例的方法可以用于自动驾驶、机器人等领域，实现对自动驾驶车辆或机器人的三维传感器采集的三维点云数据中的三维目标检测，对此，本实施例利用激光雷达收集源域点云数据，并对其进行标注，同时也收集目标域点云数据，并且不对其进行标注；然后利用源域标注点云数据进行训练，得到具有良好检测能力的三维目标检测模型。
这是因为本方法的目标是将源域数据训练的模型适应到新的未标记目标域，而不是重新训练一个新的模型。这样可以减少训练时间和成本，并且可以利用源域数据的信息来提高模型的性能。同时在源域训练得到的模型具有良好的检测性能，因此可以生成高质量的伪标签，从而指导后续的领域自适应。
S2，利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签；
其中，需要说明的是，在现有技术中，使用源域模型对目标域数据进行预测得到的伪标签可能存在的偏差较大。为了解决这个问题，本实施例提出了一种基于伪标签大小指导的无监督领域自适应方法。在生成伪标签大小时，本实施例采用了一种基于高置信度的策略，即只选择源域模型预测结果中置信度较高的样本作为伪标签，这样可以减少预测不准确带来的影响，从而筛选出高质量的伪标签来指导后续模型训练。
本实施例选择帧Pt的输出信息，其中从模型中获得的各自预测分数超过了阈值τ。最终，/>是源域训练的模型在目标域样本上生成的高质量伪标签集合。
S3，计算所述伪标签中的尺寸统计大小；
其中，需要说明的是，对于生成的高质量伪标签中具体的帧其对应的标签尺寸信息为：/>对于本实施例生成的所有高质量伪标签，本实施例需要计算其中的尺寸信息平均值，公式如下：
其中，表示伪标签中的尺寸信息平均值，/>表示第i帧的尺寸信息；nt表示目标域数据帧的数量。
通过上述，本实施例可以得到伪标签中包含的尺寸信息，而本实施例计算伪标签中的尺寸统计大小，是为了后续指导模型训练。
S4，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，以增加数据多样性和丰富性，并使得源域点云数据物体大小更接近目标域点云数据物体大小；然后利用增强后的源域点云数据再次训练所述检测模型；
其中，需要说明的是，伪标签的尺寸统计大小具有对目标域尺寸统计信息的偏向性，因此在本阶段，本实施例使用生成的伪标签统计尺寸大小对源域数据进行放缩增强，以增加源域数据的多样性，并提高模型在目标领域中的泛化能力。接着对检测模型再次进行训练，如图2所示，具体流程如下：
根据源域点云数据的标签的尺寸统计大小和目标域的伪标签的尺寸统计大小，计算需要优化的尺寸大小差值，公式如下：
其中，(ψΔl,ψΔw,ψΔh)表示需要优化的尺寸大小差值，表示源域点云数据的标签的尺寸统计大小(也即标签中的尺寸信息平均值)；
对于每一个给定的三维边界框(xc,yc,zc,l,w,h,θ)，包含每一个点云数据中所有物体的类别、相应的二维边界框和三维边界框及转向角。每个三维边界框的定义为中心点(x,y,z)，形状大小定义为(l,w,h)，转向角为θ。定义三维边界框内部的物体点云为存在np个数据对于其中第i个点云pi的坐标为/>对此，本实施例首先将源域点云数据中的物体点云坐标从原始坐标系转换到三维边界框中心点的坐标系中；其中，坐标转换公式如下：
其中，表示转换后的物体点云坐标，/>分别表示转换前的第i个物体点云坐标的三轴坐标值，·表示矩阵乘法，R表示旋转矩阵，θ表示点云数据的转向角，xc,yc,zc分别表示三维边界框中心的三轴坐标值；
接着为了统一缩放三维边界框内的点，本实施例需要计算得到每个点云数据的放缩因子，公式如下：
其中，(rl,rw,rh)表示放缩因子，(l,w,h)表示三维边界框的形状大小；
对三维边界框内部的物体点云坐标根据放缩因子进行坐标放缩为并将三维边界框根据放缩因子进行形状大小放缩为(rll,rww,rhh)。然后为了得到放缩后的增强数据/> 表示增强域的所有点云数据(aug是augment的缩写，表示增强域点云)，将三维边界框内缩放后的物体点云坐标转换回原始坐标系下，并移至三维边界框中心(xc,yc,zc)，公式如下：
其中，表示增强域的点云数据；
通过以上步骤即可实现对源域点云数据的放缩增强操作，得到增强后的数据域其中，ns表示原始域数据帧的数量，增强后的三维边界框为这一阶段使用伪标签尺寸统计大小有效模拟了目标域的统计大小来指导模型训练，使得模型定位更准确。接着利用放缩增强后的源域数据，也即调整后的数据域Saug再次进行训练，得到新模型。
S5，迭代执行S2～S4，直至所述检测模型收敛，得到最终的检测模型；
其中，需要说明的是，通过上述步骤接着生成新的伪标签尺寸信息和调整数据域，迭代交替训练上述两个步骤，可使得模型逐步学习目标域的尺寸信息，从而解决跨领域尺寸不匹配问题。利用本实施例的基于伪标签大小的迭代式训练方法可以逐步优化模型，提高模型在目标领域中三维目标检测的性能。
由于具备良好检测性能的模型在目标域预测出来的伪标签不可避免地带有对目标域的偏向性，因此高置信度的伪标签尺寸信息相较于源域的尺寸信息更偏向于目标域尺寸信息。而模型倾向于记忆来自源域的边界框大小的狭窄和特定于数据的分布，因此模型在目标域生成的伪标签不可避免地带有对源域数据的偏向性。也就是说，伪标签尺寸信息处于源域尺寸信息和目标域尺寸信息之间。事实上，伪标签尺寸信息引导着模型对目标域尺寸信息的学习。因此本实施例通过交替对伪标签尺寸信息的学习实现了逐步对目标域尺寸信息的学习。
S6，利用最终得到的检测模型对待测点云数据进行检测，得到检测结果。
综上所述，本实施例提供了一种简单、高效、可靠的无监督领域自适应三维目标检测方法，显著提高了无监督领域自适应三维目标检测的精度，能够有效地解决现有技术中存在的跨领域尺寸不匹配问题，并提高三维目标检测模型在不同领域之间的泛化能力和鲁棒性，同时降低了数据采集和标注成本，节省时间成本，可适应不同的三维检测器。这些优点和有益效果使得本方法具有更好的性能和更广泛的适用性，在自动驾驶、机器人等领域具有重要的实际意义。
第二实施例
本实施例提供了一种基于伪标签大小的无监督领域自适应目标检测系统，该基于伪标签大小的无监督领域自适应目标检测系统包括以下模块：
检测模型训练模块，用于执行以下步骤：
S1，获取带标注的源域点云数据和无标注的目标域点云数据；并利用所述源域点云数据对预设模型进行训练，得到三维目标检测模型；
S2，利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签；
S3，计算所述伪标签中的尺寸统计大小；
S4，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，以增加数据多样性和丰富性，并使得源域点云数据物体大小更接近目标域点云数据物体大小；然后利用增强后的源域点云数据再次训练所述检测模型；
S5，迭代执行S2～S4，直至所述检测模型收敛，得到最终的检测模型；
三维目标检测模块，用于执行以下步骤：
S6，利用最终得到的检测模型对待测点云数据进行检测，得到检测结果。
本实施例的基于伪标签大小的无监督领域自适应目标检测系统与上述第一实施例的基于伪标签大小的无监督领域自适应目标检测方法相对应；其中，本实施例的基于伪标签大小的无监督领域自适应目标检测系统中的各功能模块所实现的功能与上述第一实施例的基于伪标签大小的无监督领域自适应目标检测方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (4)

1.一种基于伪标签大小的无监督领域自适应目标检测方法，其特征在于，所述基于伪标签大小的无监督领域自适应目标检测方法包括：
S1，获取带标注的源域点云数据和无标注的目标域点云数据；并利用所述源域点云数据对预设模型进行训练，得到三维目标检测模型；
S2，利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签；
S3，计算所述伪标签中的尺寸统计大小；
S4，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，以增加数据多样性和丰富性，并使得源域点云数据物体大小更接近目标域点云数据物体大小；然后利用增强后的源域点云数据再次训练所述检测模型；
S5，迭代执行S2～S4，直至所述检测模型收敛，得到最终的检测模型；
S6，利用最终得到的检测模型对待测点云数据进行检测，得到检测结果；
计算所述伪标签中的尺寸统计大小，包括：
计算所述伪标签中的尺寸信息平均值，公式如下：
其中，表示所述伪标签中的尺寸信息平均值，/>表示第i帧的尺寸信息；nt表示目标域数据帧的数量；
利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，包括：
根据源域点云数据的标签的尺寸统计大小和目标域的伪标签的尺寸统计大小，计算需要优化的尺寸大小差值，公式如下：
其中，(ψΔl,ψΔw,ψΔh)表示需要优化的尺寸大小差值，表示源域点云数据的标签的尺寸统计大小；
将源域点云数据中的物体点云坐标从原始坐标系转换到以给定的三维边界框中心点为坐标原点的坐标系中；其中，坐标转换公式如下：
其中，表示转换后的物体点云坐标，/>分别表示转换前的第i个物体点云坐标的三轴坐标值，·表示矩阵乘法，R表示旋转矩阵，θ表示点云数据的转向角，xc,yc,zc分别表示三维边界框中心的三轴坐标值；
计算得到每个点云数据的放缩因子，公式如下：
其中，(rl,rw,rh)表示放缩因子，(l,w,h)表示三维边界框的形状大小；
对所述三维边界框内部的物体点云坐标根据所述放缩因子进行坐标放缩，并将所述三维边界框根据所述放缩因子进行形状大小放缩；然后将所述三维边界框内缩放后的物体点云坐标转换回所述原始坐标系下，并移至所述三维边界框中心，实现对源域点云数据的放缩增强操作，得到增强后的源域点云数据。
2.如权利要求1所述的基于伪标签大小的无监督领域自适应目标检测方法，其特征在于，在利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签时，只选择所述检测模型预测结果中置信度超过预设阈值的样本作为伪标签。
3.一种基于伪标签大小的无监督领域自适应目标检测系统，其特征在于，所述基于伪标签大小的无监督领域自适应目标检测系统包括：
检测模型训练模块，用于执行以下步骤：
S1，获取带标注的源域点云数据和无标注的目标域点云数据；并利用所述源域点云数据对预设模型进行训练，得到三维目标检测模型；
S2，利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签；
S3，计算所述伪标签中的尺寸统计大小；
S4，利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，以增加数据多样性和丰富性，并使得源域点云数据物体大小更接近目标域点云数据物体大小；然后利用增强后的源域点云数据再次训练所述检测模型；
S5，迭代执行S2～S4，直至所述检测模型收敛，得到最终的检测模型；
三维目标检测模块，用于执行以下步骤：
S6，利用最终得到的检测模型对待测点云数据进行检测，得到检测结果；
计算所述伪标签中的尺寸统计大小，包括：
计算所述伪标签中的尺寸信息平均值，公式如下：
其中，表示所述伪标签中的尺寸信息平均值，/>表示第i帧的尺寸信息；nt表示目标域数据帧的数量；
利用所述伪标签中的尺寸统计大小，对源域点云数据进行放缩增强操作，包括：
根据源域点云数据的标签的尺寸统计大小和目标域的伪标签的尺寸统计大小，计算需要优化的尺寸大小差值，公式如下：
其中，(ψΔl,ψΔw,ψΔh)表示需要优化的尺寸大小差值，表示源域点云数据的标签的尺寸统计大小；
将源域点云数据中的物体点云坐标从原始坐标系转换到以给定的三维边界框中心点为坐标原点的坐标系中；其中，坐标转换公式如下：
其中，表示转换后的物体点云坐标，/>分别表示转换前的第i个物体点云坐标的三轴坐标值，·表示矩阵乘法，R表示旋转矩阵，θ表示点云数据的转向角，xc,yc,zc分别表示三维边界框中心的三轴坐标值；
计算得到每个点云数据的放缩因子，公式如下：
其中，(rl,rw,rh)表示放缩因子，(l,w,h)表示三维边界框的形状大小；
对所述三维边界框内部的物体点云坐标根据所述放缩因子进行坐标放缩，并将所述三维边界框根据所述放缩因子进行形状大小放缩；然后将所述三维边界框内缩放后的物体点云坐标转换回所述原始坐标系下，并移至所述三维边界框中心，实现对源域点云数据的放缩增强操作，得到增强后的源域点云数据。
4.如权利要求3所述的基于伪标签大小的无监督领域自适应目标检测系统，其特征在于，在利用训练得到的所述检测模型，对所述目标域点云数据进行预测，得到所述目标域点云数据的伪标签时，只选择所述检测模型预测结果中置信度超过预设阈值的样本作为伪标签。
CN202310552336.8A 2023-05-16 2023-05-16 基于伪标签大小的无监督领域自适应目标检测方法及系统 Active CN116630957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552336.8A CN116630957B (zh) 2023-05-16 2023-05-16 基于伪标签大小的无监督领域自适应目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552336.8A CN116630957B (zh) 2023-05-16 2023-05-16 基于伪标签大小的无监督领域自适应目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN116630957A CN116630957A (zh) 2023-08-22
CN116630957B true CN116630957B (zh) 2024-06-04

Family

ID=87620621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552336.8A Active CN116630957B (zh) 2023-05-16 2023-05-16 基于伪标签大小的无监督领域自适应目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN116630957B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
CN111881714A (zh) * 2020-05-22 2020-11-03 北京交通大学 一种无监督跨域行人再识别方法
CN112836675A (zh) * 2021-03-01 2021-05-25 中山大学 一种基于聚类生成伪标签的无监督行人重识别方法及系统
CN114693979A (zh) * 2022-04-08 2022-07-01 浙江大学 一种基于伪标签修正的多目标跟踪无监督域适应方法
US11410388B1 (en) * 2021-03-16 2022-08-09 Huawei Technologies Co., Ltd. Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training
CN115481424A (zh) * 2021-05-31 2022-12-16 阿里巴巴新加坡控股有限公司 检测模型的跨域自适应方法、数据处理方法
CN115953660A (zh) * 2022-12-20 2023-04-11 中国科学技术大学 面向自动驾驶基于伪标签的点云3d目标检测方法
CN115984805A (zh) * 2023-03-15 2023-04-18 安徽蔚来智驾科技有限公司 一种数据增强方法、目标检测方法及车辆
CN116091887A (zh) * 2022-12-30 2023-05-09 厦门大学 基于弱监督的目标检测模型训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156585A1 (en) * 2020-11-16 2022-05-19 Waymo Llc Training point cloud processing neural networks using pseudo-element - based data augmentation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
CN111881714A (zh) * 2020-05-22 2020-11-03 北京交通大学 一种无监督跨域行人再识别方法
CN112836675A (zh) * 2021-03-01 2021-05-25 中山大学 一种基于聚类生成伪标签的无监督行人重识别方法及系统
US11410388B1 (en) * 2021-03-16 2022-08-09 Huawei Technologies Co., Ltd. Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training
CN115481424A (zh) * 2021-05-31 2022-12-16 阿里巴巴新加坡控股有限公司 检测模型的跨域自适应方法、数据处理方法
CN114693979A (zh) * 2022-04-08 2022-07-01 浙江大学 一种基于伪标签修正的多目标跟踪无监督域适应方法
CN115953660A (zh) * 2022-12-20 2023-04-11 中国科学技术大学 面向自动驾驶基于伪标签的点云3d目标检测方法
CN116091887A (zh) * 2022-12-30 2023-05-09 厦门大学 基于弱监督的目标检测模型训练方法及装置
CN115984805A (zh) * 2023-03-15 2023-04-18 安徽蔚来智驾科技有限公司 一种数据增强方法、目标检测方法及车辆

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Haizhuang Liu et al.Eliminating Spatial Ambiguity for Weakly Supervised 3D Object Detection without Spatial Labels.《MM '22: Proceedings of the 30th ACM International Conference on Multimedia》.2022,全文. *
Self-Supervised Global-Local Structure Modeling for Point Cloud Domain Adaptation With Reliable Voted Pseudo Labels;Hehe Fan et al;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20221231;全文 *
一种结合GAN和伪标签的深度半监督模型研究;杨灿;;中国科技信息;20200901(17);全文 *
基于半监督学习的密集人群检测算法研发;孙睿;《中国优秀硕士学位全文数据库》;20230215;全文 *

Also Published As

Publication number Publication date
CN116630957A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN111783844B (zh) 基于深度学习的目标检测模型训练方法、设备及存储介质
CN113298152A (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
CN112053383A (zh) 一种机器人实时定位的方法及装置
CN111429481A (zh) 一种基于自适应表达的目标追踪方法、装置及终端
CN116630957B (zh) 基于伪标签大小的无监督领域自适应目标检测方法及系统
CN107247996A (zh) 一种应用于异分布数据环境的主动学习方法
CN116645608A (zh) 一种基于YOLOX-Tiny有偏特征融合网络的遥感目标检测
CN115345932A (zh) 一种基于语义信息的激光slam回环检测方法
CN116433722A (zh) 目标跟踪方法、电子设备、存储介质及程序产品
CN115100136A (zh) 基于YOLOv4-tiny模型的工件类别与位姿估计方法
Yu et al. Surface Defect inspection under a small training set condition
CN112418344A (zh) 一种训练方法、目标检测方法、介质及电子设备
Sun et al. Distilling Siamese Trackers with Attention Mask
US11821986B1 (en) Target tracking method, system, device and storage medium
CN116469060B (zh) 基于注意力感知优化的垃圾目标检测方法
CN111435086A (zh) 基于拼接图的导航方法和装置
CN114972733B (zh) 一种舰船骨架点识别方法
CN117576489B (zh) 智能机器人鲁棒实时目标感知方法、装置、设备及介质
CN117058556B (zh) 基于自监督蒸馏的边缘引导sar图像舰船检测方法
CN116452972B (zh) 一种基于Transformer端到端的遥感图像车辆目标检测方法
Järemo Lawin Learning Representations for Segmentation and Registration
Yang et al. Research on robot classifiable grasp detection method based on convolutional neural network
Ilyasi et al. Object-Text Detection and Recognition System
Makhotkin et al. Signalization of objects on the sonar images using neural network segmentation methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant