CN115457540B - 点云目标检测模型的构建方法、目标检测标注方法及装置 - Google Patents
点云目标检测模型的构建方法、目标检测标注方法及装置 Download PDFInfo
- Publication number
- CN115457540B CN115457540B CN202211408622.9A CN202211408622A CN115457540B CN 115457540 B CN115457540 B CN 115457540B CN 202211408622 A CN202211408622 A CN 202211408622A CN 115457540 B CN115457540 B CN 115457540B
- Authority
- CN
- China
- Prior art keywords
- sampling
- layer
- module
- scale
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 154
- 238000002372 labelling Methods 0.000 title claims abstract description 25
- 238000010276 construction Methods 0.000 title claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000011176 pooling Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种点云目标检测模型的构建方法、目标检测标注方法及装置，包括：构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；构建3D多模块多尺度融合预测层，所述3D多模块多尺度融合预测层包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，所述下采样检测模块包括依次相连的下采样层、多尺度卷积模块和检测层，所述多尺度卷积模块包括多个具有多尺度池化的卷积层，用于融合下采样层输出端输出的多个尺度特征信息，所述检测层用于对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果；每个所述下采样检测模块检测不同尺度的物体。
Description
技术领域
本申请涉及标注技术领域，尤其涉及一种点云目标检测模型的构建方法、目标检测标注方法及装置。
背景技术
基于点云的目标检测是点云处理方法应用到实际场景中的热点。然而点云目标检测数据集需要对大规模点云中的目标物体做标注，这对于数据标注员是一项繁琐低效的任务，迫切需要辅助标注的工具。现有的3D点云目标检测标注方法能够在大物体上识别上有较好的效果，但是对于小物体，如路墩等，识别不佳甚至无法识别。
发明内容
本申请实施例的目的是提供一种点云目标检测模型的构建方法、目标检测标注方法及装置，以解决相关技术中存在的对于小物体识别不佳甚至无法识别、分割标注任务效率低的技术问题。
根据本申请实施例的第一方面，提供一种点云目标检测模型的构建方法，包括：
构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；
构建3D多模块多尺度融合预测层，所述3D多模块多尺度融合预测层包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，所述下采样检测模块包括依次相连的下采样层、多尺度卷积模块和检测层，上一个下采样检测模块的多尺度卷积模块的输出端与所述上采样层的输入端相连，所述上采样层的输出端与上一个下采样检测模块的下采样层的输出端一起连接到下一个下采样检测模块的下采样层的输入端，所述特征输入到第一个下采样检测模块的下采样层，所述多尺度卷积模块包括多个具有多尺度池化的卷积层，用于融合下采样层输出端输出的多个尺度特征信息，所述检测层用于对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果；每个所述下采样检测模块检测不同尺度的物体。
可选的，融合下采样层输出端输出的多个尺度特征信息，包括：
将下采样层的输出分别输入到多个尺度的池化层，得到多个尺度特征信；
将多个尺度特征信通过相加的方式进行融合。
可选的，对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果，包括：
将融合后的多尺度特征信息进行分类处理，得到3D框包含的物体种类；
将融合后的多尺度特征信息进行回归处理，得到3D框的中心点位置、3D框的大小和3D框的3维旋转信息。
根据本申请实施例的第二方面，提供一种点云目标检测模型的构建装置，包括：
第一构建模块，用于构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；
第二构建模块，用于构建3D多模块多尺度融合预测层，所述3D多模块多尺度融合预测层包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，所述下采样检测模块包括依次相连的下采样层、多尺度卷积模块和检测层，上一个下采样检测模块的多尺度卷积模块的输出端与所述上采样层的输入端相连，所述上采样层的输出端与上一个下采样检测模块的下采样层的输出端一起连接到下一个下采样检测模块的下采样层的输入端，所述特征输入到第一个下采样检测模块的下采样层，所述多尺度卷积模块包括多个具有多尺度池化的卷积层，用于融合下采样层输出端输出的多个尺度特征信息，所述检测层用于对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果；每个所述下采样检测模块检测不同尺度的物体。
根据本申请实施例的第三方面，提供一种3D点云目标检测标注方法，包括：
接收待标注的点云数据；
将待标注的点云数据输入到第一方面所构建的模型中，输出目标检测结果。
可选的，还包括：对所述目标检测结果进行修正。
可选的，所述修正的对象包括物体类别、3D框的中心点位置、3D框的大小和3D框的3维旋转信息。
根据本申请实施例的第四方面，提供一种3D点云目标检测标注装置，包括：
接收模块，用于接收待标注的点云数据；
输入输出模块，用于将待标注的点云数据输入到第一方面所构建的模型中，输出目标检测结果。
根据本申请实施例的第五方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第三方面所述的方法。
根据本申请实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面或第三方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，多模块多尺度融合预测模块包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，每个下采样检测模块检测不同尺度的物体，特别是，第一个下采样检测模块可用于感受野较大，能够涵盖小物体，从而加强小物体的目标检测，有效地提升检测的精度，和目前的深度学习模型的小物体识别性能差的问题。
通过使用基于3D多模块多尺度点云目标检测模型，完成对待标注点云数据的标注，后续标注人员通过简单修改预标注结果即可完成标注，有效地提升标注效率，克服了人工完成分割标注任务效率低的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种点云目标检测模型的构建方法的流程图。
图2是根据一示例性实施例示出的点云目标检测模型的结构图。
图3是根据一示例性实施例示出的多尺度卷积模块的结构图。
图4是根据一示例性实施例示出的一种点云目标检测模型的构建装置的框图。
图5是根据一示例性实施例示出的一种3D点云目标检测标注方法的流程图。
图6是根据一示例性实施例示出的几种标注方法效果对比图。
图7是根据一示例性实施例示出的一种3D点云目标检测标注装置的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
实施例1：
图1是根据一示例性实施例示出的一种点云目标检测模型的构建方法的流程图，如图1所示，可以包括以下步骤：
S11：构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；
S12：构建3D多模块多尺度融合预测层，所述3D多模块多尺度融合预测层包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，所述下采样检测模块包括依次相连的下采样层、多尺度卷积模块和检测层，上一个下采样检测模块的多尺度卷积模块的输出端与所述上采样层的输入端相连，所述上采样层的输出端与上一个下采样检测模块的下采样层的输出端一起连接到下一个下采样检测模块的下采样层的输入端，所述特征输入到第一个下采样检测模块的下采样层，所述多尺度卷积模块包括多个具有多尺度池化的卷积层，用于融合下采样层输出端输出的多个尺度特征信息，所述检测层用于对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果；每个所述下采样检测模块检测不同尺度的物体。
由上述实施例可知，多模块多尺度融合预测模块包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，每个下采样检测模块检测不同尺度的物体，特别是，第一个下采样检测模块可用于感受野较大，能够涵盖小物体，从而加强小物体的目标检测，有效地提升检测的精度，和目前的深度学习模型的小物体识别性能差的问题。
在S11的具体实施中：构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；
具体地，可以采用三维像素编码层VoxelNet的VFE层或者SECOND 的VoxelFeature层，用于初步提取3点点云特征，避免点云过于稀疏使得计算成本过高。可以采用ResNet残差结构或者SECOND 中的稀疏卷积，用于更深层次的提取点云的特征。
在S12的具体实施中：构建3D多模块多尺度融合预测层；
具体的，如图2所示，本实施例可以构建三个依次串联的下采样检测模块，以这个为例进行说明，三个不同下采样尺度的检测模块能够检测不同尺度的物体，由于第一下采样检测模块对待测点云数据特征信息压缩为最小，小物体的信息仍有保留，用于检测小物体。第三下采样检测模块对待测点云数据特征信息压缩比最大，大物体的信息能够被很好的压缩提取，用于检测大物体。第二下采样检测模块位于所述两者之间，用于检测一般物体。
如图3所示，其中c代表为通道层，d为深度，h为高度，w为宽度，多尺度卷积层可以使用3个不同的pooling层提取不同感受野信息，多个pooling层的结果通过相加的组合。第二下采样检测模块和第三下采样检测模块以及后续的模块中上采样结果与上一层下采样结果使用拼接的形式融合。
本实施例中，融合下采样层输出端输出的多个尺度特征信息，可以包括：
A1：将下采样层的输出分别输入到多个尺度的池化层，得到多个尺度特征信；
A2：将多个尺度特征信通过相加的方式进行融合。
本实施例中，对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果，包括：
B1：将融合后的多尺度特征信息进行分类处理，得到3D框包含的物体种类；
B2：将融合后的多尺度特征信息进行回归处理，得到3D框的中心点位置、3D框的大小和3D框的3维旋转信息。
具体地，下采样检测模块主要由分类层和回归层构成，分类层用于预测3D框包含的物体种类，回归层用于3D框的中心点位置、3D框的大小和3D框的3维旋转信息。
本实施例中，可以使用KITTI数据集训练点云目标检测模型，可以使用损失函数，具体地，是否包含物体的概率作为置信度，使用BCELoss作为置信度损失，使用交叉熵作为类别的分类损失，使用均方误差作为3D框的回归损失。另外由于大多数预测结果不包含物体，所以平衡负样本的占比为80%。通过所述操作能够更好的训练模型。可以使用Kaiming初始化或者Lecun初始化模型的参数。可以使用Adam优化器，学习率可以设置为0.002。可以使用mAP作为模型的评价函数。可以设置训练轮数为500轮，每50轮测试模型的性能，保存最优的模型参数结果。
与前述的点云目标检测模型的构建方法的实施例相对应，本申请还提供了点云目标检测模型的构建装置的实施例。
图4是根据一示例性实施例示出的一种点云目标检测模型的构建装置框图。参照图4，该装置包括第一构建模块11和第二构建模块12。
第一构建模块11，用于构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；
第二构建模块12，用于构建3D多模块多尺度融合预测层，所述3D多模块多尺度融合预测层包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，所述下采样检测模块包括依次相连的下采样层、多尺度卷积模块和检测层，上一个下采样检测模块的多尺度卷积模块的输出端与所述上采样层的输入端相连，所述上采样层的输出端与上一个下采样检测模块的下采样层的输出端一起连接到下一个下采样检测模块的下采样层的输入端，所述特征输入到第一个下采样检测模块的下采样层，所述多尺度卷积模块包括多个具有多尺度池化的卷积层，用于融合下采样层输出端输出的多个尺度特征信息，所述检测层用于对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果；每个所述下采样检测模块检测不同尺度的物体。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例2：
图5是根据一示例性实施例示出的一种3D点云目标检测标注方法的流程图，如图5所示，可以包括以下步骤：
S21：接收待标注的点云数据；
S22：将待标注的点云数据输入到实施例1所构建的模型中，输出目标检测结果。
本申请的多模块多尺度融合预测模块包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，每个下采样检测模块检测不同尺度的物体，特别是，第一个下采样检测模块可用于感受野较大，能够涵盖小物体，从而加强小物体的目标检测，有效地提升检测的精度，和目前的深度学习模型的小物体识别性能差的问题。
本申请通过使用基于实施例1所构建的模型，完成对待标注点云数据的标注，后续标注人员通过简单修改预标注结果即可完成标注，有效地提升标注效率，克服了人工完成分割标注任务效率低的问题。
在S21的具体实施中：接收待标注的点云数据；
具体地，待标注的点云数据由在第一指定平台上传，用户可以通过文件夹和单个文件的形式上传。比如，通过第一指定平台（例如WEB后端）返回第二指定平台（例如WEB前端）。
S22：将待标注的点云数据输入到实施例1所构建的模型中，输出目标检测结果。
具体地，如图6所示，图6中（a）为待标注点云截图，图6中（b）为本发明的点云目标检测标注方法输出的点云标注结果，图6中（c）为VoxelNet方法处理后的点云检测结果，可以对比分析（a）、（b）和（c），通过本发明的点云目标检测标注方法，在小物体的目标检测上面，更加清晰、准确。
可选的，还包括：对所述目标检测结果进行修正。
具体地，所述修正的对象包括物体类别、3D框的中心点位置、3D框的大小和3D框的3维旋转信息。如果尚未标注完毕，指定人员根据实际点云场景在第二指定平台上修改物体类别、3D框的大小和旋转情况，完成标记。
与前述的3D点云目标检测标注方法的实施例相对应，本申请还提供了3D点云目标检测标注装置的实施例。
图7是根据一示例性实施例示出的一种3D点云目标检测标注装置框图。参照图7，该装置包括接收模块21和输入输出模块22。
接收模块21，用于接收待标注的点云数据；
输入输出模块22，用于将待标注的点云数据输入到第一方面所构建的模型中，输出目标检测结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的种点云目标检测模型的构建方法或目标检测标注方法。如图8所示，为本发明实施例提供的一种点云目标检测模型的构建装置或目标检测标注装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图8所示的处理器、内存之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的种点云目标检测模型的构建方法或目标检测标注方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种点云目标检测模型的构建方法，其特征在于，包括：
构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；
构建3D多模块多尺度融合预测层，所述3D多模块多尺度融合预测层包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，所述下采样检测模块包括依次相连的下采样层、多尺度卷积模块和检测层，上一个下采样检测模块的多尺度卷积模块的输出端与所述上采样层的输入端相连，所述上采样层的输出端与上一个下采样检测模块的下采样层的输出端一起连接到下一个下采样检测模块的下采样层的输入端，所述特征输入到第一个下采样检测模块的下采样层，所述多尺度卷积模块包括多个具有多尺度池化的卷积层，用于融合下采样层输出端输出的多个尺度特征信息，所述检测层用于对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果；每个所述下采样检测模块检测不同尺度的物体。
2.根据权利要求1所述的方法，其特征在于，融合下采样层输出端输出的多个尺度特征信息，包括：
将下采样层的输出分别输入到多个尺度的池化层，得到多个尺度特征信息；
将多个尺度特征信息通过相加的方式进行融合。
3.根据权利要求1所述的方法，其特征在于，对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果，包括：
将融合后的多尺度特征信息进行分类处理，得到3D框包含的物体种类；
将融合后的多尺度特征信息进行回归处理，得到3D框的中心点位置、3D框的大小和3D框的3维旋转信息。
4.一种点云目标检测模型的构建装置，其特征在于，包括：
第一构建模块，用于构建特征提取层，所述特征提取层用于提取待检测的3D点云样本的特征；
第二构建模块，用于构建3D多模块多尺度融合预测层，所述3D多模块多尺度融合预测层包括至少三个下采样检测模块和交替连接在相邻两个下采样检测模块之间的上采样层，所述下采样检测模块包括依次相连的下采样层、多尺度卷积模块和检测层，上一个下采样检测模块的多尺度卷积模块的输出端与所述上采样层的输入端相连，所述上采样层的输出端与上一个下采样检测模块的下采样层的输出端一起连接到下一个下采样检测模块的下采样层的输入端，所述特征输入到第一个下采样检测模块的下采样层，所述多尺度卷积模块包括多个具有多尺度池化的卷积层，用于融合下采样层输出端输出的多个尺度特征信息，所述检测层用于对融合后的多尺度特征信息分别进行分类和回归处理，得到检测结果；每个所述下采样检测模块检测不同尺度的物体。
5.一种3D点云目标检测标注方法，其特征在于，包括：
接收待标注的点云数据；
将待标注的点云数据输入到权利要求1所构建的模型中，输出目标检测结果。
6.根据权利要求5所述的方法，其特征在于，还包括：对所述目标检测结果进行修正。
7.根据权利要求6所述的方法，其特征在于，所述修正的对象包括物体类别、3D框的中心点位置、3D框的大小和3D框的3维旋转信息。
8.一种3D点云目标检测标注装置，其特征在于，包括：
接收模块，用于接收待标注的点云数据；
输入输出模块，用于将待标注的点云数据输入到权利要求1所构建的模型中，输出目标检测结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3、5-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-3、5-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211408622.9A CN115457540B (zh) | 2022-11-11 | 2022-11-11 | 点云目标检测模型的构建方法、目标检测标注方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211408622.9A CN115457540B (zh) | 2022-11-11 | 2022-11-11 | 点云目标检测模型的构建方法、目标检测标注方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115457540A CN115457540A (zh) | 2022-12-09 |
| CN115457540B true CN115457540B (zh) | 2023-03-24 |
Family
ID=84295613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211408622.9A Active CN115457540B (zh) | 2022-11-11 | 2022-11-11 | 点云目标检测模型的构建方法、目标检测标注方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115457540B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298080A (zh) * | 2021-07-26 | 2021-08-24 | 城云科技（中国）有限公司 | 目标检测增强模型、目标检测方法、装置及电子装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11768292B2 (en) * | 2018-03-14 | 2023-09-26 | Uatc, Llc | Three-dimensional object detection |
| CN110059608B (zh) * | 2019-04-11 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
| WO2020215241A1 (zh) * | 2019-04-24 | 2020-10-29 | 江南大学 | 一种面向计算资源局限平台部署的实时目标检测的方法 |
| EP4115392A4 (en) * | 2020-03-04 | 2023-08-23 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR EFFICIENT GENERATION OF FLOOR PLANS FROM 3D SCANS OF INTERIOR SCENES |
| CN111860138B (zh) * | 2020-06-09 | 2024-03-01 | 中南民族大学 | 基于全融合网络的三维点云语义分割方法及系统 |
| CN113469099B (zh) * | 2021-07-13 | 2024-03-15 | 北京航科威视光电信息技术有限公司 | 目标检测模型的训练方法、检测方法、装置、设备及介质 |
| CN115170816A (zh) * | 2022-07-19 | 2022-10-11 | 华北电力大学（保定） | 多尺度特征提取系统、方法和风机桨叶缺陷检测方法 |
| CN115116049B (zh) * | 2022-08-29 | 2022-11-18 | 苏州魔视智能科技有限公司 | 目标检测的方法、装置、电子设备及存储介质 |
| CN115223166A (zh) * | 2022-09-20 | 2022-10-21 | 整数智能信息技术(杭州)有限责任公司 | 图片预标注方法、图片标注方法及装置、电子设备 |
-
2022
- 2022-11-11 CN CN202211408622.9A patent/CN115457540B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298080A (zh) * | 2021-07-26 | 2021-08-24 | 城云科技（中国）有限公司 | 目标检测增强模型、目标检测方法、装置及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115457540A (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680701B (zh) | 图像识别模型的训练方法、装置及图像识别方法、装置 | |
| CN112700408B (zh) | 模型训练方法、图像质量评估方法及装置 | |
| CN112016638A (zh) | 一种钢筋簇的识别方法、装置、设备及存储介质 | |
| CN114049356B (zh) | 一种结构表观裂缝检测方法、装置及系统 | |
| CN111046910A (zh) | 图像分类、关系网络模型训练、图像标注方法及装置 | |
| CN111798417A (zh) | 一种基于ssd遥感图像目标检测的方法及装置 | |
| CN113239227B (zh) | 图像数据结构化方法、装置、电子设备及计算机可读介质 | |
| CN110032654B (zh) | 一种基于人工智能的超市商品录入方法及系统 | |
| CN112163496A (zh) | 一种基于语义分割的嵌入式终端水库水位预警方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN112818162A (zh) | 图像检索方法、装置、存储介质和电子设备 | |
| CN111723814A (zh) | 基于跨图像关联的弱监督图像语义分割方法、系统、装置 | |
| CN114387512A (zh) | 基于多尺度特征融合与增强的遥感影像建筑物提取方法 | |
| CN108932474B (zh) | 一种基于全卷积神经网络复合特征的遥感影像云判方法 | |
| CN115223166A (zh) | 图片预标注方法、图片标注方法及装置、电子设备 | |
| CN115018910A (zh) | 点云数据中目标的检测方法、装置和计算机可读存储介质 | |
| CN114155524A (zh) | 单阶段3d点云目标检测方法及装置、计算机设备、介质 | |
| CN117671480A (zh) | 基于视觉大模型的滑坡自动识别方法、系统和计算机设备 | |
| CN117593514A (zh) | 一种基于深层主成分分析辅助的图像目标检测方法及系统 | |
| CN115457540B (zh) | 点云目标检测模型的构建方法、目标检测标注方法及装置 | |
| CN114913330B (zh) | 点云部件分割方法、装置、电子设备与存储介质 | |
| CN114708307B (zh) | 基于相关滤波器的目标跟踪方法、系统、存储介质及设备 | |
| CN111738188B (zh) | 一种输电线路压接金具识别方法、装置、终端及存储介质 | |
| CN113139617A (zh) | 一种输电线路自主定位方法、装置及终端设备 | |
| CN112464892A (zh) | 票据区域识别方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Construction method of point cloud object detection model, object detection annotation method and device Granted publication date: 20230324 Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd. Pledgor: Integer Intelligence Information Technology (Hangzhou) Co.,Ltd. Registration number: Y2024330001209 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |