CN116109650B - 点云实例分割模型训练方法和训练装置 - Google Patents
点云实例分割模型训练方法和训练装置 Download PDFInfo
- Publication number
- CN116109650B CN116109650B CN202310118228.XA CN202310118228A CN116109650B CN 116109650 B CN116109650 B CN 116109650B CN 202310118228 A CN202310118228 A CN 202310118228A CN 116109650 B CN116109650 B CN 116109650B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- network
- cloud instance
- inputting
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 51
- 238000010276 construction Methods 0.000 claims description 44
- 230000009977 dual effect Effects 0.000 claims description 40
- 238000005070 sampling Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 26
- 239000013598 vector Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000002356 single layer Substances 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，尤其涉及一种点云实例分割模型训练方法和训练装置。其中，点云实例分割模型训练方法包括，首先获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；然后将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图；最后根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，对初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。这样通过深度学习使得训练得到的点云实例分割模型，可以获取到效果较好的点云实例分割图，从而提高了点云实例图像分割的精度。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种点云实例分割模型训练方法和训练装置。
背景技术
点云实例分割是指，点云实例分割是指，对点云场景中的每个点在识别出其类别的基础上，对其具体属于该类别哪一个具体物体进一步做出划分。
现有技术中对点云实例分割的主要方法为，先对点云中每个点进行语义预测和中心偏移量回归，预测出每个点的语义类别和其所属实例的几何中心，再根据语义类别与几何中心位置进行聚类。当今许多方法聚类算法进行了速度和精度上的改进，但针对之前的特征信息提取网络，很少有人对其进行改进，致使语义预测和中心偏移量回归精度较低，从根源上限制了点云实例分割的性能，从而使得点云实例分割的精度较低。
发明内容
本发明提供一种点云实例分割模型训练方法和训练装置，用以解决现有技术中点云实例分割的精度较低的技术问题。
一方面，本发明提供一种点云实例分割模型训练方法，包括：
获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；
将所述多个点云实例样本输入到初始点云实例分割模型中，得到所述各点云实例样本对应的点云实例分割预测图；
根据所述各点云实例样本对应的点云实例分割图和点云实例分割预测图，对所述初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
根据本发明提供的一种点云实例分割模型训练方法，所述初始点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络；所述将所述多个点云实例样本输入到初始点云实例分割模型中，得到所述各点云实例样本对应的点云实例分割预测图，包括：
针对各点云实例样本执行以下处理：
将所述各点云实例样本输入到所述主干网络中，得到所述点云实例样本对应的第一特征信息；
将所述点云实例样本对应的第一特征信息输入到所述语义分割网络和中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；
将所述点云实例样本对应的第一语义特征信息和第一中心偏移量信息输入到所述聚类网络中，得到所述点云实例分割预测图。
根据本发明提供的一种点云实例分割模型训练方法，所述主干网络包括多层子网络和上采样网络；
所述将所述各点云实例样本输入到所述主干网络中，得到所述点云实例样本对应的第一特征信息，包括：
将所述各点云实例样本输入到多层子网络中，得到所述点云实例样本对应的第二特征信息；
将所述点云实例样本对应的第二特征信息输入到所述上采样网络中，得到所述点云实例样本对应的第一特征信息。
根据本发明提供的一种点云实例分割模型训练方法，每个子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络；
所述将所述各点云实例样本输入到多层子网络中，得到所述点云实例样本对应的第二特征信息，包括：
针对每个子网络层执行以下操作：
将所述点云实例样本输入到所述前景度下采样网络中，得到前景特征信息；
将所述前景特征信息输入到所述实例引导邻域构建网络中，得到所述点云实例样本对应的点云实例邻域信息；
将所述前景特征信息输入到所述语义引导邻域构建网络中，得到所述点云实例样本对应的点云语义邻域信息；
将所述点云实例邻域信息和点云语义邻域信息分别输入到所述第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；
将所述第三特征信息和第四特征信息输入到所述特征拼接网络中，得到所述第二特征信息。
另一方面，本发明还提供一种点云实例分割方法，包括：
获取待分割的点云实例图像；
将所述待分割的点云实例图像输入到点云实例分割模型中，得到所述待分割的点云实例图像对应的点云实例分割图；其中，所述点云实例分割模型为上述任一种所述的点云实例分割模型。
根据本发明提供的一种点云实例分割方法，所述点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络；所述将所述待分割的点云实例图像输入到点云实例分割模型中，得到所述待分割的点云实例图像对应的点云实例分割图，包括：
将所述待分割的点云实例图像输入到所述主干网络中，得到所述待分割的点云实例图像对应的第一特征信息；
将所述待分割的点云实例图像对应的第一特征信息输入到所述语义分割网络和中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；
将所述待分割的点云实例图像对应的第一语义特征信息和第一中心偏移量信息输入到所述聚类网络中，得到所述待分割的点云实例图像对应的点云实例分割图。
另一方面，本发明还提供一种点云实例分割模型训练装置，包括：
第一获取单元，用于获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；
第一处理单元，用于将所述多个点云实例样本输入到初始点云实例分割模型中，得到所述各点云实例样本对应的点云实例分割预测图；
更新单元，用于根据所述各点云实例样本对应的点云实例分割图和点云实例分割预测图，对所述初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
另一方面，本发明还提供一种点云实例分割装置，包括：
第二获取单元，用于获取待分割的点云实例图像；
第二处理单元，用于将所述待分割的点云实例图像输入到点云实例分割模型中，得到所述待分割的点云实例图像对应的点云实例分割图；其中，所述点云实例分割模型为上述任一种所述的点云实例分割模型。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述点云实例分割模型训练方法；或者实现如上任一项所述的点云实例分割方法。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述点云实例分割模型训练方法；或者实现如上述任一种所述的点云实例分割方法。
本发明提供的点云实例分割模型训练方法，首先获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；然后将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图；最后根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，对初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。这样通过深度学习使得训练得到的点云实例分割模型，可以获取到效果较好的点云实例分割图，从而提高了点云实例图像分割的精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的点云实例分割方法构思图；
图2为本发明实施例提供的点云实例分割模型训练方法的流程示意图；
图3为本发明实施例提供的初始点云实例分割模型的结构示意图；
图4为本发明实施例的点云实例分割预测图的获取方法流程图；
图5为本发明实施例提供的主干网络结构示意图；
图6为本发明实施例提供的子网络结构示意图；
图7为本发明实施例提供的实例引导邻域构建网络的结构示意图；
图8为本发明实施例提供的一种点云实例分割方法流程示意图；
图9为本发明实施例提供的点云实例分割模型训练装置的结构示意图；
图10为本发明实施例提供的点云实例分割装置结构示意图；
图11为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本发明的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
由于充分利用了空间几何信息，基于3D信息的实例分割相对于2D实例分割在复杂场景下具有更强的分割能力。现有技术中对点云实例分割的主要方法为，对点云图像中的每个点，采用3D空间下的欧式距离来寻找其近邻点，忽视了点云的语义信息和所属实例信息，这样使得最后得到的点云实例分割图的分割精度降低。
图1为本发明实施例提供的点云实例分割方法构思图，为了提高点云实例分割图的分割精度，如图1，本发明中先对点云图像中每个点进行语义预测和中心偏移量回归操作，预测出每个点的语义类别和其所属实例的几何中心，再根据语义类别与所属实例的几何中心进行聚类，根据聚类结果得到点云实例分割图，这样使得得到的云实例分割图的分割精度较高。
图2为本发明实施例提供的点云实例分割模型训练方法的流程示意图，该点云实例分割模型训练方法可以由软件和/或硬件装置执行。示例的，该硬件装置可以为手机、嵌入式设备，或者个人电脑、或者服务器等设备。如图2所示，该点云实例分割模型训练方法包括：
S201、获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图。
示例的，获取多个点云实例样本，点云实例样本应该包括常见的多种类型的对象，然后通过人工识别的方式对每个点云实例样本进行点云分割，得到各点云实例样本对应的点云实例分割图。
S202、将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图。
示例的，图3为本发明实施例提供的初始点云实例分割模型的结构示意图，如图3，该初始点云实例分割模型包括主干网络301、语义分割网络302、中心偏移量回归网络303和聚类网络304。图4为本发明实施例的点云实例分割预测图的获取方法流程图，请参考图3和图4，其中，将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图，包括：针对各点云实例样本执行以下处理：
将各点云实例样本输入到主干网络301中，得到点云实例样本对应的第一特征信息；将点云实例样本对应的第一特征信息输入到语义分割网络302和中心偏移量回归网络303中，分别得到对应的第一语义特征信息和第一中心偏移量信息；将点云实例样本对应的第一语义特征信息和第一中心偏移量信息输入到聚类网络304中，得到点云实例分割预测图。本实施例中，在对点云实例样本进行实例分割时，充分考虑了每个点云的语义信息和所属实例的几何中心，使得得到的云实例分割图的分割精度较高。
示例的，例如某个由N个点构成的点云场景共包含ins个实例，即获取的点云实例样本包括N个点和ins个实例，所有实例分别属于cls种语义类别。输入点云由其坐标表示为Pin∈R[N,3]，每个点配有各自的特征向量(附加颜色信息或位置信息本身)其中d0为特征向量维度。第i个点可由其坐标和特征向量表示为{Pin,Fin}。
本实施例的点云实例分割方法可具体描述如下：对输入点云{Pin,Fin}，首先用主干网络301对其进行特征提取，得到特征信息丰富的新点云{Pmid,Fmid}，即第一特征信息，其中Fmid∈R[N,d]，d表示新的特征向量维度。之后将新点云{Pmid,Fmid}分别输入语义分割网络302和中心偏移量回归网络303中，得到语义向量S∈R[N,cls]与中心偏移量回归向量O∈R[N ,3]。在之后利用新点云的绝对位置坐标Pmid与中心偏移量回归向量O计算出实例中心绝对坐标Pcntr。最后对Pcntr进行基于密度的聚类，例如采用DBSCAN(Density-Based SpatialClustering of Applications with Noise)聚类算法进行聚类，最后得到的每个类别即为预测出的实例，对于整个图来说即可得到云示例分割预测图。
现有技术中的3D实例分割方法主要改进的是聚类等后续处理部分，对主干网络的结构没有进一步改变，本实施例进一步的还针对主干网络的结构进行了改进。现有技术中，常用的主干网络为基于PointNet++架构的点云深度学习网络，这种神经网络每层由以下三个模块构成：
一、邻域构建模块，该邻域构建模块用于寻找点云中每个点的邻居，从而构成点云的邻域，常用的方法为基于空间坐标的K近邻算法。
二、特征提取模块，该特征提取模块利用每个点及其邻域点的信息完成局部特征信息提取，现有技术中经常采用的网络包括KPConv、RandLA-Net、Point Transformer、Point Mixer等。
三、下采样模块，现有技术为了使在不增加计算量的情况下获得更大感受野，点云深度学习模型仿照2D图像深度学习的“池化”模块，提出了“下采样”操作。下采样模块常用的方法为随机采样和最远点采样。
上述的基于PointNet++架构的点云深度学习网络在目标检测方面已经取得良好的技术效果，但是经过测试，其并不适合作为点云实例分割的主干网络。本实施例对主干网络，分别对邻域构建、特征提取、下采样三个方面做出改进，使点云深度学习主干网络更加适合遮挡、堆叠、嵌套等复杂工业场景下精准实例分割的需求。
图5为本发明实施例提供的主干网络结构示意图，如图5，该主干网络包括多层子网络和上采样网络，例如具体的，本实施例中的主干网络包括四层子网络，该四层子网络分别为第一子网络、第二子网络、第三子网络和第四子网络，四个子网络的结构相同。
其中，将各点云实例样本输入到主干网络中，得到点云实例样本对应的第一特征信息，具体包括：将各点云实例样本输入到多层子网络中，得到点云实例样本对应的第二特征信息；将点云实例样本对应的第二特征信息输入到上采样网络中，进行尺寸放大，得到点云实例样本对应的第一特征信息，该第一特征信息可以理解为包括第一特征信息的特征图，经过上采样网络的放大后，得到与点云实例样本大小相同的特征图。
图6为本发明实施例提供的子网络结构示意图，该子网络包括前景度下采样网络601、实例引导邻域构建网络602、语义引导邻域构建网络603、第一对偶特征提取网络604、第二对偶特征提取网络605和特征拼接网络606。
其中，将各点云实例样本输入到多层子网络中，得到点云实例样本对应的第二特征信息，具体包括：针对每个子网络层执行以下操作：
将点云实例样本输入到前景度下采样网络601中，得到前景特征信息；将前景特征信息输入到实例引导邻域构建网络602中，得到点云实例样本对应的点云实例邻域信息；将前景特征信息输入到语义引导邻域构建网络603中，得到点云实例样本对应的点云语义邻域信息；将点云实例邻域信息和点云语义邻域信息分别输入到第一对偶特征提取网络604和第二对偶特征提取网络605中，得到第三特征信息和第四特征信息；将第三特征信息和第四特征信息输入到特征拼接网络605中，得到第二特征信息。
现有技术中对点云实例分割的主要方法为，对点云图像中的每个点，采用3D空间下的欧式距离来寻找其近邻点，忽视了点云的语义信息和所属实例信息，无论近邻点是否和中心点属于同一语义类别或者同一实例，均将其纳入邻域中，并在之后的特征提取模块部分采用完全统一的方式进行特征提取，这种操作降低了模型的泛化性，使实例分割能力下降，使得最后得到的点云实例分割图的分割精度降低。
为了提高邻域构建的精度，本实施例目的在于将同属一个实例的近邻点的聚集在同一个邻域中，即收集同属一个实例的近邻点的信息，以提高邻域划分。图7为本发明实施例提供的实例引导邻域构建网络602的结构示意图，图7中KNN算法利用虚线连接的向量计算距离生成近邻序号，并用该序号来引用实线连接的向量。
示例的，对输入点云P＝{p1,p2,…,pn}，采用中心位置预测模块σcntr来预测每个点到其所属实例的中心的位置偏移量，并加和得到该点对其所属实例的中心的位置预测：
Δoi＝σcntr([pi,fi])
ci＝pi+Δoi
其中fi表示点pi的特征向量，Δoi表示点pi对其所属实例中心位置偏移量预测，σcntr为中心位置偏移量预测模块，中心位置偏移量预测模块由两层感知器构成，ci表示点pi对其所属实例中心位置预测。在预测到每个点所属实例的中心位置后，对点pi，首先在3D位置空间中寻找k′个近邻构建空间邻域，之后从空间邻域中筛选出k个中心位置预测更相近的点作为实例邻域/>至此完成了实例引导邻域构建网络的构建。
为了使点云中心偏移量预测模块的预测精度更高，本实施例采取中间监督的方案来对该模块进行训练，损失函数可表示为：
代表点i所属实例中心的真实偏移量，/>代表该点的隶属于前景的程度，若属于前景则取1，若属于背景则为0。前景程度预测模块由两层感知器构成，其同样接受中间监督来完成训练，其损失函数由公式表示为：
其中Crossentropy表示交叉熵损失。
现有的点云下采样方式为随机采样和最远点采样。随机采样的特点为每个点均等概率被选中，其优点为计算量小，缺点为随机性大导致模型收敛困难，并且其可能会丢弃某些重要的点从而降低模型性能。最远点采样倾向于收集距离目前已有点集最远的点，其优点在于采样点分布均匀，但在工业场景中，背景点往往占据较大的比例，并且占据更大的空间，在最远点采样这种模式下，前景点往往不易被保留，从而造成前景信息提取不足，进而影响模型性能。
为解决上述问题，本实施例提供一种用于前景度下采样网络601中的点云下采样方法。在每个下采样层中，对点pi，首先将其特征向量fi输入多层感知器，预测其属于前景的程度forei，之后对所有点的前景度进行排序，其中前景度越大的点越容易被保留。如果直接采用这种简单的方法会导致神经网络优化困难，在网络训练初期，神经网络还不具备足够准确判断前景和背景的能力，如果按照此时预测出前景度精确排序，会使得某些实际属于背景的点在下采样中保留下来，从而导致神经网络陷入局部最优解。因此本实施例对排序引入一定的随机性，具体规则如下：
例如此次下采样要从N个点中保留比率α个点，从前景度排名前Nα的点中选取个点，之后从剩余/>个点中用最远点采样的方式选出剩余的/>个点，然后将选取的两部分点进行合并，完成下采样操作。
现有技术中对特征提取模块相关研究较为深入，其中Point Transformer为各个模块中最先进的，Point Transformer的缺点在于仅利用中心点与其邻域点的相异性来生成注意力值。本实施例通过设计不同的分支结构，让模型的不同分支自然学到不同层次的信息，具体的，本实施例结合相似性和相异性设计了对偶特征提取网络，第一对偶特征提取网络604和第二对偶特征提取网络605均包括两种注意力模块(例如分别为第一注意力模块和第二注意力模块)，提升对偶特征提取网络的性能。
其中，第一注意力模块为基于中心点和近邻点相异性生成注意力来聚合信息的模块，第一注意力模块可以参考Point Transformer。其工作原理为，对点pi，首先寻找k个近邻点来构建其邻域之后信息聚合过程可由以下公式表示：
其中，fi diff为基于相异性的特征提取结果，其中kdiff,qdiff,vdiff分别生成点的键向量、查询向量和值向量，其均由单层感知器构成。ρ为聚合运算，采用SoftMax函数，γ为单层感知器，⊙为按位置相乘，δ代表相对位置编码，其具体表示为：
δij＝δ(pi-pj)
其中δ为单层感知器。
第二注意力模块为基于中心点和近邻点相似性生成注意力来聚合信息的模块，其采用夹角余弦的形式来生成，具体公式如下：
其中，fi same为基于相似性的特征提取结果，ksame,qsame,vsame分别为生成点的键向量、查询向量和值向量，均由单层感知器构成。x的作用为生成位置编码，同样由多层感知器构成，中心点pi对近邻点pj的注意力值αij通过内积计算得到。
最终，对经过第一注意力模块和第二注意力模块提取的特征向量进行拼接，得到新的特征向量fi new，具体公式如下，完成特征提取。
fi new＝concat(fi diff,fi same)
其中，本实施的子网络可以理解为多头注意力网络，其语义引导和实例引导两种不同的邻域构建方式，来完成对不同类别信息的提取。语义引导邻域构建网络603的构建方法可以参考DGCNN(Dynamic Graph CNN)的动态特征图，由图6可知，基于语义引导和实例引导的多头注意力模块与传统模块最主要的区别在于,本实施例的子网络认为设定了每个头的作用，并加以相应的引导。多头中的“实例头”(图6上半部分)在构建邻域的时候，更加注重对属于相同实例的近邻点的信息。而“语义头”(图6下半部分)寻找近邻点的条件相对宽松，属于相同语义即可。通过这种方式，上下两头在训练中分别关注不同层次的信息，在特征向量的拼接完成聚合，得到包含丰富信息的新特征向量，使得新特征向量的特征信息更丰富和精确。
S203、根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，对初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
示例的，根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，得到对应的误差损失或者交叉熵损失，确定多个点云实例样本对应的平均损失；并根据平均损失，对初始点云实例分割模型的模型参数进行更新，直至更新后的点云实例分割模型收敛，并将收敛的点云实例分割模型确定为最终训练得到的点云实例分割模型。
可以看出，本发明实施例中，在训练点云实例分割模型训练时，可以先获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；然后将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图；最后根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，对初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。这样通过深度学习使得训练得到的点云实例分割模型，可以获取到效果较好的点云实例分割图，从而提高了点云实例图像分割的精度。
图8为本发明实施例提供的一种点云实例分割方法流程示意图，该点云实例分割方法可以由软件和/或硬件装置执行。示例的，该硬件装置可以为手机、嵌入式设备，或者个人电脑、或者服务器等设备。
如图8所示，该点云实例分割方法包括：
S801、获取待分割的点云实例图像。
示例的，在获取待分割的点云实例图像时，可以接收其他电子设备发送的待分割的点云实例图像；也可以从本地存储中查找待分割的点云实例图像；当然，也可以从第三方数据库中获取待分割的点云实例图像，具体可以根据实际需要进行设置，在此，本发明实施例只是以这三种方式获取待分割的点云实例图像为例进行说明，但并不代表本申请实施例仅局限于此。
S802、将待分割的点云实例图像输入到点云实例分割模型中，得到待分割的点云实例图像对应的点云实例分割图；其中，点云实例分割模型为上述实施例所示的点云实例分割模型。
示例的，点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络。将待分割的点云实例图像输入到点云实例分割模型中，得到待分割的点云实例图像对应的点云实例分割图时，可以先将待分割的点云实例图像输入到主干网络中，得到待分割的点云实例图像对应的第一特征信息；将待分割的点云实例图像对应的第一特征信息输入到语义分割网络和中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；将待分割的点云实例图像对应的第一语义特征信息和第一中心偏移量信息输入到聚类网络中，得到点云实例分割图。
示例的，主干网络包括多层子网络和上采样网络；将待分割的点云实例图像输入到主干网络中，得到待分割的点云实例图像对应的第一特征信息，包括：
将待分割的点云实例图像输入到多层子网络中，得到点云实例样本对应的第二特征信息；将待分割的点云实例图像对应的第二特征信息输入到上采样网络中，得到待分割的点云实例图像对应的第一特征信息。
示例的，子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络。将待分割的点云实例图像输入到多层子网络中，得到待分割的点云实例图像对应的第二特征信息，包括：针对每个子网络层执行以下操作：
将待分割的点云实例图像输入到前景度下采样网络中，得到前景特征信息；将前景特征信息输入到实例引导邻域构建网络中，得到所待分割的点云实例图像对应的点云实例邻域信息；将前景特征信息输入到语义引导邻域构建网络中，得到待分割的点云实例图像对应的点云语义邻域信息；将点云实例邻域信息和点云语义邻域信息分别输入到第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；将第三特征信息和第四特征信息输入到特征拼接网络中，得到待分割的点云实例图像对应的第二特征信息。
示例的，下采样要从N个点中保留比率α个点，从前景度排名前Nα的点中选取个点，之后从剩余/>个点中用最远点采样的方式选出剩余的/>个点，然后将选取的两部分点进行合并，完成下采样操作。
示例的，可参见图1所示，图1为采用本实施例提供的一种点云实例分割模型对待分割的点云实例图像进行实例分割，得到的点云实例分割预测图，从图1可以看出，采用本实施例的点云实例分割模型可以得到精度较高的点云实例分割预测图。
下面对本发明提供的点云实例分割模型训练装置和点云实例分割装置进行描述，下文描述的点云实例分割模型训练装置与上文描述的点云实例分割模型训练方法可相互对应参照，点云实例分割装置与上文描述的点云实例分割方法可相互对应参照。
图9为本发明实施例提供的点云实例分割模型训练装置的结构示意图，示例的，请参见图9所示，该点云实例分割模型训练装置90可以包括：
第一获取单元901，用于获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图。
第一处理单元902，用于将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图。
更新单元903，用于根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，对初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
可选地，初始点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络；第一处理单元902，具体用于针对各点云实例样本执行以下处理：
将各点云实例样本输入到主干网络中，得到点云实例样本对应的第一特征信息；将点云实例样本对应的第一特征信息输入到语义分割网络和中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；将点云实例样本对应的第一语义特征信息和第一中心偏移量信息输入到聚类网络中，得到点云实例分割预测图。
可选地，主干网络包括多层子网络和上采样网络；第一处理单元902，具体用于将各点云实例样本输入到多层子网络中，得到点云实例样本对应的第二特征信息；将点云实例样本对应的第二特征信息输入到上采样网络中，得到点云实例样本对应的第一特征信息。
可选地，子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络；第一处理单元902，具体用于针对每个子网络层执行以下操作：
将点云实例样本输入到前景度下采样网络中，得到前景特征信息；将前景特征信息输入到实例引导邻域构建网络中，得到点云实例样本对应的点云实例邻域信息；将前景特征信息输入到语义引导邻域构建网络中，得到点云实例样本对应的点云语义邻域信息；将点云实例邻域信息和点云语义邻域信息分别输入到第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；将第三特征信息和第四特征信息输入到特征拼接网络中，得到第二特征信息。
可选地，第一处理单元902，具体用于要从N个点中保留比率α个点时，先从前景度排名前Nα的点中选取个点，之后从剩余/>个点中用最远点采样的方式选出剩余的/>个点，然后将选取的两部分点进行合并，完成下采样操作。
本发明实施例提供的点云实例分割模型训练装置90，可以执行上述任一实施例中点云实例分割模型训练方法的技术方案，其实现原理以及有益效果与点云实例分割模型训练方法的实现原理及有益效果类似，可参见点云实例分割模型训练方法的实现原理及有益效果，此处不再进行赘述。
图10为本发明实施例提供的点云实例分割装置结构示意图，示例的，请参见图10所示，该点云实例分割装置100可以包括：
第二获取单元1001，用于获取待分割的点云实例图像。
第二处理单元1002，用于将待分割的点云实例图像输入到点云实例分割模型中，得到待分割的点云实例图像对应的点云实例分割图；其中，点云实例分割模型为上述实施例所示的点云实例分割模型。
可选的，点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络。第二处理单元1002，具体用于将待分割的点云实例图像输入到主干网络中，得到待分割的点云实例图像对应的第一特征信息；将待分割的点云实例图像对应的第一特征信息输入到语义分割网络和中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；将待分割的点云实例图像对应的第一语义特征信息和第一中心偏移量信息输入到聚类网络中，得到点云实例分割图。
可选的，主干网络包括多层子网络和上采样网络；第二处理单元1002，具体用于将待分割的点云实例图像输入到多层子网络中，得到点云实例样本对应的第二特征信息；将待分割的点云实例图像对应的第二特征信息输入到上采样网络中，得到待分割的点云实例图像对应的第一特征信息。
可选的，子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络。第二处理单元1002，具体用于针对每个子网络层执行以下操作：
将待分割的点云实例图像输入到前景度下采样网络中，得到前景特征信息；将前景特征信息输入到实例引导邻域构建网络中，得到所待分割的点云实例图像对应的点云实例邻域信息；将前景特征信息输入到语义引导邻域构建网络中，得到待分割的点云实例图像对应的点云语义邻域信息；将点云实例邻域信息和点云语义邻域信息分别输入到第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；将第三特征信息和第四特征信息输入到特征拼接网络中，得到待分割的点云实例图像对应的第二特征信息。
可选的，第二处理单元1002，具体用于要从N个点中保留比率α个点时，从前景度排名前Nα的点中选取个点，之后从剩余/>个点中用最远点采样的方式选出剩余的/>个点，然后将选取的两部分点进行合并，完成下采样操作。
本发明实施例提供的点云实例分割装置100，可以执行上述任一实施例中点云实例分割方法的技术方案，其实现原理以及有益效果与点云实例分割方法的实现原理及有益效果类似，可参见点云实例分割方法的实现原理及有益效果，此处不再进行赘述。
图11为本发明实施例提供的一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行点云实例分割模型训练方法方法，或者点云实例分割方法。
其中，点云实例分割模型训练方法可以包括：获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图；根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，对初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
其中，点云实例分割方法可以包括：获取待分割的点云实例图像；将待分割的点云实例图像输入到点云实例分割模型中，得到待分割的点云实例图像对应的点云实例分割图；其中，点云实例分割模型为上述实施例提供的点云实例分割模型。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的点云实例分割模型训练方法方法，或者点云实例分割方法。
其中，点云实例分割模型训练方法可以包括：获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；将多个点云实例样本输入到初始点云实例分割模型中，得到各点云实例样本对应的点云实例分割预测图；根据各点云实例样本对应的点云实例分割图和点云实例分割预测图，对初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
其中，点云实例分割方法可以包括：获取待分割的点云实例图像；将待分割的点云实例图像输入到点云实例分割模型中，得到待分割的点云实例图像对应的点云实例分割图；其中，点云实例分割模型为上述实施例提供的点云实例分割模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种点云实例分割模型训练方法，其特征在于，初始点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络，所述主干网络包括多层子网络和上采样网络，每个子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络；所述方法包括：
获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；
针对各点云实例样本执行以下处理：
针对每个子网络层执行以下操作：将所述点云实例样本输入到所述前景度下采样网络中，得到前景特征信息；将所述前景特征信息输入到所述实例引导邻域构建网络中，得到所述点云实例样本对应的点云实例邻域信息；将所述前景特征信息输入到所述语义引导邻域构建网络中，得到所述点云实例样本对应的点云语义邻域信息；将所述点云实例邻域信息和点云语义邻域信息分别输入到所述第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；将所述第三特征信息和第四特征信息输入到所述特征拼接网络中，得到所述点云实例样本对应的第二特征信息；
将所述第二特征信息输入到所述上采样网络中，得到所述点云实例样本对应的第一特征信息；
将所述第一特征信息输入到所述语义分割网络和所述中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；
将所述第一语义特征信息和第一中心偏移量信息输入到所述聚类网络中，得到所述点云实例样本对应的点云实例分割预测图；
根据所述各点云实例样本对应的点云实例分割图和点云实例分割预测图，对所述初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
2.一种点云实例分割方法，其特征在于，点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络，所述主干网络包括多层子网络和上采样网络，每个子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络；所述方法包括：
获取待分割的点云实例图像；
将所述待分割的点云实例图像输入到所述前景度下采样网络中，得到前景特征信息；将所述前景特征信息输入到所述实例引导邻域构建网络中，得到所述待分割的点云实例图像对应的点云实例邻域信息；将所述前景特征信息输入到所述语义引导邻域构建网络中，得到所述待分割的点云实例图像对应的点云语义邻域信息；将所述点云实例邻域信息和点云语义邻域信息分别输入到所述第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；将所述第三特征信息和第四特征信息输入到所述特征拼接网络中，得到所述待分割的点云实例图像对应的第二特征信息；
将所述第二特征信息输入到所述上采样网络中，得到所述待分割的点云实例图像对应的第一特征信息；
将所述第一特征信息输入到所述语义分割网络和所述中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；
将所述第一语义特征信息和第一中心偏移量信息输入到所述聚类网络中，得到所述待分割的点云实例图像对应的点云实例分割图。
3.一种点云实例分割模型训练装置，其特征在于，初始点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络，所述主干网络包括多层子网络和上采样网络，每个子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络；所述装置包括：
第一获取单元，用于获取多个点云实例样本，以及各点云实例样本对应的点云实例分割图；
第一处理单元，用于针对各点云实例样本执行以下处理：针对每个子网络层执行以下操作：将所述点云实例样本输入到所述前景度下采样网络中，得到前景特征信息；将所述前景特征信息输入到所述实例引导邻域构建网络中，得到所述点云实例样本对应的点云实例邻域信息；将所述前景特征信息输入到所述语义引导邻域构建网络中，得到所述点云实例样本对应的点云语义邻域信息；将所述点云实例邻域信息和点云语义邻域信息分别输入到所述第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；将所述第三特征信息和第四特征信息输入到所述特征拼接网络中，得到所述点云实例样本对应的第二特征信息；将所述第二特征信息输入到所述上采样网络中，得到所述点云实例样本对应的第一特征信息；将所述第一特征信息输入到所述语义分割网络和所述中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；将所述第一语义特征信息和第一中心偏移量信息输入到所述聚类网络中，得到所述各点云实例样本对应的点云实例分割预测图；
更新单元，用于根据所述各点云实例样本对应的点云实例分割图和点云实例分割预测图，对所述初始点云实例分割模型的模型参数进行更新，以得到训练后的点云实例分割模型。
4.一种点云实例分割装置，其特征在于，点云实例分割模型包括主干网络、语义分割网络、中心偏移量回归网络和聚类网络，所述主干网络包括多层子网络和上采样网络，每个子网络包括前景度下采样网络、实例引导邻域构建网络、语义引导邻域构建网络、第一对偶特征提取网络、第二对偶特征提取网络和特征拼接网络；所述装置包括：
第二获取单元，用于获取待分割的点云实例图像；
第二处理单元，用于将所述待分割的点云实例图像输入到所述前景度下采样网络中，得到前景特征信息；将所述前景特征信息输入到所述实例引导邻域构建网络中，得到所述待分割的点云实例图像对应的点云实例邻域信息；将所述前景特征信息输入到所述语义引导邻域构建网络中，得到所述待分割的点云实例图像对应的点云语义邻域信息；将所述点云实例邻域信息和点云语义邻域信息分别输入到所述第一对偶特征提取网络和第二对偶特征提取网络中，得到第三特征信息和第四特征信息；将所述第三特征信息和第四特征信息输入到所述特征拼接网络中，得到所述待分割的点云实例图像对应的第二特征信息；将所述第二特征信息输入到所述上采样网络中，得到所述待分割的点云实例图像对应的第一特征信息；将所述第一特征信息输入到所述语义分割网络和所述中心偏移量回归网络中，分别得到对应的第一语义特征信息和第一中心偏移量信息；将所述第一语义特征信息和第一中心偏移量信息输入到所述聚类网络中，得到所述待分割的点云实例图像对应的点云实例分割图。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述点云实例分割模型训练方法；或者实现如权利要求2所述的点云实例分割方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述点云实例分割模型训练方法；或者实现如权利要求2所述的点云实例分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310118228.XA CN116109650B (zh) | 2023-02-01 | 2023-02-01 | 点云实例分割模型训练方法和训练装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310118228.XA CN116109650B (zh) | 2023-02-01 | 2023-02-01 | 点云实例分割模型训练方法和训练装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116109650A CN116109650A (zh) | 2023-05-12 |
| CN116109650B true CN116109650B (zh) | 2024-02-13 |
Family
ID=86257823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310118228.XA Active CN116109650B (zh) | 2023-02-01 | 2023-02-01 | 点云实例分割模型训练方法和训练装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109650B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN114648676A (zh) * | 2022-03-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 点云处理模型的训练和点云实例分割方法及装置 |
| WO2022165739A1 (zh) * | 2021-02-05 | 2022-08-11 | 广东工业大学 | 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置 |
| CN115223067A (zh) * | 2022-09-19 | 2022-10-21 | 季华实验室 | 应用于无人机的点云融合方法、装置、设备及存储介质 |
-
2023
- 2023-02-01 CN CN202310118228.XA patent/CN116109650B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
| WO2022165739A1 (zh) * | 2021-02-05 | 2022-08-11 | 广东工业大学 | 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN114648676A (zh) * | 2022-03-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 点云处理模型的训练和点云实例分割方法及装置 |
| CN115223067A (zh) * | 2022-09-19 | 2022-10-21 | 季华实验室 | 应用于无人机的点云融合方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| "Large-scale 3D Point Cloud Semantic Segmentation with 3D U-Net ASPP Sparse CNN";Naufal Muhammad Hirzi etc.;《2022 7th International Workshop on Big Data and Information Security 》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116109650A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108132968B (zh) | 网络文本与图像中关联语义基元的弱监督学习方法 | |
| CN111382868B (zh) | 神经网络结构搜索方法和神经网络结构搜索装置 | |
| CN107885778B (zh) | 一种基于动态临近点谱聚类的个性化推荐方法 | |
| WO2021218517A1 (zh) | 获取神经网络模型的方法、图像处理方法及装置 | |
| CN107437100A (zh) | 一种基于跨模态关联学习的图像位置预测方法 | |
| CN111930894B (zh) | 长文本匹配方法及装置、存储介质、电子设备 | |
| CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
| CN114283316A (zh) | 一种图像识别方法、装置、电子设备和存储介质 | |
| WO2022252455A1 (en) | Methods and systems for training graph neural network using supervised contrastive learning | |
| CN114298122B (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| CN113806582B (zh) | 图像检索方法、装置、电子设备和存储介质 | |
| CN113706581A (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
| WO2023125628A1 (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN112084895A (zh) | 一种基于深度学习的行人重识别方法 | |
| CN113343100B (zh) | 一种基于知识图谱的智慧城市资源推荐方法和系统 | |
| CN114358250A (zh) | 数据处理方法、装置、计算机设备、介质及程序产品 | |
| CN112214677B (zh) | 一种兴趣点推荐方法、装置、电子设备及存储介质 | |
| CN113255604A (zh) | 基于深度学习网络的行人重识别方法、装置、设备及介质 | |
| CN116109650B (zh) | 点云实例分割模型训练方法和训练装置 | |
| CN116977265A (zh) | 缺陷检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN116109649A (zh) | 一种基于语义错误修正的3d点云实例分割方法 | |
| CN116993374A (zh) | 基于深度神经网络的模型优化方法、装置、设备及介质 | |
| CN115131058A (zh) | 账号识别方法、装置、设备及存储介质 | |
| CN115019342A (zh) | 一种基于类关系推理的濒危动物目标检测方法 | |
| CN114637855A (zh) | 基于知识图谱的搜索方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |