CN114913330A - 点云部件分割方法、装置、电子设备与存储介质 - Google Patents

点云部件分割方法、装置、电子设备与存储介质 Download PDF

Info

Publication number
CN114913330A
CN114913330A CN202210839039.7A CN202210839039A CN114913330A CN 114913330 A CN114913330 A CN 114913330A CN 202210839039 A CN202210839039 A CN 202210839039A CN 114913330 A CN114913330 A CN 114913330A
Authority
CN
China
Prior art keywords
point cloud
point
segmentation
component
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210839039.7A
Other languages
English (en)
Other versions
CN114913330B (zh
Inventor
王金桥
赵朝阳
陶满礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Objecteye Beijing Technology Co Ltd
Original Assignee
Objecteye Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Objecteye Beijing Technology Co Ltd filed Critical Objecteye Beijing Technology Co Ltd
Priority to CN202210839039.7A priority Critical patent/CN114913330B/zh
Publication of CN114913330A publication Critical patent/CN114913330A/zh
Application granted granted Critical
Publication of CN114913330B publication Critical patent/CN114913330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

本发明涉及计算机技术领域，提供一种点云部件分割方法、装置、电子设备与存储介质，该方法包括：确定目标对象的目标点云；基于分割模型，对目标点云进行部件分割，得到目标点云的部件分割结果；分割模型基于样本点云以及样本点云对应的样本部件分割结果训练得到，分割模型基于第一点云中各个点的多尺度融合特征，预测各个点所属的部件类别，并基于各个点所属的部件类别确定部件分割结果，第一点云是基于目标点云构建的第一特征尺度下的点云。本发明提供的方法、装置、电子设备与存储介质，实现端到端的点云部件级分割，并通过对全局特征关系的建模，增强了点云特征的表达能力，进而提升点云部件分割精度。

Description

点云部件分割方法、装置、电子设备与存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种点云部件分割方法、装置、电子设备与存储介质。
背景技术
随着3D（Three-dimensional，三维）采集技术的迅速发展，涌现了许多廉价的3D扫描仪、LiDAR和RGB-D（RGB-Depth，红绿蓝-深度）相机，极大降低了3D点云数据的获取难度和成本。同时，促进了3D点云在自动驾驶、机器人、工业自动化和AR（Augmented Reality，增强现实）等许多领域的广泛应用。基于3D点云数据的目标检测、分类、识别是解决3D场景理解的主要技术，而3D点云分割是这些技术的基础，具有重要研究价值和意义。
3D点云分割可细分为3D语义分割和部件级分割两部分，前者是区分场景中的点所属的不同物体类别，后者是针对同一个物体内的点云，将其划分成不同的组成部分。然而，由于点云数据固有的稀疏性，使其无法像图像数据一样提供丰富的语义信息，进而不利于目标点云的部件级分割。因此，如何对目标点云进行准确的部件级分割仍然是点云分割领域亟待解决的重要课题。
发明内容
本发明提供一种点云部件分割方法、装置、电子设备与存储介质，用以解决现有技术中无法实现对目标点云进行准确的部件级分割的缺陷。
本发明提供一种点云部件分割方法，包括：
确定目标对象的目标点云；
基于分割模型，对所述目标点云进行部件分割，得到所述目标点云的部件分割结果；
所述分割模型基于样本点云以及所述样本点云对应的样本部件分割结果训练得到，所述分割模型基于第一点云中各个点的多尺度融合特征，预测所述各个点所属的部件类别，并基于所述各个点所属的部件类别确定所述部件分割结果，所述第一点云是基于所述目标点云构建的第一特征尺度下的点云。
根据本发明提供的一种点云部件分割方法，所述第一点云中各个点的多尺度融合特征基于如下步骤确定：
基于所述第一点云中各个点的点云特征，确定所述第一点云的整体特征；
将所述各个点的点云特征与所述整体特征进行融合，得到所述各个点的多尺度融合特征。
根据本发明提供的一种点云部件分割方法，所述第一点云中任一点的点云特征基于所述第一点云中任一点的全局特征，以及第二点云中与所述第一点云中任一点距离最近的点的点云特征确定；
所述第二点云是对所述第一点云进行下采样得到的第二特征尺度下的点云。
根据本发明提供的一种点云部件分割方法，所述第二点云中任一点的点云特征基于所述第二点云中任一点的全局特征，以及第三点云中与所述第二点云中任一点距离最近的点的全局特征确定；
所述第三点云是对所述第二点云进行下采样得到的第三特征尺度下的点云。
根据本发明提供的一种点云部件分割方法，所述第一点云中任一点的全局特征基于如下步骤确定：
基于所述第一点云中各个点的局部特征，确定所述第一点云中任一点与所述各个点之间的特征相似度；
基于所述第一点云中任一点与所述各个点之间的特征相似度，确定所述第一点云中任一点的全局特征。
根据本发明提供的一种点云部件分割方法，所述基于所述第一点云中各个点的局部特征，确定所述第一点云中任一点与所述各个点之间的特征相似度，包括：
对所述第一点云中所述各个点的局部特征进行特征变换，得到所述各个点对应的变换特征；
基于所述任一点与所述各个点分别对应的变换特征，确定所述任一点与所述各个点之间的特征相似度。
根据本发明提供的一种点云部件分割方法，所述第一点云中各个点的局部特征基于如下步骤确定：
确定所述第一点云中各个点的局部邻域，所述局部邻域由与所述各个点距离最近的预设数量个点组成；
基于所述各个点的局部邻域，确定所述各个点的局部特征。
本发明还提供一种点云部件分割装置，包括：
点云确定单元，用于确定目标对象的目标点云；
部件分割单元，用于基于分割模型，对所述目标点云进行部件分割，得到所述目标点云的部件分割结果；
所述分割模型基于样本点云以及所述样本点云对应的样本部件分割结果训练得到，所述分割模型基于第一点云中各个点的多尺度融合特征，预测所述各个点所属的部件类别，并基于所述各个点所属的部件类别确定所述部件分割结果，所述第一点云是基于所述目标点云构建的第一特征尺度下的点云。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述点云部件分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述点云部件分割方法。
本发明提供的点云部件分割方法、装置、电子设备与存储介质，通过分割模型对输入的目标点云进行部件分割，从而实现端到端的点云部件级分割，并且，通过采样得到第一特征尺度下的第一点云，提取第一点云中各个点的多尺度融合特征，基于此预测各个点所属的部件类别，并得到部件分割结果，从而通过对全局特征关系的建模，增强了点云特征的表达能力，进而提升点云部件分割精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的点云部件分割方法的流程示意图；
图2是本发明提供的目标点云的部件分割结果的示例图；
图3是本发明提供的不同特征尺度点云构建的流程示意图；
图4是本发明提供的不同特征尺度点云的全局特征提取的流程示意图；
图5是本发明提供的不同尺度特征融合的流程示意图；
图6是本发明提供的点所属部件类别预测的流程示意图；
图7是本发明提供的点云部件分割装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于点云数据固有的稀疏性，使其无法像图像数据一样提供丰富的语义信息，进而不利于目标点云的部件级分割。因此，如何有效的提取点云的语义信息是完成部件级分割任务的关键。现有技术在提取点云的语义信息时，仅通过邻域构建来捕获每个点的局部特征，然后通过逐级的特征变换和最大值池化来增加感受野的范围。然而，此种方式仅刻画了邻域点之间的关系，所提取的特征中局部信息占主导，并且感受野范围受限，无法对长距离的点对关系进行建模，不利于全局特征的充分利用，从而导致点云的部件分割精度较低。
针对上述问题，本发明提供一种点云部件分割方法。图1是本发明提供的点云部件分割方法的流程示意图，如图1所示，该方法包括：
步骤110，确定目标对象的目标点云。
此处，目标对象即需要进行点云部件分割的对象，例如可以是飞机、桌子、椅子等，本发明实施例对此不作具体限定。在确定了目标对象之后，可以利用3D传感器、点云相机等点云采集设备获取目标对象的3D点云数据，即目标点云。
步骤120，基于分割模型，对目标点云进行部件分割，得到目标点云的部件分割结果；
分割模型基于样本点云以及样本点云对应的样本部件分割结果训练得到，分割模型基于第一点云中各个点的多尺度融合特征，预测各个点所属的部件类别，并基于各个点所属的部件类别确定部件分割结果，第一点云是基于目标点云构建的第一特征尺度下的点云。
具体地，在获取到目标点云之后，将目标点云输入至训练好的分割模型，由分割模型对输入的目标点云进行部件分割，并输出目标点云的部件分割结果，从而可以实现端到端的点云部件分割。图2是本发明提供的目标点云的部件分割结果的示例图，以目标对象为飞机为例，如图2所示，左边部分所展示的是输入的目标点云，右边部分所展示的是输出的部件分割结果，将飞机的目标点云输入到分割模型中，可以实现将目标点云分割出飞机的各个部件的点云数据，此处的部件可以是机翼、尾翼、机身等。
考虑到现有技术在提取点云的语义信息时，对全局特征关系的建模能力不足，全局特征描述性能弱，导致点云的部件分割精度较低，针对这一问题，本发明实施例中分割模型在目标点云进行部件分割时，可以首先根据目标点云构建第一点云，再对第一点云中各个点进行多尺度特征提取及融合，得到第一点云中各个点的多尺度融合特征，此处的多尺度融合特征既包含全局特征又包含局部特征，在此基础上，根据第一点云中各个点的多尺度融合特征，预测各个点所属的部件类别，再根据各个点所属的部件类别进行部件分割，得到目标点云的部件分割结果。
需要说明的是，通过对全局特征关系的建模，实现扩大感受野的范围，并融合局部特征，得到第一点云中各个点的多尺度融合特征，从而可以实现增强点云特征的表达能力，提供丰富的语义信息，基于此进行点云的部件分割，从而可以提升点云的部件分割精度。
此处，第一点云可以是直接由目标点云进行下采样得到的，也可以是对目标点云进行逐级下采样得到多个特征尺度的点云，再从多个特征尺度的点云中选取得到的，本发明实施例对此不作具体限定。可选地，具体的采样方式可以应用FPS（Farthest PointSampling，最远点采样法）。
另外，在执行步骤120之前，还需要预先训练得到分割模型：首先，收集大量样本点云，并标注得到样本点云对应的样本部件分割结果，随即，应用样本点云以及样本点云对应的样本部件分割结果，对初始模型进行训练，从而得到分割模型。此处，本发明实施例对于初始模型的网络结构不作具体限定。
本发明实施例提供的方法，通过分割模型对输入的目标点云进行部件分割，从而实现端到端的点云部件级分割，并且，通过采样得到第一特征尺度下的第一点云，提取第一点云中各个点的多尺度融合特征，基于此预测各个点所属的部件类别，并得到部件分割结果，从而通过对全局特征关系的建模，增强了点云特征的表达能力，进而提升点云部件分割精度。
基于上述任一实施例，第一点云中各个点的多尺度融合特征基于如下步骤确定：
基于第一点云中各个点的点云特征，确定第一点云的整体特征；
将各个点的点云特征与整体特征进行融合，得到各个点的多尺度融合特征。
具体地，可以通过特征提取得到第一点云中各个点的点云特征，再对第一点云中各个点的点云特征进行最大值池化，得到第一点云的整体特征，再将各个点的点云特征与该整体特征进行融合，得到各个点的多尺度融合特征，再根据各个点的多尺度融合特征进行部件类别的预测，从而得到各个点所属的部件类别。
进一步地，可以利用多层感知机MLP，根据各个点的多尺度融合特征进行部件类别的预测，得到各个点对应的部件类别分数，并基于此确定各个点所属的部件类别。
基于上述任一实施例，第一点云中任一点的点云特征基于第一点云中任一点的全局特征，以及第二点云中与第一点云中该点距离最近的点的点云特征确定；
第二点云是对第一点云进行下采样得到的第二特征尺度下的点云。
具体地，考虑到点云低级特征包含了物体的局部几何结构，高级特征则是对目标整体形状的编码，而现有技术在提取点云的语义信息时，未能全面融合不同级别的特征，导致点云的部件分割精度较差。
针对这一问题，本发明实施例根据第一点云中任一点的全局特征，以及第二点云中与该点距离最近的点的点云特征进行特征融合，并将融合后的特征作为第一点云中该点的点云特征，由此即可得到第一点云中各个点的点云特征，从而实现了各个点的点云特征兼顾低级别和高级别特征，增强了点云特征的表达能力，进而提升了点云部件分割精度。此处，第二点云是对第一点云进行下采样得到的第二特征尺度下的点云。
在得到第一点云中各个点的点云特征之后，即可与第一点云的整体特征进行融合，得到各个点的多尺度融合特征，再根据各个点的多尺度融合特征，预测各个点所属的部件类别。
基于上述任一实施例，第二点云中任一点的点云特征基于第二点云中该点的全局特征，以及第三点云中与第二点云中该点距离最近的点的全局特征确定；
第三点云是对第二点云进行下采样得到的第三特征尺度下的点云。
具体地，为了融合更多级别的特征，进一步增强点云特征的表达能力，提升点云部件分割精度，本发明实施例中第二点云中任一点的点云特征可以根据第二点云中该点的全局特征，以及第三点云中与该点距离最近的点的全局特征确定，此处的第三点云是对第二点云进行下采样得到。重复上述步骤，即可得到第二点云中各个点的点云特征，并用于后续获取第一点云中各个点的点云特征的第三特征尺度下的点云。
进一步地，可以对目标点云进行逐级下采样，得到特征尺度分为为
Figure 832875DEST_PATH_IMAGE001
对应的点云。在得到不同特征尺度点云中各个点的全局特征之后，可 以基于U-Net网络对不同尺度特征进行插值，保证所选取的每个点的特征兼具低级别和高 级别的特征信息，进而提升下游部件分割任务的性能。最后，利用多层感知机（MLP）对上述 所选取的每个点的特征作进一步的融合，最终得到每个点的点云特征，从而实现增强点云 特征的表达能力，进而提升点云部件分割精度。
本发明实施例将
Figure 191175DEST_PATH_IMAGE002
作为第一特征尺度，
Figure 601428DEST_PATH_IMAGE003
作为第二特征尺度，
Figure 121402DEST_PATH_IMAGE004
作为第三 特征尺度，即利用最后三个特征尺度对应的点云特征进行融合，从而进一步提升点云部件 分割精度。具体过程可以是，先进行
Figure 981386DEST_PATH_IMAGE005
尺度特征的融合，对于
Figure 143377DEST_PATH_IMAGE006
尺度下点云（即 第二点云）中任一点
Figure 408137DEST_PATH_IMAGE007
，查找该点在
Figure 630170DEST_PATH_IMAGE008
尺度下点云（即第三点云）中距离最近的点
Figure 980380DEST_PATH_IMAGE009
，通过MLP对这两个点的全局特征
Figure 414904DEST_PATH_IMAGE010
和
Figure 534170DEST_PATH_IMAGE011
进行融合，由此得到点
Figure 927105DEST_PATH_IMAGE007
的 点云特征
Figure 755822DEST_PATH_IMAGE012
，最终得到第二点云中各个点的点云特征。
再进行
Figure 259615DEST_PATH_IMAGE013
尺度特征的融合，对于
Figure 233388DEST_PATH_IMAGE014
尺度下点云（即第一点云）中任 一点
Figure 531645DEST_PATH_IMAGE015
，查找该点在
Figure 856447DEST_PATH_IMAGE016
尺度下点云中距离最近的点
Figure 898352DEST_PATH_IMAGE017
，通过MLP对点
Figure 992210DEST_PATH_IMAGE018
的全局特征
Figure 726948DEST_PATH_IMAGE019
和点
Figure 270537DEST_PATH_IMAGE020
的点云特征
Figure 381713DEST_PATH_IMAGE021
进行融合，由此得到点
Figure 330077DEST_PATH_IMAGE022
的点云特征，最终得到第一点云中各个点的点云特征。
基于上述实施例，第一点云中任一点的全局特征基于如下步骤确定：
基于第一点云中各个点的局部特征，确定第一点云中该点与各个点之间的特征相似度；
基于第一点云中该点与各个点之间的特征相似度，确定该点的全局特征。
具体地，对于第一点云中任一点的全局特征，可以通过如下方式提取得到：首先，获取第一点云中各个点的局部特征，并根据第一点云中该点的局部特征与各个点的局部特征，确定第一点云中该点与各个点之间的特征相似度，此处的特征相似度可以表征对应的两个点之间在语义信息上的相似度；随即，根据第一点云中该点与各个点之间的特征相似度，以及该点的局部特征，即可实现对全局特征关系的建模，得到该点的全局特征。
通过此种方式，即可获取第一点云中所有点的全局特征，同时实现在第一特征尺度下点云中每个点的局部特征和全局特征的融合。
基于上述任一实施例，基于第一点云中各个点的局部特征，确定第一点云中该点与各个点之间的特征相似度，包括：
对第一点云中各个点的局部特征进行特征变换，得到各个点对应的变换特征；
基于该点与各个点分别对应的变换特征，确定该点与各个点之间的特征相似度。
具体地，对于第一点云，在获取局部特征的基础上，可以通过自注意力机制，对更大感受野的点对关系进行建模，提取全局特征，具体过程可以是，在得到第一点云中各个点的局部特征之后，先通过例如MLP（Multilayer Perceptron，多层感知机）等特征变换算法，对第一点云中各个点的局部特征进行特征变换，从而得到第一点云中各个点对应的变换特征，再计算第一点云中该点对应的变换特征与各个点对应的变换特征之间的相似度，并将其作为第一点云中该点与各个点之间的特征相似度，最后，基于得到的特征相似度提取该点的全局特征。
需要说明的是，通过自注意力机制对各个点的全局特征关系建模，以使各个点不再局限于与邻域点之间的交互，而是与所在点云全局中所有点进行交互，实现扩大感受野的范围，从而有效提取各个点的全局特征，全局特征能够表征各个点与所在点云全局的语义关系，基于此进行点云的部件分割，从而可以提升点云的部件分割精度。
基于上述任一实施例，第一点云中各个点的局部特征基于如下步骤确定：
确定第一点云中各个点的局部邻域，局部邻域由与各个点距离最近的预设数量K个点组成；
基于各个点的局部邻域，确定各个点的局部特征。
具体地，可以首先构建第一点云中各个点的局部邻域，局部邻域由与各个点距离 最近的K个点组成，再根据各个点的局部邻域，获取能够表征各个点的局部语义信息的局部 特征。进一步地，可以通过KNN（K-Nearest Neighbor，K最邻近）算法构建第一点云中各个点 的局部邻域，具体过程可以是，对于第一点云中任意一点
Figure 235716DEST_PATH_IMAGE023
，计算该点与其他所有点的距 离，并按照距离升序进行排序，选择距离最近的
Figure 128586DEST_PATH_IMAGE024
个点构建该点的局部邻域
Figure 512294DEST_PATH_IMAGE025
。随即，基 于此局部邻域，使用GCN（Graph Convolutional Networks，图卷积神经网络）结合最大值池 化的方式获取第一点云中该点的局部特征
Figure 721690DEST_PATH_IMAGE026
，具体可以表示为：
Figure 657285DEST_PATH_IMAGE027
其中，
Figure 322271DEST_PATH_IMAGE028
表示最大值池化。
基于上述任一实施例，现有的技术在提取点云特征时仅通过邻域构建来捕获每个点的局部特征，然后通过逐级的特征变换和最大值池化来增加感受野的范围。这种方式存在如下技术问题：1、仅刻画了邻域点之间的关系，所提取的特征中局部信息占主导；2、感受野范围受限，无法对长距离的点对关系进行建模，不利于全局特征的充分利用；3、未能全面融合不同级别的特征，点云低级特征包含了物体的局部几何结构，高级特征则是对目标整体形状的编码，因此对不同级别特征的有效融合，也是处理点云部件分割任务的关键。
对此，本发明提出了一种基于自注意力机制的点云部件分割方法。将完整的目标点云输入至训练好的分割模型，即可得到分割模型输出的目标点云的部件分割结果，具体的实现流程包括以下步骤：
步骤1：不同特征尺度的点云构建：
根据目标对象的目标点云
Figure 509670DEST_PATH_IMAGE029
，选定描述目标对象的多级特征尺度，利用最远点采 样方法获取不同特征尺度对应的点云。
图3是本发明提供的不同特征尺度点云构建的流程示意图，如图3所示，首先，获取 特征尺度为
Figure 291681DEST_PATH_IMAGE030
的点云数据，其输入点云（即图中的待下采样的点云）是原始的目标点云
Figure 539123DEST_PATH_IMAGE031
，其中，
Figure 547530DEST_PATH_IMAGE032
是每个点的三维坐标，根据FPS最远点采样法得到候选点集合
Figure 538620DEST_PATH_IMAGE033
，以此候选点集合中的点作为特征尺度为
Figure 316083DEST_PATH_IMAGE034
对应的点云。然后， 对于特征尺度为
Figure 468847DEST_PATH_IMAGE035
的候选点集合构建，其输入点云是特征尺度为
Figure 698971DEST_PATH_IMAGE036
所对应的点云，根据FPS 得到特征尺度为
Figure 490822DEST_PATH_IMAGE037
对应的点云，依次重复该过程，直至完成所有特征尺度对应的点云构建。
步骤2：点局部邻域构建及局部特征提取，并基于自注意力机制提取全局特征：
图4是本发明提供的不同特征尺度点云的全局特征提取的流程示意图，如图4所 示，首先，对于每个特征尺度对应的点云，通过KNN算法构建局部邻域，具体过程可以是，对 于每个特征尺度下点云中任意一点
Figure 122791DEST_PATH_IMAGE038
，计算该点与其他所有点的距离，并按照距离升序进 行排序，选择距离最近的
Figure 446457DEST_PATH_IMAGE024
个点构建该点的局部邻域
Figure 695035DEST_PATH_IMAGE025
。然后，基于此局部邻域，使用图 卷积神经网络GCN结合最大值池化的方式获取该特征尺度下点
Figure 27928DEST_PATH_IMAGE039
的局部特征
Figure 248825DEST_PATH_IMAGE040
，具体可 以表示为：
Figure 274549DEST_PATH_IMAGE041
对于每个特征尺度的点云，在获取局部特征的基础上，通过自注意力机制，对更大 感受野的点对关系进行建模，提取全局特征。以特征尺度
Figure 479266DEST_PATH_IMAGE042
为例，该特征尺度的点云
Figure 364918DEST_PATH_IMAGE043
，其对应的局部特征为
Figure 971480DEST_PATH_IMAGE044
。以点
Figure 902527DEST_PATH_IMAGE045
的 全局特征获取为例，首先计算该点与各个点
Figure 328960DEST_PATH_IMAGE046
的特征相似度，公式如下：
Figure 269234DEST_PATH_IMAGE047
上式中，
Figure 730303DEST_PATH_IMAGE048
表示点
Figure 832251DEST_PATH_IMAGE049
与各个点
Figure 11560DEST_PATH_IMAGE050
的特征相似度，MLP表示基于多层感知机的特 征变换。然后，基于得到的特征相似度提取该点的全局特征，公式如下：
Figure 349000DEST_PATH_IMAGE051
上述提取的全局特征同时包含该点的局部特征信息，因此，该
Figure 661645DEST_PATH_IMAGE052
特征尺度下点云中 所有点的全局特征可表示为：
Figure 200074DEST_PATH_IMAGE053
重复上述过程，直至所有特征尺度点云中各个点的全局特征都完成提取。
步骤3：基于U-net网络的不同尺度特征融合：
图5是本发明提供的不同尺度特征融合的流程示意图，如图5所示，为了更好地融 合不同尺度的特征，基于U-net网络对步骤2获取的不同尺度的特征进行融合，作为优选，可 以选取
Figure 601099DEST_PATH_IMAGE054
尺度的特征进行融合。以
Figure 883176DEST_PATH_IMAGE055
两相邻特征尺度为例，其对应的点 云分别为
Figure 318837DEST_PATH_IMAGE056
和
Figure 762587DEST_PATH_IMAGE057
，由于
Figure 650909DEST_PATH_IMAGE058
是从
Figure 471097DEST_PATH_IMAGE059
下采样得到，此处
Figure 764194DEST_PATH_IMAGE060
。
Figure 378846DEST_PATH_IMAGE061
中任一点
Figure 754464DEST_PATH_IMAGE062
，其对应的
Figure 112764DEST_PATH_IMAGE016
特 征尺度的全局特征为
Figure 257438DEST_PATH_IMAGE063
，根据最近邻查找，获取点
Figure 308570DEST_PATH_IMAGE064
在
Figure 171484DEST_PATH_IMAGE065
特征尺度点云中距 离最近的点
Figure 67896DEST_PATH_IMAGE066
及其对应的全局特征
Figure 329725DEST_PATH_IMAGE067
。然后，通过MLP对两个不同尺度的全局特征
Figure 551759DEST_PATH_IMAGE068
和
Figure 636390DEST_PATH_IMAGE069
进行融合，并以该融合后的特征作为点
Figure 602072DEST_PATH_IMAGE070
的点云特征
Figure 721338DEST_PATH_IMAGE071
。具 体表示如下：
Figure 114273DEST_PATH_IMAGE072
最终得到
Figure 951779DEST_PATH_IMAGE016
特征尺度下各个点的点云特征
Figure 314627DEST_PATH_IMAGE073
。 同理，可根据
Figure 288399DEST_PATH_IMAGE016
特征尺度下各个点的点云特征和
Figure 843447DEST_PATH_IMAGE074
特征尺度下各个点的全局特 征，完成对
Figure 902670DEST_PATH_IMAGE075
特征尺度下各个点的点云特征更新。
步骤4：点所属部件类别预测：
图6是本发明提供的点所属部件类别预测的流程示意图，如图6所示，以
Figure 210154DEST_PATH_IMAGE076
特 征尺度下点云中各个点的点云特征
Figure 304012DEST_PATH_IMAGE077
作为点云部件分 割任务的输入，通过最大值池化获取点云的整体特征
Figure 38750DEST_PATH_IMAGE078
，然后将该整体特征与输入的 每个点的点云特征进行合并，将合并得到的特征作为多尺度融合特征，即更新后的特征，最 后利用多层感知机MLP基于更新后的特征进行点所属部件类别的预测，具体做法如下：
Figure 585269DEST_PATH_IMAGE079
Figure 430865DEST_PATH_IMAGE080
Figure 113651DEST_PATH_IMAGE081
其中，
Figure 281939DEST_PATH_IMAGE082
表示点
Figure 50175DEST_PATH_IMAGE083
所属的部件类别，
Figure 699462DEST_PATH_IMAGE084
表示所有点所属的部件类 别的集合。根据各个点所属的部件类别进行归类，即可得到目标点云的部件分割结果。
本发明实施例提供的方法，解决了现有点云部件分割方法对全局特征关系的建模能力不足，全局特征描述性能弱，无法有效融合局部和全局特征的技术难题，实现了提高点云特征表达能力和点云部件分割性能的技术效果。
下面对本发明提供的点云部件分割装置进行描述，下文描述的点云部件分割装置与上文描述的点云部件分割方法可相互对应参照。
基于上述任一实施例，本发明提供一种点云部件分割装置。图7是本发明提供的点云部件分割装置的结构示意图，如图7所示，该装置包括：
点云确定单元710，用于确定目标对象的目标点云；
部件分割单元720，用于基于分割模型，对目标点云进行部件分割，得到目标点云的部件分割结果；
分割模型基于样本点云以及样本点云对应的样本部件分割结果训练得到，分割模型基于第一点云中各个点的多尺度融合特征，预测各个点所属的部件类别，并基于各个点所属的部件类别确定部件分割结果，第一点云是基于目标点云构建的第一特征尺度下的点云。
本发明实施例提供的装置，通过分割模型对输入的目标点云进行部件分割，从而实现端到端的点云部件级分割，并且，通过采样得到第一特征尺度下的第一点云，提取第一点云中各个点的多尺度融合特征，基于此预测各个点所属的部件类别，并得到部件分割结果，从而通过对全局特征关系的建模，增强了点云特征的表达能力，进而提升点云部件分割精度。
基于上述任一实施例，第一点云中各个点的多尺度融合特征基于如下步骤确定：
基于第一点云中各个点的点云特征，确定第一点云的整体特征；
将各个点的点云特征与整体特征进行融合，得到各个点的多尺度融合特征。
基于上述任一实施例，第一点云中任一点的点云特征基于第一点云中该点的全局特征，以及第二点云中与第一点云中该点距离最近的点的点云特征确定；
第二点云是对第一点云进行下采样得到的第二特征尺度下的点云。
基于上述任一实施例，第二点云中任一点的点云特征基于第二点云中该点的全局特征，以及第三点云中与第二点云中该点距离最近的点的全局特征确定；
第三点云是对第二点云进行下采样得到的第三特征尺度下的点云。
基于上述任一实施例，第一点云中任一点的全局特征基于如下步骤确定：
基于第一点云中各个点的局部特征，确定第一点云中该点与各个点之间的特征相似度；
基于第一点云中该点与各个点之间的特征相似度，确定第一点云中该点的全局特征。
基于上述任一实施例，基于第一点云中各个点的局部特征，确定第一点云中该点与各个点之间的特征相似度，包括：
对第一点云中各个点的局部特征进行特征变换，得到各个点对应的变换特征；
基于该点与各个点分别对应的变换特征，确定该点与各个点之间的特征相似度。
基于上述任一实施例，第一点云中各个点的局部特征基于如下步骤确定：
确定第一点云中各个点的局部邻域，局部邻域由与各个点距离最近的预设数量个点组成；
基于各个点的局部邻域，确定各个点的局部特征。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行点云部件分割方法，该方法包括：确定目标对象的目标点云；基于分割模型，对所述目标点云进行部件分割，得到所述目标点云的部件分割结果；所述分割模型基于样本点云以及所述样本点云对应的样本部件分割结果训练得到，所述分割模型基于第一点云中各个点的多尺度融合特征，预测所述各个点所属的部件类别，并基于所述各个点所属的部件类别确定所述部件分割结果，所述第一点云是基于所述目标点云构建的第一特征尺度下的点云。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的点云部件分割方法，该方法包括：确定目标对象的目标点云；基于分割模型，对所述目标点云进行部件分割，得到所述目标点云的部件分割结果；所述分割模型基于样本点云以及所述样本点云对应的样本部件分割结果训练得到，所述分割模型基于第一点云中各个点的多尺度融合特征，预测所述各个点所属的部件类别，并基于所述各个点所属的部件类别确定所述部件分割结果，所述第一点云是基于所述目标点云构建的第一特征尺度下的点云。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的点云部件分割方法，该方法包括：确定目标对象的目标点云；基于分割模型，对所述目标点云进行部件分割，得到所述目标点云的部件分割结果；所述分割模型基于样本点云以及所述样本点云对应的样本部件分割结果训练得到，所述分割模型基于第一点云中各个点的多尺度融合特征，预测所述各个点所属的部件类别，并基于所述各个点所属的部件类别确定所述部件分割结果，所述第一点云是基于所述目标点云构建的第一特征尺度下的点云。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种点云部件分割方法，其特征在于，包括：
确定目标对象的目标点云；
基于分割模型，对所述目标点云进行部件分割，得到所述目标点云的部件分割结果；
所述分割模型基于样本点云以及所述样本点云对应的样本部件分割结果训练得到，所述分割模型基于第一点云中各个点的多尺度融合特征，预测所述各个点所属的部件类别，并基于所述各个点所属的部件类别确定所述部件分割结果，所述第一点云是基于所述目标点云构建的第一特征尺度下的点云。
2.根据权利要求1所述的点云部件分割方法，其特征在于，所述第一点云中各个点的多尺度融合特征基于如下步骤确定：
基于所述第一点云中各个点的点云特征，确定所述第一点云的整体特征；
将所述各个点的点云特征与所述整体特征进行融合，得到所述各个点的多尺度融合特征。
3.根据权利要求2所述的点云部件分割方法，其特征在于，所述第一点云中任一点的点云特征基于所述第一点云中任一点的全局特征，以及第二点云中与所述第一点云中任一点距离最近的点的点云特征确定；
所述第二点云是对所述第一点云进行下采样得到的第二特征尺度下的点云。
4.根据权利要求3所述的点云部件分割方法，其特征在于，所述第二点云中任一点的点云特征基于所述第二点云中任一点的全局特征，以及第三点云中与所述第二点云中任一点距离最近的点的全局特征确定；
所述第三点云是对所述第二点云进行下采样得到的第三特征尺度下的点云。
5.根据权利要求3所述的点云部件分割方法，其特征在于，所述第一点云中任一点的全局特征基于如下步骤确定：
基于所述第一点云中各个点的局部特征，确定所述第一点云中任一点与所述各个点之间的特征相似度；
基于所述第一点云中任一点与所述各个点之间的特征相似度，确定所述第一点云中任一点的全局特征。
6.根据权利要求5所述的点云部件分割方法，其特征在于，所述基于所述第一点云中各个点的局部特征，确定所述第一点云中任一点与所述各个点之间的特征相似度，包括：
对所述第一点云中所述各个点的局部特征进行特征变换，得到所述各个点对应的变换特征；
基于所述任一点与所述各个点分别对应的变换特征，确定所述任一点与所述各个点之间的特征相似度。
7.根据权利要求5所述的点云部件分割方法，其特征在于，所述第一点云中各个点的局部特征基于如下步骤确定：
确定所述第一点云中各个点的局部邻域，所述局部邻域由与所述各个点距离最近的预设数量个点组成；
基于所述各个点的局部邻域，确定所述各个点的局部特征。
8.一种点云部件分割装置，其特征在于，包括：
点云确定单元，用于确定目标对象的目标点云；
部件分割单元，用于基于分割模型，对所述目标点云进行部件分割，得到所述目标点云的部件分割结果；
所述分割模型基于样本点云以及所述样本点云对应的样本部件分割结果训练得到，所述分割模型基于第一点云中各个点的多尺度融合特征，预测所述各个点所属的部件类别，并基于所述各个点所属的部件类别确定所述部件分割结果，所述第一点云是基于所述目标点云构建的第一特征尺度下的点云。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述点云部件分割方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述点云部件分割方法。
CN202210839039.7A 2022-07-18 2022-07-18 点云部件分割方法、装置、电子设备与存储介质 Active CN114913330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210839039.7A CN114913330B (zh) 2022-07-18 2022-07-18 点云部件分割方法、装置、电子设备与存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210839039.7A CN114913330B (zh) 2022-07-18 2022-07-18 点云部件分割方法、装置、电子设备与存储介质

Publications (2)

Publication Number Publication Date
CN114913330A true CN114913330A (zh) 2022-08-16
CN114913330B CN114913330B (zh) 2022-12-06

Family

ID=82772766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210839039.7A Active CN114913330B (zh) 2022-07-18 2022-07-18 点云部件分割方法、装置、电子设备与存储介质

Country Status (1)

Country Link
CN (1) CN114913330B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456064A (zh) * 2022-09-05 2022-12-09 江汉大学 基于点云的物体分类方法及相关设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020080A (zh) * 2011-09-23 2013-04-03 鸿富锦精密工业（深圳）有限公司 点云文件快速读取方法及系统
US20130251195A1 (en) * 2012-03-23 2013-09-26 Chih-Kuang Chang Electronic device and method for measuring point cloud of object
CN104850633A (zh) * 2015-05-22 2015-08-19 中山大学 一种基于手绘草图部件分割的三维模型检索系统及方法
CN109117847A (zh) * 2018-08-31 2019-01-01 阿里巴巴集团控股有限公司 用于车辆损伤识别的部件分割方法及装置
CN110009029A (zh) * 2019-03-28 2019-07-12 北京智行者科技有限公司 基于点云分割的特征匹配方法
CN110889854A (zh) * 2019-10-16 2020-03-17 深圳信息职业技术学院 一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质
WO2020143323A1 (zh) * 2019-01-08 2020-07-16 平安科技（深圳）有限公司 遥感影像分割方法、装置及存储介质、服务器
CN112767412A (zh) * 2020-12-31 2021-05-07 东软睿驰汽车技术（沈阳）有限公司 车辆部件级分割方法、装置以及电子设备
CN113168717A (zh) * 2021-03-11 2021-07-23 华为技术有限公司 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
CN114299243A (zh) * 2021-12-14 2022-04-08 中科视语(北京)科技有限公司 基于多尺度融合的点云特征增强方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020080A (zh) * 2011-09-23 2013-04-03 鸿富锦精密工业（深圳）有限公司 点云文件快速读取方法及系统
US20130251195A1 (en) * 2012-03-23 2013-09-26 Chih-Kuang Chang Electronic device and method for measuring point cloud of object
CN104850633A (zh) * 2015-05-22 2015-08-19 中山大学 一种基于手绘草图部件分割的三维模型检索系统及方法
CN109117847A (zh) * 2018-08-31 2019-01-01 阿里巴巴集团控股有限公司 用于车辆损伤识别的部件分割方法及装置
WO2020143323A1 (zh) * 2019-01-08 2020-07-16 平安科技（深圳）有限公司 遥感影像分割方法、装置及存储介质、服务器
CN110009029A (zh) * 2019-03-28 2019-07-12 北京智行者科技有限公司 基于点云分割的特征匹配方法
CN110889854A (zh) * 2019-10-16 2020-03-17 深圳信息职业技术学院 一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质
CN112767412A (zh) * 2020-12-31 2021-05-07 东软睿驰汽车技术（沈阳）有限公司 车辆部件级分割方法、装置以及电子设备
CN113168717A (zh) * 2021-03-11 2021-07-23 华为技术有限公司 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
CN114299243A (zh) * 2021-12-14 2022-04-08 中科视语(北京)科技有限公司 基于多尺度融合的点云特征增强方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456064A (zh) * 2022-09-05 2022-12-09 江汉大学 基于点云的物体分类方法及相关设备
CN115456064B (zh) * 2022-09-05 2024-02-02 江汉大学 基于点云的物体分类方法及相关设备

Also Published As

Publication number Publication date
CN114913330B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN112434721A (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN110287942B (zh) 年龄估计模型的训练方法、年龄估计方法以及对应的装置
CN108334805B (zh) 检测文档阅读顺序的方法和装置
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN114419570B (zh) 一种点云数据识别方法、装置、电子设备及存储介质
Shen et al. Vehicle detection in aerial images based on lightweight deep convolutional network and generative adversarial network
CN111931859B (zh) 一种多标签图像识别方法和装置
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN113239818B (zh) 基于分割和图卷积神经网络的表格跨模态信息提取方法
CN112801063B (zh) 神经网络系统和基于神经网络系统的图像人群计数方法
CN112381837A (zh) 一种图像处理方法及电子设备
CN115880536A (zh) 数据处理方法、训练方法、目标对象检测方法及装置
KR20230171966A (ko) 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114913330B (zh) 点云部件分割方法、装置、电子设备与存储介质
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN112418256A (zh) 分类、模型训练、信息搜索方法、系统及设备
CN113343981A (zh) 一种视觉特征增强的字符识别方法、装置和设备
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN115018910A (zh) 点云数据中目标的检测方法、装置和计算机可读存储介质
CN114332509A (zh) 图像处理方法、模型训练方法、电子设备及自动驾驶车辆
CN114677508A (zh) 一种基于动态滤波和逐点相关的点云实例语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant