CN115424223A - 图神经网络训练方法、点云特征提取方法、设备及介质 - Google Patents

图神经网络训练方法、点云特征提取方法、设备及介质 Download PDF

Info

Publication number
CN115424223A
CN115424223A CN202210896098.8A CN202210896098A CN115424223A CN 115424223 A CN115424223 A CN 115424223A CN 202210896098 A CN202210896098 A CN 202210896098A CN 115424223 A CN115424223 A CN 115424223A
Authority
CN
China
Prior art keywords
trained
neural network
graph
point cloud
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210896098.8A
Other languages
English (en)
Inventor
肖丰
周祥明
黄鹏
吴立
蔡丹平
张朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210896098.8A priority Critical patent/CN115424223A/zh
Publication of CN115424223A publication Critical patent/CN115424223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图神经网络训练方法、点云特征提取方法、设备及存储介质，其中，该图神经网络应用于点云特征提取，训练方法包括：获取待训练点云，根据待训练点云构建图结构数据，图结构数据包括若干节点，以及若干节点之间构成的边；基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；将图结构数据输入待训练图神经网络，获取每一聚合函数的聚合结果，按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到待训练图神经网络的预测输出；基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。通过上述的方式，针对不同场景和数据进行网络模型架构的搜索，提升图神经网络模型对场景的解析能力。

Description

图神经网络训练方法、点云特征提取方法、设备及介质
技术领域
本申请涉及点云数据处理领域，特别是涉及一种用于点云特征提取的神经网络训练方法、终端及介质。
背景技术
三维点云信息与二维图像相比，具有更丰富的描述信息，克服了单视角投影的局限。三维点云信息中包含了丰富的真实物体信息，通过对点云信息的提取可以处理传统机器视觉难以解决的问题。三维点云信息量庞大，在处理过程中需要对点云信息进行采样和信息提取，点云的数据特征适合使用图神经网络(Graph Neural Network，GNN)进行解析。
GNN从点云中采样部分点作为图的节点，根据规则进行连接，通过聚合节点与邻域的信息完成相应点云信息的学习。目前基于GNN的点云学习方法，一方面易丢失大量有用信息，另一方面缺乏在特定应用场景下的点云特征表述。
发明内容
本申请提供一种用于图神经网络训练方法、点云特征提取方法、设备及存储介质。
本申请采用的一个技术方案是提供一种图神经网络训练方法，应用于点云特征提取，其中，所述图神经网络训练方法包括：
获取待训练点云，根据所述待训练点云构建图结构数据，其中所述图结构数据包括若干节点，以及所述若干节点之间构成的边；
基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；
将所述图结构数据输入所述待训练图神经网络，获取每一聚合函数的聚合结果，并按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到所述待训练图神经网络的预测输出；
基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。
其中，所述基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的图神经网络，包括：
基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的权重参数组合；
基于所述权重参数组合，计算每一聚合函数的影响因子；
将所述影响因子最大的聚合函数保留，构成最终的图神经网络。
其中，所述待训练图神经网络由多层聚合层构成，每层聚合层包含相互并联的所述若干聚合函数；
所述将所述影响因子最大的聚合函数保留，构成最终的图神经网络，包括：
将所述每层聚合层中影响因子最大的聚合函数保留，作为该层聚合层的唯一聚合函数，由训练后的多层聚合层构成最终的图神经网络。
其中，所述聚合函数包括以下至少一种：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
其中，所述根据所述待训练点云构建图结构数据，包括：
将所述待训练点云中的所有点，作为所述图结构数据的节点，其中，每个节点包含对应点的三维坐标信息；
获取两两节点之间的距离，连接所述距离小于预设阈值的两个节点之间的边；
基于所有节点，以及已创建的边构建所述图结构数据。
其中，所述获取待训练点云，包括：
获取原始点云；
通过预设聚类算法，将所述原始点云划分为若干待训练点云；
所述按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到所述待训练图神经网络的预测输出，包括：
按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到每一待训练点云的第一预测点云特征；
将所有待训练点云的第一预测点云特征进行融合，得到所述原始点云的第二预测点云特征，作为所述待训练图神经网络的预测输出。
其中，所述通过预设聚类算法，将所述原始点云划分为若干待训练点云之后，所述图神经网络训练方法还包括：
从所述若干待训练点云中选择若干起始点，以及每一待训练点云的重心；
基于每一起始点与所有待训练点云的重心的距离，获取所述每一起始点对应的待训练副点云。
其中，所述基于每一起始点与所有待训练点云的重心的距离，获取所述每一起始点对应的待训练副点云，包括：
根据所述每一起始点与所有待训练点云的重心的第一距离，获取所述第一距离最大的待训练点云中的第一采样点，并将所述起始点与所述第一采样点构成采样点集；
计算所述采样点集与所有待训练点云的重心的第二距离，获取所述第二距离最大的待训练点云中的第二采样点，将所述第二采样点加入所述采样点集，直至所述采样点集中点的数量达到预设数量，将最终的采样点集作为所述起始点对应的待训练副点云。
本申请采用的另一个技术方案是提供一种点云特征提取方法，所述点云特征提取方法包括：获取待识别点云；将所述待识别点云输入预先训练的图神经网络，获取所述待识别点云的目标点云特征；其中，所述图神经网络由上述的图神经网络训练网络方法训练得到。
本申请采用的又一个技术方案是提供一种终端设备，所述终端设备包括处理器、与所述处理器连接的存储器，其中，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的程序指令以实现如上述的图神经网络训练方法，和/或上述的点云特征提取方法。
本申请采用的再一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图神经网络训练方法，和/或上述的点云特征提取方法。
本申请的有益效果是：提供一种图神经网络训练方法，图神经网络方法包括获取待训练点云，根据待训练点云构建图结构数据，其中图结构数据包括若干节点，以及若干节点之间构成的边；基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；将图结构数据输入待训练图神经网络，获取每一聚合函数的聚合结果，并按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到待训练图神经网络的预测输出；基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。本申请通过图采样方法保留更多原始点云信息，并通过可微的图神经网络搜索技术找出最适合的当前场景的图模型，且对点云区域划分后进行最远点采样，增加对密度不均衡点云信息的适用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的图神经网络训练方法一实施例的流程示意图；
图2是图1中S100的子步骤流程示意图；
图3是图2中S120之后的步骤流程示意图；
图4是图3中S140的子步骤流程示意图；
图5是图3中S140之后的步骤流程示意图；
图6是图1中S300的子步骤流程示意图；
图7是图1中S100到S400的步骤流程示意图；
图8是图1中S400的子步骤流程示意图；
图9是图8中S410-S430的流程示意图；
图10是本申请实施例提供的点云特征提取方法一实施例的流程示意图；
图11是本申请实施例提供的3D点云特征提取方法和应用一实施例步骤流程示意图；
图12是本申请提供的终端设备一实施例的结构示意图；
图13是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
3D点云数据是一种非常重要的空间几何型数据，是一种无层次不规则的数据形式，一般用来构建表示立体几何物体的表面形状，同时点云数据也是激光雷达、3D传感器和立体扫描仪等设备生成数据的原始表现形式。
近年来，深度学习技术在图像识别、自然语言处理等领域具有巨大的优势，使端到端的机器学习和模式识别技术迈向新的台阶。深度学习算法具有强大的特征提取与特征表达能力，能够克服传统机器学习中繁杂的人工特征工程预处理过程、自动地识别和提取训练数据背后潜在的特征信息，并从中学习其特征规律用于建模。然而基于传统深度学习方法的3D点云建模方式都无法有效地捕捉数据点之间的空间几何信息，并且建模过程复杂，对内存资源消耗很大。3D点云数据属于非欧几里得域数据，无法将其简单地转换为张量形式表示，因此传统深度学习算法对3D点云数据的建模处理具有一定的局限性，处理效果不佳。
图作为一种特殊形式的数据结构类型，其结构形式包含了丰富的应用价值，图结构数据主要由节点和连接节点的边组成，节点包含了数据的属性特征，边表示了节点间的依赖关系。对于非欧几里得域数据的有效表示，图结构表现出巨大的适用性和应用价值，因此点云数据适合采用图神经网络(GraphNeuralNetworks，GNN)进行解析。
GNN通常从点云中采样出部分点作为图的节点，根据规则进行连接，通过聚合节点和邻域的信息学习到相应的点云特征，然而GNN的聚合次数过多时，会使部分点云数据模糊或丢失，且不同的聚合方式对节点特征的最终表达存在较大的影响。
请参阅图1，图1是本申请提供的图神经网络训练方法一实施例的流程示意图。
如图1所示，本申请实施例的图神经网络训练方法可以包括以下步骤：
S100，获取待训练点云，根据待训练点云构建图结构数据，其中图结构数据包括若干节点，以及若干节点之间构成的边。
在一实施例中，获取待训练点云，将待训练点云中每个点作为图结构数据中的节点，并将每个节点与其最相近邻相连接构成边，其中节点之间构成的边为有向边。
具体地，将待训练点云中的每个点及其邻域点构建成为若干个局部有向图，实现非结构化的待训练点云数据向结构化的图结构数据的转换。
S100中的待训练点云的获取方式具体请参阅图2，图2是图1中S100的子步骤流程示意图。
如图2所示，S100的后续流程图可以包括：
S110，获取原始点云。
具体地，通过使用三维扫描设备，如2D/3D激光雷达、立体摄像头、飞行时间相机(time-of-flight camera，TOFCamera)对物体表面进行自动化测量，获取原始的点云数据。
S120，通过预设聚类算法，将原始点云划分为若干待训练点云。
在一实施例中，使用均匀大小的体素网格将原始点云体素化，得到下采样后的点云。具体地，将原始点云体素化，减少冗余点云数据，并保留点云的形状特征信息。其中，本申请实施例的体素网格大小在此不做限制。
可选地，将下采样后的点云中第i个点表示为Pi。在一实施例中，使用预设聚类算法将下采样后的点云分成N个区域，即分为N个待训练点云。每个待训练点云内部的点特征相似度，大于待训练点云之间的点特征相似度。
将原始点云划分为若干待训练点云的后处理方式请参阅图3，图3是图2中S120之后的步骤流程示意图。
如图3所示，S120的之后的步骤可以包括：
S130，从若干待训练点云中选择若干起始点，以及每一待训练点云的重心。
其中，计算出N个待训练点云的重心{Q1,Q2,…,QN}。并随机选取若干待训练点云中一个点Px作为起始点。
S140，基于每一起始点与所有待训练点云的重心的距离，获取每一起始点对应的待训练副点云。
具体地，通过点云聚类后进行区域划分，以区域为单位实现最远点采样，对得到的多个待训练副点云进行处理，保留更多的原始点云信息，减少点云采样时因点云近密远疏问题造成采样损失。
获取起始点对应的待训练副点云的方式具体请参阅图4，图4是图3中S140的子步骤流程示意图。
如图4所示，S140的子步骤可以包括：
S141，根据每一起始点与所有待训练点云的重心的第一距离，获取第一距离最大的待训练点云中的第一采样点，并将起始点与第一采样点构成采样点集。
在一实施例中，计算起始点Px与N个待训练点云的重心{Q1,Q2,…,QN}之间的第一距离，求出与起始点Px第一距离最远的待训练点云区域，在该待训练点云区域中随机采样一个点，作为第一采样点，与起始点Px构成采样点集A。
可选地，第一距离可为起始点与待训练点云重心之间的欧氏距离。
S142，计算采样点集与所有待训练点云的重心的第二距离，获取第二距离最大的待训练点云中的第二采样点，将第二采样点加入采样点集，直至采样点集中点的数量达到预设数量，将最终的采样点集作为起始点对应的待训练副点云。
其中，通过计算采样点集A与待训练点云重心{Q1,Q2,…,QN}间的第二距离，求出与采样点集A第二距离最远的待训练点云，在该待训练点云中随机采样一个点，作为第二采样点，将第二采样点加入采样点集A中。
通过N次采样后，最终得到一个包含N个点的采样点集A，即待训练副点云C1。
更新去掉采样点后的待训练点云重心为{Q′1,Q′2,…,Q′N}
对待训练副点云进行多次重复采样，直到待训练副点云达到预设数量或某个区域内无未采集点，将最终的采样点集作为起始点所对应的待训练副点云。
可选地，采样点集与所有待训练点云的重心的第二距离，可以为采样点集与所有待训练点云重心的欧氏距离。
通过获取多个待训练副点云数据，保留了点云信息较薄弱位置的信息，提升对密集度不均衡的点云信息的采样能力。
S100中的构建图结构数据的方式具体请参阅图5，图5是图3中S140之后的步骤流程示意图。
如图5所示，S140之后的步骤可以包括：
S150，将待训练点云中的所有点，作为图结构数据的节点，其中，每个节点包含对应点的三维坐标信息。
将每一个待训练点云中构造的点信息，加入图结构数据的节点集合v，针对节点集合中的单个节点vi，包含了待训练点云中对应点的三维坐标信息。
S160，获取两两节点之间的距离，连接距离小于预设阈值的两个节点之间的边。
计算出节点集合中两两节点之间的距离，若两两节点之间的距离小于预设阈值，则连接上述两两节点，将距离小于预设阈值两个节点之间连接的边加入图结构数据的边集合E中。
可选地，两两节点之间的距离为两两节点之间的欧氏距离。
可选地，节点之间的边e满足以下关系：
e＝{(va,vb)‖va-vb‖<r}
其中，r为两个节点之间连接距离阈值。
可选地，节点之间的边e和图结构数据的边集合E满足以下关系：
e∈E
S170，基于所有节点，以及已创建的边构建图结构数据。
对于采样到的待训练点云集合{C1,C2,…,Cn}，根据对应待训练点云集合对应的图结构数据的顶点集合v和边集合E，构造出对应图结构数据。
其中图结构数据Gi满足：
Gi＝(v,E)
S200，基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络。
在一实施例中，构建出图神经网络的搜索空间，使用不同的基于若干的聚合函数及每个聚合函数的权重参数评估图神经网络的结构特征，去除不适用于当前特征的聚合函数，并筛选出最优效果的聚合函数，实现对图节点信息聚合更新。
可选地，聚合函数包括但不限于以下的函数：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
在一实施例中，使用均值聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算均值后与目标节点拼接。
在一实施例中，使用最大池化聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算最大池化值后与目标节点拼接。
在一实施例中，使用局部图卷积聚合函数时，将图结构中节点邻域采样固定数量的点，计算均构建邻接矩阵后进行局部图卷积运算。
在一实施例中，使用注意力聚合函数时，将图结构中邻域所有节点信息传入单层感知机后拼接相邻节点特征，通过注意力机制进行节点嘉权聚合。
在一实施例中，使用高维聚合函数时，运用多层感知机将图结构中节点特征映射到高维，由图结构邻域内节点特征完成累加聚合。
在一实施例中，使用链式聚合函数时，将图结构中邻域节点随机排序后输入长短期记忆人工神经网络(Long Short-Term Memory，LSTM)，对逐个节点的输出进行聚合。
S300，将图结构数据输入待训练图神经网络，获取每一聚合函数的聚合结果，并按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到待训练图神经网络的预测输出。
在一实施例中，通过获取每一个聚合函数的聚合结果及其权重系数，并进行聚合结果融合，搜索出待训练图神经网络中适合当前任务的网络结构。
待训练图神经网络根据聚合函数及其权重参数对图结构数据的结果预测方式请参阅图6，图6是图1中S300的子步骤流程示意图。
如图6所示，S300可以包括以下步骤：
S310，按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到每一待训练点云的第一预测点云特征。
获取每一聚合函数的在待训练图神经网络中的权重参数，对每个聚合函数对图结构数据的聚合结果进行融合，实现对待训练图神经网络的图节点信息更新，得到的每一待训练点云的第一预测点云特征包括具有表征能力的图神经网络特征。
可选地，聚合函数包括以下至少一种：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
在一实施例中，使用均值聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算均值后与目标节点拼接。
在一实施例中，使用最大池化聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算最大池化值后与目标节点拼接。
在一实施例中，使用局部图卷积聚合函数时，将图结构中节点邻域采样固定数量的点，计算均构建邻接矩阵后进行局部图卷积运算。
在一实施例中，使用注意力聚合函数时，将图结构中邻域所有节点信息传入单层感知机后拼接相邻节点特征，通过注意力机制进行节点嘉权聚合。
在一实施例中，使用高维聚合函数时，运用多层感知机将图结构中节点特征映射到高维，由图结构邻域内节点特征完成累加聚合。
在一实施例中，使用链式聚合函数时，将图结构中邻域节点随机排序后输入长短期记忆人工神经网络(Long Short-Term Memory，LSTM)，对逐个节点的输出进行聚合。
S320，将所有待训练点云的第一预测点云特征进行融合，得到原始点云的第二预测点云特征，作为待训练图神经网络的预测输出。
具体地，每个待训练点云包含了原始点云的部分特征，通过融合所有表征待训练点云的图神经网络信息，即融合所有待训练点云的第一预测点云特征，得到原始点云的第二预测点云特征。
具体地，原始点云的第二预测点云特征为表征原始点云的图神经网络信息。
请参阅图7，图7是图1中S100到S400的步骤流程示意图，S100到S400的步骤流程包括：
区域划分。将原始点云根据预设聚类算法划分成若干待训练点云。
最远点采样、建图。对待训练点云进行降采样，获得包含有待训练点云特征信息的待训练副点云，根据待训练点云中的点集合，及满足要求的边集合构造图结构。
图神经网络多层聚合。对单层图节点进行多次信息更新，搜索适合的聚合函数，逐层搜索到最优的网络结构。
点云特征提取。对多个待训练点云采样图进行聚合处理，得到每个待训练副点云中各个节点的特征，将待训练副点云特征进行融合，可以得到原始点云的特征。
图神经网络预测。在具体的任务中需要重新训练图神经网络及后处理层的权重，得到的完整图神经网络模型可以用于具体场景的分析与预测。
请继续参阅图1，图1中的图神经网络训练方法的S300之后，还包括：
S400，基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。
在一实施例中，在具体的任务场景下，需要对每一层中每一聚合函数的权重系数进行训练，搜索出该层所有聚合函数的最优权重系数，通过逐层的聚合函数搜索，得到最适合当前应用场景下的图神经网络结构。
可选地，具体的任务场景可以为3D点云分割。
可选地，具体的任务场景可以为3D点云分类。
可选地，聚合函数包括以下至少一种：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
在一实施例中，使用均值聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算均值后与目标节点拼接。
在一实施例中，使用最大池化聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算最大池化值后与目标节点拼接。
在一实施例中，使用局部图卷积聚合函数时，将图结构中节点邻域采样固定数量的点，计算均构建邻接矩阵后进行局部图卷积运算。
在一实施例中，使用注意力聚合函数时，将图结构中邻域所有节点信息传入单层感知机后拼接相邻节点特征，通过注意力机制进行节点嘉权聚合。
在一实施例中，使用高维聚合函数时，运用多层感知机将图结构中节点特征映射到高维，由图结构邻域内节点特征完成累加聚合。
在一实施例中，使用链式聚合函数时，将图结构中邻域节点随机排序后输入长短期记忆人工神经网络(Long Short-Term Memory，LSTM)，对逐个节点的输出进行聚合。
对待训练图神经网络中每个聚合函数的权重参数训练的具体过程请参阅图8，图8是图1中S400的子步骤流程示意图。
S410，基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的权重参数组合。
在一实施例中，图神经网络需要聚合N次，则构建具有N层的聚合函数权重参数训练网络，其中聚合函数权重参数训练网络的每一层包括所有聚合函数的多个分支，聚合得到的多个节点特征按照搜索权重{α1,α2,…,αn}进行加权相加得到该层输出。
可选地，该聚合函数权重参数训练网络可以为SuperNet(超网络)。
S420，基于权重参数组合，计算每一聚合函数的影响因子。
其中，使用归一化函数对每一层的搜索权重{α1,α2,…,αn}进行归一化运算出每一聚合函数的影响因子γ。
可选地，归一化函数可以为Softmax(归一化指数函数)。
可选地，影响因子γ满足：
Figure BDA0003768693880000131
S430，将影响因子最大的聚合函数保留，构成最终的图神经网络。
在一实施例中，取影响因子γ最大的聚合函数作为图神经网络的保留结构，其他聚合函数从图神经网络中剔除。通过逐层搜索出最优的聚合函数，获取最适合当前任务场景的图神经网络结构。
请参阅图9，图9是图8中S410-S430的流程示意图。
在一实施例中，图神经网络需要聚合N次，则构建一个含有N层隐藏层的聚合函数权重参数训练网络。
其中，每层包含了所有聚合函数的多个函数分支，聚合得到的多个节点特征按照搜索权重{α1,α2,…,αn}进行加权相加得到该层输出。使用归一化函数对每一层的搜索权重{α1,α2,…,αn}进行归一化运算出每一聚合函数的影响因子γ。
每层保留含有最大影响因子γ的聚合函数，作为图神经网络的保留结构，逐渐形成最终的图神经网络。
在本申请实施例中，图神经网络方法包括获取待训练点云，根据待训练点云构建图结构数据，其中图结构数据包括若干节点，以及若干节点之间构成的边；基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；将图结构数据输入待训练图神经网络，获取每一聚合函数的聚合结果，并按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到待训练图神经网络的预测输出；基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。本申请通过图采样方法保留更多原始点云信息，并通过可微的图神经网络搜索技术找出最适合的当前场景的图模型，且对点云区域划分后进行最远点采样，增加对密度不均衡点云信息的适用性。
上述实施例中训练所得的图神经网络可以适用于各种领域的特征提取、特征识别和特征预测等应用，例如，训练后的图神经网络可以应用于自动驾驶场景中的目标识别，通过图神经网络对路上的障碍物、车辆、行人等交通要素进行准确识别。
具体请参阅图10，图10是本申请实施例提供的点云特征提取方法一实施例的流程示意图。
如图10所示，图10可以包括以下步骤：
S1，获取待识别点云。
在一实施例中，使用激光雷达、毫米波雷达等3D测量设备，通过扫描的方式获取待识别点云信息。
S2，将待识别点云输入预先训练的图神经网络，获取待识别点云的目标点云特征。
在一实施例中，将获取到的点云信息输入至已完成训练的图神经网络中，图神经网络对上述点云数据进行特征信息的提取。
可选地，在完成点云数据特征提取步骤后，基于点云数据的特征信息可以执行包括不限于以下任务：点云目标识别；和/或点云目标跟踪；和/或点云分类；和/或点云分割。
在一种实施例中，自动驾驶汽车搭载的激光雷达获取周边环境的点云信息，通过上述预训练的图神经网络提取出周边环境的点云特征信息，根据点云特征信息，识别、跟踪、分割周边环境中的车辆、行人、非机动车等目标信息。
以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。
请参阅图11，图11是本申请实施例提供的3D点云特征提取方法和应用一实施例步骤流程示意图。
3D点云特征提取方法和应用一实施例步骤流程可以包括：
点云采样。使用均匀大小的体素网络将目标点云体素化，在保留点云的特征。
稀疏样本建图。将得到的若干点云分别构造图，其中图的顶点信息包含对应点云中点的三维信息，图的边满足顶点间距离小于预定阈值。
点云网络模型训练。包括构建搜索空间和图网络架构搜索，搜索空间包括不限于使用均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数；图网络架构搜索通过逐层寻找最优的优化函数，搜索出最适合当前任务的图神经网络架构，完成网络模型的训练。
点云特征提取。使用训练得到的图神经网络模型对多个点云采样图进行聚合处理，得到每个待训练副点云的中各节点的特征值，将副点云特征进行融合后得到原始点云的特征。
三维视觉应用场景。在实际的环境中，训练出来的图网络可以进行包括但不限于以下任务：语义分割、实例分割、目标识别、目标检测。
请参见图12，图12是本申请提供的终端设备一实施例的结构示意图。本申请实施例的终端设备500包括处理器51、存储器52。
该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的图神经网络训练方法和/或点云特征提取方法。
在本申请实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图13，图13是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例的图神经网络训练方法和/或点云特征提取方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，方式利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种图神经网络训练方法，所述图神经网络应用于点云特征提取，其特征在于，所述图神经网络训练方法包括：
获取待训练点云，根据所述待训练点云构建图结构数据，其中所述图结构数据包括若干节点，以及所述若干节点之间构成的边；
基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；
将所述图结构数据输入所述待训练图神经网络，获取每一聚合函数的聚合结果，并按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到所述待训练图神经网络的预测输出；
基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。
2.根据权利要求1所述的图神经网络训练方法，其特征在于，
所述基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的图神经网络，包括：
基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的权重参数组合；
基于所述权重参数组合，计算每一聚合函数的影响因子；
将所述影响因子最大的聚合函数保留，构成最终的图神经网络。
3.根据权利要求2所述的图神经网络训练方法，其特征在于，
所述待训练图神经网络由多层聚合层构成，每层聚合层包含相互并联的所述若干聚合函数；
所述将所述影响因子最大的聚合函数保留，构成最终的图神经网络，包括：
将所述每层聚合层中影响因子最大的聚合函数保留，作为该层聚合层的唯一聚合函数，由训练后的多层聚合层构成最终的图神经网络。
4.根据权利要求2或3所述的图神经网络训练方法，其特征在于，
所述聚合函数包括以下至少一种：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
5.根据权利要求1所述的图神经网络训练方法，其特征在于，
所述根据所述待训练点云构建图结构数据，包括：
将所述待训练点云中的所有点，作为所述图结构数据的节点，其中，每个节点包含对应点的三维坐标信息；
获取两两节点之间的距离，连接所述距离小于预设阈值的两个节点之间的边；
基于所有节点，以及已创建的边构建所述图结构数据。
6.根据权利要求1所述的图神经网络训练方法，其特征在于，
所述获取待训练点云，包括：
获取原始点云；
通过预设聚类算法，将所述原始点云划分为若干待训练点云；
所述按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到所述待训练图神经网络的预测输出，包括：
按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到每一待训练点云的第一预测点云特征；
将所有待训练点云的第一预测点云特征进行融合，得到所述原始点云的第二预测点云特征，作为所述待训练图神经网络的预测输出。
7.根据权利要求6所述的图神经网络训练方法，其特征在于，
所述通过预设聚类算法，将所述原始点云划分为若干待训练点云之后，所述图神经网络训练方法还包括：
从所述若干待训练点云中选择若干起始点，以及每一待训练点云的重心；
基于每一起始点与所有待训练点云的重心的距离，获取所述每一起始点对应的待训练副点云。
8.根据权利要求7所述的图神经网络训练方法，其特征在于，
所述基于每一起始点与所有待训练点云的重心的距离，获取所述每一起始点对应的待训练副点云，包括：
根据所述每一起始点与所有待训练点云的重心的第一距离，获取所述第一距离最大的待训练点云中的第一采样点，并将所述起始点与所述第一采样点构成采样点集；
计算所述采样点集与所有待训练点云的重心的第二距离，获取所述第二距离最大的待训练点云中的第二采样点，将所述第二采样点加入所述采样点集，直至所述采样点集中点的数量达到预设数量，将最终的采样点集作为所述起始点对应的待训练副点云。
9.一种点云特征提取方法，其特征在于，所述点云特征提取方法包括：
获取待识别点云；
将所述待识别点云输入预先训练的图神经网络，提取所述待识别点云的目标点云特征；
其中，所述图神经网络由权利要求1至8任一项所述的图神经网络训练方法训练得到。
10.一种终端设备，其特征在于，所述终端设备包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的程序指令以实现如权利要求1至8任一项所述的图神经网络训练方法，和/或权利要求9所述的点云特征提取方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序指令，所述程序指令被执行时实现如权利要求1至8任一项所述的图神经网络训练方法，和/或权利要求9所述的点云特征提取方法。
CN202210896098.8A 2022-07-27 2022-07-27 图神经网络训练方法、点云特征提取方法、设备及介质 Pending CN115424223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210896098.8A CN115424223A (zh) 2022-07-27 2022-07-27 图神经网络训练方法、点云特征提取方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210896098.8A CN115424223A (zh) 2022-07-27 2022-07-27 图神经网络训练方法、点云特征提取方法、设备及介质

Publications (1)

Publication Number Publication Date
CN115424223A true CN115424223A (zh) 2022-12-02

Family

ID=84197116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210896098.8A Pending CN115424223A (zh) 2022-07-27 2022-07-27 图神经网络训练方法、点云特征提取方法、设备及介质

Country Status (1)

Country Link
CN (1) CN115424223A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071661A (zh) * 2023-04-06 2023-05-05 厦门大学 一种基于激光点云的城市道路场景语义分割方法
CN116109455A (zh) * 2023-03-09 2023-05-12 电子科技大学成都学院 一种基于人工智能的语言教学辅助系统
CN117395164A (zh) * 2023-12-12 2024-01-12 烟台大学 工业物联网的网络属性预测方法及系统
CN117572491A (zh) * 2023-11-17 2024-02-20 海南师范大学 一种基于图神经网络的钻孔应变数据多台站分析方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109455A (zh) * 2023-03-09 2023-05-12 电子科技大学成都学院 一种基于人工智能的语言教学辅助系统
CN116071661A (zh) * 2023-04-06 2023-05-05 厦门大学 一种基于激光点云的城市道路场景语义分割方法
CN117572491A (zh) * 2023-11-17 2024-02-20 海南师范大学 一种基于图神经网络的钻孔应变数据多台站分析方法
CN117395164A (zh) * 2023-12-12 2024-01-12 烟台大学 工业物联网的网络属性预测方法及系统
CN117395164B (zh) * 2023-12-12 2024-03-26 烟台大学 工业物联网的网络属性预测方法及系统

Similar Documents

Publication Publication Date Title
CN115424223A (zh) 图神经网络训练方法、点云特征提取方法、设备及介质
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
CN113705631B (zh) 一种基于图卷积的3d点云目标检测方法
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN114418030B (zh) 图像分类方法、图像分类模型的训练方法及装置
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN111950389B (zh) 一种基于轻量级网络的深度二值特征人脸表情识别方法
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN112784954A (zh) 确定神经网络的方法和装置
CN114998890B (zh) 一种基于图神经网络的三维点云目标检测算法
CN114419570A (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN115240024A (zh) 一种联合自监督学习和半监督学习的地外图片分割方法和系统
CN111639230B (zh) 一种相似视频的筛选方法、装置、设备和存储介质
CN113592894A (zh) 一种基于边界框和同现特征预测的图像分割方法
Xu et al. Classification of 3-D point clouds by a new augmentation convolutional neural network
CN117312594A (zh) 一种融合双尺度特征的草图化机械零件库检索方法
Elashry et al. Feature matching enhancement using the graph neural network (gnn-ransac)
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
Bahrami et al. Image concept detection in imbalanced datasets with ensemble of convolutional neural networks
CN114677508A (zh) 一种基于动态滤波和逐点相关的点云实例语义分割方法
Wei et al. Salient object detection based on weighted hypergraph and random walk
CN114565774A (zh) 基于局部几何与全局结构联合学习的3d图卷积分类方法
Li et al. Prediction model of urban street public space art design indicators based on deep convolutional neural network
Li A novel image clustering method based on coupled convolutional and graph convolutional network
CN114826921B (zh) 基于抽样子图的网络资源动态分配方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination