CN113537390B - 一种基于图卷积网络的动态点云位置预测方法 - Google Patents

一种基于图卷积网络的动态点云位置预测方法 Download PDF

Info

Publication number
CN113537390B
CN113537390B CN202110900935.5A CN202110900935A CN113537390B CN 113537390 B CN113537390 B CN 113537390B CN 202110900935 A CN202110900935 A CN 202110900935A CN 113537390 B CN113537390 B CN 113537390B
Authority
CN
China
Prior art keywords
matrix
point
layer
edge
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110900935.5A
Other languages
English (en)
Other versions
CN113537390A (zh
Inventor
庄瑞玉
俞宏群
刘文辉
沈惠良
钱巨林
彭礼平
胡睿
马俊奇
费文曲
张斌
周淳晖
傅嘉辉
张学超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Xinyuan Water And Electricity Co ltd
Fuchunjiang Hydroelectric Power Plant State Grid Xinyuan Hydropower Co ltd
State Grid Corp of China SGCC
PowerChina Huadong Engineering Corp Ltd
Original Assignee
State Grid Xinyuan Water And Electricity Co ltd
Fuchunjiang Hydroelectric Power Plant State Grid Xinyuan Hydropower Co ltd
State Grid Corp of China SGCC
PowerChina Huadong Engineering Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Xinyuan Water And Electricity Co ltd, Fuchunjiang Hydroelectric Power Plant State Grid Xinyuan Hydropower Co ltd, State Grid Corp of China SGCC, PowerChina Huadong Engineering Corp Ltd filed Critical State Grid Xinyuan Water And Electricity Co ltd
Priority to CN202110900935.5A priority Critical patent/CN113537390B/zh
Publication of CN113537390A publication Critical patent/CN113537390A/zh
Application granted granted Critical
Publication of CN113537390B publication Critical patent/CN113537390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积网络的动态点云位置预测方法，以原始点云三维坐标为输入，将原始点云三维坐标转化为距离矩阵，送入图神经网络，预测变性后的距离矩阵，再计算出对应的三维坐标，即完成对动态点云位置的预测。与此同时，图神经网络由2组交替的边卷积层和点卷积层，以及一个距离矩阵层构成，将动态点云的边特征和点特征同等看待，在神经网络中交替做边的卷积和点的卷积，从而可以有效的提高对动态点云位置预测的精度，减小预测误差。综上所述，本发明具有能够有效提高预测精度的特点。

Description

一种基于图卷积网络的动态点云位置预测方法
技术领域
本发明涉及一种动态点云位置预测方法，特别是一种基于图卷积网络的动态点云位置预测方法。
背景技术
点云形变预测在手势、表情、姿态、分子动力学、蛋白质折叠等领域具有重要是实际意义。点云可以看做一个图网络，对点云的操作需要满足平移不变性、旋转不变性和置换不变性。目前，对于动态点云位置的预测，一般是采用图神经网络进行预测，但是现有的图神经网络只考虑点的特征，忽略边的特征；但很多问题中，一个点的近邻点到该点的距离对该点的特征有重要影响，这样就会导致采用常规的图神经网络对动态点云位置进行预测时，精度较低。因此，现有的技术存在着预测精度较低的问题。
发明内容
本发明的目的在于，提供一种基于图卷积网络的动态点云位置预测方法。本发明具有能够有效提高预测精度的特点。
本发明的技术方案：一种基于图卷积网络的动态点云位置预测方法，以原始点云三维坐标为输入，将原始点云三维坐标转化为距离矩阵，送入图神经网络，预测变性后的距离矩阵，再计算出对应的三维坐标，即完成对动态点云位置的预测。
前述的一种基于图卷积网络的动态点云位置预测方法中，包括以下具体步骤：
A、确定初始特征
记点的初始特征为v0，为点的颜色值；记e0为边的初始特征；设dij为点i和j之间的距离，则
其中,为ij边第0层的特征；dk为特征点，ηk为对应的系数；
B、边卷积层处理
边ij第l+1层的特征为边ij第l层的特征和点i、j第l层特征3者的融合，具体如下公式所示，
其中，||表示向量拼接，W为权重矩阵；设第l层边特征和点特征的维数分别为nel和nvl，则W的维数为(2nvl+nel)×nel+1；
C、点卷积层处理
点的下一层特征为邻接点特征的聚合，再与点当前层特征的融合；其中邻接点特征的聚合是以边的特征算出的注意力系数加权平均，使用softmax保证注意力系数的和为1；
其中，αij为注意力系数、αT是一个向量，为网络参数、代表边ij第l+1层的特征、代表点i第l+1层特征、/>代表点i第l层特征；
D、距离矩阵层处理
距离矩阵层为根据边特征和点特征形变后的距离矩阵；
具体方式为：首先根据边特征和点特征计算出一个方阵Z，再将方阵Z转换成对称矩阵D，最后把D的对角线元素置为0；
记Z＝VVTE
令diag(D)＝0
其中V为最后一层的点特征矩阵、E为最后一层的边特征矩阵、D为预测的距离矩阵；
E、建立神经网络
神经网络由2组交替的边卷积层和点卷积层，以及一个距离矩阵层构成；
F、网络训练
G、生成坐标
利用神经网络计算得到的距离矩阵D，生成坐标矩阵C；
具体过程如下：
令
得其中，1＝[1,1,…,1]T是全为1的列向量，I为单位矩阵；
对B做奇异值分解，B＝UΛUT，其中，U为特征向量组成的正交矩阵；Λ为奇异值矩阵，奇异值按降序排列；
令C＝U3Λ3 1/2
其中，U3为U的前3列向量组成的矩阵，Λ3为前3个奇异值组成的3阶对角阵；
计算得到的C即为最终的坐标矩阵。
前述的一种基于图卷积网络的动态点云位置预测方法中，步骤A中，若点为RGB色，则每个点的初始特征v0是三维，值为RGB值/255；若点为灰度色，则每个点的初始特征v0为一维，值为灰度值；若点无颜色值，则每个点的初始特征v0为一维，值为1。
前述的一种基于图卷积网络的动态点云位置预测方法中，步骤F的网络训练方法为：随机选择一个平面，利用该平面切掉一部分点作为新的样本；对一个点云样本，先计算出方阵Z作为输入，形变后的对称矩阵D作为标签；损失函数采用smooth_l1_loss；
随机生成第一个点卷积之后的点和边特征张量，然后输入给网络的后半段，输出坐标矩阵。
与现有技术相比，本发明以点云三维坐标为输入，将其转化为距离矩阵，送入图神经网络，预测变性后的距离矩阵，再计算出对应的三维坐标；图神经网络由2组交替的边卷积层和点卷积层，以及一个距离矩阵层构成，将动态点云的边特征和点特征同等看待，在神经网络中交替做边的卷积和点的卷积，从而可以有效的提高对动态点云位置预测的精度，减小预测误差。综上所述，本发明具有能够有效提高预测精度的特点。
附图说明
图1是原始点云图；
图2是本发明生成的点云图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例。一种基于图卷积网络的动态点云位置预测方法，以原始点云三维坐标为输入，将原始点云三维坐标转化为距离矩阵，送入图神经网络，预测变性后的距离矩阵，再计算出对应的三维坐标，即完成对动态点云位置的预测。
预测方法包括以下具体步骤：
A、确定初始特征
记点的初始特征为v0，为点的颜色值；记e0为边的初始特征；设dij为点i和j之间的距离，则
其中,为ij边第0层的特征；dk为特征点，ηk为对应的系数；
ηk为对应的系数，两者均为网络参数，初始值随机。
B、边卷积层处理
边ij第l+1层的特征为边ij第l层的特征和点i、j第l层特征3者的融合，具体如下公式所示，
其中，||表示向量拼接，W为权重矩阵；设第l层边特征和点特征的维数分别为nel和nvl，则W的维数为(2nvl+nel)×nel+1；
C、点卷积层处理
点的下一层特征为邻接点特征的聚合，再与点当前层特征的融合；其中邻接点特征的聚合是以边的特征算出的注意力系数加权平均，使用softmax保证注意力系数的和为1；
其中，αij为注意力系数、αT是一个向量，为网络参数、代表边ij第l+1层的特征、代表点i第l+1层特征、/>代表点i第l层特征；
D、距离矩阵层处理
距离矩阵层为根据边特征和点特征形变后的距离矩阵；
具体方式为：首先根据边特征和点特征计算出一个方阵Z，再将方阵Z转换成对称矩阵D，最后把D的对角线元素置为0；
记Z＝VVTE
令diag(D)＝0
其中V为最后一层的点特征矩阵、E为最后一层的边特征矩阵、D为预测的距离矩阵；
E、建立神经网络
神经网络由2组交替的边卷积层和点卷积层，以及一个距离矩阵层构成；
F、网络训练
G、生成坐标
利用神经网络计算得到的距离矩阵D，生成坐标矩阵C；
具体过程如下：
令
得其中，1＝[1,1,…,1]T是全为1的列向量，I为单位矩阵；
对B做奇异值分解，B＝UΛUT，其中，U为特征向量组成的正交矩阵；Λ为奇异值矩阵，奇异值按降序排列；
令C＝U3Λ3 1/2
其中，U3为U的前3列向量组成的矩阵，Λ3为前3个奇异值组成的3阶对角阵；
计算得到的C即为最终的坐标矩阵。
步骤A中，若点为RGB色，则每个点的初始特征v0是三维，值为RGB值/255；若点为灰度色，则每个点的初始特征v0为一维，值为灰度值；若点无颜色值，则每个点的初始特征v0为一维，值为1。
步骤F的网络训练方法为：随机选择一个平面，利用该平面切掉一部分点作为新的样本；对一个点云样本，先计算出方阵Z作为输入，形变后的对称矩阵D作为标签；损失函数采用smooth_l1_loss；
随机生成第一个点卷积之后的点和边特征张量，然后输入给网络的后半段，输出坐标矩阵。
将图1和图2进行对比，神经网络生成点云与原始点云的均方误差为0.438。

Claims (3)

1.一种基于图卷积网络的动态点云位置预测方法，其特征在于：以原始点云三维坐标为输入，将原始点云三维坐标转化为距离矩阵，送入图神经网络，预测变性后的距离矩阵，再计算出对应的三维坐标，即完成对动态点云位置的预测；
包括以下具体步骤：
A、确定初始特征
记点的初始特征为v0，为点的颜色值；记e0为边的初始特征；设dij为点i和j之间的距离，则
其中,为ij边第0层的特征；dk为特征点，ηk为对应的系数；
B、边卷积层处理
边ij第l+1层的特征为边ij第l层的特征和点i、j第l层特征3者的融合，具体如下公式所示，
其中，||表示向量拼接，W为权重矩阵；设第l层边特征和点特征的维数分别为nel和nvl，则W的维数为(2nvl+nel)×nel+1；
C、点卷积层处理
点的下一层特征为邻接点特征的聚合，再与点当前层特征的融合；其中邻接点特征的聚合是以边的特征算出的注意力系数加权平均，使用softmax保证注意力系数的和为1；
其中，αij为注意力系数、αT是一个向量，为网络参数、代表边ij第l+1层的特征、/>代表点i第l+1层特征、/>代表点i第l层特征；
D、距离矩阵层处理
距离矩阵层为根据边特征和点特征形变后的距离矩阵；
具体方式为：首先根据边特征和点特征计算出一个方阵Z，再将方阵Z转换成对称矩阵D，最后把D的对角线元素置为0；
记Z＝WTE
令diag(D)＝0,
其中V为最后一层的点特征矩阵、E为最后一层的边特征矩阵、D为预测的距离矩阵；
E、建立神经网络
神经网络由2组交替的边卷积层和点卷积层，以及一个距离矩阵层构成；
F、网络训练
G、生成坐标
利用神经网络计算得到的距离矩阵D，生成坐标矩阵C；
具体过程如下：
令
得其中，1＝[1，1，…，1]T是全为1的列向量，I为单位矩阵；
对B做奇异值分解，B＝UΛUT，其中，U为特征向量组成的正交矩阵；Λ为奇异值矩阵，奇异值按降序排列；
令C＝U3Λ3 1/2，
其中，U3为U的前3列向量组成的矩阵，Λ3为前3个奇异值组成的3阶对角阵；
计算得到的C即为最终的坐标矩阵。
2.根据权利要求1所述的一种基于图卷积网络的动态点云位置预测方法，其特征在于：步骤A中，若点为RGB色，则每个点的初始特征v0是三维，值为RGB值/255；若点为灰度色，则每个点的初始特征v0为一维，值为灰度值；若点无颜色值，则每个点的初始特征v0为一维，值为1。
3.根据权利要求1所述的一种基于图卷积网络的动态点云位置预测方法，其特征在于，步骤F的网络训练方法为：随机选择一个平面，利用该平面切掉一部分点作为新的样本；对一个点云样本，先计算出方阵Z作为输入，形变后的对称矩阵D作为标签；损失函数采用smooth_l1_loss；
随机生成第一个点卷积之后的点和边特征张量，然后输入给网络的后半段，输出坐标矩阵。
CN202110900935.5A 2021-08-06 2021-08-06 一种基于图卷积网络的动态点云位置预测方法 Active CN113537390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110900935.5A CN113537390B (zh) 2021-08-06 2021-08-06 一种基于图卷积网络的动态点云位置预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110900935.5A CN113537390B (zh) 2021-08-06 2021-08-06 一种基于图卷积网络的动态点云位置预测方法

Publications (2)

Publication Number Publication Date
CN113537390A CN113537390A (zh) 2021-10-22
CN113537390B true CN113537390B (zh) 2023-10-10

Family

ID=78122064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110900935.5A Active CN113537390B (zh) 2021-08-06 2021-08-06 一种基于图卷积网络的动态点云位置预测方法

Country Status (1)

Country Link
CN (1) CN113537390B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348299A (zh) * 2019-06-04 2019-10-18 上海交通大学 三维物体的识别方法
CN110879921A (zh) * 2019-11-25 2020-03-13 大连大学 一种基于时空相关性的卫星网络流量预测方法
CN112529878A (zh) * 2020-12-15 2021-03-19 西安交通大学 一种基于多视图半监督的淋巴结的分类方法、系统及设备
CN112562255A (zh) * 2020-12-03 2021-03-26 国家电网有限公司 微光环境下电缆沟道烟雾火情的智能图像检测方法
WO2021096667A1 (en) * 2019-11-15 2021-05-20 Argo AI, LLC Methods and systems for joint pose and shape estimation of objects from sensor data
CN112990010A (zh) * 2021-03-15 2021-06-18 深圳大学 点云数据处理方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348299A (zh) * 2019-06-04 2019-10-18 上海交通大学 三维物体的识别方法
WO2021096667A1 (en) * 2019-11-15 2021-05-20 Argo AI, LLC Methods and systems for joint pose and shape estimation of objects from sensor data
CN110879921A (zh) * 2019-11-25 2020-03-13 大连大学 一种基于时空相关性的卫星网络流量预测方法
CN112562255A (zh) * 2020-12-03 2021-03-26 国家电网有限公司 微光环境下电缆沟道烟雾火情的智能图像检测方法
CN112529878A (zh) * 2020-12-15 2021-03-19 西安交通大学 一种基于多视图半监督的淋巴结的分类方法、系统及设备
CN112990010A (zh) * 2021-03-15 2021-06-18 深圳大学 点云数据处理方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Convolution in the Cloud: Learning Deformable Kernels in 3D Graph Convolution Networks for Point Cloud Analysis;Zhi-Hao Lin et al.;《CPVR 2020》;全文 *
图神经网络综述;马帅 等;《计算机研究与发展》;全文 *
基于位置感知交叉注意力网络的方面情感分析;费文曲;《信息通信》;全文 *
转桨式水轮机调速系统节水增效控制方法研究;庄瑞玉 等;《水电与新能源》;全文 *

Also Published As

Publication number Publication date
CN113537390A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110020682B (zh) 一种基于小样本学习的注意力机制关系对比网络模型方法
CN111652216B (zh) 基于度量学习的多尺度目标检测模型方法
CN107229904B (zh) 一种基于深度学习的目标检测与识别方法
CN111489358A (zh) 一种基于深度学习的三维点云语义分割方法
CN102982373B (zh) 一种混合svm回归算法的oin神经网络训练方法
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN110569875A (zh) 一种基于特征复用的深度神经网络目标检测方法
US20180137409A1 (en) Method of constructing an artifical intelligence super deep layer learning model, device, mobile terminal, and software program of the same
CN107301643A (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN105469110A (zh) 基于局部线性迁移的非刚性变换图像特征匹配方法及系统
CN113469270A (zh) 基于分解多目标差分进化超像素的半监督直觉聚类方法
CN115937540A (zh) 基于Transformer编码器的图像匹配方法
CN109447147B (zh) 基于双图稀疏的深度矩阵分解的图像聚类方法
CN107403417A (zh) 一种基于单目视觉的三次元图像校准方法
CN113537390B (zh) 一种基于图卷积网络的动态点云位置预测方法
CN104537660B (zh) 基于多目标智能体进化聚类算法的图像分割方法
CN105678798A (zh) 一种结合局部空间信息的多目标模糊聚类图像分割方法
CN117253093A (zh) 一种基于深度特征和图注意力机制的高光谱影像分类方法
CN109949334A (zh) 基于深度强化网络残差连接的轮廓检测方法
CN113591997A (zh) 基于图学习卷积神经网络的装配特征图连接关系分类方法
CN111091540B (zh) 一种基于马尔科夫随机场的主动悬架控制方法
CN117218457A (zh) 一种基于双层二维归一化流的自监督工业异常检测方法
CN104992410A (zh) 一种单目视觉图像的处理方法
CN109146886B (zh) 一种基于深度密度的rgbd图像语义分割优化方法
CN111145221A (zh) 一种基于多层深度特征提取的目标跟踪算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant