CN112837356A - 一种基于wgan的无监督多视角三维点云联合配准方法 - Google Patents

一种基于wgan的无监督多视角三维点云联合配准方法 Download PDF

Info

Publication number
CN112837356A
CN112837356A CN202110165409.9A CN202110165409A CN112837356A CN 112837356 A CN112837356 A CN 112837356A CN 202110165409 A CN202110165409 A CN 202110165409A CN 112837356 A CN112837356 A CN 112837356A
Authority
CN
China
Prior art keywords
point
point cloud
matrix
sampling
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110165409.9A
Other languages
English (en)
Inventor
王耀南
彭伟星
张辉
毛建旭
朱青
刘敏
赵佳文
江一鸣
吴昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110165409.9A priority Critical patent/CN112837356A/zh
Priority to PCT/CN2021/077770 priority patent/WO2022165876A1/zh
Publication of CN112837356A publication Critical patent/CN112837356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供了一种基于WGAN的无监督多视角三维点云联合配准方法包括如下步骤：步骤S1、获取不同视角的点云；步骤S1、对所有视角的点云进行下采样；步骤S3、从标准模型中采样；步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练；步骤S5、对多视角点云联合配准WGAN的判别器网络进行训练；步骤S6、判断是否终止训练：设定生成器和判别器训练的次数均为M次，若达到M次则终止训练，若未达到M次则回到步骤S4。本发明设计了一种多视角点云配准网络生成点云模型，相较于传统的配准方法，具有对初始化更强的鲁棒性，有利于在生产线上实时运行，既不存在视角偏置，也不存在累计误差。

Description

一种基于WGAN的无监督多视角三维点云联合配准方法
技术领域
本发明涉及机器视觉技术领域，特别涉及一种基于WGAN(WassersteinGenerative Adversarial Networks，一种生成式对抗网络深度学习模型)的无监督多视角三维点云联合配准方法。
背景技术
智能制造技术是实现制造业工业化与信息化融合的动力。如今，航空制造业也正面临着向智能化的转型。机器人作为智能制造技术的载体之一，在航空制造领域引起了广泛关注。航空发动机是飞机的“心脏”，其性能主要受到航空发动机叶片制造水平的限制。叶片三维尺寸测量技术对叶片加工和质量检测具有重要意义。为了满足叶片日益复杂的测量需求，亟需开发三维测量机器人并实现自动测量。随着光学测量技术的发展，一个可行的机器人测量方案是：利用装载在工业机器人末端的激光扫描仪获取点云并重建出三维模型，通过该模型测量叶片的三维尺寸数据。
在该测量方案中，准确和完整地重建叶片的三维模型是精密测量叶片的必要前提，而配准多个视角的三维点云是重建过程主要需要解决的问题。点云配准指将不同坐标系下的点云变换到统一的坐标系下，一般分为三类：粗配准、精细配准和全局配准。粗配准一般用于两个姿态相差较大的点云；精细配准用于提升粗配准点云的精度，较为成熟的方法包括ICP(Iterative Closest Point,迭代最近点)配准算法以及基于ICP的改进算法；重建过程中，逐帧配准点云数据往往存在严重的累计误差，影响重建模型的精度。全局配准算法则期望将累计误差分散到每一帧数据，从而减小整体的误差。无论是精配准还是全局配准，都需要一个较好的粗配准结果作为初始化参数。粗配准则对依赖于点云的重叠区域大小，重叠部分特征的显著性，以及模型本身的对称性等。
航空发动机叶片为了满足气动性能，被设计成光滑无纹理的双曲面薄壁异形结构。在获取三维点云时，这样的结构会导致相邻点云间重叠区域不足，且纹理特征微弱，难以取得较好的粗配准结果，因此使得全局配准的误差大，无法精密重建出叶片的三维模型。
发明内容
本发明提供了一种基于WGAN的无监督多视角三维点云联合配准方法，该方法在WGAN的框架上可训练并优化各个视角的姿态，使得优化后整体的点云概率分布与先验模型点云的概率分布差异最小化，即表示配准后的点云模型最大程度的接近理论模型。
为了达到上述目的，本发明提供的一种基于WGAN的无监督多视角三维点云联合配准方法，包括如下步骤：
步骤S1、获取不同视角的点云：从不同视角进行扫描，扫描后获得I个点云P＝{P1,...,Pi,...,PI}，
Figure BDA0002937653720000021
表示第i个点云；Ni表示第i个点云所包含的点的个数，Pij表示第i个点云中的第j个点，pn＝R3，R表示实数，R3表示笛卡尔三维坐标系；
步骤S2、对所有视角的点云进行下采样：点云Pi为分别处理与前后相邻两个视角的关系，存在两个相邻的点云，处理不同相邻点云时，共进行两次点云下采样，即对于每个点云，分别对前后相邻视角点云下采样：
对于Pi-1，对Pi和Pi-1进行随机采样，采样数量NiL为：
NiL＝min{Ni-1/s,Ni/s} (1)
对于Pi+1，对Pi和Pi+1进行随机采样，采样数量NiR为：
NiR＝min{Ni/s,Ni+1/s} (2)
式中，Ni-1表示第i-1个点云所包含的点的个数，Ni表示第i个点云所包含的点的个数，Ni+1表示第i+1个点云所包含的点的个数，s为人为设定的采样参数；
步骤S3、从标准模型中采样；从标准模型点集Ps中采样出m个样本，记为标准样本
Figure BDA0002937653720000022
步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练：将各个视角点云逐一转换到统一的坐标系下，将所有转换后的点云融合成一个完整的点云模型P'，并对P'进行均匀采样，从P'采样m个点作为生成样本
Figure BDA0002937653720000031
具体包括如下步骤：
步骤S41、设计生成器；
步骤S42、生成器网络进行训练；
步骤S5、对多视角点云联合配准WGAN的判别器网络进行训练：对生成样本
Figure BDA0002937653720000032
与标准样本
Figure BDA0002937653720000033
进行判别；具体包括如下步骤：
步骤S51、设计判别器；
步骤S52、判别器网络进行训练；
步骤6：判断是否终止训练：设定生成器和判别器训练的次数均为M次，若达到M次则终止训练，若未达到M次则回到步骤S4。
优选地，所述步骤S41具体包括如下步骤：
步骤S411、构建特征向量转换网络层，对点云
Figure BDA0002937653720000034
表示Ni×3矩阵，逐点生成高维特征向量
Figure BDA0002937653720000035
D表示每个点提取的D维的特征向量，RN×D表示N×D矩阵；
步骤S412、构建匹配点计算网络层，逐点计算匹配点：提取相邻点云Pi-1与Pi+1对应的经过高维特征向量转换的特征矩阵F(i-1)R和F(i+1)L；分别计算Pi与Pi-1及Pi+1的匹配概率，分别得到匹配点对集合
Figure BDA0002937653720000039
Figure BDA0002937653720000036
Figure BDA0002937653720000037
步骤S413、滤除基于注意力机制的外点：计算上一次迭代得到的第i个姿态的转置与匹配点对Cij之间的相关性度量simij，j表示索引；
步骤S414、联合配准求姿态的闭式解T：根据当前匹配点对及其权重计算点云的相对姿态及约束条件，获得点云的相对姿态优化唯一最优解，即最优姿态；
步骤S415、生成点云模型并进行采样：根据最优姿态，将各个视角点云逐一转换到统一的坐标系下，融合成一个完整的点云模型P'，并对P'进行均匀采样。
优选地，所述步骤S411具体为：
网络由4个EdgeConv层和一个卷积层Conv构成，用每一个特征
Figure BDA0002937653720000038
作为顶点，对每个点计算K-最近邻KNN，连接其K近邻作为边，构建图结构，Din表示输入特征向量的维数，
Figure BDA0002937653720000041
表示Din维实数向量；
对于顶点
Figure BDA0002937653720000042
其与某个邻近点
Figure BDA0002937653720000043
所构成的边为
Figure BDA0002937653720000044
将每一条边作为多层感知机MLP的输入，经过ReLU激活函数后输出Dout维特征；
将所有边的特征通过最大池化层，得到对应于顶点
Figure BDA0002937653720000045
的特征
Figure BDA0002937653720000046
Figure BDA0002937653720000047
表示Dout维实数向量；
输入特征矩阵
Figure BDA0002937653720000048
表示N×Din维实数矩阵，输出特征矩阵
Figure BDA0002937653720000049
表示N×Dout维实数矩阵；
其中，第一个EdgeConv层输出的特征维数为64，第二个EdgeConv层输出的特征维数为64，第三个EdgeConv层输出的特征维数为128，第四个EdgeConv层输出的特征维数为256；将四个EdgeConv层提取的特征拼接得到的N×512维特征作为Conv的输入，过ReLU激活函数后输出特征矩阵Fi∈RN×1024，RN×1024表示N×1024维实数矩阵。
优选地，所述步骤S412具体为：
Pi为分别处理与前后相邻两个视角的关系，进行了两次点云下采样，对应地经过高维特征层提取两个不同的特征矩阵，即
Figure BDA00029376537200000410
和
Figure BDA00029376537200000411
Figure BDA00029376537200000412
表示NiL×1024维实数矩阵，
Figure BDA00029376537200000413
表示NiR×1024维实数矩阵；
Pi与Pi+1的匹配点具体为：输入为
Figure BDA00029376537200000414
输出为
Figure BDA00029376537200000415
和
Figure BDA00029376537200000416
其中，φ(FiR,F(i+1)L)为Transformer将特征FiR通过学习调整到一个“条件”F(i+1)L的残差变化量，φ(F(i+)L,FiR)为Transformer将特征F(i+1)L通过学习调整到一个“条件”FiR的残差变化量；
对于点pij∈Pi，Pi+1的每一个点与pij成为匹配点的概率所构成矩阵为
Figure BDA00029376537200000417
ΦiR(j)表示ΦiR的第j行，即对应于点pij的特征向量,T表示矩阵转置，softmax是一种概率归一化处理函数；
根据上述匹配点概率，为pij∈Pi生成一个平均匹配点cpij：
Figure BDA00029376537200000418
点云Pi在Pi+1中得到的匹配点集合记为CPi，匹配点对(pij,cpij)记作Cij，匹配点对构成集合CiR；
Pi与Pi-1的匹配点均可按照上述过程实现，得到匹配点对集合CiL；CiR与CiL构成匹配点对构成集合Ci；每对相邻视角寻找匹配点的过程均可按照上述过程实现。
优选地，所述步骤S413具体为：
计算
Figure BDA0002937653720000051
与匹配点对Cij之间的相关性度量simij：
Figure BDA0002937653720000052
其中
Figure BDA0002937653720000053
表示上一次迭代得到的第i个姿态的转置，||.||F表示Frobenius范数，σ是一个正实数，防止simij趋向于无穷大；
引入soft max函数对simij进行归一化，使所有匹配点对权重之和为1：
Figure BDA0002937653720000054
式中，wij表示匹配点权重，
Figure BDA0002937653720000055
表示变量为simij的指数函数。
优选地，所述步骤S414具体为：
根据当前匹配点对及其权重计算点云的相对姿态，所有匹配点对欧式距离之和d为：
Figure BDA0002937653720000056
其中，
Figure BDA0002937653720000057
为第i个视角姿态转换矩阵的转置，Ri∈SO(3)为旋转矩阵的转置，ti∈R1×3为平移量的转置，Rl×3表示L×3维实数矩阵；
构造矩阵
Figure BDA0002937653720000061
将式(7)表示成
Figure BDA0002937653720000062
令
Figure BDA0002937653720000063
T＝[T1,...,TI]T，将式(8)转化成矩阵函数表达式:
Figure BDA0002937653720000064
所求得的姿态T＝[T1,...,TI]T需要一个固定的初始坐标系，以保证优化问题仅存在唯一的最优解；
为式(9)添加约束条件T1＝T0，T0是任意的满足R0∈SO(3)的姿态；为了简化网络结构，取T0为标准3D模型的坐标系；由于T＝[T1,...,TI]T，构造矩阵A＝[I4 04×4(I-1)]，I4表示4×4的单位矩阵，04×4(I-1)表示4×4(I-1)的零矩阵；
约束条件1表示成：
T1＝AT＝T0 (10)
同时，旋转矩阵
Figure BDA0002937653720000065
约束条件2表示成：
Figure BDA0002937653720000066
式中，I表示单位矩阵，det表示行列式；
令b＝[I3 03×1]，则
Ri＝bTi (12)
令R＝[R1...Ri...RI]，则
R＝BT (13)
其中，
Figure BDA0002937653720000071
令
Figure BDA0002937653720000072
将式(9)的等式约束最优问题表示成：
Figure BDA0002937653720000073
式中，s.t.表示约束条件；
采用拉格朗日乘子法处理等式约束问题，增广的拉格朗日函数为
Figure BDA0002937653720000074
式中，λ表示人为设定的参数，取0.001，μ作为该层神经网络的可调参数，
Figure BDA0002937653720000075
取上一次迭代的结果，Y表示拉格朗日乘子；
采用交替乘子法求解上述问题的最优解，得到如下迭代关系
Figure BDA0002937653720000076
关于
Figure BDA0002937653720000077
的子问题可以用下式求解：
Figure BDA0002937653720000078
Figure BDA0002937653720000081
SVD表示奇异值分解；
关于T的子问题是一个二次凸优化问题，令其导数为0求其最小值，即
Figure BDA0002937653720000082
则有
Figure BDA0002937653720000083
优选地，所述步骤S415具体为：
根据上个步骤求得的姿态T，将各个视角点云逐一转换到统一的坐标系下：
p'ij＝pijTi (21)
将所有转换后的点云融合成一个完整的点云模型P'；
对P'进行均匀采样：记采样点集为S2，S2初始化为空集；随机采样一个种子点seed，放入S2；在集合P'-S2里，找一个距离集合S2最远的点；最终从P'中采样m个点作为样本
Figure BDA0002937653720000084
所述步骤S3具体包括入下步骤：
步骤S31、记标准模型点集为Ps，采样点集为S1，S1初始化为空集；
步骤S32、随机采样一个种子点seed，放入S1；
步骤S33、在集合Ps-S1里，找一个距离集合S1最远的点，其中点到集合S1的距离为该点到S1最小的点距；
步骤S34、重复步骤S33，直到采样出m个样本，记为标准样本
Figure BDA0002937653720000085
优选地，所述步骤S42具体包括如下步骤：
步骤S421、逐一将下采样的点云
Figure BDA0002937653720000086
输入到共享权值的高维特征提取层，得到对应点云Pi的特征矩阵Fi∈RN×1024；
步骤S422、将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络，得到点云Pi的匹配点集CPi；
步骤S423、将所有视角的点及其匹配点作为输入，利用联合配准求姿态的闭式解T；
步骤S424、将所有点云通过求得的T转换到统一坐标系下，融合成点云模型P'；
步骤S425、从P'采样m个点作为生成样本
Figure BDA0002937653720000091
步骤S426、调节生成器网络参数：
Figure BDA0002937653720000092
θ←θ-α·RMS Prop(θ,gθ) (23)
gθ表示关于θ的梯度，θ表示生成器的网络参数，fω表示判别器，ω表示判别器的网络参数，v(i)表示第i个生成样本，α表示步长，RMSProp表示一种基于动量的优化算法。
优选地，所述步骤S51具体为：
WGAN网络通过训练含参数ω、最后一层不是非线性激活层的判别器网络fω，在ω不超过某个范围的条件下，使得L尽可能最大，L表达式如下：
Figure BDA0002937653720000093
式中，L近似真实分布
Figure BDA0002937653720000094
和生成分布
Figure BDA0002937653720000095
之间的Wasserstein距离，即用Wasserstein距离定量的衡量两个分布的差异度，p表示样本，
Figure BDA0002937653720000096
表示真实分布
Figure BDA0002937653720000097
的期望，
Figure BDA0002937653720000098
表示生成分布
Figure BDA0002937653720000099
判别器采用全连接实现的多层感知机，结构为四层全连接，伴有3个ReLU激活函数；输入为点的坐标，即输入维度为3，输出维度为1。
优选地，所述步骤S52具体包括如下步骤：
步骤S521、逐一将从生成点云模型均匀采样的m个点的生成样本
Figure BDA00029376537200000910
输入到判别器网络fω中；
步骤S532、逐一将从标准模型均匀采样的m个点的标准样本
Figure BDA00029376537200000911
输入到判别器网络fω中；
步骤S533、调节判别器网络参数，对生成样本
Figure BDA00029376537200000912
与标准样本
Figure BDA00029376537200000913
进行判别；判别器网络参数具体为：
Figure BDA00029376537200000914
ω←ω+α·RMS Prop(ω,gω) (26)
ω←clip(ω,-c,c) (27)
gω表示关于ω的梯度，u(i)表示第i个标准样本，fω表示判别器，ω表示判别器的网络参数，RMSProp表示一种基于动量的优化算法，clip()表示参数ω的绝对值截断到不超过一个固定的常数c。
本发明能够取得下列有益效果：
(1)对视角姿态的初始化鲁棒；(2)相比于全监督神经网络，本发明所涉及的神经网络为无监督神经网络，只需要预先知道建模对象的理论模型即可，不需要大量的标注信息和大量样本，训练简单快速；(3)无需考虑网络的泛化能力，可实时运行；(4)相比于传统的多视角配准方法，所设计的网络直接求每一个视角相对于同一参考坐标系的转换关系，既不存在对某个视角的偏置，也不存在累计误差；(5)训练后的结果可作为精配准的初始值，配准精度高。
附图说明
图1为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的算法实现流程图；
图2为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法中的一较佳实施例的联合配准的WGAN总体网络结构示意图；
图3为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中WGAN的生成器网络结构的示意图；
图4为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中生成器所涉及的高维特征提取层网络结构的示意图；
图5(a)为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中高维特征提取层所涉及的EdgeConv层的示意图；
图5(b)为图5(a)中通过K-邻近构造的图的示意图；
图6为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中生成器所涉及的匹配点生成层的transformer网络结构的示意图；
图7(a)为本发明的一种基于WGAN的无监督多视角三维点云联合配准方法的一较佳实施例中transformer网络所涉及的attention的示意图；
图7(b)为图7(a)的transformer网络所涉及的Multi-head attention子层的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
发动机叶片是以理论设计模型为参考加工的，所以加工成型的叶片应尽可能的符合设计模型，理论上配准后点云的整体概率分布也应该尽可能的接近理论模型点云的概率分布。
本发明针对现有的问题，提供了一种基于WGAN的无监督多视角三维点云联合配准方法，如图1及图2所示，本发明的一种基于WGAN的无监督多视角三维点云联合配准方法包括如下步骤：
步骤S1、获取不同视角的点云：从不同视角进行扫描，扫描后获得I个点云P＝{P1,...,Pi,...,PI}，
Figure BDA0002937653720000111
表示第i个点云；Ni表示第i个点云所包含的点的个数，Pij表示第i个点云中的第j个点，pn＝R3，R表示实数，R3表示笛卡尔三维坐标系；
步骤S2、对所有视角的点云进行下采样：点云Pi为分别处理与前后相邻两个视角的关系，存在两个相邻的点云，处理不同相邻点云时，共进行两次点云下采样，即对于每个点云，分别对前后相邻视角点云下采样：
对于Pi-1，对Pi和Pi-1进行随机采样，采样数量NiL为：
NiL＝min{Ni-1/s,Ni/s} (1)
对于Pi+1，对Pi和Pi+1进行随机采样，采样数量NiR为：
NiR＝min{Ni/s,Ni+1/s} (2)
式中，Ni-1表示第i-1个点云所包含的点的个数，Ni表示第i个点云所包含的点的个数，Ni+1表示第i+1个点云所包含的点的个数，s为人为设定的采样参数；
步骤S3、从标准模型中采样；从标准模型点集Ps中采样出m个样本，记为标准样本
Figure BDA0002937653720000121
步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练：将各个视角点云逐一转换到统一的坐标系下，将所有转换后的点云融合成一个完整的点云模型P'，并对P'进行均匀采样，从P'采样m个点作为生成样本
Figure BDA0002937653720000122
具体包括如下步骤：
步骤S41、设计生成器；
步骤S42、生成器网络进行训练；
步骤S5、对多视角点云联合配准WGAN的判别器网络进行训练：对生成样本
Figure BDA0002937653720000123
与标准样本
Figure BDA0002937653720000124
进行判别；具体包括如下步骤：
步骤S51、设计判别器；
步骤S52、判别器网络进行训练；
步骤6：判断是否终止训练：设定生成器和判别器训练的次数均为M次，若达到M次则终止训练，若未达到M次则回到步骤S4。
参考图3中WGAN的生成器网络结构的示意图，其中，所述步骤S41具体包括如下步骤：
步骤S411、构建特征向量转换网络层，对点云
Figure BDA0002937653720000125
表示Ni×3矩阵，逐点生成高维特征向量Fi∈RN×D，D表示每个点提取的D维的特征向量，RN×D表示N×D矩阵；
步骤S412、构建匹配点计算网络层，逐点计算匹配点：提取相邻点云Pi-1与Pi+1对应的经过高维特征向量转换的特征矩阵F(i-1)R和F(i+1)L；分别计算Pi与Pi-1及Pi+1的匹配概率，分别得到匹配点对集合
Figure BDA0002937653720000126
Figure BDA0002937653720000127
步骤S413、滤除基于注意力机制的外点：计算上一次迭代得到的第i个姿态的转置与匹配点对Cij之间的相关性度量simij，j表示索引；
步骤S414、联合配准求姿态的闭式解T：根据当前匹配点对及其权重计算点云的相对姿态及约束条件，获得点云的相对姿态优化唯一最优解，即最优姿态；
步骤S415、生成点云模型并进行采样：根据最优姿态，将各个视角点云逐一转换到统一的坐标系下，融合成一个完整的点云模型P'，并对P'进行均匀采样。
参考图4、图5(a)及图5(b)，所述步骤S411具体为：
网络由4个EdgeConv(一种边卷积操作)层和一个卷积层Conv(向量卷积运算)构成，用每一个特征
Figure BDA0002937653720000131
作为顶点，对每个点计算K-最近邻KNN，连接其K近邻作为边，构建图结构，Din表示输入特征向量的维数，
Figure BDA0002937653720000132
表示Din维实数向量；
对于顶点
Figure BDA0002937653720000133
其与某个邻近点
Figure BDA0002937653720000134
所构成的边为
Figure BDA0002937653720000135
将每一条边作为多层感知机MLP(Multilayer Perceptron)的输入，经过ReLU(线性整流函数，Rectified Linear Unit)激活函数后输出Dout维特征；
将所有边的特征通过最大池化层，得到对应于顶点
Figure BDA0002937653720000136
的特征
Figure BDA0002937653720000137
表示Dout维实数向量；
输入特征矩阵
Figure BDA0002937653720000138
表示N×Din维实数矩阵，输出特征矩阵
Figure BDA0002937653720000139
表示N×Dout维实数矩阵；
其中，第一个EdgeConv层输出的特征维数为64，第二个EdgeConv层输出的特征维数为64，第三个EdgeConv层输出的特征维数为128，第四个EdgeConv层输出的特征维数为256；将四个EdgeConv层提取的特征拼接得到的N×512维特征作为Conv的输入，过ReLU激活函数后输出特征矩阵Fi∈RN×1024,RN×1024表示N×1024维实数矩阵。
所述步骤S412具体为：
Pi为分别处理与前后相邻两个视角的关系，进行了两次点云下采样，对应地经过高维特征层提取两个不同的特征矩阵，即
Figure BDA00029376537200001310
和
Figure BDA00029376537200001311
Figure BDA00029376537200001312
表示NiL×1024维实数矩阵，
Figure BDA00029376537200001313
表示NiR×1024维实数矩阵；
Pi与Pi+1的匹配点具体为：输入为
Figure BDA00029376537200001314
输出为
Figure BDA00029376537200001315
和
Figure BDA00029376537200001316
其中，φ(FiR,F(i+1)L)为Transformer将特征FiR通过学习调整到一个“条件”F(i+1)L的残差变化量，φ(F(i+)L,FiR)为Transformer将特征F(i+1)L通过学习调整到一个“条件”FiR的残差变化量；
参考图6、图7(a)及7(b)，Transformer为基于encoder-decoder(编码器-解码器)结构的模型：
Encoder(编码器)包括6个编码器，6个编码器依次叠加，每个编码器包含一个Multi-head attention(多头注意力)子层和一个feed-forward(前馈)子层，每个子层之间有残差连接；每个编码器输出矩阵作为下一个编码器的输入；第一个编码器的输入为FiR，最后一个编码器的输出为
Figure BDA0002937653720000141
的编码矩阵；Multi-head attention子层，将8次self-attention(自注意力)计算得到的矩阵进行加权求和；
Decoder(解码器)包括6个解码器，6个解码器依次叠加，每个解码器包含两个Multi-head attention子层和一个feed-forward子层，每个子层之间有残差连接；每个解码器输出矩阵作为下一个解码器的输入；第一个解码器的输入为F(i+1)L，最后一个编码器的输出为
Figure BDA0002937653720000142
的解码矩阵；第一个Multi-head attention将8次self-attention计算得到的矩阵进行加权求和，第二个Multi-head attention将8次encoder-decoder-attention(编码器-解码器注意力)计算得到的矩阵进行加权求和；encoder-decoder-attention用第一个子层的输出创建Queries矩阵(查询矩阵)，用encoder的输出创建Keys(关键字)和Values(值)矩阵；
对于点pij∈Pi，Pi+1的每一个点与pij成为匹配点的概率所构成矩阵为
Figure BDA0002937653720000143
ΦiR(j)表示ΦiR的第j行，即对应于点pij的特征向量；T表示矩阵转置，softmax是一种概率归一化处理函数；
根据上述匹配点概率，为pij∈Pi生成一个平均匹配点cpij：
Figure BDA0002937653720000144
点云Pi在Pi+1中得到的匹配点集合记为CPi，匹配点对(pij,cpij)记作Cij，匹配点对构成集合CiR；
Pi与Pi-1的匹配点均可按照上述过程实现，得到匹配点对集合CiL；CiR与CiL构成匹配点对构成集合Ci；每对相邻视角寻找匹配点的过程均可按照上述过程实现。
所述步骤S413具体为：
计算
Figure BDA0002937653720000145
与匹配点对Cij之间的相关性度量simij：
Figure BDA0002937653720000151
其中
Figure BDA0002937653720000152
表示上一次迭代得到的第i个姿态的转置，||.||F表示Frobenius(一种矩阵范数)范数，σ是一个正实数，防止simij趋向于无穷大；
引入soft max函数对simij进行归一化，使所有匹配点对权重之和为1：
Figure BDA0002937653720000153
式中，wij表示匹配点权重，
Figure BDA0002937653720000154
表示变量为simij的指数函数。
所述步骤S414具体为：
根据当前匹配点对及其权重计算点云的相对姿态，所有匹配点对欧式距离之和d为：
Figure BDA0002937653720000155
其中，
Figure BDA0002937653720000156
为第i个视角姿态转换矩阵的转置，Ri∈SO(3)为旋转矩阵的转置，ti∈R1×3为平移量的转置，Rl×3表示L×3维实数矩阵；
构造矩阵
Figure BDA0002937653720000157
将式(7)表示成
Figure BDA0002937653720000158
令
Figure BDA0002937653720000161
T＝[T1,...,TI]T，将式(8)转化成矩阵函数表达式:
Figure BDA0002937653720000162
所求得的姿态T＝[T1,...,TI]T需要一个固定的初始坐标系，以保证优化问题仅存在唯一的最优解；
为式(9)添加约束条件T1＝T0，T0是任意的满足R0∈SO(3)的姿态；为了简化网络结构，取T0为标准3D模型的坐标系；由于T＝[T1,...,TI]T，构造矩阵A＝[I4 04×4(I-1)]，I4表示4×4的单位矩阵，04×4(I-1)表示4×4(I-1)的零矩阵；
约束条件1表示成：
T1＝AT＝T0. (10)
同时，旋转矩阵
Figure BDA0002937653720000163
约束条件2表示成：
Figure BDA0002937653720000164
式中，I表示单位矩阵，det表示行列式；
令b＝[I3 03×1]，则
Ri＝bTi, (12)
令R＝[R1...Ri...RI]，则
R＝BT, (13)
其中，
Figure BDA0002937653720000165
令
Figure BDA0002937653720000171
将式(9)的等式约束最优问题表示成：
Figure BDA0002937653720000172
式中，s.t.表示约束条件；
采用拉格朗日乘子法处理等式约束问题，增广的拉格朗日函数为
Figure BDA0002937653720000173
式中，λ表示人为设定的参数，取0.001，μ作为该层神经网络的可调参数，
Figure BDA0002937653720000174
取上一次迭代的结果，Y表示拉格朗日乘子；
采用交替乘子法求解上述问题的最优解，得到如下迭代关系
Figure BDA0002937653720000175
关于
Figure BDA0002937653720000176
的子问题可以用下式求解：
Figure BDA0002937653720000177
Figure BDA0002937653720000178
SVD(Singular Value Decomposition，奇异值分解)表示奇异值分解；
关于T的子问题是一个二次凸优化问题，令其导数为0求其最小值，即
Figure BDA0002937653720000179
则有
Figure BDA0002937653720000181
上式中λ是人为设定的参数(取0.001)，μ作为该层神经网络的可调参数，
Figure BDA0002937653720000182
取上一次迭代的结果。
所述步骤S415具体为：
根据上个步骤求得的姿态T，将各个视角点云逐一转换到统一的坐标系下：
p'ij＝pijTi (21)
将所有转换后的点云融合成一个完整的点云模型P'；
对P'进行均匀采样：记采样点集为S2，S2初始化为空集；随机采样一个种子点seed(种子点)，放入S2；在集合P'-S2里，找一个距离集合S2最远的点；最终从P'中采样m个点作为样本
Figure BDA0002937653720000183
所述步骤S416具体为：
逐一将下采样的点云
Figure BDA0002937653720000184
输入到共享权值的高维特征提取层，得到对应点云Pi的特征矩阵Fi∈RN×1024；将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络，得到点云Pi的匹配点集CPi；将所有视角的点及其匹配点作为输入，利用联合配准求姿态的闭式解T。将所有点云通过求得的T转换到统一坐标系下，融合成点云模型P'；从P'采样m个点作为生成的样本
Figure BDA0002937653720000185
设p'ij∈P'服从概率分布
Figure BDA0002937653720000186
保持判别器fω的网络参数不变，构造生成器的loss为：
Figure BDA0002937653720000187
所述步骤S3具体包括入下步骤：
步骤S31、记标准模型点集为Ps，采样点集为S1，S1初始化为空集；
步骤S32、随机采样一个种子点seed，放入S1；
步骤S33、在集合Ps-S1里，找一个距离集合S1最远的点，其中点到集合S1的距离为该点到S1最小的点距；
步骤S34、重复步骤S33，直到采样出m个样本，记为标准样本
Figure BDA0002937653720000191
优选地，所述步骤S42具体包括如下步骤：
步骤S421、逐一将下采样的点云
Figure BDA0002937653720000192
输入到共享权值的高维特征提取层，得到对应点云Pi的特征矩阵Fi∈RN×1024；
步骤S422、将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络，得到点云Pi的匹配点集CPi；
步骤S423、将所有视角的点及其匹配点作为输入，利用联合配准求姿态的闭式解T；
步骤S424、将所有点云通过求得的T转换到统一坐标系下，融合成点云模型P'；
步骤S425、从P'采样m个点作为生成样本
Figure BDA0002937653720000193
步骤S426、调节生成器网络参数：
Figure BDA0002937653720000194
θ←θ-α·RMS Prop(θ,gθ) (24)
gθ表示关于θ的梯度，θ表示生成器的网络参数，fω表示判别器，ω表示判别器的网络参数，v(i)表示第i个生成样本，α表示步长，RMSProp表示一种基于动量的优化算法。
所述步骤S51具体为：
WGAN网络通过训练含参数ω、最后一层不是非线性激活层的判别器网络fω，在ω不超过某个范围的条件下，使得L尽可能最大，L表达式如下：
Figure BDA0002937653720000195
式中，L近似真实分布
Figure BDA0002937653720000196
和生成分布
Figure BDA0002937653720000197
之间的Wasserstein距离，即用Wasserstein距离定量的衡量两个分布的差异度，p表示样本，
Figure BDA0002937653720000198
表示真实分布
Figure BDA0002937653720000199
的期望，
Figure BDA00029376537200001910
表示生成分布
Figure BDA00029376537200001911
判别器采用全连接实现的多层感知机，结构为四层全连接，伴有3个ReLU激活函数；输入为点的坐标，即输入维度为3，输出维度为1。
所述步骤S52具体包括如下步骤：
步骤S521、逐一将从生成点云模型均匀采样的m个点的生成样本
Figure BDA00029376537200001912
输入到判别器网络fω中；
步骤S532、逐一将从标准模型均匀采样的m个点的标准样本
Figure BDA0002937653720000201
输入到判别器网络fω中；
步骤S533、调节判别器网络参数，对生成样本
Figure BDA0002937653720000202
与标准样本
Figure BDA0002937653720000203
进行判别；判别器网络参数具体为：
Figure BDA0002937653720000204
ω←ω+α·RMS Prop(ω,gω) (26)
ω←clip(ω,-c,c) (27)
gω表示关于ω的梯度，u(i)表示第i个标准样本，fω表示判别器，ω表示判别器的网络参数，RMSProp表示一种基于动量的优化算法，clip()表示参数ω的绝对值截断到不超过一个固定的常数c。
本发明能够取得下列有益效果：
(1)对视角姿态的初始化鲁棒；(2)相比于全监督神经网络，本发明所涉及的神经网络为无监督神经网络，只需要预先知道建模对象的理论模型即可，不需要大量的标注信息和大量样本，训练简单快速；(3)无需考虑网络的泛化能力，可实时运行；(4)相比于传统的多视角配准方法，所设计的网络直接求每一个视角相对于同一参考坐标系的转换关系，既不存在对某个视角的偏置，也不存在累计误差；(5)训练后的结果可作为精配准的初始值，配准精度高。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，包括如下步骤：
步骤S1、获取不同视角的点云：从不同视角进行扫描，扫描后获得I个点云P＝{P1,...,Pi,...,PI}，
Figure FDA0002937653710000011
表示第i个点云；Ni表示第i个点云所包含的点的个数，Pij表示第i个点云中的第j个点，pn＝R3，R表示实数，R3表示笛卡尔三维坐标系；
步骤S2、对所有视角的点云进行下采样：点云Pi为分别处理与前后相邻两个视角的关系，存在两个相邻的点云，处理不同相邻点云时，共进行两次点云下采样，即对于每个点云，分别对前后相邻视角点云下采样：
对于Pi-1，对Pi和Pi-1进行随机采样，采样数量NiL为：
NiL＝min{Ni-1/s,Ni/s} (1)
对于Pi+1，对Pi和Pi+1进行随机采样，采样数量NiR为：
NiR＝min{Ni/s,Ni+1/s} (2)
式中，Ni-1表示第i-1个点云所包含的点的个数，Ni表示第i个点云所包含的点的个数，Ni+1表示第i+1个点云所包含的点的个数，s为人为设定的采样参数；
步骤S3、从标准模型中采样；从标准模型点集Ps中采样出m个样本，记为标准样本
Figure FDA0002937653710000012
步骤S4、对多视角点云联合配准WGAN的生成器网络进行训练：将各个视角点云逐一转换到统一的坐标系下，将所有转换后的点云融合成一个完整的点云模型P'，并对P'进行均匀采样，从P'采样m个点作为生成样本
Figure FDA0002937653710000013
具体包括如下步骤：
步骤S41、设计生成器；
步骤S42、生成器网络进行训练；
步骤S5、对多视角点云联合配准WGAN的判别器网络进行训练：对生成样本
Figure FDA0002937653710000014
与标准样本
Figure FDA0002937653710000015
进行判别；具体包括如下步骤：
步骤S51、设计判别器；
步骤S52、判别器网络进行训练；
步骤6：判断是否终止训练：设定生成器和判别器训练的次数均为M次，若达到M次则终止训练，若未达到M次则回到步骤S4。
2.根据权利要求1所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S41具体包括如下步骤：
步骤S411、构建特征向量转换网络层，对点云
Figure FDA0002937653710000021
表示Ni×3矩阵，逐点生成高维特征向量Fi∈RN×D，D表示每个点提取的D维的特征向量，RN×D表示N×D矩阵；
步骤S412、构建匹配点计算网络层，逐点计算匹配点：提取相邻点云Pi-1与Pi+1对应的经过高维特征向量转换的特征矩阵F(i-1)R和F(i+1)L；分别计算Pi与Pi-1及Pi+1的匹配概率，分别得到匹配点对集合
Figure FDA0002937653710000022
Figure FDA0002937653710000023
步骤S413、滤除基于注意力机制的外点：计算上一次迭代得到的第i个姿态的转置与匹配点对Cij之间的相关性度量simij，j表示索引；
步骤S414、联合配准求姿态的闭式解T：根据当前匹配点对及其权重计算点云的相对姿态及约束条件，获得点云的相对姿态优化唯一最优解，即最优姿态；
步骤S415、生成点云模型并进行采样：根据最优姿态，将各个视角点云逐一转换到统一的坐标系下，融合成一个完整的点云模型P'，并对P'进行均匀采样。
3.根据权利要求2所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S411具体为：
网络由4个EdgeConv层和一个卷积层Conv构成，用每一个特征
Figure FDA0002937653710000024
作为顶点，对每个点计算K-最近邻KNN，连接其K近邻作为边，构建图结构，Din表示输入特征向量的维数，
Figure FDA0002937653710000025
表示Din维实数向量；
对于顶点
Figure FDA0002937653710000026
其与某个邻近点
Figure FDA0002937653710000027
所构成的边为
Figure FDA0002937653710000028
将每一条边作为多层感知机MLP的输入，经过ReLU激活函数后输出Dout维特征；
将所有边的特征通过最大池化层，得到对应于顶点
Figure FDA0002937653710000029
的特征
Figure FDA00029376537100000210
Figure FDA0002937653710000031
表示Dout维实数向量；
输入特征矩阵
Figure FDA0002937653710000032
Figure FDA0002937653710000033
表示N×Din维实数矩阵，输出特征矩阵
Figure FDA0002937653710000034
Figure FDA0002937653710000035
表示N×Dout维实数矩阵；
其中，第一个EdgeConv层输出的特征维数为64，第二个EdgeConv层输出的特征维数为64，第三个EdgeConv层输出的特征维数为128，第四个EdgeConv层输出的特征维数为256；将四个EdgeConv层提取的特征拼接得到的N×512维特征作为Conv的输入，过ReLU激活函数后输出特征矩阵Fi∈RN×1024，RN×1024表示N×1024维实数矩阵。
4.根据权利要求3所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S412具体为：
Pi为分别处理与前后相邻两个视角的关系，进行了两次点云下采样，对应地经过高维特征层提取两个不同的特征矩阵，即
Figure FDA0002937653710000036
和
Figure FDA0002937653710000037
Figure FDA0002937653710000038
表示NiL×1024维实数矩阵，
Figure FDA0002937653710000039
表示NiR×1024维实数矩阵；
Pi与Pi+1的匹配点具体为：输入为
Figure FDA00029376537100000310
输出为ΦiR＝FiR+φ(FiR,F(i+1)L)，
Figure FDA00029376537100000311
和Φ(i+1)L＝F(i+1)L+φ(F(i+1)L,FiR)，
Figure FDA00029376537100000312
其中，φ(FiR,F(i+1)L)为Transformer将特征FiR通过学习调整到一个“条件”F(i+1)L的残差变化量，φ(F(i+)L,FiR)为Transformer将特征F(i+1)L通过学习调整到一个“条件”FiR的残差变化量；
对于点pij∈Pi，Pi+1的每一个点与pij成为匹配点的概率所构成矩阵为
Figure FDA00029376537100000313
ΦiR(j)表示ΦiR的第j行，即对应于点pij的特征向量,T表示矩阵转置，softmax是一种概率归一化处理函数；
根据上述匹配点概率，为pij∈Pi生成一个平均匹配点cpij：
Figure FDA00029376537100000314
点云Pi在Pi+1中得到的匹配点集合记为CPi，匹配点对(pij,cpij)记作Cij，匹配点对构成集合CiR；
Pi与Pi-1的匹配点均可按照上述过程实现，得到匹配点对集合CiL；CiR与CiL构成匹配点对构成集合Ci；每对相邻视角寻找匹配点的过程均可按照上述过程实现。
5.根据权利要求4所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S413具体为：
计算
Figure FDA0002937653710000047
与匹配点对Cij之间的相关性度量simij：
Figure FDA0002937653710000041
其中
Figure FDA0002937653710000042
表示上一次迭代得到的第i个姿态的转置，||.||F表示Frobenius范数，σ是一个正实数，防止simij趋向于无穷大；
引入softmax函数对simij进行归一化，使所有匹配点对权重之和为1：
Figure FDA0002937653710000043
式中，wij表示匹配点权重，
Figure FDA0002937653710000044
表示变量为simij的指数函数。
6.根据权利要求2所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S414具体为：
根据当前匹配点对及其权重计算点云的相对姿态，所有匹配点对欧式距离之和d为：
Figure FDA0002937653710000045
其中，
Figure FDA0002937653710000046
为第i个视角姿态转换矩阵的转置，Ri∈SO(3)为旋转矩阵的转置，ti∈R1 ×3为平移量的转置，Rl×3表示L×3维实数矩阵；
构造矩阵
Figure FDA0002937653710000051
将式(7)表示成
Figure FDA0002937653710000052
令
Figure FDA0002937653710000053
T＝[T1,...,TI]T，将式(8)转化成矩阵函数表达式:
Figure FDA0002937653710000054
所求得的姿态T＝[T1,...,TI]T需要一个固定的初始坐标系，以保证优化问题仅存在唯一的最优解；
为式(9)添加约束条件T1＝T0，T0是任意的满足R0∈SO(3)的姿态；为了简化网络结构，取T0为标准3D模型的坐标系；由于T＝[T1,...,TI]T，构造矩阵A＝[I4 04×4(I-1)]，I4表示4×4的单位矩阵，04×4(I-1)表示4×4(I-1)的零矩阵；
约束条件1表示成：
T1＝AT＝T0 (10)
同时，旋转矩阵
Figure FDA0002937653710000055
约束条件2表示成：
Figure FDA0002937653710000056
式中，I表示单位矩阵，det表示行列式；
令b＝[I3 03×1]，则
Ri＝bTi (12)
令R＝[R1...Ri...RI]，则
R＝BT (13)
其中，
Figure FDA0002937653710000061
令
Figure FDA0002937653710000062
将式(9)的等式约束最优问题表示成：
Figure FDA0002937653710000063
Figure FDA0002937653710000064
AT＝T0. (14)
式中，s.t.表示约束条件；
采用拉格朗日乘子法处理等式约束问题，增广的拉格朗日函数为
Figure FDA0002937653710000065
Figure FDA0002937653710000066
式中，λ表示人为设定的参数，取0.001，μ作为该层神经网络的可调参数，
Figure FDA0002937653710000067
取上一次迭代的结果，Y表示拉格朗日乘子；
采用交替乘子法求解上述问题的最优解，得到如下迭代关系
Figure FDA0002937653710000068
关于
Figure FDA0002937653710000069
的子问题可以用下式求解：
Figure FDA00029376537100000610
(U,D,VT)＝SVD(bTi k) (17)
SVD表示奇异值分解；
关于T的子问题是一个二次凸优化问题，令其导数为0求其最小值，即
Figure FDA0002937653710000071
则有
Figure FDA0002937653710000072
7.根据权利要求6所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S415具体为：
根据上个步骤求得的姿态T，将各个视角点云逐一转换到统一的坐标系下：
p′ij＝pijTi (21)
将所有转换后的点云融合成一个完整的点云模型P'；
对P'进行均匀采样：记采样点集为S2，S2初始化为空集；随机采样一个种子点seed，放入S2；在集合P'-S2里，找一个距离集合S2最远的点；最终从P'中采样m个点作为样本
Figure FDA0002937653710000073
所述步骤S3具体包括入下步骤：
步骤S31、记标准模型点集为Ps，采样点集为S1，S1初始化为空集；
步骤S32、随机采样一个种子点seed，放入S1；
步骤S33、在集合Ps-S1里，找一个距离集合S1最远的点，其中点到集合S1的距离为该点到S1最小的点距；
步骤S34、重复步骤S33，直到采样出m个样本，记为标准样本
Figure FDA0002937653710000074
8.根据权利要求7所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S42具体包括如下步骤：
步骤S421、逐一将下采样的点云
Figure FDA0002937653710000075
输入到共享权值的高维特征提取层，得到对应点云Pi的特征矩阵Fi∈RN×1024；
步骤S422、将相邻视角的特征矩阵FiR和F(i+1)L逐对输入到匹配点对生成网络，得到点云Pi的匹配点集CPi；
步骤S423、将所有视角的点及其匹配点作为输入，利用联合配准求姿态的闭式解T；
步骤S424、将所有点云通过求得的T转换到统一坐标系下，融合成点云模型P'；
步骤S425、从P'采样m个点作为生成样本
Figure FDA0002937653710000081
步骤S426、调节生成器网络参数：
Figure FDA0002937653710000082
θ←θ-α·RMSProp(θ,gθ) (23)
gθ表示关于θ的梯度，θ表示生成器的网络参数，fω表示判别器，ω表示判别器的网络参数，v(i)表示第i个生成样本，α表示步长，RMSProp表示一种基于动量的优化算法。
9.根据权利要求8所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S51具体为：
WGAN网络通过训练含参数ω、最后一层不是非线性激活层的判别器网络fω，在ω不超过某个范围的条件下，使得L尽可能最大，L表达式如下：
Figure FDA0002937653710000083
式中，L近似真实分布
Figure FDA0002937653710000084
和生成分布
Figure FDA0002937653710000085
之间的Wasserstein距离，即用Wasserstein距离定量的衡量两个分布的差异度，p表示样本，
Figure FDA00029376537100000810
表示真实分布
Figure FDA0002937653710000086
的期望，
Figure FDA00029376537100000811
表示生成分布
Figure FDA0002937653710000087
判别器采用全连接实现的多层感知机，结构为四层全连接，伴有3个ReLU激活函数；输入为点的坐标，即输入维度为3，输出维度为1。
10.根据权利要求9所述的一种基于WGAN的无监督多视角三维点云联合配准方法，其特征在于，所述步骤S52具体包括如下步骤：
步骤S521、逐一将从生成点云模型均匀采样的m个点的生成样本
Figure FDA0002937653710000088
输入到判别器网络fω中；
步骤S532、逐一将从标准模型均匀采样的m个点的标准样本
Figure FDA0002937653710000089
输入到判别器网络fω中；
步骤S533、调节判别器网络参数，对生成样本
Figure FDA0002937653710000091
与标准样本
Figure FDA0002937653710000092
进行判别；判别器网络参数具体为：
Figure FDA0002937653710000093
ω←ω+α·RMS Prop(ω,gω) (26)
ω←clip(ω,-c,c) (27)
gω表示关于ω的梯度，u(i)表示第i个标准样本，fω表示判别器，ω表示判别器的网络参数，RMSProp表示一种基于动量的优化算法，clip()表示参数ω的绝对值截断到不超过一个固定的常数c。
CN202110165409.9A 2021-02-06 2021-02-06 一种基于wgan的无监督多视角三维点云联合配准方法 Pending CN112837356A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110165409.9A CN112837356A (zh) 2021-02-06 2021-02-06 一种基于wgan的无监督多视角三维点云联合配准方法
PCT/CN2021/077770 WO2022165876A1 (zh) 2021-02-06 2021-02-25 一种基于wgan的无监督多视角三维点云联合配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110165409.9A CN112837356A (zh) 2021-02-06 2021-02-06 一种基于wgan的无监督多视角三维点云联合配准方法

Publications (1)

Publication Number Publication Date
CN112837356A true CN112837356A (zh) 2021-05-25

Family

ID=75932553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110165409.9A Pending CN112837356A (zh) 2021-02-06 2021-02-06 一种基于wgan的无监督多视角三维点云联合配准方法

Country Status (2)

Country Link
CN (1) CN112837356A (zh)
WO (1) WO2022165876A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673425A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于Transformer的多视角目标检测方法及系统
CN113870160A (zh) * 2021-09-10 2021-12-31 北京交通大学 一种基于变换器神经网络的点云数据处理方法
CN114037743A (zh) * 2021-10-26 2022-02-11 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN114399505A (zh) * 2022-03-25 2022-04-26 江苏智云天工科技有限公司 工业检测中的检测方法、检测装置
CN114897692A (zh) * 2022-05-06 2022-08-12 广州紫为云科技有限公司 搭载基于零样本学习的整体点云上采样算法的手持设备
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310401A (zh) * 2022-12-19 2023-06-23 南京航空航天大学 一种基于单演特征联合稀疏表示的跨视角sar识别方法
CN115795579B (zh) * 2022-12-23 2023-06-27 岭南师范学院 无特征复杂曲面测量误差分析的快速坐标对齐方法
CN115908517B (zh) * 2023-01-06 2023-05-12 广东工业大学 一种基于对应点匹配矩阵优化的低重叠点云配准方法
CN116258817B (zh) * 2023-02-16 2024-01-30 浙江大学 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN116299367B (zh) * 2023-05-18 2024-01-26 中国测绘科学研究院 一种多激光空间标定方法
CN117456001B (zh) * 2023-12-21 2024-04-09 广州泽亨实业有限公司 一种基于点云配准的工件姿态检测方法
CN117495932B (zh) * 2023-12-25 2024-04-16 国网山东省电力公司滨州供电公司 一种电力设备异源点云配准方法及系统
CN117557733A (zh) * 2024-01-11 2024-02-13 江西啄木蜂科技有限公司 基于超分辨率的自然保护区三维重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
CN109872354A (zh) * 2019-01-28 2019-06-11 深圳市易尚展示股份有限公司 基于非线性优化的多视角点云配准方法及系统
CN111210466A (zh) * 2020-01-14 2020-05-29 华志微创医疗科技（北京）有限公司 多视角点云配准方法、装置以及计算机设备
CN111899353A (zh) * 2020-08-11 2020-11-06 长春工业大学 一种基于生成对抗网络的三维扫描点云孔洞填补方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673425A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于Transformer的多视角目标检测方法及系统
CN113673425B (zh) * 2021-08-19 2022-03-15 清华大学 一种基于Transformer的多视角目标检测方法及系统
CN113870160A (zh) * 2021-09-10 2021-12-31 北京交通大学 一种基于变换器神经网络的点云数据处理方法
CN113870160B (zh) * 2021-09-10 2024-02-27 北京交通大学 一种基于变换器神经网络的点云数据处理方法
CN114037743A (zh) * 2021-10-26 2022-02-11 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN114037743B (zh) * 2021-10-26 2024-01-26 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN114399505A (zh) * 2022-03-25 2022-04-26 江苏智云天工科技有限公司 工业检测中的检测方法、检测装置
CN114399505B (zh) * 2022-03-25 2022-06-28 江苏智云天工科技有限公司 工业检测中的检测方法、检测装置
CN114897692A (zh) * 2022-05-06 2022-08-12 广州紫为云科技有限公司 搭载基于零样本学习的整体点云上采样算法的手持设备
CN114897692B (zh) * 2022-05-06 2024-04-26 广州紫为云科技有限公司 搭载基于零样本学习的整体点云上采样算法的手持设备
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法

Also Published As

Publication number Publication date
WO2022165876A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
CN112837356A (zh) 一种基于wgan的无监督多视角三维点云联合配准方法
CN111080627B (zh) 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
Patel et al. Latent space sparse and low-rank subspace clustering
CN108665491B (zh) 一种基于局部参考点的快速点云配准方法
CN112017220B (zh) 一种基于抗差约束最小二乘算法的点云精确配准方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN111415379B (zh) 一种基于布谷鸟优化的三维点云数据配准方法
Yang Alignment of overlapping locally scaled patches for multidimensional scaling and dimensionality reduction
CN110197503A (zh) 基于增强型仿射变换的非刚性点集配准方法
CN111260702B (zh) 激光三维点云与ct三维点云配准方法
CN111028238A (zh) 一种基于机器人视觉的复杂异形曲面三维分割方法及系统
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN112750198A (zh) 一种基于非刚性点云的稠密对应预测方法
CN113989547A (zh) 基于图卷积深度神经网络的三维点云数据分类结构及方法
CN111598995A (zh) 一种基于原型分析的自监督多目三维人体姿态估计方法
CN113902779A (zh) 一种基于张量投票方法的点云配准方法
CN106373177A (zh) 一种用于实现优化图像场景光照估计的设计方法
CN115775214A (zh) 一种基于多阶段分形组合的点云补全方法及系统
CN112396089B (zh) 基于lfgc网络和压缩激励模块的图像匹配方法
Wang et al. 6D pose estimation from point cloud using an improved point pair features method
CN112784800B (zh) 一种基于神经网络和形状约束的人脸关键点检测方法
CN115170626A (zh) 一种基于深度特征进行鲁棒点云配准的无监督方法
CN115131245A (zh) 一种基于注意力机制的点云补全方法
CN114706087A (zh) 一种三维成像声呐点云的水下地形匹配定位方法及系统
CN113724325A (zh) 一种基于图卷积网络的多场景单目相机位姿回归方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination