CN111862311B - 一种点云全局运动优化方法及设备 - Google Patents

一种点云全局运动优化方法及设备 Download PDF

Info

Publication number
CN111862311B
CN111862311B CN202010687134.0A CN202010687134A CN111862311B CN 111862311 B CN111862311 B CN 111862311B CN 202010687134 A CN202010687134 A CN 202010687134A CN 111862311 B CN111862311 B CN 111862311B
Authority
CN
China
Prior art keywords
matrix
view
motion
solving
global motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010687134.0A
Other languages
English (en)
Other versions
CN111862311A (zh
Inventor
张艳
张鑫
曲承志
苏东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010687134.0A priority Critical patent/CN111862311B/zh
Publication of CN111862311A publication Critical patent/CN111862311A/zh
Application granted granted Critical
Publication of CN111862311B publication Critical patent/CN111862311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种点云全局运动优化方法，根据各视角运动矩阵初值，将其重构为低秩稀疏矩阵再进行矩阵恢复；在已知任意两视角运动情况下，提出通用的约束条件加入迭代过程，有效限制迭代次数，提高算法效率，降低随机噪声带来的影响；提出加入柯西权重项衡量两两视角测量的可靠性，有效降低离群点的影响，提高算法的鲁棒性；适用于已知多视角点云相对运动初值和任意两视角变化的真实值求解精确的全局运动问题，以解决维重构中多视角点云全局优化方法过度依赖配准初值、鲁棒性不高、效率低的缺陷问题，剔除初始运动中的随机噪声和异常值，提高点云全局运动恢复精度，获得更精确的重构模型。

Description

一种点云全局运动优化方法及设备
技术领域
本发明涉及三维重建与计算机视觉领域，尤其涉及一种点云全局运动优化方法及设备。
背景技术
随着无人驾驶、虚拟现实、目标识别等技术的发展，三维重建成为计算机视觉领域的热点问题。三维重建的核心是将各视角点云通过平移旋转全部移动到一个模型中。各种基于最近邻点迭代(iterative closest point，ICP)的配准方法都可以获得各视角点云之间的相对运动，但由于噪声和离群点的影响，这些相对运动恢复到全局坐标系中存在一定的误差，而且配准中解算相对运动的过程也存在误差，导致恢复的全局运动精度不高，重建目标的三维结构有困难。
近年来，众多国内外学者针对全局运动优化问题开展研究，提出了许多解决方法，大致分为以下几类：基于单位四元数的最小化方法、基于SE(3)李群结构的迭代求解法、基于矩阵分解的方法以及其他方法。
根据Martinec等人的分析，涉及矩阵的方法通常比四元数最小化的效果更好。近年来，Arrigoni等人将多视角点云配准的优化问题引入到低秩稀疏(Low Rank andSparse，LRS)矩阵分解框架中。该方法通过对相对运动组成的重构矩阵进行分解，剔除噪声矩阵，同时考虑缺失值和异常数据，恢复全局运动，但在实际应用中，相对运动初值和重构矩阵的稀疏程度对结果影响都很大。Arrigoni等人提出一种鲁棒的LRS分解和矩阵补(MC)算法R-GoDec，该算法可以同时处理异常值和缺失数据，但该算法只能解决旋转同步问题。为了降低重构矩阵的敏感性，Jin等人提出了一种利用加权LRS分解实现多视点配准的方法，该方法利用相邻视角点云的重叠率作为权值,可以获得更准确的配准结果，但该算法基于准确的运动初值，没有考虑相对运动自身存在的约束关系，并且在每次迭代中都用TrICP算法生成配准初值，导致算法计算量大。
因此，目前市面上亟需一种点云全局运动优化策略，适用于已知多视角点云运动初值和任意两视角变化的真实值求解精确的全局运动问题，以解决三维重构中多视角点云全局优化方法过度依赖配准初值、鲁棒性不高、效率低的缺陷问题，剔除初始运动中的随机噪声和异常值，提高点云全局运动精度，获得更精确的重构模型。
发明内容
本发明提供了一种点云全局运动优化方法及设备，适用于已知多视角点云运动初值和任意两视角变化的真实值求解精确的全局运动问题，以解决三维重构中多视角点云全局优化方法过度依赖配准初值、鲁棒性不高、效率低的缺陷问题，剔除初始运动中的随机噪声和异常值，提高点云全局运动精度，获得更精确的重构模型。
为了解决上述技术问题，本发明实施例提供了一种点云全局运动优化方法，包括：
通过配准算法获取任意两个点云之间的相对运动初始值；其中，所述相对运动初始值包括N个视角中任意两视角i,j之间刚性变换的旋转矩阵Rij和平移向量Tij；
根据所述相对运动初始值建立相对运动的低秩稀疏矩阵；
获取的不同视角点云，根据由第i个视角变换到第j个视角的旋转角θ和旋转轴
Figure BDA0002587975970000021
生成视角约束条件表达方程；
根据不同视角点云之间的关系，建立邻接矩阵和权重矩阵并在每次迭代中通过柯西权函数更新权重矩阵；
根据所述视角约束条件表达方程、相对运动的低秩稀疏矩阵和更新后的权重矩阵，建立全局运动最优化问题的数学模型；
对所述全局运动最优化问题的数学模型进行凸松弛处理，得到最优化问题表达式；
通过拉格朗日乘子法对所述最优化问题表达式进行求解，直到满足所有迭代停止条件后输出求解结果；
判断当前是否满足视角约束条件，若不满足则更新相对运动初始值，对权重矩阵进行更新迭代；若满足则根据输出的求解结果计算各视角全局运动矩阵。
作为优选方案，所述相对运动初始值的表达形式为：
Figure BDA0002587975970000031
作为优选方案，所述相对运动的低秩稀疏矩阵表达式为：
Figure BDA0002587975970000032
其中，I4为4×4的单位矩阵。
作为优选方案，所述获取的不同视角点云，根据由第i个视角变换到第j个视角的旋转角θ和旋转轴
Figure BDA0002587975970000033
生成视角约束条件表达方程的步骤中，具体为：
获取的不同视角点云1,2,…,N是按照一定顺序扫描旋转物体得到的，已知相机由第i个视角变换到第j个视角的旋转角θ和旋转轴
Figure BDA0002587975970000034
以第i个视角建立坐标系(X,Y,Z)，刚性物体旋转矩阵/>
Figure BDA0002587975970000035
的表达式如下：
Figure BDA0002587975970000036
则通用的第i组到第j组点云的视角约束条件表达式如下：
Figure BDA0002587975970000037
其中，Ri为第i个视角以第一个视角为参考系的全局运动的旋转矩阵。
作为优选方案，所述根据不同视角点云之间的关系，建立邻接矩阵和权重矩阵并在每次迭代中通过柯西权函数更新权重矩阵的步骤中，具体为：
根据加权无向图
Figure BDA0002587975970000038
表示的所有点云组间的关系，建立对称邻接矩阵A，其表达式为A＝[wij]，其中，wij为视角点云i,j的非负权值；
根据旋转分量定义残差rij来更新权重wij，柯西权函数表达式如下：
Figure BDA0002587975970000041
其中，残差rij＝||Rij-Ri -1Rj||F；参数c＝1.482med(|r-med(r)|)·θ，其中，med()是中值算子，r是残差r的向量化，θ＝2是调节常数；
根据邻接矩阵A建立权重矩阵W表达式如下：
Figure BDA0002587975970000042
其中，
Figure BDA0002587975970000043
为克罗内克积，/>
Figure BDA0002587975970000044
表示一个各元素为1的4×4矩阵。
作为优选方案，所述根据所述视角约束条件表达方程、相对运动的低秩稀疏矩阵和更新后的权重矩阵，建立全局运动最优化问题的数学模型的步骤中，具体为：
建立块矩阵U和块矩阵V，其中，块矩阵V表示每组点云全局运动重构成的块矩阵，块矩阵U表示为块矩阵V的逆矩阵；
V＝[M1 M2 … MN],
Figure BDA0002587975970000045
建立全局运动最优化问题的数学模型：
Figure BDA0002587975970000046
其中，β∈[0,1]为引入的约束项系数。
作为优选方案，所述进行凸松弛处理后的最优化问题表达式：
Figure BDA0002587975970000047
Figure BDA0002587975970000048
UTU＝I4(9)；
其中，⊙为两矩阵的哈达玛积运算,E为噪声矩阵。
作为优选方案，所述通过拉格朗日乘子法对所述最优化问题表达式进行求解，直到满足所有迭代停止条件后输出求解结果的步骤中，具体为：
构造拉格朗日乘子
Figure BDA0002587975970000049
Figure BDA0002587975970000051
其中，Y为拉格朗日乘子，μ为惩罚项系数，β为约束项系数，
Figure BDA0002587975970000052
为已知视角约束的旋转矩阵；
求解一，更新U：
Figure BDA0002587975970000053
通过对
Figure BDA0002587975970000054
的奇异值分解(SDV)求解上式：
Figure BDA0002587975970000055
计算得到Uk+1＝U1V1 T；
求解二，更新V：
Figure BDA0002587975970000056
计算(13)式得到：
Figure BDA0002587975970000057
其中，/>
Figure BDA0002587975970000058
Figure BDA0002587975970000059
Sε(Σ)为软阈值算子，定义如下：
Figure BDA00025879759700000510
求解三，更新E:
Figure BDA00025879759700000511
求解四，计算目标函数：
Figure BDA00025879759700000512
其中，UV(i,i+1)为矩阵Uk+1与Vk+1乘积中的第i个视角与第i+1个视角对应的3×3相对旋转矩阵；
在进行求解四后，判断迭代停止条件1、迭代停止条件2和迭代停止条件3：
迭代停止条件1：
Figure BDA0002587975970000061
迭代停止条件2：
Figure BDA0002587975970000062
迭代停止条件3：
Figure BDA0002587975970000063
若同时满足上述三个条件则迭代停止；否则，执行求解五和求解六，继续迭代直到满足所有迭代停止条件；
其中，求解五，更新Y:
Figure BDA0002587975970000064
求解六，更新参数μ：μk+1＝min(μmax,ρμk)，其中，ρ为μ的更新率。
作为优选方案，所述判断当前是否满足视角约束条件，若不满足则更新相对运动初始值，对权重矩阵进行更新迭代；若满足则根据输出的求解结果计算各视角全局运动矩阵的步骤中，具体为：
计算
Figure BDA0002587975970000065
若tol>ε4，则将UV赋值给X,根据柯西权函数更新权重矩阵，进行最优化问题表达式求解；若tol<ε4，则停止迭代；
在停止迭代后，计算M＝UV即为恢复的相对运动矩阵，其中矩阵M的第1-3行为各视角以第一帧为全局坐标系的全局运动，得到第i个视角的全局运动Mi为矩阵M的第1至3行，4i-3至4i列。
本发明另一实施例提供了一种点云全局运动优化设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述任一项所述的点云全局运动优化方法。
相比于现有技术，本发明实施例具有如下有益效果：
本发明技术方案根据各视角运动矩阵初值，将其重构为低秩稀疏矩阵再进行矩阵恢复；在已知任意两视角运动情况下，提出通用的约束条件加入迭代过程，有效限制迭代次数，提高算法效率，降低随机噪声带来的影响；提出加入柯西权重项衡量两两视角测量的可靠性，有效降低离群点的影响，提高算法的鲁棒性；适用于已知多视角点云运动初值和任意两视角变化的真实值求解精确的全局运动问题，以解决三维重构中多视角点云全局优化方法过度依赖配准初值、鲁棒性不高、效率低的缺陷问题，剔除初始运动中的随机噪声和异常值，提高点云全局运动精度，获得更精确的重构模型。
附图说明
图1：为本发明实施例提供的一种点云全局运动优化方法的流程图；
图2：为离群点比例0.05和0.3时旋转误差随随机噪声变化的示意图；
图3：为离群点比例0.05和0.3时平移误差随随机噪声变化的示意图；
图4：为离群点比例为0.05时添加约束项前后旋转误差变化的仿真示意图；
图5：为离群点比例为0.3时添加约束项前后旋转误差变化的仿真示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种点云全局运动优化方法的流程图，具体包括：
步骤S1，利用配准得到相对运动初始值；
这里的初始值是指任何两两点云配准算法(如：ICP)估计得到的相对运动初始值。
配准算法得到N个视角中任意两视角i,j间刚性变换的旋转矩阵Rij和平移向量Tij作为相对运动初始值，将该相对运动Mij表示为李代数形式：
Figure BDA0002587975970000081
步骤S2，建立相对运动的低秩稀疏矩阵；
根据相对运动矩阵Mij，得到所有视角的相对运动重构的低秩稀疏矩阵
Figure BDA0002587975970000088
表达式为：
Figure BDA0002587975970000082
其中，I4为4×4的单位矩阵。
步骤S3，根据已知视角角度和全局坐标系中的旋转轴，得到视角约束需满足的条件方程；
例如：获取的不同视角点云1,2,…,N是按照一定顺序扫描旋转物体得到的，已知相机由第i个视角变换到第j个视角的旋转角θ和旋转轴
Figure BDA0002587975970000083
以第i个视角建立坐标系(X,Y,Z)，刚性物体旋转矩阵/>
Figure BDA0002587975970000084
的表达式如下：
Figure BDA0002587975970000085
所述通用的第i组到第j组点云的视角约束条件表达式如下：
Figure BDA0002587975970000086
其中，Ri为第i个视角以第一个视角为参考系的全局运动的旋转矩阵。
步骤S4，根据视角间关系建立邻接矩阵和权重矩阵，并在每次迭代中用柯西权函数更新权重矩阵；
具体地：根据加权无向图
Figure BDA0002587975970000087
表示的所有点云组间的关系，建立对称邻接矩阵A，其表达式为A＝[wij]，其中，wij为视角点云i,j的非负权值，反映两两测量的可靠性。根据旋转分量定义残差rij来更新权重wij，柯西权函数表达式如下：
Figure BDA0002587975970000091
其中，残差rij＝||Rij-Ri -1Rj||F。一般地，参数c＝1.482med(|r-medr)·θ，其中，med()是中值算子，r是残差r的向量化，θ＝2是调节常数。根据邻接矩阵A建立权重矩阵W表达式如下：
Figure BDA0002587975970000092
其中，
Figure BDA0002587975970000093
为克罗内克积，/>
Figure BDA0002587975970000094
表示一个各元素为1的4×4矩阵。
步骤S5，结合视角约束条件，建立全局运动最优化问题的数学模型，用拉格朗日乘子法求解；
根据步骤S2中已经建立的相对运动低秩稀疏矩阵X，和引入的两个块矩阵U、V，具体定义如下：
V＝[M1 M2 … MN],
Figure BDA0002587975970000095
得到最优化问题：
Figure BDA0002587975970000096
其中，β∈[0,1]为引入的约束项系数。
步骤S6，对步骤S5中的非凸最优化问题进行凸松弛，得到以下最优化问题表达式：
Figure BDA0002587975970000097
Figure BDA0002587975970000098
UTU＝I4(9)；
其中，⊙为两矩阵的哈达玛积运算,E为噪声矩阵。
步骤S7，用拉格朗日乘子法求解S6中的问题；
具体步骤如下：
构造拉格朗日乘子
Figure BDA0002587975970000101
Figure BDA0002587975970000102
其中，Y为拉格朗日乘子，μ为惩罚项系数，β为约束项系数，
Figure BDA0002587975970000103
为已知视角约束的旋转矩阵。
①更新U：
Figure BDA0002587975970000104
通过对
Figure BDA0002587975970000105
的奇异值分解(SDV)求解上式：
Figure BDA0002587975970000106
计算得到Uk+1＝U1V1 T。
②更新V：
Figure BDA0002587975970000107
计算(13)式得到：
Figure BDA0002587975970000108
其中，
Figure BDA0002587975970000109
Sε(Σ)为软阈值算子，定义如下：
Figure BDA00025879759700001010
③更新E:
Figure BDA00025879759700001011
④计算目标函数：
Figure BDA0002587975970000111
其中，UV(i,i+1)为矩阵Uk+1与Vk+1乘积中的第i个视角与第i+1个视角对应的3×3相对旋转矩阵。
迭代停止条件1：
Figure BDA0002587975970000112
迭代停止条件2：
Figure BDA0002587975970000113
迭代停止条件3：
Figure BDA0002587975970000114
若同时满足上述三个条件则迭代停止。否则，执行⑤⑥，继续迭代执行步骤S7，直到满足所有迭代停止条件。
⑤更新Y:
Figure BDA0002587975970000115
⑥更新参数μ：μk+1＝min(μmax,ρμk)，其中，ρ为μ的更新率。
步骤S8，判断是否满足视角约束条件，满足则输出UV，不满足则更新相对运动初值，返回步骤S4更新权重，继续迭代；
例如：计算
Figure BDA0002587975970000116
若tol>ε4，则将UV赋值给X,返回步骤S4所述的柯西权函数更新权重矩阵，然后继续步骤6所述的ALM法求解；若tol<ε4，则停止迭代。
步骤S9，根据步骤S8输出的结果UV，计算各视角全局运动矩阵。
具体地，计算M＝UV即为恢复的相对运动矩阵，其中矩阵M的第1-3行为各视角以第一帧为全局坐标系的全局运动，得到第i个视角的全局运动Mi为矩阵M的第1至3行，4i-3至4i列。
至此，本发明的一种快速鲁棒的基于视角约束的点云全局运动优化算法结束。
通过以下仿真实验对本发明效果作进一步验证说明。
(一)仿真实验数据说明。
为了验证本发明方法的准确性，通过仿真实验予以证明；实验参数表示如下：
Figure BDA0002587975970000121
仿真实验中，视角数量N＝50，共旋转360°，用Matlab中的rand函数和randn函数生成随机平移向量、随机噪声旋转矩阵和随机噪声平移向量。将仿真结果与相对运动真值做对比，计算并分析旋转角误差和平移向量误差。
(二)仿真结果及分析
本发明的仿真结果分别如图2、图3、图4、图5所示。图2为离群点比例p取5％和30％时，旋转角误差ErrR随旋转角添加的随机噪声σR的变化趋势，其中，旋转随机噪声σR∈[0°,10°]。图3为离群点比例p取5％和30％时，平移向量误差ErrT随平移向量添加的随机噪声σT的变化趋势，其中，平移随机噪声σT∈[0,0.1]。由图2和图3可以看出，运用本发明的方法能够适应随机噪声的影响，将误差大幅度降低，特别是对于旋转误差，可以将其降低到3°以内；其次，运用本发明的方法对离群点也有较好的适应性，对于离群点比例30％以内的情况都可以得到很高的精度。
为分析加入视角约束的有效性，只考虑旋转方向上的误差，暂不考虑平移方向上的误差。图4为加入视角约束项前后，离群点比例p取5％时，旋转角误差ErrR随旋转角添加的随机噪声σR的变化趋势。图5为加入视角约束项前后，离群点比例p取30％时，旋转角误差ErrR随旋转角添加的随机噪声σR的变化趋势。下表为加入视角约束项前后对算法效率的分析：
Figure BDA0002587975970000131
由图4、图5、上表可以看出，本发明的方法在离群点比例和随机噪声较大时取得更高的精度，而且运用本发明的方法能够通过视角约束项限制迭代次数从而降低算法复杂度，大大缩短得到最优解的时间。
综上所述，仿真实验验证了本发明的正确性，有效性和可靠性。
实施例二
本发明另一实施例提供了一种点云全局运动优化设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述任一项所述的点云全局运动优化方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种点云全局运动优化方法，其特征在于，包括：
通过配准算法获取任意两个点云之间的相对运动初始值；其中，所述相对运动初始值包括N个视角中任意两视角i,j之间刚性变换的旋转矩阵Rij和平移向量Tij；所述相对运动初始值的表达形式为：
Figure FDA0004222704520000011
根据所述相对运动初始值建立相对运动的低秩稀疏矩阵，所述相对运动的低秩稀疏矩阵表达式为：
Figure FDA0004222704520000012
其中，I4为4×4的单位矩阵；
获取的不同视角点云，根据由第i个视角变换到第j个视角的旋转角θ和旋转轴
Figure FDA0004222704520000013
生成视角约束条件表达方程，包括：获取的不同视角点云1,2,…,N是按照一定顺序扫描旋转物体得到的，已知相机由第i个视角变换到第j个视角的旋转角θ和旋转轴/>
Figure FDA0004222704520000014
以第i个视角建立坐标系(X,Y,Z)，刚性物体旋转矩阵/>
Figure FDA0004222704520000015
Figure FDA0004222704520000016
的表达式如下：
Figure FDA0004222704520000017
则通用的第i组到第j组点云的视角约束条件表达式如下：
Figure FDA0004222704520000018
其中，Ri为第i个视角以第一个视角为参考系的全局运动的旋转矩阵，包括：根据加权无向图
Figure FDA0004222704520000019
表示的所有点云组间的关系，建立对称邻接矩阵A，其表达式为A＝[wij]，其中，wij为视角点云i,j的非负权值；
根据旋转分量定义残差rij来更新权重wij，柯西权函数表达式如下：
Figure FDA0004222704520000021
其中，残差rij＝||Rij-Ri -1Rj||F；参数c＝1.482med(|r-med(r)|)·θ，其中，med()是中值算子，r是残差r的向量化，θ＝2是调节常数；
根据邻接矩阵A建立权重矩阵W表达式如下：
Figure FDA0004222704520000022
其中，
Figure FDA0004222704520000023
为克罗内克积，/>
Figure FDA0004222704520000024
表示一个各元素为1的4×4矩阵；
根据不同视角点云之间的关系，建立邻接矩阵和权重矩阵并在每次迭代中通过柯西权函数更新权重矩阵；
根据所述视角约束条件表达方程、相对运动的低秩稀疏矩阵和更新后的权重矩阵，建立全局运动最优化问题的数学模型，包括：建立块矩阵U和块矩阵V，其中，块矩阵V表示每组点云全局运动重构成的块矩阵，块矩阵U表示为块矩阵V的逆矩阵；
Figure FDA0004222704520000025
建立全局运动最优化问题的数学模型：
Figure FDA0004222704520000026
其中，β∈[0,1]为引入的约束项系数；
对所述全局运动最优化问题的数学模型进行凸松弛处理，得到最优化问题表达式；
通过拉格朗日乘子法对所述最优化问题表达式进行求解，直到满足所有迭代停止条件后输出求解结果；
判断当前是否满足视角约束条件，若不满足则更新相对运动初始值，对权重矩阵进行更新迭代；若满足则根据输出的求解结果计算各视角全局运动矩阵。
2.如权利要求1所述的点云全局运动优化方法，其特征在于，所述进行凸松弛处理后的最优化问题表达式：
Figure FDA0004222704520000031
Figure FDA0004222704520000032
其中，⊙为两矩阵的哈达玛积运算,为噪声矩阵。
3.如权利要求2所述的点云全局运动优化方法，其特征在于，所述通过拉格朗日乘子法对所述最优化问题表达式进行求解，直到满足所有迭代停止条件后输出求解结果的步骤中，具体为：
构造拉格朗日乘子
Figure FDA0004222704520000033
Figure FDA0004222704520000034
其中，Y为拉格朗日乘子，μ为惩罚项系数，β为约束项系数，
Figure FDA0004222704520000035
为已知视角约束的旋转矩阵；
求解一，更新U：
Figure FDA0004222704520000036
通过对
Figure FDA0004222704520000037
的奇异值分解(SDV)求解上式：
Figure FDA0004222704520000038
计算得到Uk+1＝1V1 T；
求解二，更新V：
Figure FDA0004222704520000039
计算(13)式得到：
Figure FDA00042227045200000310
其中，/>
Figure FDA00042227045200000311
Figure FDA0004222704520000041
Sε(Σ)为软阈值算子，定义如下：
Figure FDA0004222704520000042
求解三，更新E:
Figure FDA0004222704520000043
求解四，计算目标函数：
Figure FDA0004222704520000044
其中，UV(,+1)为矩阵Uk+1与Vk+1乘积中的第i个视角与第i+1个视角对应的3×3相对旋转矩阵；
在进行求解四后，判断迭代停止条件1、迭代停止条件2和迭代停止条件3：
迭代停止条件1：
Figure FDA0004222704520000045
迭代停止条件2：
Figure FDA0004222704520000046
迭代停止条件3：
Figure FDA0004222704520000047
若同时满足上述三个条件则迭代停止；否则，执行求解五和求解六，继续迭代直到满足所有迭代停止条件；
其中，求解五，更新Y:
Figure FDA0004222704520000048
求解六，更新参数μ：μk+1＝min(μmax,μk)，其中，ρ为μ的更新率。
4.如权利要求3所述的点云全局运动优化方法，其特征在于，所述判断当前是否满足视角约束条件，若不满足则更新相对运动初始值，对权重矩阵进行更新迭代；若满足则根据输出的求解结果计算各视角全局运动矩阵的步骤中，具体为：
计算
Figure FDA0004222704520000051
若tol>ε4，则将UV赋值给X,根据柯西权函数更新权重矩阵，进行最优化问题表达式求解；若tol<ε4，则停止迭代；
在停止迭代后，计算M＝UV即为恢复的相对运动矩阵，其中矩阵M的第1-3行为各视角以第一帧为全局坐标系的全局运动，得到第i个视角的全局运动Mi为矩阵M的第1至3行，4i-3至4i列。
5.一种点云全局运动优化设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～4任一项所述的点云全局运动优化方法。
CN202010687134.0A 2020-07-16 2020-07-16 一种点云全局运动优化方法及设备 Active CN111862311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010687134.0A CN111862311B (zh) 2020-07-16 2020-07-16 一种点云全局运动优化方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010687134.0A CN111862311B (zh) 2020-07-16 2020-07-16 一种点云全局运动优化方法及设备

Publications (2)

Publication Number Publication Date
CN111862311A CN111862311A (zh) 2020-10-30
CN111862311B true CN111862311B (zh) 2023-06-20

Family

ID=72984283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010687134.0A Active CN111862311B (zh) 2020-07-16 2020-07-16 一种点云全局运动优化方法及设备

Country Status (1)

Country Link
CN (1) CN111862311B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376552A (zh) * 2014-09-19 2015-02-25 四川大学 一种3d模型与二维图像的虚实配准算法
CN104463894A (zh) * 2014-12-26 2015-03-25 山东理工大学 一种多视角三维激光点云全局优化整体配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846974B2 (en) * 2014-12-05 2017-12-19 Stmicroelectronics S.R.L. Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376552A (zh) * 2014-09-19 2015-02-25 四川大学 一种3d模型与二维图像的虚实配准算法
CN104463894A (zh) * 2014-12-26 2015-03-25 山东理工大学 一种多视角三维激光点云全局优化整体配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
多视角三维激光点云全局优化整体配准算法;李彩林等;《测绘学报》;20150228(第02期);全文 *
隐式低秩稀疏表示的多视角子空间聚类;张茁涵等;《模式识别与人工智能》;20200415(第04期);全文 *

Also Published As

Publication number Publication date
CN111862311A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
Zhou et al. 3d shape generation and completion through point-voxel diffusion
CN111340867A (zh) 图像帧的深度估计方法、装置、电子设备及存储介质
CN108280858B (zh) 多视图重建中的一种线性全局相机运动参数估计方法
JP6395555B2 (ja) シーンから取得されたビデオを処理する方法
Horaud et al. Human motion tracking by registering an articulated surface to 3D points and normals
CN112991464B (zh) 基于立体视觉的三维重建的点云误差补偿方法及系统
CN110139046B (zh) 一种基于张量的视频帧合成方法
Zhou et al. 3d shape reconstruction from 2d landmarks: A convex formulation
Sweeney et al. Computing similarity transformations from only image correspondences
Caccamo et al. Active perception and modeling of deformable surfaces using gaussian processes and position-based dynamics
Kirsanov et al. Discoman: Dataset of indoor scenes for odometry, mapping and navigation
Kong et al. Structure from category: A generic and prior-less approach
CN115346000A (zh) 三维人体重建方法、装置、计算机可读介质及电子设备
Probst et al. Convex relaxations for consensus and non-minimal problems in 3D vision
Jeon et al. Struct-MDC: Mesh-refined unsupervised depth completion leveraging structural regularities from visual SLAM
Dietrich et al. Probabilistic multi-sensor fusion based on signed distance functions
CN111862311B (zh) 一种点云全局运动优化方法及设备
CN111553954A (zh) 一种基于直接法单目slam的在线光度标定方法
CN112991445B (zh) 模型训练方法、姿态预测方法、装置、设备及存储介质
Goforth et al. Joint pose and shape estimation of vehicles from lidar data
Wang et al. Stratification approach for 3-d euclidean reconstruction of nonrigid objects from uncalibrated image sequences
Wang et al. Structure and motion recovery based on spatial-and-temporal-weighted factorization
Wang et al. Slow-Spinning Spacecraft Cross-Range Scaling and Attitude Estimation Based on Sequential ISAR Images
Yang et al. Optimal hand-eye calibration of imu and camera
Peng et al. Projective reconstruction with occlusions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant