CN111724466A - 一种基于旋转矩阵的3d重建优化方法和装置 - Google Patents
一种基于旋转矩阵的3d重建优化方法和装置 Download PDFInfo
- Publication number
- CN111724466A CN111724466A CN202010457780.8A CN202010457780A CN111724466A CN 111724466 A CN111724466 A CN 111724466A CN 202010457780 A CN202010457780 A CN 202010457780A CN 111724466 A CN111724466 A CN 111724466A
- Authority
- CN
- China
- Prior art keywords
- matrix
- rotation
- splicing
- relative rotation
- matrixes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 216
- 238000005457 optimization Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000007704 transition Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于旋转矩阵的3D重建优化方法,具体包括以下步骤:步骤S1:获取同一场景由多个相机拍摄的照片组,由特征匹配算法得到相机间的相对旋转矩阵和绝对旋转矩阵;步骤S2:拼接得到相对旋转拼接矩阵和绝对旋转拼接矩阵,由相对旋转拼接矩阵的最小特征根得到半正定矩阵;步骤S3:绝对旋转拼接矩阵、相对旋转拼接矩阵和半正定矩阵的组合矩阵进行泰勒展开,展开后的优化绝对旋转矩阵进行迭代,求解每次迭代中的最优值;步骤S4:重复步骤S3,直到优化绝对旋转矩阵的最优值收敛或到达最大迭代次数,根据收敛时的优化绝对旋转矩阵和照片进行3D重建。与现有技术相比,本发明具有加快收敛速度、能够并行计算以及提高3D重建模型质量等优点。
Description
技术领域
本发明涉及3D重建领域,尤其是涉及一种基于旋转矩阵的3D重建优化方法和装置。
背景技术
近年来人们对旋转平均问题进行了深入研究,旋转平均问题的目的是在给定相机之间的一堆相对旋转矩阵的情况下确定相机的绝对旋转矩阵。旋转平均问题在计算机视觉、机器人技术、传感器网络和相关领域中有着广泛的应用。例如,在计算机视觉中,旋转平均问题用于从关于一个场景的一组图像中生成相机方向和相机位置,通过提取和纯化此类信息,进行3D重建。由于大量的应用程序需要应用到3D重建,所以研究旋转平均问题的重要性由此可见。
现有技术公开了一种图像特征点的3D重建方法和装置,通过获取第一特征点进行归一化处理,经过旋转矩阵进行3D重建。但是由特征点直接得到的旋转矩阵并未有效去除旋转矩阵测量中的噪声,导致旋转矩阵上的旋转约束高度不同,对3D重建模型存在一定的影响。
发明内容
本发明的目的就是为了克服上述现有技术存在的旋转矩阵测量中的噪声并未去除、影响3D重建的模型效果的缺陷而提供一种基于旋转矩阵的3D重建优化方法和装置。
本发明的目的可以通过以下技术方案来实现:
一种基于旋转矩阵的3D重建优化方法,具体包括以下步骤:
步骤S1:获取同一场景由多个相机拍摄的照片组,根据特征匹配算法得到相机间的相对旋转矩阵和绝对旋转矩阵;
步骤S2:将所述相对旋转矩阵进行拼接得到相对旋转拼接矩阵,将所述绝对旋转矩阵进行拼接得到绝对旋转拼接矩阵,根据所述相对旋转拼接矩阵的最小特征根计算出相对旋转拼接矩阵的半正定矩阵;
步骤S3:对绝对旋转拼接矩阵、相对旋转拼接矩阵和半正定矩阵的组合矩阵进行泰勒展开,根据连续上限最小化算法对展开后的优化绝对旋转矩阵进行迭代,并通过具有单个特殊正交组约束的线性优化算法求解每次迭代中优化绝对旋转矩阵的最优值;
步骤S4:重复步骤S3,直到优化绝对旋转矩阵的最优值收敛或到达最大迭代次数,根据收敛时对应的优化绝对旋转矩阵和照片进行3D重建。
所述绝对旋转矩阵满足三维旋转群,所述三维旋转群具体如下:
其中,SO(3)为三维旋转群。
所述相对旋转矩阵为3x3矩阵。
所述相对旋转拼接矩阵具体为:
进一步地,所述相对旋转拼接矩阵满足:
其中,Rij为相对旋转矩阵。
所述半正定矩阵具体如下:
进一步地,所述特征参数具体为:
其中,λmin为相对旋转拼接矩阵的最小特征根。
所述组合矩阵进行泰勒展开后包括多个优化绝对旋转矩阵,所述优化绝对旋转矩阵具体如下:
进一步地,所述步骤S3中线性优化算法具体步骤如下:
步骤S301:对所述过渡矩阵进行奇异值分解,将过渡矩阵分解为缩放矩阵、特征向量矩阵和旋转矩阵;
步骤S302:对所述缩放矩阵、特征向量矩阵和旋转矩阵进行处理,得到相对旋转矩阵和特征向量组合矩阵,计算公式如下:
其中,σi为D的第i个元素,D为特征向量矩阵。
一种使用所述3D重建的旋转矩阵的优化方法的装置,包括存储器和处理器,所述优化方法以计算机程序的形式存储于存储器中,并由处理器执行,执行时实现以下步骤:
步骤S1:获取同一场景由多个相机拍摄的照片组,根据特征匹配算法得到相机间的相对旋转矩阵和绝对旋转矩阵;
步骤S2:将所述相对旋转矩阵进行拼接得到相对旋转拼接矩阵,将所述绝对旋转矩阵进行拼接得到绝对旋转拼接矩阵,根据所述相对旋转拼接矩阵的最小特征根计算出相对旋转拼接矩阵的半正定矩阵;
步骤S3:对绝对旋转拼接矩阵、相对旋转拼接矩阵和半正定矩阵的组合矩阵进行泰勒展开,根据连续上限最小化算法对展开后的优化绝对旋转矩阵进行迭代,并通过具有单个特殊正交组约束的线性优化算法求解每次迭代中优化绝对旋转矩阵的最优值;
步骤S4:重复步骤S3,直到优化绝对旋转矩阵的最优值收敛或到达最大迭代次数,根据收敛时对应的优化绝对旋转矩阵和照片进行3D重建。
与现有技术相比,本发明将原本需要串行求解的相对旋转矩阵和绝对旋转矩阵经过拼接、展开,通过连续上限最小化算法和线性优化算法转换为并行优化子问题,对优化绝对旋转矩阵的求解,提高了绝对旋转矩阵的收敛速度,在保证精度的情况下,大幅度缩短计算时间。收敛时的优化绝对旋转矩阵具有较高的准确性和鲁棒性,提高了3D重建模型的质量。
附图说明
图1为本发明的流程示意图;
图2(a)和图2(b)为本发明的收敛对比图;
图3为本发明的3D重建效果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,一种基于旋转矩阵的3D重建优化方法,提高绝对旋转矩阵的收敛速度,具体包括以下步骤:
步骤S1:获取同一场景由多个相机拍摄的照片组,根据特征匹配算法得到相机间的相对旋转矩阵和绝对旋转矩阵;
步骤S2:将相对旋转矩阵进行拼接得到相对旋转拼接矩阵,将绝对旋转矩阵进行拼接得到绝对旋转拼接矩阵,根据相对旋转拼接矩阵的最小特征根计算出相对旋转拼接矩阵的半正定矩阵;
步骤S3:对绝对旋转拼接矩阵、相对旋转拼接矩阵和半正定矩阵的组合矩阵进行泰勒展开,根据连续上限最小化算法对展开后的优化绝对旋转矩阵进行迭代,并通过具有单个特殊正交组约束的线性优化算法求解每次迭代中优化绝对旋转矩阵的最优值;
步骤S4:重复步骤S3,直到优化绝对旋转矩阵的最优值收敛或到达最大迭代次数,根据收敛时对应的优化绝对旋转矩阵和照片进行3D重建。
绝对旋转矩阵满足三维旋转群,三维旋转群具体如下:
其中,SO(3)为三维旋转群。
相对旋转矩阵为3x3矩阵。
相对旋转拼接矩阵具体为:
进一步地,相对旋转拼接矩阵满足:
其中,Rij为相对旋转矩阵。
在照片组见计算最优的旋转矩阵,即求解:
其中,Ri和Rj均为绝对旋转矩阵,Rij为相对旋转矩阵,i,j=1,2,…,n,dist()为距离度量函数,但需要求解多个变量,因此通过相对旋转拼接矩阵进行转换,当dist()取F范数时,原始问题等加与如下问题:
其中,tr()为矩阵的迹。
半正定矩阵具体如下:
进一步地,特征参数具体为:
其中,λmin为相对旋转拼接矩阵的最小特征根。
tr(RBRT)进行泰勒展开求出局部的紧上限,需要计算的公式如下:
进一步地,步骤S3中线性优化算法具体步骤如下:
步骤S301:对过渡矩阵进行奇异值分解,将过渡矩阵分解为缩放矩阵、特征向量矩阵和旋转矩阵;
步骤S302:对缩放矩阵、特征向量矩阵和旋转矩阵进行处理,得到相对旋转矩阵和特征向量组合矩阵,计算公式如下:
其中,σi为D的第i个元素,D为特征向量矩阵。
一种使用3D重建的旋转矩阵的优化方法的装置,包括存储器和处理器,优化方法以计算机程序的形式存储于存储器中,并由处理器执行,执行时实现以下步骤:
步骤S1:获取同一场景由多个相机拍摄的照片组,根据特征匹配算法得到相机间的相对旋转矩阵和绝对旋转矩阵;
步骤S2:将相对旋转矩阵进行拼接得到相对旋转拼接矩阵,将绝对旋转矩阵进行拼接得到绝对旋转拼接矩阵,根据相对旋转拼接矩阵的最小特征根计算出相对旋转拼接矩阵的半正定矩阵;
步骤S3:对绝对旋转拼接矩阵、相对旋转拼接矩阵和半正定矩阵的组合矩阵进行泰勒展开,根据连续上限最小化算法对展开后的优化绝对旋转矩阵进行迭代,并通过具有单个特殊正交组约束的线性优化算法求解每次迭代中优化绝对旋转矩阵的最优值;
步骤S4:重复步骤S3,直到优化绝对旋转矩阵的最优值收敛或到达最大迭代次数,根据收敛时对应的优化绝对旋转矩阵和照片进行3D重建。
如图2(a)所示的利用强对偶解决旋转平均问题的BCD算法的平均误差收敛图,在迭代过程中存在假收敛问题,且假收敛的持续时间随着迭代次数越来越长。而在如图2(b)所示的本发明的连续上限最小化(SUM)算法,可以准确得到真实收敛值,且收敛速度更快。
如图3所示,本发明根据两个公开数据集进行3D重建,通过连续上限最小化(SUM)算法和具有单个特殊正交组约束的线性优化(LASSO)算法能够得到精度较高的绝对旋转矩阵,然后利用绝对旋转矩阵进行建模,建成的模型的效果良好,可以从建模中明显还原照片中的真实场景,使其在电脑中重现。
此外,需要说明的是,本说明书中所描述的具体实施例,所取名称可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化,均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (10)
1.一种基于旋转矩阵的3D重建优化方法,其特征在于,具体包括以下步骤:
步骤S1:获取同一场景由多个相机拍摄的照片组,根据特征匹配算法得到相机间的相对旋转矩阵和绝对旋转矩阵;
步骤S2:将所述相对旋转矩阵进行拼接得到相对旋转拼接矩阵,将所述绝对旋转矩阵进行拼接得到绝对旋转拼接矩阵,根据所述相对旋转拼接矩阵的最小特征根计算出相对旋转拼接矩阵的半正定矩阵;
步骤S3:对绝对旋转拼接矩阵、相对旋转拼接矩阵和半正定矩阵的组合矩阵进行泰勒展开,根据连续上限最小化算法对展开后的优化绝对旋转矩阵进行迭代,并通过具有单个特殊正交组约束的线性优化算法求解每次迭代中优化绝对旋转矩阵的最优值;
步骤S4:重复步骤S3,直到优化绝对旋转矩阵的最优值收敛或到达最大迭代次数,根据收敛时对应的优化绝对旋转矩阵和照片进行3D重建。
3.根据权利要求1所述的一种基于旋转矩阵的3D重建优化方法,其特征在于,所述相对旋转矩阵为3x3矩阵。
9.根据权利要求8所述的一种基于旋转矩阵的3D重建优化方法,其特征在于,所述步骤S3中线性优化算法具体步骤如下:
步骤S301:对所述过渡矩阵进行奇异值分解,将过渡矩阵分解为缩放矩阵、特征向量矩阵和旋转矩阵;
步骤S302:对所述缩放矩阵、特征向量矩阵和旋转矩阵进行处理,计算得到优化绝对旋转矩阵的最优值。
10.一种使用权利要求1-9任一所述的3D重建的旋转矩阵的优化方法的装置,其特征在于,包括存储器和处理器,所述优化方法以计算机程序的形式存储于存储器中,并由处理器执行,执行时实现以下步骤:
步骤S1:获取同一场景由多个相机拍摄的照片组,根据特征匹配算法得到相机间的相对旋转矩阵和绝对旋转矩阵;
步骤S2:将所述相对旋转矩阵进行拼接得到相对旋转拼接矩阵,将所述绝对旋转矩阵进行拼接得到绝对旋转拼接矩阵,根据所述相对旋转拼接矩阵的最小特征根计算出相对旋转拼接矩阵的半正定矩阵;
步骤S3:对绝对旋转拼接矩阵、相对旋转拼接矩阵和半正定矩阵的组合矩阵进行泰勒展开,根据连续上限最小化算法对展开后的优化绝对旋转矩阵进行迭代,并通过具有单个特殊正交组约束的线性优化算法求解每次迭代中优化绝对旋转矩阵的最优值;
步骤S4:重复步骤S3,直到优化绝对旋转矩阵的最优值收敛或到达最大迭代次数,根据收敛时对应的优化绝对旋转矩阵和照片进行3D重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010457780.8A CN111724466B (zh) | 2020-05-26 | 2020-05-26 | 一种基于旋转矩阵的3d重建优化方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010457780.8A CN111724466B (zh) | 2020-05-26 | 2020-05-26 | 一种基于旋转矩阵的3d重建优化方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724466A true CN111724466A (zh) | 2020-09-29 |
CN111724466B CN111724466B (zh) | 2023-09-26 |
Family
ID=72565071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010457780.8A Active CN111724466B (zh) | 2020-05-26 | 2020-05-26 | 一种基于旋转矩阵的3d重建优化方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724466B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090070500A (ko) * | 2007-12-27 | 2009-07-01 | 중앙대학교 산학협력단 | 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법 |
US7831090B1 (en) * | 2006-06-30 | 2010-11-09 | AT&T Intellecutal Property II, L.P. | Global registration of multiple 3D point sets via optimization on a manifold |
EP2622576A1 (en) * | 2010-10-01 | 2013-08-07 | Saab AB | Method and apparatus for solving position and orientation from correlated point features in images |
US20170019653A1 (en) * | 2014-04-08 | 2017-01-19 | Sun Yat-Sen University | Non-feature extraction-based dense sfm three-dimensional reconstruction method |
CN107194974A (zh) * | 2017-05-23 | 2017-09-22 | 哈尔滨工业大学 | 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法 |
CN108280858A (zh) * | 2018-01-29 | 2018-07-13 | 重庆邮电大学 | 多视图重建中的一种线性全局相机运动参数估计方法 |
CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
CN111080714A (zh) * | 2019-12-13 | 2020-04-28 | 太原理工大学 | 一种基于三维重建的平行式双目相机标定方法 |
-
2020
- 2020-05-26 CN CN202010457780.8A patent/CN111724466B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7831090B1 (en) * | 2006-06-30 | 2010-11-09 | AT&T Intellecutal Property II, L.P. | Global registration of multiple 3D point sets via optimization on a manifold |
KR20090070500A (ko) * | 2007-12-27 | 2009-07-01 | 중앙대학교 산학협력단 | 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법 |
EP2622576A1 (en) * | 2010-10-01 | 2013-08-07 | Saab AB | Method and apparatus for solving position and orientation from correlated point features in images |
US20170019653A1 (en) * | 2014-04-08 | 2017-01-19 | Sun Yat-Sen University | Non-feature extraction-based dense sfm three-dimensional reconstruction method |
CN107194974A (zh) * | 2017-05-23 | 2017-09-22 | 哈尔滨工业大学 | 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法 |
CN108280858A (zh) * | 2018-01-29 | 2018-07-13 | 重庆邮电大学 | 多视图重建中的一种线性全局相机运动参数估计方法 |
CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
CN111080714A (zh) * | 2019-12-13 | 2020-04-28 | 太原理工大学 | 一种基于三维重建的平行式双目相机标定方法 |
Non-Patent Citations (3)
Title |
---|
CHANGYING LIU等: "Binocular Camera Calibration Based on Three-dimensional Reconstruction Error", 《2018 IEEE 3RD ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IAEAC)》, pages 1690 - 1694 * |
柯丰恺;陈幼平;谢经明;张代林: "基于凸松弛优化算法的相机内外参数标定", 中国机械工程, no. 05 * |
赵建喜等: "处理噪声问题的泰勒展开交替最小化算法", 《数学的实践与认识》, no. 06, pages 187 - 193 * |
Also Published As
Publication number | Publication date |
---|---|
CN111724466B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764048B (zh) | 人脸关键点检测方法及装置 | |
CN106558080B (zh) | 一种单目相机外参在线标定方法 | |
CN111160298B (zh) | 一种机器人及其位姿估计方法和装置 | |
US11392787B2 (en) | Method for grasping texture-less metal parts based on bold image matching | |
CN113011401B (zh) | 人脸图像姿态估计和校正方法、系统、介质及电子设备 | |
CN112329726B (zh) | 人脸识别方法及装置 | |
CN107360377B (zh) | 一种车载视频稳像方法 | |
CN112561807A (zh) | 一种基于卷积神经网络的端到端径向畸变校正方法 | |
CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
US20050027494A1 (en) | Accurate linear parameter estimation with noisy inputs | |
CN111680573A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
CN111553954B (zh) | 一种基于直接法单目slam的在线光度标定方法 | |
CN113034359A (zh) | 发电机组定转子缺陷智能诊断方法、装置、计算机设备及存储介质 | |
CN111724466A (zh) | 一种基于旋转矩阵的3d重建优化方法和装置 | |
CN108416811B (zh) | 一种摄影机自标定方法及装置 | |
JP3476710B2 (ja) | ユークリッド的な3次元情報の復元方法、および3次元情報復元装置 | |
CN111523345A (zh) | 人脸实时跟踪系统及方法 | |
CN116433493B (zh) | 一种基于度量学习的工件点云集合拼接方法 | |
CN113592907B (zh) | 基于光流的视觉伺服跟踪方法及装置 | |
CN111275692B (zh) | 基于生成对抗网络的红外小目标检测方法 | |
CN114821203B (zh) | 基于一致性损失的细粒度图像模型训练及识别方法和装置 | |
CN113781583B (zh) | 相机自标定方法、装置、设备和介质 | |
CN109949357B (zh) | 一种立体影像对相对姿态恢复方法 | |
CN118037592A (zh) | 一种全景图三脚架污损修复方法及系统 | |
CN117315141A (zh) | 三维重建方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |