CN107240067A - 一种基于三维重建的序列图像自动拼接方法 - Google Patents
一种基于三维重建的序列图像自动拼接方法 Download PDFInfo
- Publication number
- CN107240067A CN107240067A CN201710330860.5A CN201710330860A CN107240067A CN 107240067 A CN107240067 A CN 107240067A CN 201710330860 A CN201710330860 A CN 201710330860A CN 107240067 A CN107240067 A CN 107240067A
- Authority
- CN
- China
- Prior art keywords
- image
- mrow
- msup
- dimensional
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010422 painting Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005304 joining Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于三维重建的序列图像自动拼接方法，该方法包括以下步骤：对输入的n幅图像分别提取尺度不变特征变换特征点；根据特征点匹配情况，选取每幅图像对应的m幅候选匹配图像，构成候选匹配图像集；对候选匹配图像集利用运动结构重建SfM算法进行三维重建，得到反投射后的三维平面；求解三维平面对应的二维参考平面，并投影至指定二维坐标平面；求解每幅图像的镜像畸变参数，优化相邻图像间的拼接效果。与现有技术相比，本发明基于三维点云重建方法恢复被摄物体三维结构，具有解决图像与被摄物体的之间不满足单应性约束条件下序列图像拼接问题、消除输入图像的单应性畸变和改善图像拼接质量等优点。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及一种基于三维重建的序列图像自动拼接方法。
背景技术
Lucas BD,Kanade T 1981年在第7届International joint conference onArtificial intelligence上发表了题为An iterative image registration techniquewith an application to stereo vision的文章，提出了光流法(Optical Flow)来进行图像的配准。使光流成为当时图像配准的最佳算法。此类光流估计一般被认为需要实时的稠密采样来支持。虽然由粗到精的采样方法可以在某种程度上缓解这一约束，采样的规模和估计的速度依然有着内生的联系。Brox T，Malik J 2011年在IEEE Transaction onPattern Analysis and Machine Intelligence(PAMI)的第33卷第3期发表了题为LargeDisplacement Optical Flow:Descriptor Matching in Variational MotionEstimation的文章，通过将丰富描述子，例如SIFT或HOG描述子，引入变分光流法来解决匹配场景大规模位移的问题。在Brox T的基础上，Chen Z,Jin H,Lin Z,Cohen S,Wu Y2013年在Computer Vision and Pattern Recognition(CVPR)上发表了题为Large displacementoptical flow from nearest neighbor fields的文章，采用位移分割的方法。Xu L,JiaJ,Matsushita Y 2012年在PAMI第34卷第9期发表了题为Motion detail preservingoptical flow estimation的文章，通过减少由粗到精采样时所传递的初值的权重，并在每次尺度变化时尝试复原动作细节，来改善光流估计的性能。Wang H,Klaser A,Schmid C,Liu CL 2011年在CVPR上发表了题为Action recognition by dense trajectories的文章，采用基于运动边界柱状图的描述子，使光流匹配不受相机运动影响。Liu C,Yuen JTorralba A 2011年在PAMI第33第5期Sift flow:Dense correspondence across scenesand its applications Liu通过引入SIFT算子，使光流能够进行语义级别的匹配。
Song X,Seneviratne LD,Althoefer K 2011年在IEEE/ASME Transactions onMechatronics第16卷第3期上发表了题为A kalman filter-integrated optical flowmethod for velocity sensing of mobile robots的文章，使用卡尔曼滤波对图像进行预处理，Lempitsky V,Rother C,Roth S,Blake A 2009年在PAMI第32卷第8期发表了题为Fusion moves for markov random field optimization的文章，使用一个5x5的拉普拉斯算子对图像进行预处理来改善光流匹配的准确性。Sun D,Sudderth EB,Black MJ 2012年在CVPR上发表了题为Layered segmentation and optical flow estimation over time的文章，采用新的图割优化法以及马尔科夫随机场改进分层光流模型，并在2013年CVPR上发表了题为A Fully-Connected Layered Model of Foreground and Background Flow的文章，提出一种全关联的分层模型，改善光流细节的恢复和大规模遮挡下的匹配性能。Muller T,Rannacher J,Rabe C,Franke U2011在CVPR上发表了题为Feature-and depth-supported modified total variation optical flow for 3D motion fieldestimation in real scenes的文章，使用立体相机与惯性感应元件，Benosman R,IengSH,Clercq C,Bartolozzi C,Srinivasan M 2012年Neural Networks第27卷第3期发表了题为Asynchronous frameless event-based optical flow的文章，提出使用异步事件驱动的人造视网膜辅助三维光流物体追踪。
Lowe DG 1999年在International Conference on Computer Vision(ICCV)会议上发表了题为Object recognition from local scale-invariant features的文章，提出了应用相当广泛的SIFT特征及其提取算法，并在2004年International Journal ofComputer Vision第60卷第2期发表了题为Distinctive image features from scale-invariant keypoints的文章加以改进。SIFT使用128维的描述子，具有平移、缩放、旋转、尺度、光照、旋转不变性，并对仿射和三维投射保持部分不变性。这些重要性质使其替代了Harris角点(Harris C,Stephens M 1988年在4th Alvey Vision Conference上发表题为Acombined corner and edge detector的文章)，大幅提升了基于特征检测的图像匹配性能。Liu C,Yuen J,Torralba A结合SIFT算法与光流的思想，2010年在PAMI第33卷第5期发表了题为Sift flow:Dense correspondence across scenes and its applications.的文章，提出了Sift flow，使用SIFT的128维描述子而不是三维的RGB信息进行光流匹配，达到语义级别的图像识别。Bay H,Ess A,Tuytelaars T,Van Gool L在SIFT的基础上，于2008年在Computer Vision&Image Understanding第110卷第3期发表了题为Speeded-uprobust features(SURF)的文章，提出了Surf算法，在保持光照，旋转，尺度不变性的同时，Surf使用64维的特征描述，并且提高了运算速度，更适合大规模图像的拼接工作。
Fischler MA,Bolles RC 1981年在Communications of the ACM第24卷第6期发表了题为Random sample consensus:a paradigm for model fitting withapplications to image analysis and automated cartography的文章，提出了RANSAC(RANdom SAmple Consensus，随机抽样一致)算法，通过重复随机抽样并计算单应矩阵的方法，大幅降低得到错误单应性估计的概率，使得得到两视图单应矩阵变得鲁棒。2012年，Lebeda K,Matas J,Chum O在British Machine Vision Conference会议上发表了题为Fixing the Locally Optimized RANSAC的文章，对RANSAC算法进行了改进。
多张图像的拼接是另一个研究热点，怎样有效的拼接多张图像，生成单张全景同样已经经过了长时间的研究。Szeliski R,Shum HY 1997年24th annual conference onComputer graphics and interactive techniques会议上发表了题为Creating fullview panoramic image mosaics and environment maps的文章，率先尝试增量配准并融合图像至同一参考平面。然而增量拼接方法会传递并放大配准误差。为了解决这一问题，一种方法是使用一个最小二乘框架同时对所有图像进行配准，从而正确地分布产生的匹配误差。这一流程被称为Bundle adjustment(光束法平差)，由Triggs B,McLauchlan PF,Hartley RI,Fitzgibbon AW 1999年在ICCV会议上发表了题为Bundle adjustment-amodern synthesis的文章，该技术被广泛的运用于各商业软件，以最小化单应性假设下的匹配误差。
Bundle adjustment是一套对于配准误差鲁棒的非线性最小化过程。它不仅能够被用于批量拼接图像上，亦可被用于从图像间稀疏的相关特征点集信息中恢复点集的三维坐标。由于这一过程常常同时计算物体的三维结构及相机的姿态，其通常被称作Structurefrom motion(SfM)。尽管SfM时常被用于三维重建工作中，也有研究试图使用其生成的三维点集输出高质量的全景图像。Agarwala A,Agrawala M,Cohen M,Salesin D,Szeliski R基于SfM于2006年在Acm Transactions on Graphics第25卷第3期发表了题为Photographinglong scenes with multi-viewpoint panoramas的文章，使用手持相机拍摄了107张长街图像，并据此生成一副全景。SfM算法在拼接非摄于同一点的图像时能带来巨大的帮助。
随着研究的深入，人们意识到单应性假设渐渐成为图像配准的瓶颈，并提出方法试图强化这一经典模型。Gao J,Kim SJ,Brown MS 2011年在CVPR上发表了题为Constructing image panoramas using dual-homography warping的文章，提出双单应性模型，并将其应用于图像拼接问题上，其相较于使用经典单应性模型具有更好的自由度。Zaragoza J,Chin TJ,Brown MS,Suter D在2013年CVPR和2014年PAMI第36卷第7期上发表题为As-projective-as-possible(APAP)image stitching with moving DLT的文章，提出基于Moving DTL(滑动直接线性变换)的图像配准方法，其中Moving DLT是DLT(直接线性变换)算法的加权变化版本，APAP提供了位置相关的单应性矩阵计算和投影方法，极大地增强了经典单应性模型的描述力。Zaragoza J在后来提出了APAP的Bundle adjustment版本。然而这一改动使得APAP这一轻量级算法变得相当笨重。更重要的是，当待拼接图像不满足单应性假设时，Bundle adjustment APAP无法很好地处理序列图像拼接结果中的畸变。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三维重建的序列图像自动拼接方法。主要针对壁画照片处理，由于整幅壁画面积较大，往往通过相机分块进行拍摄，后期再对拍摄的照片进行拼接，将壁画以电子版形式保存。由于壁画所在墙面本身存在凹凸不平的特点，在对照片进行处理的过程中，本发明采用SfM方法进行三维点云重建，进而“恢复被摄结构”，替代了常规图像拼接流程中的“全局相机参数优化”，不再假设图像与被摄体的之间满足单一的单应性关系，而是专注于获取原始图像特征点在最优拟合平面中分布的极大似然估计。而且基于Moving DLT方法可以很好地剔除输入图像的单应性畸变，有利于改善最终图像序列的自动拼接质量。
本发明的目的可以通过以下技术方案来实现：
一种基于三维重建的序列图像自动拼接方法，用于对壁画的分块拍摄图像进行整体拼接，该方法包括以下步骤：
S1、对输入的n幅图像分别提取尺度不变特征变换特征点；
S2、构建k-d树算法，为每个特征点搜寻k个最近匹配点；
S3、根据特征点匹配情况，选取每幅图像对应的m幅候选匹配图像，并利用随机抽样一致RANSAC算法估计相机初始参数，通过概率模型验证图像匹配的正确性；
S4、搜索并记录每幅图像的候选匹配图像集；
S5、对候选匹配图像集考虑相机初始参数利用运动结构重建SfM算法进行三维重建，得到反投射后的三维平面；
S6、求解三维平面对应的二维参考平面；
S7、将二维参考平面投影至指定二维坐标平面；
S8、求解每幅图像的镜像畸变参数，优化相邻图像间的拼接效果；
S9、基于多波段融合算法Multi-band blending，实现全景图像的自动拼接。
步骤S6具体为：利用最小二乘法求解所述三维平面与二维参考平面之间的最小化距离，求解二维参考平面方程，其中最小化距离公式为：
其中，xi'是点云中与第i个特征点相匹配的三维点，x′*代表点云的中心，d(x′i,L*)是点xi'到拟合平面的距离。
步骤S7具体为：对于候选匹配图像集应用Moving DLT算法将候选匹配图像集中的每一个图像分割成100×100共10000个网格区块，对每一个网格区块计算单应性矩阵，并进行投影变换，投影至指定二维坐标平面。
步骤S8中利用光束法平差最小化公式求解每幅图像的相似性变换矩阵，得到每幅图像的镜像畸变参数。
所述的光束法平差最小化公式为：
其中，Cij、Cik表示第j幅图像和第k幅图像不同特征之间的协方差矩阵，
第j张图像中的第i个特征点；
第k张图像中的第i个特征点；
Aj：第j张图像的投影矩阵；
Ak：第k张图像的投影矩阵；
sj：第j张图像的形变参数；
sk：第k张图像的形变参数；
λ：目标精度；
A：图像的变换矩阵，s：隐含着长宽比，
步骤S3中利用随机抽样一致RANSAC算法计算所选图像与候选匹配图像间的射影几何约束，估计相机初始参数。
与现有技术相比，本发明具有以下优点：
1、较好地还原原图像、较少误差：采用SfM算法，很好地抓住了高低起伏的原壁面上的图像特征，减少拼接之后的误差，使最终的图像误差保持在亚像素精度，为高精度拼接提供良好的基础；
2、消除常规图像拼接中的单应性畸变：本发明基于SfM方法实现三维点云重建，进而“恢复被摄结构”，替代了常规图像拼接流程中的“全局相机参数优化”，不再假设图像与被摄体的之间满足单一的单应性关系，而是专注于获取原始图像特征点在最优拟合平面中分布的极大似然估计，基于Moving DLT方法可以很好地剔除输入图像的单应性畸变，有利于改善最终图像序列的自动拼接质量；
3、参考平面更接近三维平面，采用带有权值的最小化距离公式，找到最佳拟合平面，使得三维平面上的图像更好地在拟合的二维参考平面上展开，经过投影的特征点很好的保持了三维点集中的位置信息；
4、改善图像拼接质量：利用光束法平差最小化公式，消除了镜像畸变，改善了图像拼接质量。
附图说明
图1为本发明的流程图；
图2为用于图像拼接的原始图像序列图；
图3为基于SfM算法的特征点云三维重建图；
图4是基于SfM算法生成的拟合参考平面图；
图5是基于三维重建的图像序列自动拼接图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本发明的目的在于提出一种基于三维重建的序列图像自动拼接方法，该方法针对n幅无序的图像序列，分别提取SIFT特征点并建立k-d树，对每一幅图像选取m幅候选匹配图像，使用RANSAC算法，计算与候选图像间最有可能的摄影几何约束，形成正确匹配图像集，并运用SfM算法进行三维重建，得到最优的拟合参考平面。使用Moving DLT方法剔除输入图像的单应性畸变，最后使用Bundle Adjustment方法求解每幅图像的相似性变换矩阵，最后基于多波段融合(Multi-band blending)算法，实现全景图像的自动拼接。
一种基于三维重建的序列图像自动拼接方法，其具体步骤如下：
(1)对输入的n幅图像提取尺度不变特征变换(Scale-invariant featuretransform，SIFT)特征点；
(2)构建k-d树算法，为每一特征点搜寻k个最近邻匹配点；
(3)对于每一幅图像：基于与该图像间的特征点匹配情况，选取最匹配的m幅候选图像；使用随机抽样一致(Random sample consensus，RANSAC)算法，计算与候选图像间最有可能的摄影几何约束，估计相机初始参数；通过概率模型验证图像匹配的正确性；
(4)搜索并记录通过图像匹配获得匹配的图像集；
(5)对正确匹配图像集运用运动结构重建(Structure from motion，SfM)算法进行三维重建；
(6)通过带有权值的最小化距离公式求解拟合的二维参考平面L*为AX+BY+CZ+D＝0，其中，xi'是点云中与第i个特征点相匹配的三维点，x′*代表点云的中心，d(x′i,L*)是点xi'到拟合平面的距离，其相关特征点为x′i＝[xi yi zi]，则
(7)对于正确匹配图像集应用Moving DLT算法，即对图像集中的每一图像分割成100×100共10000个网格区块，对每一个区块应用DLT(直接线性变换)计算单应性矩阵H*并投影变换；
(8)相对于参考平面，使用光束法平差(Bundle adjustment)最小化公式其中Cij、Cik表示第j幅图像和第k幅图像不同特征之间的协方差矩阵，
第j张图像中的第i个特征点；
第k张图像中的第i个特征点；
Aj：第j张图像的投影矩阵；
Ak：第k张图像的投影矩阵；
sj：第j张图像的形变参数；
sk：第k张图像的形变参数；
λ：目标精度；
A：图像的变换矩阵，s：隐含着长宽比，
将第j张图像投射至第k张图像的单一性变换函数得到每幅图像的相似性变换矩阵A，最后实现图像序列的自动拼接。
参阅附图，在图1中给出了本发明的方法流程图，按此图示流程，给出一组实例。该方法针对给定的原始图像序列，如图2所示为用于图像拼接的原始图像序列图，分别提取每幅图像的SIFT特征并构建特征点匹配k-d树，基于经典的RANSAC算法估计相机初始参数，得到每幅图像对应的匹配图像集。
图3是基于SfM算法的特征点云三维重建结果，从重建结果中可以清楚的发现，SfM算法很好的抓住了原壁面的特征：画作附着于一块整体为平面同时存在高低起伏的壁面上，这一精确的描述为高精度拼接提供了良好的基础。
图4是基于SfM算法生成的拟合参考平面，展示了投射至拟合平面L*的特征点集与图3进行对比可以发现，所拟合的平面将壁画最大限度的在最终投影上展开，以及经过投影的特征点很好的保持了三维点集中的位置信息。
图5是基于三维重建的图像序列自动拼接结果，无论是从全局还是细节，均达到了无缝拼接的结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种基于三维重建的序列图像自动拼接方法，用于对壁画的分块拍摄图像进行整体拼接，其特征在于，该方法包括以下步骤：
S1、对输入的n幅图像分别提取尺度不变特征变换特征点；
S2、构建k-d树算法，为每个特征点搜寻k个最近匹配点；
S3、根据特征点匹配情况，选取每幅图像对应的m幅候选匹配图像，并利用随机抽样一致RANSAC算法估计相机初始参数，通过概率模型验证图像匹配的正确性；
S4、搜索并记录每幅图像的候选匹配图像集；
S5、对候选匹配图像集考虑相机初始参数利用运动结构重建SfM算法进行三维重建，得到反投射后的三维平面；
S6、求解三维平面对应的二维参考平面；
S7、将二维参考平面投影至指定二维坐标平面；
S8、求解每幅图像的镜像畸变参数，优化相邻图像间的拼接效果；
S9、基于多波段融合算法Multi-band blending，实现全景图像的自动拼接。
2.根据权利要求1所述的一种基于三维重建的序列图像自动拼接方法，其特征在于，步骤S6具体为：利用最小二乘法求解所述三维平面与二维参考平面之间的最小化距离，求解二维参考平面方程，其中最小化距离公式为：
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>&Element;</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</munder>
<mi>&Sigma;</mi>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mo>*</mo>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msup>
<mi>L</mi>
<mo>*</mo>
</msup>
<mo>)</mo>
</mrow>
</mrow>
其中，xi'是点云中与第i个特征点相匹配的三维点，x′*代表点云的中心，d(x′i,L*)是点xi'到拟合平面的距离。
3.根据权利要求1所述的一种基于三维重建的序列图像自动拼接方法，其特征在于，步骤S7具体为：对于候选匹配图像集应用Moving DLT算法将候选匹配图像集中的每一个图像分割成100×100共10000个网格区块，对每一个网格区块计算单应性矩阵，并进行投影变换，投影至指定二维坐标平面。
4.根据权利要求1所述的一种基于三维重建的序列图像自动拼接方法，其特征在于，步骤S8中利用光束法平差最小化公式求解每幅图像的相似性变换矩阵，得到每幅图像的镜像畸变参数。
5.根据权利要求4所述的一种基于三维重建的序列图像自动拼接方法，其特征在于，所述的光束法平差最小化公式为：
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mi>i</mi>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</munder>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<mi>f</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mover>
<mi>x</mi>
<mo>~</mo>
</mover>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<mo>;</mo>
<msup>
<mi>A</mi>
<mi>j</mi>
</msup>
<mo>,</mo>
<msup>
<mi>A</mi>
<mi>k</mi>
</msup>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mover>
<mi>x</mi>
<mo>~</mo>
</mover>
<mi>i</mi>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mrow>
<msup>
<mi>s</mi>
<mi>j</mi>
</msup>
<mo>+</mo>
<msup>
<mi>s</mi>
<mi>k</mi>
</msup>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
其中，Cij、Cik表示第j幅图像和第k幅图像不同特征之间的协方差矩阵，
第j张图像中的第i个特征点；
第k张图像中的第i个特征点；
Aj：第j张图像的投影矩阵；
Ak：第k张图像的投影矩阵；
sj：第j张图像的形变参数；
sk：第k张图像的形变参数；
λ：目标精度。
6.根据权利要求1所述的一种基于三维重建的序列图像自动拼接方法，其特征在于，步骤S3中利用随机抽样一致RANSAC算法计算所选图像与候选匹配图像间的射影几何约束，估计相机初始参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710330860.5A CN107240067A (zh) | 2017-05-11 | 2017-05-11 | 一种基于三维重建的序列图像自动拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710330860.5A CN107240067A (zh) | 2017-05-11 | 2017-05-11 | 一种基于三维重建的序列图像自动拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107240067A true CN107240067A (zh) | 2017-10-10 |
Family
ID=59985522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710330860.5A Pending CN107240067A (zh) | 2017-05-11 | 2017-05-11 | 一种基于三维重建的序列图像自动拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107240067A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986061A (zh) * | 2018-06-28 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 三维点云道路数据融合方法、装置及存储介质 |
| CN109087250A (zh) * | 2018-08-29 | 2018-12-25 | 浙江传媒学院 | 基于规则边界约束的图像拼接方法 |
| CN110189254A (zh) * | 2019-04-30 | 2019-08-30 | 华中科技大学 | 一种图像数据集的形变参数集束平差方法及图像拼接方法 |
| CN110223222A (zh) * | 2018-03-02 | 2019-09-10 | 株式会社理光 | 图像拼接方法、图像拼接装置和计算机可读存储介质 |
| CN110363707A (zh) * | 2019-06-28 | 2019-10-22 | 西安交通大学 | 一种基于约束物虚拟特征的多视三维点云拼接方法 |
| CN110503621A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
| CN110533589A (zh) * | 2019-07-18 | 2019-12-03 | 上海大学 | 一种基于变焦显微图像序列的三维模型拼接方法 |
| CN111426284A (zh) * | 2020-04-10 | 2020-07-17 | 山东师范大学 | 基于Brox光流估计的面形测量误差校正方法及系统 |
| CN111529063A (zh) * | 2020-05-26 | 2020-08-14 | 广州狄卡视觉科技有限公司 | 基于三维重建的多模态融合的手术导航系统及方法 |
| CN112085659A (zh) * | 2020-09-11 | 2020-12-15 | 中德（珠海）人工智能研究院有限公司 | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 |
| CN112365406A (zh) * | 2021-01-13 | 2021-02-12 | 芯视界（北京）科技有限公司 | 图像处理方法、装置以及可读存储介质 |
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| CN117291930A (zh) * | 2023-08-25 | 2023-12-26 | 中建三局第三建设工程有限责任公司 | 一种基于图片序列中目标物体分割的三维重建方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383046A (zh) * | 2008-10-17 | 2009-03-11 | 北京大学 | 一种基于图像的三维重建方法 |
| CN102074015A (zh) * | 2011-02-24 | 2011-05-25 | 哈尔滨工业大学 | 一种基于二维图像序列的目标对象的三维重建方法 |
-
2017
- 2017-05-11 CN CN201710330860.5A patent/CN107240067A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383046A (zh) * | 2008-10-17 | 2009-03-11 | 北京大学 | 一种基于图像的三维重建方法 |
| CN102074015A (zh) * | 2011-02-24 | 2011-05-25 | 哈尔滨工业大学 | 一种基于二维图像序列的目标对象的三维重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吴晓庆等: "基于LM和SVD结合的点云拼接算法研究", 《自动化仪表》 * |
| 陈子豪等: "大规模壁画拼接:使用moving DLT的新尝试", 《电脑知识与技术》 * |
| 黄梅: "基于改进RANSAC算法的图像拼接技术", 《海南大学学报自然科学版》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223222A (zh) * | 2018-03-02 | 2019-09-10 | 株式会社理光 | 图像拼接方法、图像拼接装置和计算机可读存储介质 |
| CN108986061B (zh) * | 2018-06-28 | 2019-09-20 | 百度在线网络技术（北京）有限公司 | 三维点云道路数据融合方法、装置及存储介质 |
| CN108986061A (zh) * | 2018-06-28 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 三维点云道路数据融合方法、装置及存储介质 |
| CN109087250B (zh) * | 2018-08-29 | 2022-05-24 | 浙江传媒学院 | 基于规则边界约束的图像拼接方法 |
| CN109087250A (zh) * | 2018-08-29 | 2018-12-25 | 浙江传媒学院 | 基于规则边界约束的图像拼接方法 |
| CN110189254A (zh) * | 2019-04-30 | 2019-08-30 | 华中科技大学 | 一种图像数据集的形变参数集束平差方法及图像拼接方法 |
| CN110363707A (zh) * | 2019-06-28 | 2019-10-22 | 西安交通大学 | 一种基于约束物虚拟特征的多视三维点云拼接方法 |
| CN110533589A (zh) * | 2019-07-18 | 2019-12-03 | 上海大学 | 一种基于变焦显微图像序列的三维模型拼接方法 |
| CN110503621B (zh) * | 2019-08-23 | 2022-07-01 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
| CN110503621A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| US20240037765A1 (en) * | 2019-11-08 | 2024-02-01 | Nanjing University Of Science And Technology | High-precision dynamic real-time 360-degree omnidirectional point cloud acquisition method based on fringe projection |
| US11961244B2 (en) * | 2019-11-08 | 2024-04-16 | Nanjing University Of Science And Technology | High-precision dynamic real-time 360-degree omnidirectional point cloud acquisition method based on fringe projection |
| CN111426284B (zh) * | 2020-04-10 | 2021-10-19 | 山东师范大学 | 基于Brox光流估计的面形测量误差校正方法及系统 |
| CN111426284A (zh) * | 2020-04-10 | 2020-07-17 | 山东师范大学 | 基于Brox光流估计的面形测量误差校正方法及系统 |
| CN111529063A (zh) * | 2020-05-26 | 2020-08-14 | 广州狄卡视觉科技有限公司 | 基于三维重建的多模态融合的手术导航系统及方法 |
| CN112085659A (zh) * | 2020-09-11 | 2020-12-15 | 中德（珠海）人工智能研究院有限公司 | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 |
| CN112085659B (zh) * | 2020-09-11 | 2023-01-06 | 中德（珠海）人工智能研究院有限公司 | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 |
| CN112365406A (zh) * | 2021-01-13 | 2021-02-12 | 芯视界（北京）科技有限公司 | 图像处理方法、装置以及可读存储介质 |
| CN117291930A (zh) * | 2023-08-25 | 2023-12-26 | 中建三局第三建设工程有限责任公司 | 一种基于图片序列中目标物体分割的三维重建方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107240067A (zh) | 一种基于三维重建的序列图像自动拼接方法 | |
| Jiang et al. | Cotr: Correspondence transformer for matching across images | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| Fraundorfer et al. | Visual odometry: Part ii: Matching, robustness, optimization, and applications | |
| Aubry et al. | Painting-to-3D model alignment via discriminative visual elements | |
| Lim et al. | Real-time image-based 6-dof localization in large-scale environments | |
| CN111968129A (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| Mur-Artal et al. | ORB-SLAM: a versatile and accurate monocular SLAM system | |
| Urban et al. | Multicol-slam-a modular real-time multi-camera slam system | |
| Civera et al. | Towards semantic SLAM using a monocular camera | |
| Ta et al. | Surftrac: Efficient tracking and continuous object recognition using local feature descriptors | |
| CN103646391B (zh) | 一种针对动态变化场景的实时摄像机跟踪方法 | |
| CN108648240A (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
| CN109272577B (zh) | 一种基于Kinect的视觉SLAM方法 | |
| Zhang et al. | Research on 3D architectural scenes construction technology based on augmented reality | |
| Ventura | Structure from motion on a sphere | |
| Zhang et al. | A stereo SLAM system with dense mapping | |
| Huang et al. | Life: Lighting invariant flow estimation | |
| Kien | A review of 3D reconstruction from video sequences | |
| Chen et al. | Generalized content-preserving warp: Direct photometric alignment beyond color consistency | |
| Bojanić et al. | A review of rigid 3D registration methods | |
| Zhao et al. | Graph-based robust localization of object-level map for mobile robotic navigation | |
| Bellavia | Image matching by bare homography | |
| Zhang et al. | Recent Advances in Robot Visual SLAM | |
| Liao et al. | High completeness multi-view stereo for dense reconstruction of large-scale urban scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171010 |