CN101908231B - 处理含有主平面场景的三维点云重建方法和系统 - Google Patents
处理含有主平面场景的三维点云重建方法和系统 Download PDFInfo
- Publication number
- CN101908231B CN101908231B CN2010102396128A CN201010239612A CN101908231B CN 101908231 B CN101908231 B CN 101908231B CN 2010102396128 A CN2010102396128 A CN 2010102396128A CN 201010239612 A CN201010239612 A CN 201010239612A CN 101908231 B CN101908231 B CN 101908231B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- match
- plane
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 title claims abstract description 20
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 93
- 239000004744 fabric Substances 0.000 claims description 22
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003252 repetitive effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 244000188472 Ilex paraguariensis Species 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种处理含有主平面场景的三维点云重建方法和系统,该方法包括以下步骤:用内参已知的相机获取静态场景的多视角图像;检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列;对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集;由所述基本矩阵求得所述图像对间的相对位置关系;根据所述图像对间的相对位置关系,在标准坐标系中实现所述相机融合、三维点云重构;和优化所述三维点云重构结果。通过本发明的处理含有主平面场景的三维点云重建方法,解决了现有三维点云重建方法的一些不足,实现了无场景依赖的三维重建。
Description
技术领域
本发明属于计算机视觉领域,尤其涉及由多视角二维图像重建场景的三维点云模型的方法。
背景技术
对现实物体和场景建立真实、可靠的三维点云模型是很多三维系统的重要环节。建立模型的质量对3D技术在遗产保护、虚拟现实、电子游戏等诸多应用的实际效果有着相当重要的作用。其中人们对基于普通光二维图像的三维重建做了大量的研究,目前仍存在许多有待改进的地方。
DEGENSAC(DEGENerate SAmple Consensus)能够处理一般场景和含有主平面场景的图像对的对极几何计算的问题,是RANSAC(RANdom SAmple comsensus)的一种改进算法。该算法的基本思想是在随机选取数对匹配点后,由它们计算得到图像对之间的基本矩阵;若该矩阵拥有到目前为止最多的支持点,则检查随机选取的匹配点中是否有一定数目的匹配点满足某一平面单应关系;若不满足直接进入新一次的计算,否则由平面单应和额外的两对匹配点可计算得到新的基本矩阵,计算该矩阵的支持点数目;算法根据选取准确模型的概率要求决定循环的次数,结束时选取拥有最多支持点的基本矩阵作为输出结果。
SIFT(Scale-Invariant Feature Transform)算法是一种对特征点进行检测及匹配的方法,该算法在多尺度空间进行特征检测,确定特征点的位置和特征点所在的尺度;然后使用一个高维向量作为特征描述符,描述特征点邻域的梯度情况。由于该特征描述符不随图像尺度和方向而变化,因此有较强的匹配能力,但因其需要在各个尺度上进行技术,时间复杂度相对较高。
捆集调整(Bundle Adjustment)是在给定由不同视点拍摄得到场景图像集的情况下,按最小化重投影误差的标准同时优化场景几何关系与相机参数的方法。它经常作为基于特征点的三维重建算法的最后优化步骤。
发明内容
本发明旨在至少解决上述技术问题之一。
为此,本发明的一个目的在于提出一种处理含有主平面场景的三维点云重建方法,通过该方法能够解决现有三维点云重建方法的一些不足,从而实现了无场景依赖的三维重建。
本发明的一个方面提出了一种处理含有主平面场景的三维点云重建方法,包括以下步骤:用内参数已知的相机获取静态场景的多视角图像;检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列;对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集;由所述基本矩阵求得所述图像对间的相对位置关系;根据所述图像对间的相对位置关系,在标准坐标系中实现所述相机融合、三维点云重构;和优化所述三维点云重构的结果。
在本发明的一个实施例中,所述用内参数已知的相机获取静态场景的多视角图像进一步包括:每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参不变以获取相机内参数;根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。
在本发明的一个实施例中,所述检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对和由同一个场景点投影所得的匹配点序列进一步包括:根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点;记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征;根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对,其中,在匹配过程中,根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对。
在本发明的一个实施例中,所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合,所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合。
在本发明的一个实施例中,对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集进一步包括:步骤1、计算所述图像对的匹配点数目以确定是否满足预定数目;步骤2、在满足预定数目匹配点的图像对中随机抽取一定数目的匹配点,并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数;步骤3、判断所述基本矩阵是否拥有最多的支持点数,如果拥有最多的支持点数则标记所述基本矩阵为最优解,并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系;步骤4、如果满足所述平面单应关系,则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵,计算新基本矩阵的支持点数;如果所述新基本矩阵有最多的支持点数,则更新标记所述新基本矩阵为最优解、记录平面单应点集,结束本次计算且判断是否满足预定循环结束条件;步骤5、如果不满足所述平面单应关系,则直接结束本次计算且判断是否满足预定循环结束条件。如果判断不满足预定循环结束条件,则重复操作步骤2至步骤5直至满足预定循环结束条件,当满足所述预定循环结束条件时输出基本矩阵,同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集。
在本发明的一个实施例中,对满足所述平面单应关系的匹配点还包括记录所述单应的支持点数,且判决满足平面单应关系的匹配点的三维重构在一个空间平面上。
在本发明的一个实施例中,所述由所述基本矩阵F12求得所述图像对间的相对位置关系进一步包括:根据所述基本矩阵和标定所得的内参矩阵求得相机对间的本质矩阵其中K1、K2为相机的内参矩阵,且根据E12=[t]xR分解得到所述相机对间的相对旋转矩阵和平移向量。
在本发明的一个实施例中,根据所述图像对间的相对位置关系在标准坐标系中实现所述相机融合、三维点云重构进一步包括:适当选取标准坐标系,依照一定顺序确定各图像在所述标准坐标系中的位置以实现图像逐一添加,并逐步实现三维空间点云的重构,其中,在重构三维点云的过程中,平面点集的空间重构点须在某个特定空间平面上。
在本发明的一个实施例中,优化所述三维点云的重构结果为在添加完成所有图像且重建三维点云后对重建模型应用优化算法以优化,或在一幅或多幅图像的添加过程中和在空间点云重构过程中运用优化算法进行优化。
在本发明的另一个方面还提出了一种处理含有主平面场景的三维点云重建系统,包括:相机,所述相机内参已知,用于获取静态场景的多视角图像;和三维重建装置,所述三维重建装置用于检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列;然后对包括预定数目匹配点对的图像对,根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集;之后由所述基本矩阵求得所述图像对间的相对位置关系;且根据所述图像对间的相对位置关系,在标准坐标系中实现所述相机融合、三维点云重构;最后对所述三维点云重构的结果进行优化。根据本发明实施例的处理含有主平面场景的三维点云重建方法,解决了现有三维点云重建方法的一些不足,该方法实现了无场景依赖的三维重建,并且能够由含有主平面的图像集重建三维点云模型。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的处理含有主平面场景的三维点云重建方法的整体流程图;以及
图2为本发明实施例的三维点云重建装置的结构图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
下面参考附图描述本发明实施例的处理含有主平面场景的三维点云重建方法。
如图1所示,为本发明实施例的处理含有主平面场景的三维点云重建方法的整体流程图,包括以下步骤:
步骤S101,用内参数已知的相机获取静态场景的多视角图像。作为本发明的一个实施例中,用内参数已知的相机获取静态场景的多视角图像包括:
每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参不变以获取相机内参数;
根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。
为了能够更清楚的理解本发明提出的获取静态场景的多视角图像方式,以下就具体举例方式进行描述。
在本发明的一个实施例中,首先标定相机的内参,进而保持相机内参不变,然后应用该相机从多个视角拍摄场景得到场景不同视角的图像,把所有图像保存在一个图像集中。
步骤S102,检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列。作为本发明的一个实施例,获取匹配点对和由同一个场景点投影所得的匹配点序列包括:
根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点;
记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征;
根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对,其中,在匹配过程中,根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对。
其中,在本发明的一个实施例中,所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合,所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合。
具体地,为了能够更清楚的理解获取匹配点对的方式,以具体举例描述,在本发明的一个实施例中,应用SIFT算法求得该图像集中各个图像的特征点和匹配点,具体地包括:
运用SIFT算法处理各视角所得的二维图像,得到图像的特征点和特征描述符;根据所得特征描述符,对各图像对特征点匹配操作;根据图像的特征点数目和图像对的匹配点数等确定图像和图像对是否进入后续流程的算法计算处理。
但是本领域的普通技术人员知道,所述特征点匹配算法并不局限于采用SIFT算法,只要能够有效的实现特征点的匹配的任何算法,或者对SIFT算法的多种变化算法都应该属于本发明的保护范围。
步骤S103,对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集。在本发明的一个实施例中,获取基本矩阵,且保存可能存在的空间平面点集包括:
根据所述图像的特征点数目和所述图像对的匹配点数目以确定是否对所述图像对进行处理;
步骤1、在需要处理的图像对中随机抽取一定数目的匹配点,并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数;
步骤2、判断所述基本矩阵是否拥有最多的支持点数,如果拥有最多的支持点数则标记所述基本矩阵为最优解,并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系;
步骤3、如果满足所述平面单应关系,则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵,计算新基本矩阵的支持点数;如果所述新基本矩阵有最多的支持点数,则更新标记所述新基本矩阵为最优解、记录平面单应点集,结束本次计算且判断是否满足预定循环结束条件;
步骤4、如果不满足所述平面单应关系,则直接结束本次计算且判断是否满足预定循环结束条件。
如果判断不满足预定循环结束条件,则重复操作步骤1至步骤4直至满足循环预定条件,当满足所述循环预定条件时输出基本矩阵,同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集。
同时,对满足所述平面单应关系的匹配点还包括记录所述单应的支持点数,且判决满足平面单应关系的匹配点的三维重构在一个空间平面上。为了更清楚的理解步骤S103的获取基本矩阵,且保存可能存在的空间平面点集的方式,以下就本发明实施例的具体举例方式进行描述。
具体地,作为本发明的一个实施例中,采用DEGENSAC算法计算从步骤S102保留下来的图像对之间的对极几何关系,在这里即指基本矩阵F12,同时保存可能得到的若干个平面点集。
步骤S104,由所述基本矩阵F12求得所述图像对间的相对位置关系。在本发明的一个实施例中,由所述基本矩阵F12求得所述图像对间的相对位置关系包括:
更为具体地,作为本发明的一个优选实施例的具体例子,包括由基本矩阵和标定所得的内参矩阵求得图像对间的本质矩阵其中K1、K2为相机的内参矩阵;根据E12=[t]xR分解得到该对图像间的相对旋转矩阵和平移向量。其中,R、t代表空间点在第一幅图像坐标系中的坐标做R旋转、t平移后得到空间点在第二幅图像坐标系中的坐标。
步骤S105,根据所述图像对间的相对位置关系在标准坐标系中实现所述相机融合、三维点云重构。作为本发明的一个实施例,实现三维点云重构的方式为适当选取标准坐标系,依照一定顺序确定各图像在所述标准坐标系中的位置以实现图像逐一添加,并逐步实现三维空间点云的重构,其中,在重构三维点云的过程中,应用平面点集的空间重构点须满足在特定空间平面上。
以下就具体举例的方式描述本发明实施例中步骤S105提出的三维点云重构的方法。选择含有最多匹配点的图像作为基础图像,以该图像的坐标系为标准坐标系;选择与基础图像有最多匹配点的图像,设其与基础图像有N个匹配点;将与基础图像有一定匹配点数(如0.9N个)以上的图像一起加入标准坐标系,并应用三角化方法重构得到三维空间点。重构空间点时,根据步骤S103得到的平面点集约束,即平面点集中匹配点的重构点应该在同一个空间平面上。具体来说,首先重构平面点集中所有匹配点的三维点云;然后根据距离最小化原理,由这个点云中的点计算得到一个空间平面,保证该点云中的点到空间平面的总距离最小;最后以该三维点云中的点在此平面上的投影作为平面点集中匹配点的三维重构。
类似以上添加图像的方法,加入与已重构空间点有最多匹配点的数张图像,并更新空间点。该算法直到没新的图像需要加入时停止。
其中,加入图像在标准坐标系中的旋转矩阵和平移向量按以下方法求得。旋转矩阵根据旋转矩阵的传递性求得,即在已知第j个相机在标准坐标系下的旋转矩阵Rj和i到j的相对旋转矩阵Rij的情况下,由下式求得相机i在标准坐标系下的旋转矩阵Ri,
Rj=RijRi,Ri为正交矩阵
当某一图像在标准坐标系中的旋转与平移由多个图像对求得且所得结果不一致时,按以下方式选取:以该图像与各图像的匹配点数为权值,对多解做加权平均来确定。具体方法简述如下:设Rj、tj为待求的第j幅图像在标准坐标系中的位置关系,分别为由第i幅图像求得的图像j的旋转平移关系,为图像i与图像j之间的匹配点数,i=1,...,k,则有:
步骤S106,优化所述三维点云重构的结果。在本发明的一个实施例中,运用捆集调整对重构的三维点云进行整体优化。
本发明的另一方面提出一种处理含有主平面场景的三维点云重建系统,该系统包括相机和三维点云重建装置,其中所述相机内参已知,用于获取静态场景的多视角图像。
本发明实施例提出的三维点云重建装置如图2所示,为本发明实施例的三维点云重建装置的结构图。该三维点云重建装置100包括图像匹配模块110,图像对极几何计算模块120,图像位置关系计算模块130,三维点云重构模块140和图像优化模块150。其中,图像匹配模块110,用于检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列,图像对极几何计算模块120,用于对包括预定数目匹配点对的图像对,根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集,图像位置关系计算模块130,用于由所述基本矩阵求得所述图像对间的相对位置关系,三维点云重构模块140,用于根据所述图像对间的相对位置关系,在标准坐标系中实现所述相机融合、三维点云重构,和图像优化模块150,用于优化所述三维点云重构的结果。
通过本发明实施例的处理含有主平面场景的三维点云重建方法,解决了现有三维点云重建方法的一些不足,该方法实现了无场景依赖的三维重建,并且能够由含有主平面的图像集重建三维点云模型。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。
Claims (6)
1.一种处理含有主平面场景的三维点云重建方法,其特征在于,包括以下步骤:
用内参数已知的相机获取静态场景的多视角图像;
检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列,其中,所述对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列进一步包括:
根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点;
记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征;以及
根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对,其中,在匹配过程中,根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对;
并且,其中,所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合,所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合;
对包括预定数目匹配点对的图像对,根据所述匹配点获取所述图像对间的基本矩阵F12,且保存相应的空间平面点集,其中,进一步包括:
步骤1、计算所述图像对的匹配点数目以确定是否满足预定数目;
步骤2、在满足预定数目匹配点的图像对中随机抽取一定数目的匹配点,并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数;
步骤3、判断所述基本矩阵是否拥有最多的支持点数,如果拥有最多的支持点数则标记所述基本矩阵为最优解,并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系;
步骤4、如果满足所述平面单应关系,则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵,计算新基本矩阵的支持点数;如果所述新基本矩阵有最多的支持点数,则更新标记所述新基本矩阵为最优解、记录平面单应点集,结束本次计算且判断是否满足预定循环结束条件;以及
步骤5、如果不满足所述平面单应关系,则直接结束本次计算且判断是否满足预定循环结束条件,如果判断不满足预定循环结束条件,则重复操作步骤2至步骤5直至满足预定循环结束条件,当满足所述预定循环结束条件时输出基本矩阵,同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集;
由所述基本矩阵求得所述图像对间的相对位置关系,其中:根据所述基本矩阵F12和标定所得的内参矩阵求得相机对间的本质矩阵其中K1、K2为相机的内参矩阵,且根据E12=[t]×R分解得到所述相机对间的相对旋转矩阵和平移向量,其中,R、t代表空间点在第一幅图像坐标系中的坐标做R旋转、t平移后得到空间点在第二幅图像坐标系中的坐标;
根据所述图像对间的相对位置关系,在标准坐标系中实现所述相机融合、三维点云重构,其中,包括:
选择含有最多匹配点的图像作为基础图像,以该图像的坐标系作为标准坐标系;
选择与基础图像有最多匹配点的图像;以及,
将与基础图像有一定匹配点数以上的图像一起加入标准坐标系,并应用三角化方法重构得到三维空间点;
并且,其中,在重构三维点云的过程中,平面点集的空间重构点必须满足在特定空间平面上;和
优化所述三维点云重构的结果。
2.如权利要求1所述的处理含有主平面场景的三维点云重建方法,其特征在于,所述用内参数已知的相机获取静态场景的多视角图像进一步包括:
每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参数不变以获取相机内参数;
根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。
3.如权利要求1所述的处理含有主平面场景的三维点云重建方法,其特征在于,对满足所述平面单应关系的匹配点还包括记录所述单应的支持点数,且判决满足平面单应关系的匹配点的三维重构在一个空间平面上。
4.如权利要求1所述的处理含有主平面场景的三维点云重建方法,其特征在于,优化所述三维点云的重构结果为在添加完成所有图像且重建三维点云后对重建模型应用优化算法以优化,或在一幅或多幅图像的添加过程中和在空间点云重构过程中运用优化算法进行优化。
5.一种处理含有主平面场景的三维点云重建系统,其特征在于,包括:
相机,所述相机内参数已知,用于获取静态场景的多视角图像;和
三维重建装置,所述三维重建装置用于检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列,其中,所述对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列进一步包括:
根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点;
记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征;以及
根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对,其中,在匹配过程中,根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对;
并且,其中,所述一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合,所述一个匹配点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合;
然后对包括预定数目匹配点对的图像对,根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集,其中,进一步包括:
步骤1、计算所述图像对的匹配点数目以确定是否满足预定数目;
步骤2、在满足预定数目匹配点的图像对中随机抽取一定数目的匹配点,
并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和支持点数;
步骤3、判断所述基本矩阵是否拥有最多的支持点数,如果拥有最多的支持点数则标记所述基本矩阵为最优解,并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应关系;
步骤4、如果满足所述平面单应关系,则根据所述抽取的匹配点和额外不满足平面单应的两对匹配点求得新的基本矩阵,计算新基本矩阵的支持点数;如果所述新基本矩阵有最多的支持点数,则更新标记所述新基本矩阵为最优解、记录平面单应点集,结束本次计算且判断是否满足预定循环结束条件;以及
步骤5、如果不满足所述平面单应关系,则直接结束本次计算且判断是否满足预定循环结束条件,如果判断不满足预定循环结束条件,则重复操作步骤2至步骤5直至满足预定循环结束条件,当满足所述预定循环结束条件时输出基本矩阵,同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点集;
之后由所述基本矩阵求得所述图像对间的相对位置关系,其中:根据所述基本矩阵F12和标定所得的内参矩阵求得相机对间的本质矩阵其中K1、K2为相机的内参矩阵,且根据E12=[t]×R分解得到所述相机对间的相对旋转矩阵和平移向量,其中,R、t代表空间点在第一幅图像坐标系中的坐标做R旋转、t平移后得到空间点在第二幅图像坐标系中的坐标;
且根据所述图像对间的相对位置关系,在标准坐标系中实现所述相机融合、三维点云重构,其中,包括:选择含有最多匹配点的图像作为基础图像,以该图像的坐标系作为标准坐标系;选择与基础图像有最多匹配点的图像;将与基础图像有一定匹配点数以上的图像一起加入标准坐标系,并应用三角化方法重构得到三维空间点;其中,在重构三维点云的过程中,平面点集的空间重构点必须满足在特定空间平面上;
最后对所述三维点云重构的结果进行优化。
6.如权利要求5所述的处理含有主平面场景的三维点云重建系统,其特征在于,所述三维重建装置进一步包括:
图像匹配模块,用于检测所述图像的特征点,并对任意两幅图像进行特征点匹配以得到匹配点对,和由同一个场景点投影所得的匹配点序列;
图像对极几何计算模块,用于对包括预定数目匹配点对的图像对,根据所述匹配点获取所述图像对间的基本矩阵,且保存相应的空间平面点集;
图像位置关系计算模块,用于根据所述基本矩阵求得所述图像对间的相对位置关系;
三维点云重构模块,用于根据所述图像对间的相对位置关系,在标准坐标系中实现所述相机融合、三维点云重构;和
图像优化模块,用于对所述三维点云重构的结果进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102396128A CN101908231B (zh) | 2010-07-27 | 2010-07-27 | 处理含有主平面场景的三维点云重建方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102396128A CN101908231B (zh) | 2010-07-27 | 2010-07-27 | 处理含有主平面场景的三维点云重建方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101908231A CN101908231A (zh) | 2010-12-08 |
CN101908231B true CN101908231B (zh) | 2012-05-30 |
Family
ID=43263682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102396128A Expired - Fee Related CN101908231B (zh) | 2010-07-27 | 2010-07-27 | 处理含有主平面场景的三维点云重建方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101908231B (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426190B (zh) * | 2013-07-23 | 2016-07-06 | 北京航空航天大学 | 图像重构的方法及系统 |
CN104933755B (zh) * | 2014-03-18 | 2017-11-28 | 华为技术有限公司 | 一种静态物体重建方法和系统 |
WO2016078728A1 (en) | 2014-11-21 | 2016-05-26 | Metaio Gmbh | Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale |
US9616569B2 (en) * | 2015-01-22 | 2017-04-11 | GM Global Technology Operations LLC | Method for calibrating an articulated end effector employing a remote digital camera |
CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
CN108022265B (zh) * | 2016-11-01 | 2023-06-13 | 北京墨土科技有限公司 | 红外相机位姿确定方法、设备及系统 |
CN106815824B (zh) * | 2016-12-08 | 2019-07-05 | 华中科技大学 | 一种提高大规模三维重建效率的图像近邻优化方法 |
CN106846482B (zh) * | 2016-12-22 | 2019-10-11 | 南京航空航天大学 | 一种基于几何特征的视觉重建方法 |
CN106934395B (zh) * | 2017-02-15 | 2020-06-30 | 国家计算机网络与信息安全管理中心 | 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法 |
CN106952341B (zh) * | 2017-03-27 | 2020-03-31 | 中国人民解放军国防科学技术大学 | 一种基于视觉的水下场景三维点云重建方法及其系统 |
US10482632B2 (en) | 2017-04-28 | 2019-11-19 | Uih America, Inc. | System and method for image reconstruction |
LU100465B1 (en) * | 2017-10-05 | 2019-04-09 | Applications Mobiles Overview Inc | System and method for object recognition |
CN108269271A (zh) * | 2018-01-15 | 2018-07-10 | 深圳市云之梦科技有限公司 | 一种服装与人体图像穿帮、匹配迁移的方法及系统 |
CN110120098B (zh) * | 2018-02-05 | 2023-10-13 | 浙江商汤科技开发有限公司 | 场景尺度估计及增强现实控制方法、装置和电子设备 |
CN109003326B (zh) * | 2018-06-05 | 2021-07-23 | 湖北亿咖通科技有限公司 | 一种基于虚拟世界的虚拟激光雷达数据生成方法 |
CN108961410B (zh) * | 2018-06-27 | 2023-04-18 | 中国科学院深圳先进技术研究院 | 一种基于图像的三维线框建模方法及装置 |
US10757363B2 (en) * | 2018-10-30 | 2020-08-25 | GM Global Technology Operations LLC | Method and system for reconstructing a vehicle scene at a cloud layer |
CN110120090B (zh) * | 2019-04-01 | 2020-09-25 | 贝壳找房(北京)科技有限公司 | 三维全景模型构建方法、装置及可读存储介质 |
CN110533765B (zh) * | 2019-07-30 | 2022-11-25 | 西安理工大学 | 一种多次单应诱导的多平面结构物体的三维重建方法 |
CN110751719B (zh) * | 2019-10-22 | 2023-09-12 | 深圳瀚维智能医疗科技有限公司 | 乳房三维点云重建方法、装置、存储介质及计算机设备 |
CN111063027A (zh) * | 2019-12-27 | 2020-04-24 | 河北工程大学 | 一种数字全息显微成像设备三维重构数据传导系统 |
CN111260574B (zh) * | 2020-01-13 | 2023-09-22 | 深圳市安印科技有限公司 | 一种印章照片矫正的方法、终端及计算机可读存储介质 |
CN111462298B (zh) * | 2020-02-24 | 2023-03-28 | 西安电子科技大学 | 一种重建水下三维场景的方法 |
CN111383354B (zh) * | 2020-04-02 | 2024-02-20 | 西安因诺航空科技有限公司 | 一种基于sfm的三维点云朝向修正方法 |
CN111986296B (zh) * | 2020-08-20 | 2024-05-03 | 叠境数字科技(上海)有限公司 | 一种用于子弹时间的cg动画合成方法 |
CN112017138B (zh) * | 2020-09-02 | 2022-06-07 | 衢州光明电力投资集团有限公司赋腾科技分公司 | 一种基于场景三维结构的图像拼接方法 |
CN112288852A (zh) * | 2020-10-28 | 2021-01-29 | 华润电力技术研究院有限公司 | 煤场三维重建方法及系统、火电机组智能控制方法 |
CN116418976B (zh) * | 2022-11-24 | 2023-12-12 | 北京的卢铭视科技有限公司 | 结构光相机的产测sdk授权方法、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271591A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种交互式多视点三维模型重建方法 |
CN101271582A (zh) * | 2008-04-10 | 2008-09-24 | 清华大学 | 基于多视角二维图像并结合sift算法的三维重建方法 |
CN101398937A (zh) * | 2008-10-29 | 2009-04-01 | 北京航空航天大学 | 基于同一场景散乱照片集的三维重构方法 |
-
2010
- 2010-07-27 CN CN2010102396128A patent/CN101908231B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271582A (zh) * | 2008-04-10 | 2008-09-24 | 清华大学 | 基于多视角二维图像并结合sift算法的三维重建方法 |
CN101271591A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种交互式多视点三维模型重建方法 |
CN101398937A (zh) * | 2008-10-29 | 2009-04-01 | 北京航空航天大学 | 基于同一场景散乱照片集的三维重构方法 |
Non-Patent Citations (2)
Title |
---|
Chenglei Wu et al.Multi-View Reconstruction Under Varying Illumination Conditions.《IEEE International Conference on Multimedia and Expo》.2009,930-933. * |
Xiaoduan Feng et al.Point-Cloud Refinement Via Exact Matching.《IEEE International Conference on Multimedia and Expo》.2009,926-929. * |
Also Published As
Publication number | Publication date |
---|---|
CN101908231A (zh) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101908231B (zh) | 处理含有主平面场景的三维点云重建方法和系统 | |
US10872439B2 (en) | Method and device for verification | |
CN109997170A (zh) | 用于从视图中获得距离信息的设备和方法 | |
CN104182982A (zh) | 双目立体视觉摄像机标定参数的整体优化方法 | |
CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
US10757327B2 (en) | Panoramic sea view monitoring method and device, server and system | |
CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
CN102903101B (zh) | 使用多台相机进行水面数据采集与重建的方法 | |
CN109544623A (zh) | 车辆损伤区域的测量方法和装置 | |
CN110223222A (zh) | 图像拼接方法、图像拼接装置和计算机可读存储介质 | |
US20130272600A1 (en) | Range image pixel matching method | |
WO2013169332A1 (en) | Camera scene fitting of real world scenes for camera pose determination | |
CN113808220A (zh) | 双目摄像机的标定方法、系统、电子设备和存储介质 | |
US11205281B2 (en) | Method and device for image rectification | |
US11240477B2 (en) | Method and device for image rectification | |
CN111325828B (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
CN112085031A (zh) | 目标检测方法及系统 | |
EP3398161A1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
Zhang et al. | Wide-area crowd counting: Multi-view fusion networks for counting in large scenes | |
Zhang et al. | Synthetic aperture based on plenoptic camera for seeing through occlusions | |
CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
CN108629840A (zh) | 一种建立logo三维轮廓的方法、装置和设备 | |
JP6080424B2 (ja) | 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置 | |
CN105430375A (zh) | 一种检测全景摄像机的拼接适用距离的方法和装置 | |
Nozick | Camera array image rectification and calibration for stereoscopic and autostereoscopic displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120530 |