CN113052880A - 一种sfm稀疏重建方法、系统及应用 - Google Patents

一种sfm稀疏重建方法、系统及应用 Download PDF

Info

Publication number
CN113052880A
CN113052880A CN202110295230.5A CN202110295230A CN113052880A CN 113052880 A CN113052880 A CN 113052880A CN 202110295230 A CN202110295230 A CN 202110295230A CN 113052880 A CN113052880 A CN 113052880A
Authority
CN
China
Prior art keywords
line
point
sfm
points
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110295230.5A
Other languages
English (en)
Other versions
CN113052880B (zh
Inventor
宋锐
王佳慧
李娇娇
曹锴郎
王养利
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd
Xidian University
Original Assignee
Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd, Xidian University filed Critical Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd
Priority to CN202110295230.5A priority Critical patent/CN113052880B/zh
Publication of CN113052880A publication Critical patent/CN113052880A/zh
Application granted granted Critical
Publication of CN113052880B publication Critical patent/CN113052880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉与多视角几何技术领域，公开了一种SFM稀疏重建方法、系统及应用，所述SFM稀疏重建方法包括：获取相机内参；提取点线特征并获得初始匹配；选择特征邻域，构建特征三元组；在邻域内应用几何位置不变量进行误匹配剔除，得到精确的特征匹配对应关系；在线特征邻域平面内利用交比原理，得到线特征上对应的点，使用点来表示线；对相机对进行评分，选择最佳初始相机对作为增量种子点；对点特征与线特征表示点分别整理成轨迹，输入到点SFM流程之中，得到相机位姿与稀疏点云；3D评分滤除后，聚类生成线结构重建结果。本发明对点线特征的使用具有普适性，能够较快地完成误匹配剔除提高匹配精度。

Description

一种SFM稀疏重建方法、系统及应用
技术领域
本发明属于计算机视觉与多视角几何技术领域，尤其涉及一种SFM稀疏重建方法、系统及应用。
背景技术
目前，三维模型的建立具有多种方式，根据深度测量方式主要可以分为主动式与被动式两大类。主动式重建通过主动控制发射光源，根据接收的光波获取深度信息，常用的有结构光法、三角测距法、飞行时间法、莫尔条纹法，应用该类技术，已有kinect等深度相机、以及激光雷达扫描等产品的应用。主动法通过光源的控制简化了获取深度点云深度信息的步骤，但是对光照十分敏感，抗干扰能力弱，同时设备成本高昂而应用场景限制较多。
被动式重建一般通过相机获取自然反射光成像，需要对图像进行较为复杂的处理，但是低成本、限制少，能够更加广泛地向市场推广。被动式重建主要有三种：(1)阴影恢复法SFS利用阴影的轮廓信息恢复深度，但是数学精度较低，且需要光源参数的先验信息；(2)纹理恢复形状法利用纹理元的变形信息，对物体表面纹理信息与投影畸变信息要求严苛，实际应用较少；(3)多视角立体视觉法MVS通过构建多视图间几何对应关系估计深度图，获取点云后，在此方法中常用的有单目多视图法与双目视觉两种。双目视觉通过模拟人眼视觉通过视差计算深度，还需要正平面假设，配置与标定复杂、对于大基线情况效果较差；而单目多视图法通过移动的相机对物体多角度拍摄，数据来源广泛、成本较低、应用更加广泛。
单目多视角重建中点云主要通过运动恢复结构(Structure from Motion，SfM)获取，可以处理无序图像集，以模型构建为主定位为辅，可以离线处理，构建高精度模型。在SFM算法中，特征匹配由于计算量小、鲁棒性好、对图像形变不敏感等优点，相较基于灰度、基于频域的匹配算法而言能够得到更为鲁棒的匹配结果。近些年来，点特征的研究与应用得到了长足的发展，出现了各种成熟的SFM系统，相较而言，对于线特征的研究尽管有较大发展，仍然不如点特征完善，尤其是线的提取通常存在端点不同与断裂的问题，导致了匹配以及后续重建的困难。但是线段作为比点更高级别的特征，也可同样表示为多点特征构成，在人造场景中广泛存在，能够在等量计算代价下提取更多的有效信息、更直观地表现物体的结构，尤其在低纹理环境下提供更多的指导，因此，需要在线的SFM重建方向继续研究。
通过上述分析，现有技术存在的问题及缺陷为：
(1)主动法通过光源的控制简化了获取深度点云深度信息的步骤，但是对光照十分敏感，抗干扰能力弱，同时设备成本高昂而应用场景限制较多。
(2)被动式重建一般通过相机获取自然反射光成像，需要对图像进行较为复杂的处理，但是低成本、限制少，能够更加广泛地向市场推广。
(3)阴影恢复法SFS利用阴影的轮廓信息恢复深度，但是数学精度较低，且需要光源参数的先验信息。
(4)纹理恢复形状法利用纹理元的变形信息，对物体表面纹理信息与投影畸变信息要求严苛，实际应用较少。
(5)双目视觉通过模拟人眼视觉通过视差计算深度，还需要正平面假设，配置与标定复杂、对于大基线情况效果较差。
(6)对于线特征的研究尽管有较大发展，仍然不如点特征完善，尤其是线的提取通常存在端点不同与断裂的问题，导致了匹配以及后续重建的困难。
解决以上问题及缺陷的难度为：主动法对光照敏感，抗干扰能力弱，设备成本高昂而应用场景限制较多，数据源较少；被动式计算量大，较为复杂，且基于特征获得点云较为稀疏，不精确匹配会造成杂乱重建，需要进一步滤除及扩充。
解决以上问题及缺陷的意义为：主动式三维重构能够获取精确的特征点对应深度，完成点云配准可直接获得稠密的三维点。而改进基于图像的多视角单目三维重构能够使用大量数据源，对于任意场景提供足够图像即可完成恢复稀疏点云，便宜消费者使用。
发明内容
针对现有技术存在的问题，本发明提供了一种SFM稀疏重建方法、系统及应用，尤其涉及一种基于点线融合的SFM稀疏重建方法、系统及应用。
本发明是这样实现的，一种SFM稀疏重建方法，所述SFM稀疏重建方法包括：从无序图像集输入开始，获取相机内参K；提取点线特征并获得初始匹配；通过四方向局部区域扩展算法选择特征邻域，构建特征三元组；在邻域内通过几何位置不变量一致性判断迭代进行误匹配剔除，得到精确的特征匹配对应关系；在局部邻域平面内有点对虚拟连线与线特征相交，得到线特征上对应的点，使用点来表示线；对相机对匹配数目、角度差、平面性进行评分，选择最佳初始相机对作为增量种子点；对点特征与线特征表示点分别整理成轨迹，输入到点SFM流程之中，得到相机位姿与稀疏点云；对重新生成的线结构进行3D评分滤除后，聚类生成最终线结构重建结果。
进一步，所述SFM稀疏重建方法包括以下步骤：
步骤一，从输入图片中获取相机内参；正确的内参获取可以减小重投影误差计算，有利于恢复精确点3D位置。
步骤二，对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；特征初始匹配关系是后续步骤的决定性输入，大量的准确的匹配可以提高重建精确度。
步骤三，以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；选取的局部邻域限制了三元组构建范围，可以减少不一致三元组误差计算量，提升算法速度。
步骤四，对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；精确的三元组一致判断可以识别误匹配，对初始匹配关系进行精化，提升重建质量。
步骤五，对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；用点表示线可以避免线特征不精确的端点估计，并且使线特征能够适用于点SFM系统之中，完成稀疏点云重建。
步骤六，每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；好的初始视角提供大量匹配与广阔视角，使得之后的增量选择更加多元化，减少相机注册失败可能性。
步骤七，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；将双视图匹配整理为对应3D点的参考点长轨迹，可以建立全图集联系，而线转换点使得可以利用现有现进的点SFM系统进行精准重建。
步骤八，利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。线转换点造成的线直观表示缺失，快速恢复线结构可以获得场景结构信息。
进一步，步骤一中，所述相机内参从EXIF标签获得，否则需要相机标定；即获取对应相机的内参矩阵K，从图片的EXIF标签读取，或通过标定法得到。
进一步，步骤二中，所述对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配，包括：
使用任意点、线特征提取与匹配算法，获得点线特征的图像位置
Figure BDA0002984077570000041
与匹配对应关系
Figure BDA0002984077570000042
进一步，步骤三中，所述以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T，包括：
(1)构建初始区域，进而四方向扩展得到特征邻域，在邻域内构建三元组：
针对点线特征同时存在情况，以线特征为对角线作初始矩形区域，由于线段存在平行与垂直的特殊情况，设定初始区域最小边长；
为适应仅点特征存在情况，以点特征为中心，最小边长作初始区域；
(2)以初始区域对角线划分四方向，依据各方向内得到特征点的数量进行循环方向扩增，得到特征局部邻域以及邻域内点特征；
(3)进行三元组T＝(p1，p2，p3)构建：
进一步，步骤四中，所述对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配，包括：
(1)选取三元组T，并根据特征匹配关系得到对应匹配图像中三元组T′；基于几何位置不变量进行三元组一致性判断，进而统计点对应误差，迭代进行误匹配剔除；
其中，所述三元组一致性判断如下：
Figure BDA0002984077570000051
式中，side计算三元组之间相对几何位置，计算如下：
side(T)＝sign((p1×p2)p3)，side(T)＝sign((p1×p2)p3)；
(2)不一致三元组表示至少存在一个误匹配对应关系，为量化误差且将三元组误差对应到点误差中，使用点涉及三元组数量进行归一化，对点误差统计如下：
Figure BDA0002984077570000052
(3)进行迭代剔除，每次删除误差最高的特征点并删除与其相关三元组，重新计算各点对应误差，直至误差小于阈值认为剩余均为正确匹配。
进一步，步骤五中，所述对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点，包括：
将线特征转换为点表示，输入成熟的点SFM系统中；应用交比原理，对线特征邻域内每两点连接虚拟线，虚拟线与线特征相交生成线上点，由于匹配两图中满足射影变换，匹配点连线与匹配线对应交点也是匹配的，从而将线特征表示为点，同时获得精确的线表示点对应关系。
进一步，步骤六中，所述评分机制如下：
Q(Ii，Ij)＝λ1Q(num)+λ2Q(α)+λ3Q(H)；
Figure BDA0002984077570000061
Q(α)＝f(∠(Ii，Ij))，∠(Ii，Ij)＝arccos(rayi·rayj)；
Q(H)＝f(Hinliner)；
式中，由于对相机角度与平面性规定最大最小值，因此开发了非对称高斯评分，计算如下：
Figure BDA0002984077570000062
进一步，步骤七中，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统中；对新加入的图像进行PnP算法估计相机位姿，得到R，t；通过三角测量恢复新图像中未估计三维点X，每图像注册完毕之后进行局部单相机BA优化，间隔进行全局BA优化点位置与相机参数，直至所有图像注册完毕，得到稀疏点云与所有相机位姿。
进一步，步骤八中，从线表示点重新生成线结构，对每线段利用位姿得到暂定线结构，经过3D评分，对重建评分<0.5的线结构滤除，通过聚类保留线结构生成线重建结果，降低断裂线段的不准确性并整合端点的重建位置；
其中，所述3D评分如下：
Figure BDA0002984077570000063
本发明的另一目的在于提供一种应用所述的SFM稀疏重建方法的SFM稀疏重建系统，所述SFM稀疏重建系统包括：
相机内参获取模块，用于从输入图片中获取相机内参；
特征提取模块，用于对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；
点线三元组构建模块，用于以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；
位置判断模块，用于对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；
线点转化模块，用于对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；
相机对评分模块，用于每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳相机对作为增量SFM的初始种子相机对；
轨迹输出模块，用于将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；
3D评分模块，用于利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
从输入图片中获取相机内参；
对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；
以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；
对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；
对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；
每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；
将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；
利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
从输入图片中获取相机内参；
对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；
以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；
对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；
对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；
每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；
将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；
利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的SFM稀疏重建系统。
本发明的另一目的在于提供一种所述的SFM稀疏重建方法在深度相机以及激光雷达扫描产品中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的SFM稀疏重建方法，具体涉及一种适应于多种点线特征、获得点线重建结构的点线融合SFM算法，能够广泛适用于任意点线特征，较快地完成误匹配剔除，获得精确的匹配对应关系，并且能够将线匹配转换为点匹配对应，适用于点特征SFM机制，最后还能够恢复线结构的重建表示，提供更多场景信息。
同时，本发明提出一种普适性的误匹配剔除算法，提高重建精度，并使用该算法，提出了点线融合的SFM机制，获得精确的点线稀疏结构。本发明对点线特征的使用具有普适性，能够较快地完成误匹配剔除提高匹配精度，同时可以用现有的成熟点SFM体系对线特征进行处理，完成线结构的重建。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的SFM稀疏重建方法流程图。
图2是本发明实施例提供的SFM稀疏重建方法原理图。
图3是本发明实施例提供的SFM稀疏重建系统结构框图；
图中：1、相机内参获取模块；2、特征提取模块；3、点线三元组构建模块；4、位置判断模块；5、线点转化模块；6、相机对评分模块；7、轨迹输出模块；8、3D评分模块。
图4是本发明实施例提供的拍摄的9幅不同角度的物体图像。
图5是本发明实施例提供的生成的四方向扩展特征邻域，以及邻域内包含的点特征示意图。
图6是本发明实施初始匹配与误匹配剔除算法效果示意图。
图7是本发明实施例提供的重建生成的点线结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种SFM稀疏重建方法、系统及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的SFM稀疏重建方法包括以下步骤：
S101，从输入图片中获取相机内参；
S102，对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；
S103，以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；
S104，对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；
S105，对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；
S106，每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；
S107，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；
S108，利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。
本发明实施例提供的SFM稀疏重建方法原理图如图2所示。
如图3所示，本发明实施例提供的SFM稀疏重建系统包括：
相机内参获取模块1，用于从输入图片中获取相机内参；
特征提取模块2，用于对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；
点线三元组构建模块3，用于以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；
位置判断模块4，用于对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；
线点转化模块5，用于对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；
相机对评分模块6，用于每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳相机对作为增量SFM的初始种子相机对；
轨迹输出模块7，用于将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；
3D评分模块8，用于利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。
下面结合实施例对本发明的技术方案作进一步的描述。
本发明提出一种普适性的误匹配剔除算法，提高重建精度，并使用该算法，提出了点线融合的SFM机制，获得精确的点线稀疏结构。
本发明提出了基于点线融合的SFM稀疏重建机制，能够广泛适用于任意点线特征，较快地完成误匹配剔除，获得精确的匹配对应关系，并且能够将线匹配转换为点匹配对应，适用于点特征SFM机制，最后还能够恢复线结构的重建表示，提供更多场景信息。
本发明从无序图像集输入开始，获取相机内参K；提取点线特征并获得初始匹配；通过四方向局部区域扩展算法选择特征邻域，构建特征三元组；在邻域内通过几何位置不变量一致性判断迭代进行误匹配剔除，得到精确的特征匹配对应关系；在局部邻域平面内有点对虚拟连线与线特征相交，得到线特征上对应的点，使用点来表示线；对相机对匹配数目、角度差、平面性进行评分，选择最佳初始相机对作为增量种子点；对点特征与线特征表示点分别整理成轨迹，输入到点SFM流程之中，得到相机位姿与稀疏点云；对重新生成的线结构进行3D评分滤除后，聚类生成最终线结构重建结果。
本发明的流程如图2所示，其具体步骤如下：
步骤1、输入图像集，子集示意图如图4所示，获取对应相机的内参矩阵K，一般来说可以从图片带有的EXIF标签读取，也可以通过标定法得到。
步骤2、使用任意点、线特征提取与匹配算法，获得点线特征的图像位置
Figure BDA0002984077570000121
与匹配对应关系
Figure BDA0002984077570000122
步骤3、构建初始区域并四方向扩展得到特征邻域，邻域内构建三元组。针对点线特征同时存在情况，以线特征为对角线作初始矩形区域，由于线段存在平行与垂直的特殊情况，设定初始区域最小边长；为适应仅点特征存在情况，以点特征为中心，最小边长作初始区域。之后以初始区域对角线划分四方向，依据各方向内得到特征点的数量进行循环方向扩增，得到特征局部邻域以及邻域内点特征，如图5所示。最后进行三元组T＝(p1，p2，p3)构建，点线特征时邻域内一点与线特征端点构成三元组；仅点特征存在时选邻域内两点与点特征构成三元组。
步骤4、选取三元组T，并根据特征匹配关系得到对应匹配图像中三元组T′，基于几何位置不变量进行三元组一致性判断，从而统计点对应误差，迭代进行误匹配剔除。
其中，三元组一致性判断如下：
Figure BDA0002984077570000123
式中，side计算三元组之间相对几何位置，计算如下：
side(T)＝sign((p1×p2)p3)，side(T′)＝sign((p1×p2)p3)；
不一致三元组表示至少存在一个误匹配对应关系，为量化误差且将三元组误差对应到点误差中，使用点涉及三元组数量进行归一化，对点误差统计如下：
Figure BDA0002984077570000131
之后进行迭代剔除，每次删除误差最高的特征点并删除与其相关三元组，重新计算各点对应误差，直至误差小于阈值认为剩余均为正确匹配，如图6右图所示。
步骤5、将线特征转换为点表示，以便输入成熟的点SFM系统中。应用交比原理，对线特征邻域内每两点连接虚拟线，虚拟线与线特征相交生成线上点，由于匹配两图中满足射影变换，匹配点连线与匹配线对应交点也是匹配的，从而将线特征表示为点，同时获得精确的线表示点对应关系。
步骤6、每两图像间计算相对位置，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对。
其中，评分机制如下：
Q(Ii，Ij)＝λ1Q(num)+λ2Q(α)+λ3Q(H)；
Figure BDA0002984077570000132
Q(α)＝f(∠(Ii，Ij))，∠(Ii，Ij)＝arccos(rayi·rayj)；
Q(H)＝f(Hinliner)；
式中，由于对相机角度与平面性规定最大最小值，因此开发了非对称高斯评分，计算如下：
Figure BDA0002984077570000133
步骤7、将点、线表示点匹配关系整理成轨迹，由于线表示点避免了线端点不确定，转换为匹配的点表示，可以输入现有点增量SFM系统中。
步骤8、对新加入的未注册图像进行PnP算法估计相机位姿，得到R，t。
步骤9、通过三角测量恢复新图像中未估计三维点X。
步骤10、每图像估计之后进行局部单相机BA优化，间隔进行全局BA优化点位置与相机参数，如果存在未注册的图像，重复步骤8之后操作，直至所有图像注册完毕，得到稀疏点云与所有相机位姿，如图7所示。
步骤11、从线表示点重新生成线结构。对每线段利用位姿得到暂定线结构，经过3D评分，对重建评分<0.5的线结构滤除，通过聚类保留线结构生成线重建结果，如图2所示，降低断裂线段的不准确性并整合端点的重建位置。
3D评分如下：
Figure BDA0002984077570000141
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种SFM稀疏重建方法，其特征在于，所述SFM稀疏重建方法包括：从无序图像集输入开始，获取相机内参K；提取点线特征并获得初始匹配；通过四方向局部区域扩展算法选择特征邻域，构建特征三元组；在邻域内通过几何位置不变量一致性判断迭代进行误匹配剔除，得到精确的特征匹配对应关系；在局部邻域平面内用点对虚拟连线与线特征相交，得到线特征上对应的点，使用点来表示线；对相机对匹配数目、角度差、平面性进行评分，选择最佳初始相机对作为增量种子点；对点特征与线特征表示点分别整理成轨迹，输入到点SFM流程之中，得到相机位姿与稀疏点云；对重新生成的线结构进行3D评分滤除后，聚类生成最终线结构重建结果。
2.如权利要求1所述的SFM稀疏重建方法，其特征在于，所述SFM稀疏重建方法包括以下步骤：
步骤一，从输入图片中获取相机内参；
步骤二，对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；
步骤三，以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；
步骤四，对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；
步骤五，对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；
步骤六，每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；
步骤七，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；
步骤八，利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。
3.如权利要求2所述的SFM稀疏重建方法，其特征在于，步骤一中，所述相机内参从EXIF标签获得，否则需要相机标定；即获取对应相机的内参矩阵K，从图片的EXIF标签读取，或通过标定法得到。
4.如权利要求2所述的SFM稀疏重建方法，其特征在于，步骤二中，所述对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配，包括：
使用任意点、线特征提取与匹配算法，获得点线特征的图像位置F＝{Fp，Fl}，
Figure FDA0002984077560000021
与匹配对应关系C＝{Cp，Cl}，
Figure FDA0002984077560000022
5.如权利要求2所述的SFM稀疏重建方法，其特征在于，步骤三中，所述以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T，包括：
(1)构建初始区域，进而四方向扩展得到特征邻域，在邻域内构建三元组：
针对点线特征同时存在情况，以线特征为对角线作初始矩形区域，由于线段存在平行与垂直的特殊情况，设定初始区域最小边长；
为适应仅点特征存在情况，以点特征为中心，最小边长作初始区域；
(2)以初始区域对角线划分四方向，依据各方向内得到特征点的数量进行循环方向扩增，得到特征局部邻域以及邻域内点特征；
(3)进行三元组T＝(p1，p2，p3)构建：
针对点线特征同时存在情况，线特征邻域内一点与线特征端点构成三元组；
仅点特征存在时选点特征邻域内两点与该点特征构成三元组。
6.如权利要求2所述的SFM稀疏重建方法，其特征在于，步骤四中，所述对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配，包括：
(1)选取三元组T，并根据特征匹配关系得到对应匹配图像中三元组T′；基于几何位置不变量进行三元组一致性判断，进而统计点对应误差，迭代进行误匹配剔除；
其中，所述三元组一致性判断如下：
Figure FDA0002984077560000031
式中，side计算三元组之间相对几何位置，计算如下：
side(T)＝sign((p1×p2)p3)，side(T′)＝sign((p′1×p′2)p′3)；
(2)不一致三元组表示至少存在一个误匹配对应关系，为量化误差且将三元组误差对应到点误差中，使用点涉及三元组数量进行归一化，对点误差统计如下：
Figure FDA0002984077560000032
(3)进行迭代剔除，每次删除误差最高的特征点并删除与其相关三元组，重新计算各点对应误差，直至误差小于阈值认为剩余均为正确匹配。
7.如权利要求2所述的SFM稀疏重建方法，其特征在于，步骤五中，所述对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点，包括：
应用交比原理，对线特征邻域内每两点连接虚拟线，虚拟线与线特征相交生成线上点，由于匹配两图中满足射影变换，匹配点连线与匹配线对应交点也是匹配的，从而将线特征表示为点，同时获得精确的线表示点对应关系。将线特征转换的点输入成熟的点SFM系统中。
8.如权利要求2所述的SFM稀疏重建方法，其特征在于，步骤六中，所述评分机制如下：
Q(Ii，Ij)＝λ1Q(num)+λ2Q(α)+λ3Q(H)；
Figure FDA0002984077560000033
Q(α)＝f(∠(Ii，Ij))，∠(Ii，Ij)＝arccos(rayi·rayj)；
Q(H)＝f(Hinliner)；
式中，由于对相机角度与平面性规定最大最小值，因此开发了非对称高斯评分，计算如下：
Figure FDA0002984077560000041
步骤七中，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统中；对新加入的图像进行PnP算法估计相机位姿，得到R，t；通过三角测量恢复新图像中未估计三维点X，每图像注册完毕之后进行局部单相机BA优化，间隔进行全局BA优化点位置与相机参数，直至所有图像注册完毕，得到稀疏点云与所有相机位姿；
步骤八中，从线表示点重新生成线结构，对每线段利用位姿得到暂定线结构，经过3D评分，对重建评分<0.5的线结构滤除，通过聚类保留线结构生成线重建结果，降低断裂线段的不准确性并整合端点的重建位置；
其中，所述3D评分如下：
Figure FDA0002984077560000042
9.一种实施权利要求1～8任意一项所述的SFM稀疏重建方法的SFM稀疏重建系统，其特征在于，所述SFM稀疏重建系统包括：
相机内参获取模块，用于从输入图片中获取相机内参；
特征提取模块，用于对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；
点线三元组构建模块，用于以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；
位置判断模块，用于对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；
线点转化模块，用于对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；
相机对评分模块，用于每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳相机对作为增量SFM的初始种子相机对；
轨迹输出模块，用于将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；
3D评分模块，用于利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。
10.一种如权利要求1～8任意一项所述的SFM稀疏重建方法在深度相机以及激光雷达扫描产品中的应用。
CN202110295230.5A 2021-03-19 2021-03-19 一种sfm稀疏重建方法、系统及应用 Active CN113052880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110295230.5A CN113052880B (zh) 2021-03-19 2021-03-19 一种sfm稀疏重建方法、系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295230.5A CN113052880B (zh) 2021-03-19 2021-03-19 一种sfm稀疏重建方法、系统及应用

Publications (2)

Publication Number Publication Date
CN113052880A true CN113052880A (zh) 2021-06-29
CN113052880B CN113052880B (zh) 2024-03-08

Family

ID=76513574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295230.5A Active CN113052880B (zh) 2021-03-19 2021-03-19 一种sfm稀疏重建方法、系统及应用

Country Status (1)

Country Link
CN (1) CN113052880B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661495A (zh) * 2022-09-28 2023-01-31 中国测绘科学研究院 一种紧凑划分及多层次合并策略的大规模SfM方法
CN117611752A (zh) * 2024-01-22 2024-02-27 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及系统
CN117670957A (zh) * 2023-12-07 2024-03-08 长安大学 一种无人机摄影测量配准方法、系统及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293700A1 (en) * 2016-09-09 2018-03-14 Panasonic Automotive & Industrial Systems Europe GmbH 3d reconstruction for vehicle
CN110021065A (zh) * 2019-03-07 2019-07-16 杨晓春 一种基于单目相机的室内环境重建方法
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及系统
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
US20200134465A1 (en) * 2018-10-29 2020-04-30 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing 3d microstructure using neural network
CN112085845A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于无人机影像的室外场景快速三维重建装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293700A1 (en) * 2016-09-09 2018-03-14 Panasonic Automotive & Industrial Systems Europe GmbH 3d reconstruction for vehicle
US20200134465A1 (en) * 2018-10-29 2020-04-30 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing 3d microstructure using neural network
CN110021065A (zh) * 2019-03-07 2019-07-16 杨晓春 一种基于单目相机的室内环境重建方法
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及系统
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN112085845A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于无人机影像的室外场景快速三维重建装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAYUKI SUGIURA: ""3D Surface Reconstructiion from Point-and-Lind Cloud"", 《2015 INTERNATIONAL CONFERENCE ON 3D VISION》 *
李俊利;李斌兵;柳方明;李占斌;: "利用照片重建技术生成坡面侵蚀沟三维模型", 农业工程学报, no. 01 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661495A (zh) * 2022-09-28 2023-01-31 中国测绘科学研究院 一种紧凑划分及多层次合并策略的大规模SfM方法
CN115661495B (zh) * 2022-09-28 2023-04-18 中国测绘科学研究院 一种紧凑划分及多层次合并策略的大规模SfM方法
CN117670957A (zh) * 2023-12-07 2024-03-08 长安大学 一种无人机摄影测量配准方法、系统及计算机设备
CN117670957B (zh) * 2023-12-07 2024-05-14 长安大学 一种无人机摄影测量配准方法、系统及计算机设备
CN117611752A (zh) * 2024-01-22 2024-02-27 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及系统
CN117611752B (zh) * 2024-01-22 2024-04-02 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及系统

Also Published As

Publication number Publication date
CN113052880B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN112102458B (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN113052880B (zh) 一种sfm稀疏重建方法、系统及应用
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
KR101532864B1 (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
CN111524168B (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN114140527B (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN109658497B (zh) 一种三维模型重建方法及装置
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN110517309A (zh) 一种基于卷积神经网络的单目深度信息获取方法
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
CN116402978A (zh) 一种基于双目视觉结构特性的稠密三维重建方法
CN115035235A (zh) 三维重建方法及装置
CN112270748B (zh) 基于图像的三维重建方法及装置
CN116228992B (zh) 基于视觉定位系统模型的不同类型图像的视觉定位方法
CN116246038B (zh) 一种多视影像三维线段重建方法、系统、电子设备及介质
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
Coorg Pose imagery and automated three-dimensional modeling of urban environments
CN115359193B (zh) 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN116045965A (zh) 一种融合多传感器的环境地图构建方法
CN114998532A (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN114972539A (zh) 机房相机平面在线标定方法、系统、计算机设备和介质
Hlubik et al. Advanced point cloud estimation based on multiple view geometry
CN113793379A (zh) 相机姿态求解方法及系统、设备和计算机可读存储介质
CN118314162B (zh) 一种面向时序性稀疏重建的动态视觉slam方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant