CN113160335A - 一种基于双目视觉的模型点云及三维表面重建方法 - Google Patents

一种基于双目视觉的模型点云及三维表面重建方法 Download PDF

Info

Publication number
CN113160335A
CN113160335A CN202110488784.7A CN202110488784A CN113160335A CN 113160335 A CN113160335 A CN 113160335A CN 202110488784 A CN202110488784 A CN 202110488784A CN 113160335 A CN113160335 A CN 113160335A
Authority
CN
China
Prior art keywords
point cloud
dimensional
image
algorithm
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110488784.7A
Other languages
English (en)
Inventor
张洪鑫
马少尉
姜航航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110488784.7A priority Critical patent/CN113160335A/zh
Publication of CN113160335A publication Critical patent/CN113160335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目视觉的模型点云及三维表面重建方法，它涉及计算机视觉领域。技术要点为：1、双目相机标定；2、Bouguet立体校正算法进行双目图像立体校正；3、SIFT算法进行图像特征提取，最邻近匹配算法进行图像特征匹配，RANSAC算法筛选误匹配特征点；4、三角测量算法计算相机姿态；5、光束平差法对整体结构的点云以及相机姿态进行优化；6、多视图点云融合；7、三维点云模型进行纹理映射。本发明所公开的重建方法能够弥补单目视觉重建的不足，且重建后的模型真是度较高，具有很好的应用前景。

Description

一种基于双目视觉的模型点云及三维表面重建方法
技术领域
本发明属于计算机视觉及三维重建领域，特别涉及一种基于双目视觉的模型点云及三维表面重建方法。
背景技术
近些年来，基于目标物体结构或者场景的图像序列来重建出目标结构已经成为科研工作中的热门问题。而仅仅通过相机围绕目标中心的环绕拍摄来重建出与之对应的三维模型需要方方面面的领域理论技术支持才能得以发展。伴随着计算机视觉、模式识别、图像处理、计算机图形学等领域理论技术的不断发展使得该三维重建技术的应用越来越贴近我们的生活，如虚拟现实、增强现实、医学辅助诊断、机器人视觉导航等。然而，仅仅通过单目相机进行重建存在着许多缺陷，重建的模型真实度不高。
发明内容
为了解决上述问题，本发明提出了一种基于双目视觉的模型点云及三维表面重建方法，能够弥补单目视觉重建的缺陷，得到更为真实的三维模型。实现本发明的技术方案包括如下流程：
一种基于双目视觉的模型点云及三维表面重建方法，包括以下步骤：
步骤一：双目相机标定
通过张正友标定法进行双目相机标定；
步骤二：双目图像立体校正
双目相机标定结束后，采用Bouguet立体校正算法对双目图像进行立体校正。
步骤三：图像采集。
步骤四：图像特征提取与匹配
采用基于尺度不变特征变换(SIFT)的特征检测算法进行图像特征提取。采用最邻近匹配算法进行图像特征匹配，借助RANSAC算法可以对误匹配的特征点展开有效地筛选，使特征点的提取更加地准确无误。
步骤五：计算相机姿态
运用三角测量算法，对步骤四中匹配的图像特征信息求解，得出每幅图像当时所对应的相机位姿状态。
步骤六：左右图像生成各自的三维点云
解答出正确的相机姿态矩阵之后，在保证观测点坐标与对应图像的预测坐标两坐标之间的误差平方和降到最小的条件下，将匹配到的正确的图像特征点对应的三维点坐标通过三角测量算法计算得出，借此，最佳的三维点坐标便能够求解出来，其目标函数如下：
argxmin∑||ui-KPiX||2 (1)
其中，X为三维坐标。ui为观测到的图像点。K为内参变量矩阵，Pi为该图像所对应的相机姿态。
步骤七：点云模型修正
通过光束平差法对整体结构的点云以及相机姿态进行优化，借助定义一个代价函数从而达到优化的目的，此函数以三维点云和相机姿态作为待优化参数，通过迭代算法修正点云坐标及相机姿态，从而使映射误差最小，目标函数如下：
Figure BDA0003043342890000021
所有图像的映射矩阵KPi，皆为自由度为11的一个3×4的矩阵，生成的三维点云中每个点坐标的自由度为3，假定针对目标结构的三维重建过程中，其中涉及到m幅图像和n个三维点，由此可以计算出其参数个数为11m+3n，也就是说，采用常用的非线性最小二乘算法在其非线性优化过程中对上述参数进行优化。对于上述目标函数，在将其转换为矩阵形式时，该矩阵的阶数为(11m+3n)2。
步骤八：多视图点云融合
采用基于多视图的点云融合算法合并各个部分点云，得到最终的目标结构三维点云模型。
步骤九：模型纹理映射
为了获取高度真实感的物体模型，对获取的三维点云模型进行纹理映射。借助平滑以及简化算法对网格结构展开一系列的优化，将模型进行展开以获取三维模型与二维纹理间的相互对照关系，最终进行纹理合成及图案填充。
本发明的有益效果是：
(1)在传统的基于单目视觉多视图的运动结构恢复算法(SFM)基础之上引入双目视觉理论，实现了基于双目图像序列的三维重建。
(2)采用光束法平差法对三维坐标以及相机姿态进行优化，使得整体结构的点云以及相机姿态达到最优。
(3)对重建后的模型进行纹理映射，可以获得高度真实感的物体模型。
附图说明
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1为总体流程图；
图2为左右融合后点云；
图3为纹理映射后的零件三维模型；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1、图2、图3所示，本具体实施方式采用以下技术方案：一种基于双目视觉的模型点云及三维表面重建方法，其特征在于：所述方法的具体实现过程为：
步骤一：双目相机标定
通过张正友标定法进行双目相机标定。
步骤二：双目图像立体校正
双目相机标定结束后，采用Bouguet立体校正算法对双目图像进行立体校正。
步骤三：图像采集；
步骤四：图像特征提取与匹配
采用基于尺度不变特征变换(SIFT)的特征检测算法进行图像特征提取。采用最邻近匹配算法进行图像特征匹配，借助RANSAC算法可以对误匹配的特征点展开有效地筛选，使特征点的提取更加地准确无误。
步骤五：计算相机姿态
运用三角测量算法，对步骤四中匹配的图像特征信息求解，得出每幅图像当时所对应的相机位姿状态。
步骤六：左右图像生成各自的三维点云
解答出正确的相机姿态矩阵之后，在保证观测点坐标与对应图像的预测坐标两坐标之间的误差平方和降到最小的条件下，将匹配到的正确的图像特征点对应的三维点坐标通过三角测量算法计算得出，借此，最佳的三维点坐标便能够求解出来，其目标函数如下：
argxmin∑||ui-KPiX||2 (1)
其中，X为三维坐标。ui为观测到的图像点。K为内参变量矩阵，Pi为该图像所对应的相机姿态。
步骤七：点云模型修正
通过光束平差法对整体结构的点云以及相机姿态进行优化，借助定义一个代价函数从而达到优化的目的，此函数以三维点云和相机姿态作为待优化参数，通过迭代算法修正点云坐标及相机姿态，从而使映射误差最小，目标函数如下：
Figure BDA0003043342890000031
所有图像的映射矩阵KPi，皆为自由度为11的一个3×4的矩阵，生成的三维点云中每个点坐标的自由度为3，假定针对目标结构的三维重建过程中，其中涉及到m幅图像和n个三维点，由此可以计算出其参数个数为11m+3n，也就是说，采用常用的非线性最小二乘算法在其非线性优化过程中对上述参数进行优化。对于上述目标函数，在将其转换为矩阵形式时，该矩阵的阶数为(11m+3n)2。
步骤八：多视图点云融合
采用基于多视图的点云融合算法合并各个部分点云，得到最终的目标结构三维点云模型；
步骤九：模型纹理映射
为了获取高度真实感的物体模型，对获取的三维点云模型进行纹理映射。借助平滑以及简化算法对网格结构展开一系列的优化，将模型进行展开以获取三维模型与二维纹理间的相互对照关系，最终进行纹理合成及图案填充。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于双目视觉的模型点云及三维表面重建方法，其特征在于，包括以下步骤：
(1)双目相机标定：通过张正友标定法进行双目相机标定；
(2)双目图像立体校正：双目相机标定结束后，采用Bouguet立体校正算法对双目图像进行立体校正；
(3)图像采集；
(4)图像特征提取与匹配：采用基于尺度不变特征变换(SIFT)的特征检测算法进行图像特征提取。采用最邻近匹配算法进行图像特征匹配，借助RANSAC算法可以对误匹配的特征点展开有效地筛选，使特征点的提取更加地准确无误；
(5)计算相机姿态：运用三角测量算法，对(3)中匹配的图像特征信息求解，得出每幅图像当时所对应的相机位姿状态；
(6)左右图像生成各自的三维点云：利用三维点云软件Geomagic Control X 64从四个不同的角度显示了左右图像集生成的三维点云；
(7)点云模型修正：通过光束平差法对整体结构的点云以及相机姿态进行优化；
(8)多视图点云融合：采用基于多视图的点云融合算法合并各个部分点云，得到最终的目标结构三维点云模型；
(9)模型纹理映射：为了获取高度真实感的物体模型，对(7)中获取的三维点云模型进行纹理映射。
2.根据权利要求1所述的一种基于双目视觉的模型点云及三维表面重建方法，其特征在于，所述步骤(4)中，采用基于尺度不变特征变换(SIFT)的特征检测算法进行图像特征提取。采用最邻近匹配算法进行图像特征匹配，借助RANSAC算法可以对误匹配的特征点展开有效地筛选，使特征点的提取更加地准确无误。
3.根据权利要求1所述的一种基于双目视觉的模型点云及三维表面重建方法，其特征在于，所述步骤(6)中，解答出正确的相机姿态矩阵之后，在保证观测点坐标与对应图像的预测坐标两坐标之间的误差平方和降到最小的条件下，将匹配到的正确的图像特征点对应的三维点坐标通过三角测量算法计算得出，借此，最佳的三维点坐标便能够求解出来，其目标函数如下：
Figure FDA0003043342880000011
其中，X为三维坐标。ui为观测到的图像点。K为内参变量矩阵，Pi为该图像所对应的相机姿态。
4.根据权利要求1所述的一种基于双目视觉的模型点云及三维表面重建方法，其特征在于，所述步骤(7)中，通过光束平差法对整体结构的点云以及相机姿态进行优化，借助定义一个代价函数从而达到优化的目的，此函数以三维点云和相机姿态作为待优化参数，通过迭代算法修正点云坐标及相机姿态，从而使映射误差最小，目标函数如下：
Figure FDA0003043342880000012
所有图像的映射矩阵KPi，皆为自由度为11的一个3×4的矩阵，生成的三维点云中每个点坐标的自由度为3，假定针对目标结构的三维重建过程中，其中涉及到m幅图像和n个三维点，由此可以计算出其参数个数为11m+3n，也就是说，采用常用的非线性最小二乘算法在其非线性优化过程中对上述参数进行优化。对于上述目标函数，在将其转换为矩阵形式时，该矩阵的阶数为(11m+3n)2。
5.根据权利要求1所述的一种基于双目视觉的模型点云及三维表面重建方法，其特征在于，所述步骤(9)中，为了获取高度真实感的物体模型，对获取的三维点云模型进行纹理映射。借助平滑以及简化算法对网格结构展开一系列的优化，将模型进行展开以获取三维模型与二维纹理间的相互对照关系，最终进行纹理合成及图案填充。
CN202110488784.7A 2021-04-28 2021-04-28 一种基于双目视觉的模型点云及三维表面重建方法 Pending CN113160335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488784.7A CN113160335A (zh) 2021-04-28 2021-04-28 一种基于双目视觉的模型点云及三维表面重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488784.7A CN113160335A (zh) 2021-04-28 2021-04-28 一种基于双目视觉的模型点云及三维表面重建方法

Publications (1)

Publication Number Publication Date
CN113160335A true CN113160335A (zh) 2021-07-23

Family

ID=76873442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488784.7A Pending CN113160335A (zh) 2021-04-28 2021-04-28 一种基于双目视觉的模型点云及三维表面重建方法

Country Status (1)

Country Link
CN (1) CN113160335A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763562A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法
CN113894785A (zh) * 2021-10-27 2022-01-07 华中科技大学无锡研究院 水轮机叶片在位测量与加工的控制方法、装置及系统
CN114511637A (zh) * 2022-04-20 2022-05-17 湖南华城检测技术有限公司 一种基于构造强特征的弱特征物体图像三维重建系统及方法
CN117409149A (zh) * 2023-12-07 2024-01-16 武汉中测晟图遥感技术有限公司 基于立体约束的光束法平差方程的三维建模方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335350A (zh) * 2018-02-06 2018-07-27 聊城大学 双目立体视觉的三维重建方法
CN108953905A (zh) * 2018-09-25 2018-12-07 哈尔滨理工大学 一种双目视觉相机支撑结构及其位姿调整方法
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN111009030A (zh) * 2019-11-27 2020-04-14 天津大学 一种多视高分辨率纹理图像与双目三维点云映射方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335350A (zh) * 2018-02-06 2018-07-27 聊城大学 双目立体视觉的三维重建方法
CN108953905A (zh) * 2018-09-25 2018-12-07 哈尔滨理工大学 一种双目视觉相机支撑结构及其位姿调整方法
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN111009030A (zh) * 2019-11-27 2020-04-14 天津大学 一种多视高分辨率纹理图像与双目三维点云映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张旭: "基于双目视觉多视图的零件三维重建方法研究", 《中国优秀硕博士学位论文全文数据库（硕士）工程科技II辑》, 15 February 2021 (2021-02-15), pages 1 - 4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763562A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法
CN113763562B (zh) * 2021-08-31 2023-08-29 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法
CN113894785A (zh) * 2021-10-27 2022-01-07 华中科技大学无锡研究院 水轮机叶片在位测量与加工的控制方法、装置及系统
CN113894785B (zh) * 2021-10-27 2023-06-09 华中科技大学无锡研究院 水轮机叶片在位测量与加工的控制方法、装置及系统
CN114511637A (zh) * 2022-04-20 2022-05-17 湖南华城检测技术有限公司 一种基于构造强特征的弱特征物体图像三维重建系统及方法
CN117409149A (zh) * 2023-12-07 2024-01-16 武汉中测晟图遥感技术有限公司 基于立体约束的光束法平差方程的三维建模方法及系统

Similar Documents

Publication Publication Date Title
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN110363858B (zh) 一种三维人脸重建方法及系统
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN110189399B (zh) 一种室内三维布局重建的方法及系统
CN106485207B (zh) 一种基于双目视觉图像的指尖检测方法及系统
CN108280858B (zh) 多视图重建中的一种线性全局相机运动参数估计方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN109147025B (zh) 一种面向rgbd三维重建的纹理生成方法
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN105279789A (zh) 一种基于图像序列的三维重建方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Zhang et al. Ray space features for plenoptic structure-from-motion
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
CN114119987A (zh) 基于卷积神经网络的特征提取和描述子生成方法及系统
CN117372647A (zh) 一种建筑用三维模型的快速构建方法及系统
CN115359193B (zh) 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN111080685A (zh) 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210723