CN113643427A - 一种双目测距及三维重建方法 - Google Patents

一种双目测距及三维重建方法 Download PDF

Info

Publication number
CN113643427A
CN113643427A CN202110906680.3A CN202110906680A CN113643427A CN 113643427 A CN113643427 A CN 113643427A CN 202110906680 A CN202110906680 A CN 202110906680A CN 113643427 A CN113643427 A CN 113643427A
Authority
CN
China
Prior art keywords
matrix
camera
calibration
image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110906680.3A
Other languages
English (en)
Inventor
袁杨宇
谢远新
程伟
刘宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Qinhe Smart Guard Technology Co ltd
Original Assignee
Chongqing Qinhe Smart Guard Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Qinhe Smart Guard Technology Co ltd filed Critical Chongqing Qinhe Smart Guard Technology Co ltd
Priority to CN202110906680.3A priority Critical patent/CN113643427A/zh
Publication of CN113643427A publication Critical patent/CN113643427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种双目测距及三维重建方法，属于道路探测技术领域，通过左右相机分别进行单目相机扭曲畸形参数、位移参数和焦距像素比值参数的标定，再通过后续的方法，并将两个相机投影到同一个平面，并保证对应点在一个统一水平线上，本发明双目测距及三维重建方法，使用双目技术进行三维重建解决解决道路不平整的探测的问题，使得探测结果更为精确。

Description

一种双目测距及三维重建方法
技术领域
本发明属于道路探测技术领域，具体涉及一种双目测距及三维重建方法。
背景技术
现有技术中对于道路的探测一般是用二维的相机来进行，但是二维相机不能解决对于道路不平整的探测方面的问题，而且如果用结构光进行三维物探则成本太高。因此，急需提供一种双目测距及三维重建方法，使用双目技术进行三维重建来解决解决道路不平整的探测的问题。
发明内容
有鉴于此，本发明的目的在于提供一种双目测距及三维重建方法，使用双目技术进行三维重建来解决解决道路不平整的探测的问题。
为达到上述目的，本发明提供如下技术方案：
本发明一种双目测距及三维重建方法，包括以下步骤：
步骤1:左右相机分别进行单目相机扭曲畸形参数、位移参数和焦距像素比值参数的标定，标定使用棋盘格进行,用图像处理手段检测出棋盘格的内部角点在图像上的位置，并根据已知的真实棋盘格尺寸,根据多组图像上角点位置和真实3D空间的坐标，建立多个方程式：
Figure BDA0003201936970000011
其中，
Figure BDA0003201936970000012
为图像上角点的齐次坐标，
Figure BDA0003201936970000013
为3D空间的齐次坐标，A为内参矩阵，[R|t]为外参矩；
已知多组方程的前提下，利用最小二乘法对内参进行最大似然估计，得到内参后，利用标定的结果分别对左右相机图像进行校正；
步骤2：利用左右相机同时对一个棋盘格标定板进行拍摄的图像进行双目标定，求解两个相机间位置关系的矩阵——本质矩阵E，以及两个相机所成图像间像素对应关系矩阵——基本矩阵F；求解使用RANSAC算法，具体步骤为：①随机抽出4个不共线的样本，用最小二乘法计算出基本矩阵；②计算所有样本在模型下的误差，如果误差小于阈值，则加入内点集；③如果内点集个数大于I_best，则更新最优模型与I_best；④进入下一次迭代，在迭代次数大于阈值后退出；
步骤3：分别求出将左右相机的图像投影到同一平面的外参:左相机旋转矩阵R1、平移向量T1和右相机旋转矩阵R2、平移向量T2，计算方式同步骤1，并计算两个相机的相互之间的旋转和平移向量，计算的公式为
Figure BDA0003201936970000021
T＝T1-RT2
将两个相机成像投影到同一个平面，并保证对应点在同一水平线上；
步骤4：用SURF算法进行两张图片特征点的提取，具体做法为，对不同尺度的高斯模糊后的图像求Hessian矩阵，表达式为
Figure BDA0003201936970000022
其中，L为二阶导数运算符，x，y为求二阶导数方向，σ为高斯模糊的尺度，x为图像点坐标，H为Hessian矩阵计算的结果；
步骤5：当Hessian矩阵的值取得局部极大值时，选定为待定的特征点，最后过滤掉能量较弱的特征点，即为结果；
使用SGBM算法，用最小代价对两张图片的特征点进行匹配，即能量方程最小，求出左右相机的视差图，能量方程的计算公式为
Figure BDA0003201936970000023
其中，E(D)为能量，D为一个disparity map，T表示括号里的等式为真，即为1，否则为0，p、q分别代表一个像素，C为cost，Np为p的邻域，即人为选择的某个尺寸的滑动窗口里的像素，P1，P2为惩罚系数；
步骤6：首先，得到Q矩阵为
Figure BDA0003201936970000024
其参数已由前面的单目和双目标定得到，其中cx、cy为立体标定后左相机的主点，cx’为右相机的主点，在双目标定完成后，有cx’与cx相同，f为相机焦距，均在内参矩阵A中，Tx为相机基线距离在外参平移矩阵T中；然后根据公式
Figure BDA0003201936970000025
可以利用视差图和Q矩阵求出深度图及图像中点的三维坐标；其中，x、y为深度图中点的横、纵坐标，d为深度信息，X、Y、Z为三维空间缩放后的坐标，W为三维空间坐标的缩放系数；
步骤7：得到三维点坐标后，便可以1)生成三维重建点云模型，2)求出待测量距离。
本发明的有益效果在于：
本发明一种双目测距及三维重建方法，左右相机分别进行单目相机扭曲畸形参数、位移参数和焦距像素比值参数的标定，通过后续的方法，并将两个相机投影到同一个平面，并保证对应点在一个统一水平线上，使用双目技术进行三维重建解决解决道路不平整的探测的问题，使得探测结果更为精确。
本发明的其他优点、目标和特征将在随后的说明书中进行阐述，并且在某种程度上对本领域技术人员而言是显而易见的，或者本领域技术人员可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明双目测距及三维重建方法的流程示意图。
具体实施方式
如图1为本发明一种双目测距及三维重建方法的流程示意图，包括以下步骤：
步骤1:左右相机分别进行单目相机扭曲畸形参数、位移参数和焦距像素比值参数的标定，标定使用棋盘格进行,用图像处理手段检测出棋盘格的内部角点在图像上的位置，并根据已知的真实棋盘格尺寸,根据多组图像上角点位置和真实3D空间的坐标，建立多个方程式：
Figure BDA0003201936970000031
其中，
Figure BDA0003201936970000032
为图像上角点的齐次坐标，
Figure BDA0003201936970000033
为3D空间的齐次坐标，A为内参矩阵，[R|t]为外参矩；
已知多组方程的前提下，利用最小二乘法对内参进行最大似然估计，得到内参后，利用标定的结果分别对左右相机图像进行校正；
步骤2：利用左右相机同时对一个棋盘格标定板进行拍摄的图像进行双目标定，求解两个相机间位置关系的矩阵——本质矩阵E，以及两个相机所成图像间像素对应关系矩阵——基本矩阵F；求解使用RANSAC算法，具体步骤为：①随机抽出4个不共线的样本，用最小二乘法计算出基本矩阵；②计算所有样本在模型下的误差，如果误差小于阈值，则加入内点集；③如果内点集个数大于I_best，则更新最优模型与I_best；④进入下一次迭代，在迭代次数大于阈值后退出；
步骤3：分别求出将左右相机的图像投影到同一平面的外参:左相机旋转矩阵R1、平移向量T1和右相机旋转矩阵R2、平移向量T2，计算方式同步骤1，并计算两个相机的相互之间的旋转和平移向量，计算的公式为
Figure BDA0003201936970000041
T＝T1-RT2
将两个相机成像投影到同一个平面，并保证对应点在同一水平线上；
步骤4：用SURF算法进行两张图片特征点的提取，具体做法为，对不同尺度的高斯模糊后的图像求Hessian矩阵，表达式为
Figure BDA0003201936970000042
其中，L为二阶导数运算符，x，y为求二阶导数方向，σ为高斯模糊的尺度，x为图像点坐标，H为Hessian矩阵计算的结果；
步骤5：当Hessian矩阵的值取得局部极大值时，选定为待定的特征点，最后过滤掉能量较弱的特征点，即为结果；
使用SGBM算法，用最小代价对两张图片的特征点进行匹配，即能量方程最小，求出左右相机的视差图，能量方程的计算公式为
Figure BDA0003201936970000043
其中，E(D)为能量，D为一个disparity map，T表示括号里的等式为真，即为1，否则为0，p、q分别代表一个像素，C为cost，Np为p的邻域，即人为选择的某个尺寸的滑动窗口里的像素，P1，P2为惩罚系数；
步骤6：首先，得到Q矩阵为
Figure BDA0003201936970000044
其参数已由前面的单目和双目标定得到，其中cx、cy为立体标定后左相机的主点，cx’为右相机的主点，在双目标定完成后，有cx’与cx相同，f为相机焦距，均在内参矩阵A中，Tx为相机基线距离在外参平移矩阵T中；然后根据公式
Figure BDA0003201936970000051
可以利用视差图和Q矩阵求出深度图及图像中点的三维坐标；其中，x、y为深度图中点的横、纵坐标，d为深度信息，X、Y、Z为三维空间缩放后的坐标，W为三维空间坐标的缩放系数；
步骤7：得到三维点坐标后，便可以1)生成三维重建点云模型，2)求出待测量距离。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (1)

1.一种双目测距及三维重建方法，其特征在于：包括以下步骤：
步骤1:左右相机分别进行单目相机扭曲畸形参数、位移参数和焦距像素比值参数的标定，标定使用棋盘格进行,用图像处理手段检测出棋盘格的内部角点在图像上的位置，并根据已知的真实棋盘格尺寸,根据多组图像上角点位置和真实3D空间的坐标，建立多个方程式：
Figure FDA0003201936960000011
其中，
Figure FDA0003201936960000012
为图像上角点的齐次坐标，
Figure FDA0003201936960000013
为3D空间的齐次坐标，A为内参矩阵，[R|t]为外参矩；
已知多组方程的前提下，利用最小二乘法对内参进行最大似然估计，得到内参后，利用标定的结果分别对左右相机图像进行校正；
步骤2：利用左右相机同时对一个棋盘格标定板进行拍摄的图像进行双目标定，求解两个相机间位置关系的矩阵——本质矩阵E，以及两个相机所成图像间像素对应关系矩阵——基本矩阵F；求解使用RANSAC算法，具体步骤为：①随机抽出4个不共线的样本，用最小二乘法计算出基本矩阵；②计算所有样本在模型下的误差，如果误差小于阈值，则加入内点集；③如果内点集个数大于I_best，则更新最优模型与I_best；④进入下一次迭代，在迭代次数大于阈值后退出；
步骤3：分别求出将左右相机的图像投影到同一平面的外参:左相机旋转矩阵R1、平移向量T1和右相机旋转矩阵R2、平移向量T2，计算方式同步骤1，并计算两个相机的相互之间的旋转和平移向量，计算的公式为
Figure FDA0003201936960000014
T＝T1-RT2
将两个相机成像投影到同一个平面，并保证对应点在同一水平线上；
步骤4：用SURF算法进行两张图片特征点的提取，具体做法为，对不同尺度的高斯模糊后的图像求Hessian矩阵，表达式为
Figure FDA0003201936960000015
其中，L为二阶导数运算符，x，y为求二阶导数方向，σ为高斯模糊的尺度，x为图像点坐标，H为Hessian矩阵计算的结果；
步骤5：当Hessian矩阵的值取得局部极大值时，选定为待定的特征点，最后过滤掉能量较弱的特征点，即为结果；
使用SGBM算法，用最小代价对两张图片的特征点进行匹配，即能量方程最小，求出左右相机的视差图，能量方程的计算公式为
Figure FDA0003201936960000021
其中，E(D)为能量，D为一个disparity map，T表示括号里的等式为真，即为1，否则为0，p、q分别代表一个像素，C为cost，Np为p的邻域，即人为选择的某个尺寸的滑动窗口里的像素，P1，P2为惩罚系数；
步骤6：首先，得到Q矩阵为
Figure FDA0003201936960000022
其参数已由前面的单目和双目标定得到，其中cx、cy为立体标定后左相机的主点，cx’为右相机的主点，在双目标定完成后，有cx’与cx相同，f为相机焦距，均在内参矩阵A中，Tx为相机基线距离在外参平移矩阵T中；然后根据公式
Figure FDA0003201936960000023
可以利用视差图和Q矩阵求出深度图及图像中点的三维坐标；其中，x、y为深度图中点的横、纵坐标，d为深度信息，X、Y、Z为三维空间缩放后的坐标，W为三维空间坐标的缩放系数；
步骤7：得到三维点坐标后，便可以1)生成三维重建点云模型，2)求出待测量距离。
CN202110906680.3A 2021-08-09 2021-08-09 一种双目测距及三维重建方法 Pending CN113643427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906680.3A CN113643427A (zh) 2021-08-09 2021-08-09 一种双目测距及三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906680.3A CN113643427A (zh) 2021-08-09 2021-08-09 一种双目测距及三维重建方法

Publications (1)

Publication Number Publication Date
CN113643427A true CN113643427A (zh) 2021-11-12

Family

ID=78420121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906680.3A Pending CN113643427A (zh) 2021-08-09 2021-08-09 一种双目测距及三维重建方法

Country Status (1)

Country Link
CN (1) CN113643427A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332187A (zh) * 2022-03-09 2022-04-12 深圳安智杰科技有限公司 单目目标测距方法及装置
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN112132958A (zh) * 2020-09-23 2020-12-25 哈尔滨工程大学 一种基于双目视觉的水下环境三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN112132958A (zh) * 2020-09-23 2020-12-25 哈尔滨工程大学 一种基于双目视觉的水下环境三维重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
何万涛等: "面结构光投影三维测量技术", 31 August 2020, 哈尔滨工业大学出版社, pages: 124 - 126 *
刘毅: "结合Kinect的双目视觉场景三维重建", 中国优秀硕士学位论文全文数据库 信息科技辑, vol. 2017, no. 02, pages 216 - 217 *
杨化超等: "图像局部不变性特征及其匹配问题研究与应用", 31 December 2013, 测绘出版社, pages: 23 - 24 *
英红: "基于视觉的水泥路面病害检测方法", 31 October 2014, 电子科技大学出版社, pages: 105 *
葛均强: "基于无人机航拍图像序列的三维重建研究与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, vol. 2016, no. 03, pages 2 - 4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332187A (zh) * 2022-03-09 2022-04-12 深圳安智杰科技有限公司 单目目标测距方法及装置
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN116883471B (zh) * 2023-08-04 2024-03-15 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及系统
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN107507235B (zh) 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
US20100020178A1 (en) Calibrating a camera system
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN102436671B (zh) 一种基于深度值非线性变换的虚拟视点绘制方法
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
CN113643427A (zh) 一种双目测距及三维重建方法
CN109727290A (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
CN111649694B (zh) 一种隐式相位-视差映射的双目测量缺失点云插补方法
CN107993201B (zh) 一种保留边界特征的深度图像增强方法
CN116188558A (zh) 基于双目视觉的立体摄影测量方法
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
Yang et al. 3D color reconstruction based on underwater RGB laser line scanning system
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN113963107B (zh) 一种基于双目视觉的大型目标三维重建方法及系统
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination