CN112734854A - 一种基于三目极线约束的相机自标定方法 - Google Patents

一种基于三目极线约束的相机自标定方法 Download PDF

Info

Publication number
CN112734854A
CN112734854A CN201911033718.XA CN201911033718A CN112734854A CN 112734854 A CN112734854 A CN 112734854A CN 201911033718 A CN201911033718 A CN 201911033718A CN 112734854 A CN112734854 A CN 112734854A
Authority
CN
China
Prior art keywords
image
points
point
matching
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911033718.XA
Other languages
English (en)
Inventor
徐江涛
常宇慧
史兴萍
于子涵
路凯歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201911033718.XA priority Critical patent/CN112734854A/zh
Publication of CN112734854A publication Critical patent/CN112734854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于三目极线约束的相机自标定方法，采用三目视觉系统采集同一时刻的图像，使用SURF匹配算法找到第1、3幅图像上的匹配点集，和第2、3幅图像上的匹配点集；选择RANSAC方法对原匹配点集进行误匹配剔除，并将获得的正确的匹配点带入归一化八点法进行基础矩阵的求解，获得初始的基础矩阵；将参考图像和辅助图像上的特征靶标点映射为仲裁图像上的极线，从而获得极线对在仲裁图像上的交点；最后使用极小化极线交点坐标和同名特征点坐标之间的偏差的方法来优化基础矩阵，获得的矩阵即为最终的基础矩阵；该方法通过引入第三个视图附加的约束条件，以极小化重合度误差的方法来解决传统的双目视觉系统中不能完全求解正确基础矩阵的问题。

Description

一种基于三目极线约束的相机自标定方法
技术领域
本发明涉及一种相机自标定方法，可被应用于计算机视觉系统中，利用三个相机拍摄到的带有标定靶的图像，将前两幅图像中匹配到的特征点映射为第三幅图像中极线的交点，极小化极线交点和特征点坐标之间的偏差，以得到最优解的基础矩阵，并用于计算机视觉等后续工作。
背景技术
相机的标定是计算机视觉系统的重要步骤之一。相机的标定一般分为两个主要部分：相机内参数的标定和相机外参数的标定。对于多个相机组成的视觉系统而言，系统的外参数指的是在同一坐标系下多个相机之间的相互位姿关系。依据标定方式的不同可将相机的标定分为三类：传统的标定方法、基于主动视觉的相机标定方法和相机自标定方法。
相机的自标定方法不需要知道相机精确的运动信息参数，只需要依靠多幅图像提供的场景信息就可以进行相机的参数标定，和传统的标定方法以及基于主动视觉的标定方法相比，自标定方法存在着操作简单、可实时在线标定的优点。
发明内容
为了有效地解决相机自标定现存的问题，消除两幅图像之间的错误匹配并且进一步加强对基础矩阵的约束条件，本发明提出了一种基于三目极线约束的相机自标定方法。通过引入第三个视图附加的约束条件，以极小化重合度误差的方法来解决传统的双目视觉系统中不能完全求解正确基础矩阵的问题。
一种基于三目极线约束的像机自标定方法，该标定方法的整体步骤流程如图1所示，具体为：
步骤一、首先采用三目视觉系统采集同一时刻的图像，使用SURF匹配算法找到第1、3幅图像上的匹配点集
Figure 606387DEST_PATH_IMAGE001
，和第2、3幅图像上的匹配点集
Figure 119539DEST_PATH_IMAGE002
；
步骤二、随后选择RANSAC方法对原匹配点集进行误匹配剔除，并将获得的正确的匹配点带入归一化八点法进行基础矩阵的求解，获得初始的基础矩阵
Figure 363439DEST_PATH_IMAGE003
和
Figure 225216DEST_PATH_IMAGE004
；
步骤三、将参考图像和辅助图像上的特征靶标点映射为仲裁图像上的极线，从而获得极线对在仲裁图像上的交点
Figure 404000DEST_PATH_IMAGE005
；
步骤四、最后使用极小化极线交点坐标和同名特征点坐标之间的偏差的方法来优化前面求得的基础矩阵
Figure 642214DEST_PATH_IMAGE003
和
Figure 740620DEST_PATH_IMAGE004
，获得的矩阵
Figure 179823DEST_PATH_IMAGE006
和
Figure 629259DEST_PATH_IMAGE007
即为最终的基础矩阵。
步骤一中使用SURF算法检测匹配点集，具体为：
SURF进行特征点提取的方法如图2，分为以下步骤：构建Hessian矩阵、构建尺度空间、特征点定位和特征点匹配；
SURF的探测器是基于拥有良好的性能和准确性的Hessian矩阵设计的，假设图像中有某点
Figure 546530DEST_PATH_IMAGE008
，则定义x上的Hessian矩阵
Figure 765022DEST_PATH_IMAGE009
为：
Figure 106617DEST_PATH_IMAGE010
其中
Figure 777770DEST_PATH_IMAGE011
是高斯二阶导数的卷积
Figure 366576DEST_PATH_IMAGE012
，类似于
Figure 252624DEST_PATH_IMAGE013
和
Figure 282897DEST_PATH_IMAGE014
，通过使用Hessian矩阵的判别式来确定关键点的位置，并用于后续特征点的提取；
建立尺度空间的原因是为了模拟数据的多尺度特征，对于一个二维图像的尺度空间定义为
Figure 785553DEST_PATH_IMAGE015
其中
Figure 372524DEST_PATH_IMAGE016
是尺度可变的高斯函数，
Figure 313410DEST_PATH_IMAGE017
是尺度空间因子，反映了图像被平滑的程度，值越小表征图形被平滑程度越小，相应尺度越小；使用尺度空间中的差分高斯（Differenceof Gaussina , DOG）子作为极值判别依据，定义如下：
Figure 983426DEST_PATH_IMAGE018
一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点，再滤除能量弱的关键点和误定位的关键点，从而筛选出稳定的特征点；通过计算待匹配特征点之间的欧式距离确定特征点之间的匹配程度，欧式距离越短，则匹配程度越好。
步骤二中RANSAC剔除误匹配，具体为：
RANSAC算法的输入是一组观测数据，往往含有较大的噪声或无效点，一个用于解释观测数据的参数化模型以及一些可信的参数；RANSAC通过反复选择数据中的一组随机子集来达成目标，如图3；首先从样本点集中随机选取8个匹配点对，使用归一化八点法计算出基础矩阵
Figure 379903DEST_PATH_IMAGE019
，随后遍历整个样本点集，找出该基础矩阵的一致集，即当前基础矩阵模型误差小于阈值t的数据点，并将一致集中的数据点个数记为N；不断重复前面的步骤，直到找到N最大的一致集，则使用最大的一致集中的数据点来拟合基础矩阵并将其作为最终的结果。
步骤四中极小化重合度误差 ，具体为：
通过RANSAC方法的误匹配点剔除后，将正确的匹配点带入求解得到参考图像和仲裁图像之间的初始基础矩阵
Figure 36144DEST_PATH_IMAGE003
和辅助图像与仲裁图像之间的基础矩阵
Figure 83734DEST_PATH_IMAGE004
，将参考图像和辅助图像上的特征靶点分别映射到仲裁图像上获得极线交点
Figure 675384DEST_PATH_IMAGE020
和同名特征点
Figure 808425DEST_PATH_IMAGE021
，通过极小化
Figure 671951DEST_PATH_IMAGE022
和
Figure 918256DEST_PATH_IMAGE023
之间的偏差来优化基础矩阵，目标函数如下：
Figure 930074DEST_PATH_IMAGE024
式中m为特征靶标点数目，当偏差最小时，式中对应的参数即为优化后的基础矩阵
Figure 35564DEST_PATH_IMAGE025
和
Figure 954979DEST_PATH_IMAGE026
。
本发明和传统标定方法相比，有效地提高了标定精度，尤其是当匹配点周围存在着大量错误匹配点且对极距离比正确匹配点更小的时候，传统方法无法求得完全正确的基础矩阵，本发明使用了RANSAC方法剔除误匹配点并使用了极小化重合度误差的方法来最优化基础矩阵，极大地提高了求得的基础矩阵的精度。
附图说明
图1是一种基于三目极线约束的相机自标定方法的整体结构设计；
图2是SURF方法进行特征点提取的步骤；
图3是RANSAC方法拟合基础矩阵的步骤。
具体实施方式
为了更好地进行标定，使用三个相同型号的工业相机进行图像采集，镜头采用德国蔡司公司的50mm定焦镜头，并在公共视场中随机布置了50个特征靶标点，在6m的物距下进行图片采集。整体实施方案如附图1，采用三目视觉系统采集同一时刻不同视角的三幅图像，使用SURF匹配算法找到两两图像之间的匹配点集后，使用RANSAC方法进行误匹配剔除，并将获得的正确的匹配点带入归一化八点法进行基础矩阵的求解。再通过引入第三个视图所附加的约束条件，使用极小化极线交点坐标和同名特征点坐标之间的偏差的方法获得最终的基础矩阵。

Claims (4)

1.一种基于三目极线约束的像机自标定方法，其特征在于：具体为：
步骤一、首先采用三目视觉系统采集同一时刻的图像，使用SURF匹配算法找到第1、3幅图像上的匹配点集
Figure 115642DEST_PATH_IMAGE001
，和第2、3幅图像上的匹配点集
Figure 875788DEST_PATH_IMAGE002
；
步骤二、随后选择RANSAC方法对原匹配点集进行误匹配剔除，并将获得的正确的匹配点带入归一化八点法进行基础矩阵的求解，获得初始的基础矩阵
Figure 955870DEST_PATH_IMAGE003
和
Figure 217087DEST_PATH_IMAGE004
；
步骤三、将参考图像和辅助图像上的特征靶标点映射为仲裁图像上的极线，从而获得极线对在仲裁图像上的交点
Figure 902278DEST_PATH_IMAGE005
；
步骤四、最后使用极小化极线交点坐标和同名特征点坐标之间的偏差的方法来优化前面求得的基础矩阵
Figure 223538DEST_PATH_IMAGE003
和
Figure 522407DEST_PATH_IMAGE004
，获得的矩阵
Figure 321736DEST_PATH_IMAGE006
和
Figure 923750DEST_PATH_IMAGE007
即为最终的基础矩阵。
2.根据权利要求1所述一种基于三目极线约束的像机自标定方法，其特征在于：步骤一中使用SURF算法检测匹配点集，具体为：
构建Hessian矩阵、构建尺度空间、特征点定位和特征点匹配；
SURF的探测器是基于拥有良好的性能和准确性的Hessian矩阵设计的，假设图像中有某点
Figure 415911DEST_PATH_IMAGE008
，则定义x上的Hessian矩阵
Figure 205007DEST_PATH_IMAGE009
为：
Figure 808026DEST_PATH_IMAGE010
其中
Figure 264547DEST_PATH_IMAGE011
是高斯二阶导数的卷积
Figure 662030DEST_PATH_IMAGE012
，类似于
Figure 212790DEST_PATH_IMAGE013
和
Figure 353921DEST_PATH_IMAGE014
，通过使用Hessian矩阵的判别式来确定关键点的位置，并用于后续特征点的提取；
建立尺度空间的原因是为了模拟数据的多尺度特征，对于一个二维图像的尺度空间定义为
Figure 664948DEST_PATH_IMAGE015
其中
Figure 967753DEST_PATH_IMAGE016
是尺度可变的高斯函数，
Figure 997020DEST_PATH_IMAGE017
是尺度空间因子，反映了图像被平滑的程度，值越小表征图形被平滑程度越小，相应尺度越小；使用尺度空间中的差分高斯（Differenceof Gaussina , DOG）子作为极值判别依据，定义如下：
Figure 941843DEST_PATH_IMAGE018
一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点，再滤除能量弱的关键点和误定位的关键点，从而筛选出稳定的特征点；通过计算待匹配特征点之间的欧式距离确定特征点之间的匹配程度，欧式距离越短，则匹配程度越好。
3.根据权利要求1所述一种基于三目极线约束的像机自标定方法，其特征在于：步骤二中RANSAC剔除误匹配，具体为：
RANSAC算法的输入是一组观测数据，往往含有较大的噪声或无效点，一个用于解释观测数据的参数化模型以及一些可信的参数；RANSAC通过反复选择数据中的一组随机子集来达成目标；首先从样本点集中随机选取8个匹配点对，使用归一化八点法计算出基础矩阵
Figure 107376DEST_PATH_IMAGE019
，随后遍历整个样本点集，找出该基础矩阵的一致集，即当前基础矩阵模型误差小于阈值t的数据点，并将一致集中的数据点个数记为N；不断重复前面的步骤，直到找到N最大的一致集，则使用最大的一致集中的数据点来拟合基础矩阵并将其作为最终的结果。
4.根据权利要求1所述一种基于三目极线约束的像机自标定方法，其特征在于：步骤四中极小化重合度误差 ，具体为：
通过RANSAC方法的误匹配点剔除后，将正确的匹配点带入求解得到参考图像和仲裁图像之间的初始基础矩阵
Figure 719098DEST_PATH_IMAGE003
和辅助图像与仲裁图像之间的基础矩阵
Figure 219350DEST_PATH_IMAGE004
，将参考图像和辅助图像上的特征靶点分别映射到仲裁图像上获得极线交点
Figure 108808DEST_PATH_IMAGE020
和同名特征点
Figure 191165DEST_PATH_IMAGE021
，通过极小化
Figure 852085DEST_PATH_IMAGE022
和
Figure 839632DEST_PATH_IMAGE023
之间的偏差来优化基础矩阵，目标函数如下：
Figure 736044DEST_PATH_IMAGE024
式中m为特征靶标点数目，当偏差最小时，式中对应的参数即为优化后的基础矩阵
Figure 797541DEST_PATH_IMAGE025
和
Figure 360853DEST_PATH_IMAGE026
。
CN201911033718.XA 2019-10-28 2019-10-28 一种基于三目极线约束的相机自标定方法 Pending CN112734854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033718.XA CN112734854A (zh) 2019-10-28 2019-10-28 一种基于三目极线约束的相机自标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033718.XA CN112734854A (zh) 2019-10-28 2019-10-28 一种基于三目极线约束的相机自标定方法

Publications (1)

Publication Number Publication Date
CN112734854A true CN112734854A (zh) 2021-04-30

Family

ID=75589384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033718.XA Pending CN112734854A (zh) 2019-10-28 2019-10-28 一种基于三目极线约束的相机自标定方法

Country Status (1)

Country Link
CN (1) CN112734854A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998773A (zh) * 2022-08-08 2022-09-02 四川腾盾科技有限公司 适用于无人机系统航拍图像的特征误匹配剔除方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980601A (zh) * 2017-03-13 2017-07-25 大连理工大学 基于三目极线约束的基础矩阵高精度求解方法
CN107067415A (zh) * 2017-03-21 2017-08-18 南京航空航天大学 一种基于图像匹配的目标快速精确定位方法
CN108550166A (zh) * 2018-03-26 2018-09-18 北京航空航天大学 一种空间目标图像匹配方法
CN109785372A (zh) * 2019-01-10 2019-05-21 西安电子科技大学 基于软决策优化的基础矩阵鲁棒估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980601A (zh) * 2017-03-13 2017-07-25 大连理工大学 基于三目极线约束的基础矩阵高精度求解方法
CN107067415A (zh) * 2017-03-21 2017-08-18 南京航空航天大学 一种基于图像匹配的目标快速精确定位方法
CN108550166A (zh) * 2018-03-26 2018-09-18 北京航空航天大学 一种空间目标图像匹配方法
CN109785372A (zh) * 2019-01-10 2019-05-21 西安电子科技大学 基于软决策优化的基础矩阵鲁棒估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李士杰: "基于基础矩阵的相机自标定方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998773A (zh) * 2022-08-08 2022-09-02 四川腾盾科技有限公司 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN114998773B (zh) * 2022-08-08 2023-02-17 四川腾盾科技有限公司 适用于无人机系统航拍图像的特征误匹配剔除方法及系统

Similar Documents

Publication Publication Date Title
CN110969668A (zh) 一种长焦双目相机的立体标定算法
CN110766758B (zh) 标定方法、装置、系统及存储装置
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
Melo et al. Unsupervised intrinsic calibration from a single frame using a" plumb-line" approach
CN112132874B (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
CN111639663A (zh) 多传感器数据融合的方法
CN110689577A (zh) 单相机环境中主动式刚体的位姿定位方法及相关设备
US20190279022A1 (en) Object recognition method and device thereof
CN114494462A (zh) 一种基于Yolov5和改进跟踪算法的双目相机测距方法
CN114022560A (zh) 标定方法及相关装置、设备
CN110770793B (zh) 一种三维轨迹数据的异常值处理方法及光学动作捕捉方法
CN110136048B (zh) 一种图像配准方法及系统、存储介质及终端
Perdigoto et al. Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems
CN112541932A (zh) 基于双光相机不同焦距变换参数的多源图像配准方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
Sarlin et al. Pixel-perfect structure-from-motion with featuremetric refinement
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN107392948B (zh) 一种分振幅实时偏振成像系统的图像配准方法
CN112734854A (zh) 一种基于三目极线约束的相机自标定方法
Wang et al. Target recognition and localization of mobile robot with monocular PTZ camera
Tola Multiview 3D Reconstruction of a scene containing independently moving objects
CN113689397A (zh) 工件圆孔特征检测方法和工件圆孔特征检测装置
CN112529960A (zh) 目标对象的定位方法、装置、处理器和电子装置
Fasogbon et al. Automatic feature extraction for wide-angle and fish-eye camera calibration
CN116912333B (zh) 一种基于作业围栏标定杆的相机姿态自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430

RJ01 Rejection of invention patent application after publication