CN115115861A - 一种应用于旋转双目立体视觉系统的图像校正方法 - Google Patents

一种应用于旋转双目立体视觉系统的图像校正方法 Download PDF

Info

Publication number
CN115115861A
CN115115861A CN202211050257.9A CN202211050257A CN115115861A CN 115115861 A CN115115861 A CN 115115861A CN 202211050257 A CN202211050257 A CN 202211050257A CN 115115861 A CN115115861 A CN 115115861A
Authority
CN
China
Prior art keywords
matching
image
neighborhood
matching point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211050257.9A
Other languages
English (en)
Inventor
罗其俊
田鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202211050257.9A priority Critical patent/CN115115861A/zh
Publication of CN115115861A publication Critical patent/CN115115861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维视觉技术领域，具体涉及一种应用于旋转双目立体视觉系统的图像校正方法，包括如下步骤：分别对左右两个相机获取的左图像和右图像进行特征点提取，并建立两者特征点的映射关系，进而获取若干特征点的匹配点对；对若干所述匹配点对进行优选和二次匹配优化；对优选和二次匹配优化后的若干所述匹配点对进行质量排序，选取排序中的若干所述匹配点对，计算出所述左右两个相机的精确位姿关系；基于所述精确位姿关系，得到所述左图像和所述右图像的极点和极线；根据立体校正准则，选取所述左图像和所述右图像的投影变换矩阵，对极点和极线进行重采样，实现立体图像校正。该方法提升图像校正的精确性的同时提升校正便利度。

Description

一种应用于旋转双目立体视觉系统的图像校正方法
技术领域
本发明涉及三维视觉技术领域，具体涉及一种应用于旋转双目立体视觉系统的图像校正方法。
背景技术
刚性连接的双目立体视觉广泛应用于工业检测和三维重构，受限于基线长度，难以在远距离大场景中应用。旋转双目立体视觉系统，通过长基线双目相机的联动旋转实现大范围的扫描成像，采用图像立体匹配方法，实现大场景的三维重建。高精度转台机械间隙造成左右相机位姿的微小偏差，也会导致图像立体校正和匹配失败。旋转双目相机的动态位姿估计和双目图像的立体校正算法研究，是实现大场景三维重构的基础。立体校正算法主要两种：基于相机标定的立体校正法和非标定校正法。标定校正法需提前标定相机，根据标定参数完成左右图像的立体校正。而非标定校正法，由左右图像间的特征点映射关系，直接估计基础矩阵，由校正变换操作实现图像的立体校正。在旋转双目立体视觉系统中，双目非刚性固定，只能采用非标定立体校正法。但由于图像间特征点的误匹配，会加剧校正图像畸变，影响校正图像的质量。
因此，有必要提供一种应用于旋转相机立体视觉系统的方法，提升图像校正的精确性的同时提升校正便利度。
发明内容
解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种应用于旋转双目立体视觉系统的图像校正方法，该方法可以提升图像校正的精确性的同时提升校正便利度。
技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供了一种应用于旋转双目立体视觉系统的图像校正方法，包括如下步骤：
S1、采用FAST特征检测和BRIEF特征描述方法，提取ORB特征点，并在左右图像中进行初始匹配，建立左右图像特征点的映射关系，得到匹配对点；
S2、对若干匹配点对进行优选和二次匹配优化；
S3、对优选和二次匹配优化后的若干所述匹配点对进行质量排序，选取排序中的若干所述匹配点对，计算出所述左右两个相机的精确位姿关系；
S4、基于所述精确位姿关系，得到左图像和右图像的极点和极线；
S5、根据立体校正准则，选取所述左图像和所述右图像的投影变换矩阵，对所述左图像和所述右图像的极点和极线进行重采样，实现立体图像校正。
进一步地，步骤S1具体包括：采用FAST特征检测和BRIEF特征描述方法，提取ORB特征点。然后检测特征点邻域描述符子，得到ORB特征描述向量，在所述左图像和所述右图像中进行快速初始匹配，建立两者特征点的映射关系，进而获取若干特征点的匹配点对。
进一步地，步骤S1具体包括：
对所述左图像和所述右图像，构造层图像尺度金字塔，分别在W个尺度上，利用FAST算法检测角点位置，并计算每个角点的响应值，选取固定数量的角点，作为该尺度的特征点；
再以该特征点为圆心，半径为r的圆形邻域内，计算图像质心位置，并将该特征点位置到质心位置的方向作为该特征点的主方向；
将该特征点邻域旋转到主方向，利用BRIEF算法构建特征描述符子，得到ORB特征描述向量；
最后对所述左图像和所述右图像中的所述ORB特征描述向量，进行初始匹配。
进一步地，经所述初始匹配后，所述左图像I L 中特征点
Figure 357556DEST_PATH_IMAGE001
和所述右图像I R 中的特征点
Figure 743538DEST_PATH_IMAGE002
，组成的N对初始匹配点集
Figure 851171DEST_PATH_IMAGE003
，其中，
Figure 574276DEST_PATH_IMAGE004
为特征点的序号，
Figure 716545DEST_PATH_IMAGE005
和
Figure 742269DEST_PATH_IMAGE006
为图像中特征点的坐标。
在所述匹配点集P LR 中，将N对匹配点对间欧氏距离按从小到大排序为
Figure 605708DEST_PATH_IMAGE007
，选取距离中值b u 作为基准，将匹配点对欧氏距离与基准距离之比定义为该匹配点对的相对距离，得到相对距离集合
Figure 273449DEST_PATH_IMAGE008
。由
Figure 535803DEST_PATH_IMAGE009
，计算上述B i 所对应的匹配点的连线斜率，得到斜率集合
Figure 998009DEST_PATH_IMAGE010
；
设定匹配点对相对距离误差范围
Figure 611393DEST_PATH_IMAGE011
（按经验取0.12），遍历所述相对距离集合B i ，保留
Figure 817246DEST_PATH_IMAGE012
的匹配点；
将匹配点对斜率均值
Figure 934107DEST_PATH_IMAGE013
作为基准，设定斜率误差范围
Figure 832793DEST_PATH_IMAGE014
（按经验取0.04），遍历所述斜率集合K i ，保留
Figure 667893DEST_PATH_IMAGE015
的匹配点对；
检验经上述步骤后所述匹配点集P LR 中剩余匹配点对的数量，如果匹配点对数量少，可判断为阈值设置过小，这时，分别按0.02和0.01的步长来增大
Figure 411859DEST_PATH_IMAGE016
和
Figure 648805DEST_PATH_IMAGE017
，重新对所述匹配点集P LR 按上述步骤进行特征点优选；
重复上述步骤，在全局层优选出T对匹配点集P LRE ，其中，
Figure 452813DEST_PATH_IMAGE018
。
进一步地，所述二次匹配优化具体包括：
将P L 和P R 的邻域分别表示为
Figure 775210DEST_PATH_IMAGE019
和
Figure 322866DEST_PATH_IMAGE020
，其中，S为邻域特征点的序号，
Figure 414319DEST_PATH_IMAGE021
和
Figure 654807DEST_PATH_IMAGE022
中包含t个P L 和P R 的邻域点（t按经验取9）；
定义了特征点邻域空间一致性校检值c，
Figure 213569DEST_PATH_IMAGE023
其中，
Figure 564916DEST_PATH_IMAGE024
为邻域内的特征点。使用
Figure 510875DEST_PATH_IMAGE025
来检验P L 和P R 是否满足邻域空间支持。
Figure 922265DEST_PATH_IMAGE026
向量用以检验P L 和P R 与邻域内匹配点向量偏移值，来衡量P L 和P R 的邻域是否具有空间约束。其中，v为P L 和P R 的向量，
Figure 953675DEST_PATH_IMAGE027
为匹配点邻域内
Figure 108713DEST_PATH_IMAGE028
和
Figure 50124DEST_PATH_IMAGE029
的向量；
检验P L 邻域内所有特征点在P R 的邻域内是否有相应的特征点，若满足，此时邻域内共同特征点个数
Figure 757049DEST_PATH_IMAGE030
与邻域内特征点数量t的支撑特征点比率为1，且
Figure 416700DEST_PATH_IMAGE031
，认为该匹配点满足邻域空间支持；
计算匹配点与其邻域匹配点间的向量偏移
Figure 234484DEST_PATH_IMAGE032
，设定匹配点向量偏移阈值
Figure 30401DEST_PATH_IMAGE033
（按经验取0.2），当
Figure 783594DEST_PATH_IMAGE034
时，认为该匹配点邻域满足空间约束；
当一对匹配点同时满足邻域空间支持和空间约束时，c =0，重复上述步骤，直至检验完所有匹配点，得到优化后的M对匹配点集P LRS ，其中，
Figure 55175DEST_PATH_IMAGE035
。
进一步地，所述匹配点对进行质量排序具体包括：
重新计算优化后匹配点对的距离，并由
Figure 552016DEST_PATH_IMAGE036
计算匹配质量
Figure 327074DEST_PATH_IMAGE037
，据此完成匹配点对的排序，得到匹配点对质量优先序列
Figure 251167DEST_PATH_IMAGE038
，m为质量优先排序序号。
其中，
Figure 619832DEST_PATH_IMAGE039
为匹配点对间次小距离，
Figure 44997DEST_PATH_IMAGE040
为匹配点对间最小距离。
进一步地，步骤S3具体包括：
对于质量排序后的若干匹配点对，采用八点法估计所述左图像和所述右图像之间的基础矩阵F，根据所述基础矩阵F计算出所述左右两个相机的精确位姿关系。
进一步地，步骤S4中采用图像对极几何得到所述左图像和所述右图像的极点和极线。
有益效果
本发明提供了一种应用于旋转双目立体视觉系统的图像校正方法，受相机角度变换的影响较小。为开展动态会聚双目视觉测量理论研究、开展大场景高精度工业视觉测量和三维重建奠定基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的应用于旋转双目立体视觉系统的图像校正方法流程示意图；
图2为本发明一实施例提供的应用于旋转双目立体视觉系统的图像校正方法立体校正示意图；
图3为本发明一实施例提供的应用于旋转双目立体视觉系统的图像校正方法匹配点对优选和优化示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一实施例提供一种应用于旋转双目立体视觉系统的图像校正方法，包括如下步骤：
S1、采用FAST特征检测和BRIEF特征描述方法，提取ORB特征点，并在左右图像中进行初始匹配，建立左右图像特征点的映射关系，得到匹配对点；
S2、对若干所述匹配点对进行优选和二次匹配优化；
S3、对优选和二次匹配优化后的若干所述匹配点对进行质量排序，选取排序中的若干所述匹配点对，计算出所述左右两个相机的精确位姿关系；
S4、基于所述精确位姿关系，得到所述左图像和所述右图像的极点和极线；
S5、根据立体校正准则，选取所述左图像和所述右图像的投影变换矩阵，对所述左图像和所述右图像的极点和极线进行重采样，实现立体图像校正。
在本实施例中，步骤S1具体包括：采用FAST特征检测和BRIEF特征描述方法，提取ORB特征点。然后检测特征点邻域描述符子，得到ORB特征描述向量，在所述左图像和所述右图像中进行快速初始匹配，建立两者特征点的映射关系；
具体地，参阅图1，对于步骤S1，图像立体校正前，先进行特征点提取与匹配，采用的ORB特征提取算法是特征点提取的经典算法，采用FAST特征检测和BRIEF特征描述方法，提取ORB特征点，并完成初始匹配。由于双目相机每次旋转后，均需进行立体校正，那么，立体校正算法必要较快的执行速度。ORB特征提取算法，相对于SIFT和KAZE，具有明显的速度优势。
按照如下步骤进行：
1）构造左右图像I L 和I R 的W层图像金字塔，分别在W个尺度上，利用FAST算法检测角点位置，并计算每个角点的响应值，选取固定数量的角点，作为本尺度的特征点；
2）在以特征点为圆心，半径为r的圆形邻域内，计算图像质心位置，并将特征点位置到质心位置的方向作为特征点的主方向；
3）将特征点邻域旋转到主方向，利用BRIEF算法构建特征描述子，得到ORB特征描述向量；
4）对I L 和I R 中ORB特征描述向量，进行初始匹配。
在本实施例中，所述特征点优选过程如下：
ORB特征点误匹配率较高，如果能利用正确匹配点连线的几何特征，可有效剔除明显误匹配点。为此，结合了特征点连线的几何关系，定义匹配点对连线斜率和相对距离的全局几何约束，用以限定匹配点对斜率和相对距离的范围，在全局层面实现匹配点的优选。
经全局立体匹配后，图像I L 中特征点
Figure 815507DEST_PATH_IMAGE041
和I R 中的特征点
Figure 910502DEST_PATH_IMAGE042
，组成的N对初始匹配点集
Figure 628446DEST_PATH_IMAGE043
，
Figure 591723DEST_PATH_IMAGE044
为特征点的序号，
Figure 544636DEST_PATH_IMAGE045
和
Figure 544953DEST_PATH_IMAGE046
为图像中特征点的坐标。
在P LR 中，将N对匹配点间欧氏距离按从小到大排序为
Figure 747264DEST_PATH_IMAGE047
，选取距离中值b u 作为基准，将匹配点欧氏距离与基准距离之比定义为该匹配点的相对距离。得到相对距离集合
Figure 655177DEST_PATH_IMAGE048
。由
Figure 259334DEST_PATH_IMAGE049
，计算上述B i 所对应的匹配点的连线斜率，得到斜率集合
Figure 696131DEST_PATH_IMAGE050
。
具体步骤如下：
1）设定匹配点相对距离误差范围为
Figure 526684DEST_PATH_IMAGE051
（按经验取0.12），遍历集合B i ，保留
Figure 831764DEST_PATH_IMAGE052
的匹配点；
2）将匹配点斜率均值
Figure 165793DEST_PATH_IMAGE053
作为基准，设定斜率误差范围
Figure 898126DEST_PATH_IMAGE054
（按经验取0.04），遍历集合K i ，保留经步骤(1)后
Figure 950395DEST_PATH_IMAGE055
的匹配点；
3）检验经步骤（1）和（2）后P LR 中剩余匹配点的数量，如果匹配点数量少，可判断为阈值设置过小，这时，分别按0.02和0.01的步长来增大
Figure 793586DEST_PATH_IMAGE051
和
Figure 247701DEST_PATH_IMAGE054
，重新对P LR 按（1）、（2）步进行特征点优选；
4）重复上述步骤，在全局层优选出T对匹配点集P LRE ，表示为下式所示；
Figure 153865DEST_PATH_IMAGE056
关于误差范围的确定。考虑采用八点法估计基础矩阵时至少需要8对匹配点，所以误差范围设定应至少保留8对匹配点对，多次实验验证，
Figure 693431DEST_PATH_IMAGE051
取0.12，
Figure 340313DEST_PATH_IMAGE054
取0.04时，能够过滤掉不满足几何约束的误匹配点。
在本实施例中，参阅图3，所述二次匹配优化过程如下：
特征点全局几何约束，实现了匹配点的优选，然而全局层的筛选，必会遗漏特征点邻域的部分外点，因此，有必要在特征点局部层进一步优化。鉴于此，借鉴内点邻域空间支持思想，提出内点邻域空间一致性的局部校验方法，完成二次匹配优化。
为了分别描述距离I L 中的特征点
Figure 648934DEST_PATH_IMAGE057
，以及与之对应的I R 中的
Figure 723070DEST_PATH_IMAGE058
最近的邻域集合，将P L 和P R 的邻域分别表示为
Figure 484352DEST_PATH_IMAGE059
和
Figure 934925DEST_PATH_IMAGE060
，用以描述特征点邻域内点的分布。其中，s为邻域特征点的序号,
Figure 98053DEST_PATH_IMAGE061
和
Figure 608669DEST_PATH_IMAGE062
中包含t个P L 和P R 的邻域点（t按经验取9）。
为了描述P L 和P R 邻域内特征点空间支持和空间约束情况，定义了特征点邻域空间一致性校检值c，如下式所示。其中，
Figure 122827DEST_PATH_IMAGE063
为邻域内的特征点。使用
Figure 252457DEST_PATH_IMAGE064
来检验P L 和P R 是否满足邻域空间支持。
Figure 394725DEST_PATH_IMAGE065
向量用以检验P L 和P R 与邻域内匹配点向量偏移值，来衡量P L 和P R 的邻域是否具有空间约束。其中，v为P L 和P R 的向量，
Figure 951609DEST_PATH_IMAGE066
为匹配点邻域内
Figure 77696DEST_PATH_IMAGE067
和
Figure 745438DEST_PATH_IMAGE068
的向量。
Figure 883158DEST_PATH_IMAGE069
具体步骤包括：
1）检验P L 邻域内所有特征点在P R 的邻域内是否有相应的特征点。若满足，此时邻域内共同特征点个数
Figure 735577DEST_PATH_IMAGE070
与邻域内特征点数量t的支撑特征点比率为1，且
Figure 958748DEST_PATH_IMAGE071
，认为该匹配点满足邻域空间支持；
2）计算匹配点与其邻域匹配点间的向量偏移
Figure 416798DEST_PATH_IMAGE072
。设定匹配点向量偏移阈值
Figure 409025DEST_PATH_IMAGE073
（按经验取0.2），当
Figure 432345DEST_PATH_IMAGE074
时，认为该匹配点邻域满足空间约束；
3）当一对匹配点同时满足邻域空间支持和空间约束时，c =0。重复上述步骤，直至检验完所有匹配点，得到优化后的M对匹配点集P LRS ；
Figure 877233DEST_PATH_IMAGE075
4）重新计算优化后匹配点对的距离，并由
Figure 276990DEST_PATH_IMAGE076
计算匹配质量
Figure 389302DEST_PATH_IMAGE077
，据此完成匹配点对的排序，得到匹配点质量优先序列
Figure 458890DEST_PATH_IMAGE078
，m为质量优先排序序号。
其中，
Figure 781287DEST_PATH_IMAGE079
为匹配点间次小距离，
Figure 328943DEST_PATH_IMAGE080
为匹配点间最小距离。
在本实施例中，对于质量排序后的若干匹配点对，采用八点法估计所述左图像和所述右图像之间的基础矩阵F，根据所述基础矩阵F计算出所述左右两个相机的精确位姿关系。步骤S4中采用图像对极几何得到所述左图像和所述右图像的极点和极线。
在本实施例中，参阅图2，步骤S5中图像立体校正过程如下：
1)采用八点法估计图像间基础矩阵F，根据F估算出左右相机位姿关系，并由图像对极几何，求出图像I L 和I R 对应极点
Figure 420395DEST_PATH_IMAGE081
和
Figure 395305DEST_PATH_IMAGE082
与极线
Figure 470577DEST_PATH_IMAGE083
和
Figure 821924DEST_PATH_IMAGE084
；
2）如图2(a)所示为两幅图像极点和极线分布情况，假设右图像I R 的中心像素坐标为
Figure 759094DEST_PATH_IMAGE085
，通过平移变换C t ，将I R 坐标轴的原点平移到图像的中心。如图2(b)所示以原点为轴心，将I R 的极点
Figure 170484DEST_PATH_IMAGE082
通过旋转矩阵C r 旋转到X轴上。此时，外极点坐标
Figure 532719DEST_PATH_IMAGE086
变换为
Figure 609129DEST_PATH_IMAGE087
，S为横坐标。并通过映射矩阵C g ，将
Figure 409594DEST_PATH_IMAGE088
映射到无穷远点
Figure 460727DEST_PATH_IMAGE089
，如图2(c)所示，以保证I R 上的极线与水平方向平行；
3）由
Figure 979433DEST_PATH_IMAGE090
计算出右投影矩阵
Figure 672583DEST_PATH_IMAGE091
，并最小化最小二乘距离
Figure 330485DEST_PATH_IMAGE092
，估算出左投影矩阵H；
4）利用左右投影矩阵，分别重采样对极线，以此完成图像的立体校正，校正后的立体图像如图2(d)所示。
本发明的优点在于提供了一种应用于旋转双目立体视觉系统的图像校正方法，受相机角度变换的影响较小。为开展动态会聚双目视觉测量理论研究、开展大场景高精度工业视觉测量和三维重建奠定基础。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (8)

1.一种应用于旋转双目立体视觉系统的图像校正方法，其特征在于，包括如下步骤：
S1、采用FAST特征检测和BRIEF特征描述方法，提取ORB特征点，并在左右图像中进行初始匹配，建立左右图像特征点的映射关系，得到匹配点对；
S2、对若干匹配点对进行优选和二次匹配优化；
S3、对优选和二次匹配优化后的若干所述匹配点对进行质量排序，选取排序中的若干所述匹配点对，计算出所述左右两个相机的精确位姿关系；
S4、基于所述精确位姿关系，得到左图像和右图像的极点和极线；
S5、根据立体校正准则，选取所述左图像和所述右图像的投影变换矩阵，对所述左图像和所述右图像的极点和极线进行重采样，实现立体图像校正。
2.根据权利要求1所述的应用于旋转双目立体视觉系统的图像校正方法，其特征在于，步骤S1具体包括：采用FAST特征检测和BRIEF特征描述方法，提取ORB特征点，然后检测特征点邻域描述符子，得到ORB特征描述向量，在所述左图像和所述右图像中进行快速初始匹配，建立两者特征点的映射关系，进而获取若干特征点的匹配点对。
3.根据权利要求2所述的应用于旋转双目立体视觉系统的图像校正方法，其特征在于，步骤S1具体包括：
对所述左图像和所述右图像，构造W层图像尺度金字塔，分别在W个尺度上，利用FAST算法检测角点位置，并计算每个角点的响应值，选取固定数量的角点，作为该尺度的特征点；
再以该特征点为圆心，半径为r的圆形邻域内，计算图像质心位置，并将该特征点位置到质心位置的方向作为该特征点的主方向；
将该特征点邻域旋转到主方向，利用BRIEF算法构建特征描述符子，得到ORB特征描述向量；
最后对所述左图像和所述右图像中的所述ORB特征描述向量，进行全局匹配。
4.根据权利要求1所述的应用于旋转双目立体视觉系统的图像校正方法，其特征在于，所述特征点优选具体包括：
经所述初始匹配后，所述左图像
Figure 475177DEST_PATH_IMAGE001
中特征点
Figure 723756DEST_PATH_IMAGE002
和所述右图像
Figure 587807DEST_PATH_IMAGE003
中的特征点
Figure 621753DEST_PATH_IMAGE004
，组成的N对初始匹配点集
Figure 913057DEST_PATH_IMAGE005
，其中，
Figure 648932DEST_PATH_IMAGE006
为特征点的序号，
Figure 316674DEST_PATH_IMAGE007
和
Figure 703662DEST_PATH_IMAGE008
为图像中特征点的坐标，
在所述匹配点集
Figure 165867DEST_PATH_IMAGE009
中，将N对匹配点对间欧氏距离按从小到大排序为
Figure 654617DEST_PATH_IMAGE010
，选取距离中值
Figure 126050DEST_PATH_IMAGE011
作为基准，将匹配点对欧氏距离与基准距离之比定义为该匹配点对的相对距离，得到相对距离集合
Figure 869009DEST_PATH_IMAGE012
，由
Figure 502116DEST_PATH_IMAGE013
，计算上述
Figure 415845DEST_PATH_IMAGE014
所对应的匹配点的连线斜率，得到斜率集合
Figure 674657DEST_PATH_IMAGE015
；
设定匹配点对相对距离误差范围
Figure 521390DEST_PATH_IMAGE016
，遍历所述相对距离集合
Figure 590977DEST_PATH_IMAGE017
，保留
Figure 523161DEST_PATH_IMAGE018
的匹配点；
将匹配点对斜率均值
Figure 87129DEST_PATH_IMAGE019
作为基准，设定斜率误差范围
Figure 788369DEST_PATH_IMAGE020
，遍历所述斜率集合
Figure 28857DEST_PATH_IMAGE021
，保留
Figure 713916DEST_PATH_IMAGE022
的匹配点对；
检验经上述步骤后所述匹配点集
Figure 314531DEST_PATH_IMAGE023
中剩余匹配点对的数量，如果匹配点对数量少，可判断为阈值设置过小，这时，分别按0.02和0.01的步长来增大
Figure 135856DEST_PATH_IMAGE024
和
Figure 547246DEST_PATH_IMAGE025
，重新对所述匹配点集
Figure 454022DEST_PATH_IMAGE026
按上述步骤进行特征点优选；
重复上述步骤，在全局层优选出T对匹配点集
Figure 563055DEST_PATH_IMAGE027
，其中，
Figure 238887DEST_PATH_IMAGE028
。
5.根据权利要求4所述的应用于旋转双目立体视觉系统的图像校正方法，其特征在于，所述二次匹配优化具体包括：
将
Figure 821178DEST_PATH_IMAGE029
和
Figure 464518DEST_PATH_IMAGE030
的邻域分别表示为
Figure 423246DEST_PATH_IMAGE031
和
Figure 219164DEST_PATH_IMAGE032
，其中，s为邻域特征点的序号，
Figure 706777DEST_PATH_IMAGE033
和
Figure 542140DEST_PATH_IMAGE034
中包含t个
Figure 38981DEST_PATH_IMAGE029
和
Figure 689405DEST_PATH_IMAGE030
的邻域点；
定义了特征点邻域空间一致性校检值c，
Figure 862766DEST_PATH_IMAGE035
Figure 231431DEST_PATH_IMAGE036
Figure 266383DEST_PATH_IMAGE037
其中，
Figure 36893DEST_PATH_IMAGE038
为邻域内的特征点，使用
Figure 882620DEST_PATH_IMAGE039
来检验
Figure 473001DEST_PATH_IMAGE040
和
Figure 514907DEST_PATH_IMAGE041
是否满足邻域空间支持，
Figure 389191DEST_PATH_IMAGE042
向量用以检验
Figure 655087DEST_PATH_IMAGE043
和
Figure 732764DEST_PATH_IMAGE044
与邻域内匹配点向量偏移值，来衡量
Figure 109519DEST_PATH_IMAGE043
和
Figure 617072DEST_PATH_IMAGE044
的邻域是否具有空间约束，其中，v为
Figure 53870DEST_PATH_IMAGE043
和
Figure 618843DEST_PATH_IMAGE044
的向量，
Figure 799289DEST_PATH_IMAGE045
为匹配点邻域内
Figure 585848DEST_PATH_IMAGE046
和
Figure 193547DEST_PATH_IMAGE047
的向量；
检验
Figure 511396DEST_PATH_IMAGE043
邻域内所有特征点在
Figure 246265DEST_PATH_IMAGE044
的邻域内是否有相应的特征点，若满足，此时邻域内共同特征点个数a与邻域内特征点数量t的支撑特征点比率为1，且
Figure 434801DEST_PATH_IMAGE048
，认为该匹配点满足邻域空间支持；
计算匹配点与其邻域匹配点间的向量偏移
Figure 213401DEST_PATH_IMAGE049
，设定匹配点向量偏移阈值
Figure 205497DEST_PATH_IMAGE050
，当
Figure 727745DEST_PATH_IMAGE051
时，认为该匹配点邻域满足空间约束；
当一对匹配点同时满足邻域空间支持和空间约束时，
Figure 36366DEST_PATH_IMAGE052
，重复上述步骤，直至检验完所有匹配点，得到优化后的M对匹配点集
Figure 985868DEST_PATH_IMAGE053
，其中，
Figure 29041DEST_PATH_IMAGE054
。
6.根据权利要求5所述的应用于旋转双目立体视觉系统的图像校正方法，其特征在于，所述匹配点对进行质量排序具体包括：
重新计算优化后匹配点对的距离，并由
Figure 89401DEST_PATH_IMAGE055
计算匹配质量
Figure 252529DEST_PATH_IMAGE056
，据此完成匹配点对的排序，得到匹配点对质量优先序列
Figure 638511DEST_PATH_IMAGE057
，m为质量优先排序序号，
其中，
Figure 136358DEST_PATH_IMAGE058
为匹配点对间次小距离，
Figure 408DEST_PATH_IMAGE059
为匹配点对间最小距离。
7.根据权利要求6所述的应用于旋转双目立体视觉系统的图像校正方法，其特征在于，步骤S3具体包括：
对于质量排序后的若干匹配点对，采用八点法估计所述左图像和所述右图像之间的基础矩阵F，根据所述基础矩阵F计算出所述左右两个相机的精确位姿关系。
8.根据权利要求7所述的应用于旋转双目立体视觉系统的图像校正方法，其特征在于，步骤S4中采用图像对极几何得到所述左图像和所述右图像的极点和极线。
CN202211050257.9A 2022-08-31 2022-08-31 一种应用于旋转双目立体视觉系统的图像校正方法 Pending CN115115861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211050257.9A CN115115861A (zh) 2022-08-31 2022-08-31 一种应用于旋转双目立体视觉系统的图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211050257.9A CN115115861A (zh) 2022-08-31 2022-08-31 一种应用于旋转双目立体视觉系统的图像校正方法

Publications (1)

Publication Number Publication Date
CN115115861A true CN115115861A (zh) 2022-09-27

Family

ID=83336134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211050257.9A Pending CN115115861A (zh) 2022-08-31 2022-08-31 一种应用于旋转双目立体视觉系统的图像校正方法

Country Status (1)

Country Link
CN (1) CN115115861A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740374A (zh) * 2022-10-31 2023-09-12 荣耀终端有限公司 重复纹理识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
CN105354856A (zh) * 2015-12-04 2016-02-24 北京联合大学 一种基于mser与orb相结合的人体匹配与定位方法及系统
US20180247429A1 (en) * 2012-09-17 2018-08-30 Nec Laboratories America, Inc. Real-time monocular structure from motion
CN108596867A (zh) * 2018-05-09 2018-09-28 五邑大学 一种基于orb算法的图片校正方法及系统
CN109086795A (zh) * 2018-06-27 2018-12-25 上海理工大学 一种图像误匹配精确剔除方法
CN110189382A (zh) * 2019-05-31 2019-08-30 东北大学 一种基于无共视区域的多双目相机运动标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
US20180247429A1 (en) * 2012-09-17 2018-08-30 Nec Laboratories America, Inc. Real-time monocular structure from motion
CN105354856A (zh) * 2015-12-04 2016-02-24 北京联合大学 一种基于mser与orb相结合的人体匹配与定位方法及系统
CN108596867A (zh) * 2018-05-09 2018-09-28 五邑大学 一种基于orb算法的图片校正方法及系统
CN109086795A (zh) * 2018-06-27 2018-12-25 上海理工大学 一种图像误匹配精确剔除方法
CN110189382A (zh) * 2019-05-31 2019-08-30 东北大学 一种基于无共视区域的多双目相机运动标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAYI MA ETAL.: ""Locality Preserving Matching"", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
郑真真 等: ""一种采用最小平方中值的改进极线校正方法"", 《遥感信息》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740374A (zh) * 2022-10-31 2023-09-12 荣耀终端有限公司 重复纹理识别方法及装置

Similar Documents

Publication Publication Date Title
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
WO2018209968A1 (zh) 摄像机标定方法及系统
US8593524B2 (en) Calibrating a camera system
CN108876749A (zh) 一种鲁棒的镜头畸变校正方法
CN106643669B (zh) 一种多镜头多探测器航空相机单中心投影转换方法
US8494307B2 (en) Method and apparatus for determining misalignment
CN105118086B (zh) 3d‑aoi设备中的3d点云数据配准方法及系统
CN107564091A (zh) 一种基于快速对应点搜索的三维重建方法及装置
CN110349086B (zh) 一种非同心成像条件的图像拼接方法
CN110044301B (zh) 基于单双目混合测量的三维点云计算方法
CN113920205B (zh) 一种非同轴相机的标定方法
EP2297699A1 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
CN108269234B (zh) 一种全景相机镜头姿态估计方法及全景相机
CN108269289A (zh) 一种相机参数标定的两步优化方法
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN110738608B (zh) 一种平面图像校正方法及系统
CN115115861A (zh) 一种应用于旋转双目立体视觉系统的图像校正方法
CN114549746A (zh) 一种高精度真彩三维重建方法
CN116957987A (zh) 一种多目极线校正方法、装置、计算机设备及存储介质
CN117333367A (zh) 基于图像局部特征的图像拼接方法、系统、介质及装置
CN115719320A (zh) 基于遥感影像的倾斜校正稠密匹配方法
CN106875374B (zh) 一种基于线特征的弱连接影像拼接方法
CN112819900B (zh) 一种智能立体摄影内方位、相对定向和畸变系数标定方法
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220927

RJ01 Rejection of invention patent application after publication