CN111696161B

CN111696161B - 一种双站相机的外部参数的标定方法及系统

Info

Publication number: CN111696161B
Application number: CN202010504026.5A
Authority: CN
Inventors: 张东升; 苏志龙; 王宗盛; 邹宇
Original assignee: WUHAN SINOROCK TECHNOLOGY CO LTD; University of Shanghai for Science and Technology
Current assignee: WUHAN SINOROCK TECHNOLOGY CO LTD; University of Shanghai for Science and Technology
Priority date: 2020-06-05
Filing date: 2020-06-05
Publication date: 2023-04-28
Anticipated expiration: 2040-06-05
Also published as: CN111696161A

Abstract

本发明公开了一种双站相机的外部参数的标定方法及系统，所述标定方法预先通过提取画面中的已有的特征点计算一个原始基础矩阵，针对原始画面中特征稀疏或缺失的区域添加辅助标定物，利用原始基础矩阵通过极线约束可以快速匹配左右站相机画面中的辅助标定物，提高搜索效率，加速标定过程，而且此过程对标定物的要求较低，只需具备明显特征的即可，对其尺寸形状均无特别要求。本发明的标定方法实现了在降低了相机标定的难度基础上，同时提高相机标定的可靠性。

Description

一种双站相机的外部参数的标定方法及系统

技术领域

本发明涉及双站相机参数标定领域，特别涉及一种双站相机的外部参数的标定方法及系统。

背景技术

当前条件下借助数字图像相关技术(Digital Image Correlation,DIC)进行的光学测量的系统中，对相机的内外参数标定的方法主要分为借助标定物的传统方法和匹配图像现有特征点的自标定方法。但这两种方法均存在其缺陷，传统的标定方法在标定的过程中需要已知相对位置的点云，且对标定物的精度有较高要求。除去对标定物的质量要求较高外，在一些复杂场景下标定物的布置也不具备可行性。相对于传统标定方法，自标定方法具备简单方便实现快速的优势，但其标定精度高度依赖于当前视场画面中是否具备高质量特征，对于不具备明显特征的视场画面，其标定精度会出现较大程度下降。

如何实现在降低标定难度的同时提高标定的质量，成为一个亟待解决的技术问题。

发明内容

本发明的目的是提供一种双站相机的外部参数的标定方法及系统，以在降低标定的难度同时提高标定的质量。

为实现上述目的，本发明提供了如下方案：

一种双站相机的外部参数的标定方法，所述标定方法包括如下步骤：

分别通过左站相机和右站相机同步拍摄目标场景，得到第一左图像和第一右图像；

采用提取第一左图像和第一右图像中特征点的方式，获得目标场景的匹配特征点，建立匹配特征点集合；

利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵；

根据所述基础矩阵和双站相机的内部参数，计算双站相机的外部参数；

利用所述外部参数计算匹配特征点集合中的匹配特征点的重投影误差；

判断所述重投影误差是否小于重投影误差阈值，得到判断结果；

若所述判断结果表示否，则在目标场景的特征点稀疏区域增加辅助标定物，分别通过左站相机和右站相机拍摄带有辅助标定物的目标场景，得到第二左图像和第二右图像；

利用所述基础矩阵，采用极线约束的方式对第二左图像和第二右图像中的辅助标定物的特征点进行匹配，获得辅助标定物的匹配特征点；并将辅助标定物的匹配特征点添加至所述匹配特征点集合中，返回步骤“利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵”；

若所述判断结果表示是，则输出双站相机的外部参数。

可选的，所述采用提取第一左图像和第一右图像中特征点的方式，获得目标场景的匹配特征点，建立匹配特征点集合，具体包括：

采用特征提取算法分别提取所述第一左图像和所述第一右图像中的特征点，得到左侧特征点集合和右侧特征点集合；

采用特征点匹配算法对所述左侧特征点集合中的左侧特征点与右侧特征点集合中的右侧特征点进行匹配，获得匹配特征点集合。

采用GMS算法或RANSAC算法对匹配特征点集合中的匹配特征点进行筛选，得到筛选后的匹配特征点集合

对筛选后的匹配特征点集合中的匹配特征点进行稀疏化处理，得到稀疏化处理后的匹配特征点集合。

可选的，特征提取算法为SIFT算法或SURF算法。

可选的，所述特征点匹配算法为暴力匹配算法或最邻近近似匹配算法。

一种双站相机的外部参数的标定系统，所述标定系统包括：

拍摄模块，用于分别通过左站相机和右站相机拍摄目标场景，得到第一左图像和第一右图像；

第一特征点提取与匹配模块，用于采用提取第一左图像和第一右图像中特征点的方式，获得目标场景的匹配特征点，建立匹配特征点集合；

双站相机基础矩阵计算模块，用于利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵；

外部参数计算模块，用于根据所述基础矩阵和双站相机的内部参数，计算双站相机的外部参数；

重投影误差计算模块，用于利用所述外部参数计算匹配特征点集合中的匹配特征点的重投影误差；

判断模块，用于判断所述重投影误差是否小于重投影误差阈值，得到判断结果；

辅助标定物增加模块，用于若所述判断结果表示否，则在目标场景的特征点稀疏区域增加辅助标定物，分别通过左站相机和右站相机拍摄带有辅助标定物的目标场景，得到第二左图像和第二右图像；

第二特征点提取与匹配模块，用于利用所述基础矩阵，采用极线约束的方式对第二左图像和第二右图像中的辅助标定物的特征点进行匹配，获得辅助标定物的匹配特征点；并将辅助标定物的匹配特征点添加至所述匹配特征点集合中，返回步骤“利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵”；

双站相机的外部参数输出模块，用于若所述判断结果表示是，则输出双站相机的外部参数。

可选的，所述第一特征点提取与匹配模块，具体包括：

特征点提取子模块，用于采用特征提取算法分别提取所述第一左图像和所述第一右图像中的特征点，得到左侧特征点集合和右侧特征点集合；

特征点匹配子模块，用于采用特征点匹配算法对所述左侧特征点集合中的左侧特征点与右侧特征点集合中的右侧特征点进行匹配，获得匹配特征点集合；

匹配特征点筛选子模块，用于采用GMS算法或RANSAC算法对匹配特征点集合中的匹配特征点进行筛选，得到筛选后的匹配特征点集合；

匹配特征点稀疏化子模块，用于对筛选后的匹配特征点集合中的匹配特征点进行稀疏化处理，得到稀疏化处理后的匹配特征点集合。

可选的，所述特征提取算法为SIFT算法或SURF算法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种双站相机的外部参数的标定方法及系统，所述标定方法预先通过提取画面中的已有的特征点计算一个原始基础矩阵，针对原始画面中特征稀疏或缺失的区域添加辅助标定物，利用原始基础矩阵通过极线约束可以快速匹配左右站相机画面中的辅助标定物，提高搜索效率，加速标定过程，而且此过程对标定物的要求较低，只需具备明显特征的即可，对其尺寸形状均无特别要求。本发明的双站相机的外部参数的标定方法实现了在降低标定的难度同时提高标定的质量。而且本发明还通过逐渐增加辅助标定物特征点并对原始基础矩阵进行修正，每修正一次基础矩阵对匹配特征点计算一次重投影误差。借助重投影误差在保证精度要求的情况下尽可能降低所需的辅助标定物特征点数量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种双站相机的外部参数的标定方法的流程图；

图2为本发明提供的一种双站相机的外部参数的标定方法的另一种实施方式的流程图；

图3为本发明提供的相机架设示意图；

图4为本发明提供的特征点提取图像示意图；

图5为本发明提供的稀疏化处理后匹配特征点筛选结果示意图；

图6为本发明提供的匹配特征点缺失或稀疏区域示意图；

图7为本发明提供的采用极线约束的方式对第二左图像和第二右图像中的标定物特征点进行匹配的原理示意图；

图8为本发明具体实施例提供的辅助标定物补充前的场景示意图；

图9为本发明具体实施例提供的辅助标定物补充后的场景示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。

具体的，如图1所示，一种双站相机的外部参数的标定方法，本发明的外部参数的标定方法是在双站相机的内部参数已知的条件下实施的，所述标定方法包括如下步骤：

步骤101，分别通过左站相机和右站相机拍摄目标场景，得到第一左图像和第一右图像。

按照图3所示的相机架设示意图对左站相机和右站相机进行架设，然后获取架设完毕后的左站相机和右站相机中图像画面。

步骤102，采用提取第一左图像和第一右图像中特征点的方式，获得目标场景的匹配特征点，建立匹配特征点集合。

步骤102所述采用提取第一左图像和第一右图像中特征点的方式，获得目标场景的匹配特征点，建立匹配特征点集合，具体包括：

采用特征提取算法分别提取所述第一左图像和所述第一右图像中的特征点，得到左侧特征点集合和右侧特征点集合。所述特征提取算法为但不限于SIFT(ScaleInvariantFeature Transform，尺度不变特征变换匹配)算法或SURF(SpeededUpRobustFeatures，加速稳健特征)算法。

采用特征提取算法分别提取所述第一左图像和所述第一右图像中的特征点的过程为：输入图像文件，建立图像金字塔模型，构建尺度空间。不同算法对于图像金子塔的建立略有不同，可以根据具体要求及计算环境选取不同算法，当环境特征不够明显，且设备计算能力较高，对计算时间要求不高，可以采用SIFT等具备高维度特征描述的算法；对于环境特征明显，对计算速度要求较高，可以采用SURF等快速特征提取算法。通过图像金字塔提取图像特征点，并通过设置Hessian矩阵行列式阈值对图像特征点进行强度评估筛选，对于特征明显图像可以适当提高Hessian矩阵行列式阈值以提高特征点质量。通过Hessian矩阵行列式获得特征点信息后，为了便于后续左右图像的特征点匹配，需要计算特征点的描述子，通过针对不同的尺度空间的特征点计算不同半径的Harr小波响应值获取特征点主方向以及其特征描述子，如图4所示，圆环大小即为尺度大小，圆环中直线的方向为特征主方向。

采用特征点匹配算法对所述左侧特征点集合中的左侧特征点与右侧特征点集合中的右侧特征点进行匹配，获得匹配特征点集合。所述特征点匹配算法为但不限于暴力匹配算法或最邻近近似匹配算法。通过特征点匹配算法(例如暴力匹配、最邻近近似匹配等)算法对左侧特征点集合和右侧特征点集合中的特征点进行匹配，基于欧氏距离计算于最邻近/次邻近的距离r(n)。若r(n)小于设定的阈值，则认为两特征点为匹配点。

为了去除匹配错误的特征点对标定精度造成影响，本发明还通过匹配特征点筛选算法(例如GMS，基于网格的运动统计(Grid-based Motion Statistics)、RANSAC，随机一致性(RANdom SAmple Consensus)等)对已经匹配到的特征点对进行择优筛选。

具体步骤为：

采用GMS算法或RANSAC算法对匹配特征点集合中的匹配特征点进行筛选，得到筛选后的匹配特征点集合。

具体的，筛选算法的选择与搭配需要根据不同实际的实际情况进行选择。如果本发明获得的匹配特征点对在所有区域正确匹配均占据大多数，则可以采用GMS算法对特征点对进行过滤，排除错误匹配后在进行RANSAC筛选；若匹配情况区域分布不稳定，部分区域误匹配的比利较大，则应放弃使用GMS，直接进行RANSAC筛选。本发明提供的筛选结果如图5所示。

例如，GMS算法对已有的匹配点对有较高的要求，由于其原理为：

通过对左右两幅图像{A,B}检测到的特征匹配点集P＝{p₁,p₂,...,p_i,...,p_S}中每一对点对的邻域支持向量进行分析，将P分为真假两组匹配集。其过程包括：

在目标特征点周围设定评分邻域{a,b}其中

是邻域{a,b}之间匹配的子集。目标特征点的支持匹配可以看作：

S_i＝|P_i|-1

当邻域{a,b}足够小时，根据连续运动假设，相邻的像素和特征可以看作一起运动，所以真实匹配对产生的小邻域也会对应到另一个邻域对应的区域，而错误匹配则不会。由于运动平滑的连续性，可以将一个较大的区域划分为K个相邻区域，则：

其中{a^k,b^k}是区域对，

是该区域对上的匹配子集。根据匹配子集数量可以判定该匹配点的是否正确。

因此需要使其满足每一个小区域中只存在较少的错误匹配点对时才能取得较好成果。

而RANSAC算法则是对错误匹配占全部匹配数量的比例由一定要求，由于其原理是通过不断选择任意八组匹配点作为求取基础矩阵的原始数据，进行基础矩阵求解，再通过对所有匹配特征点进行重投影误差计算，并据此对当前模型进行评分，最终选取符合评分要求的模型可以认为是当前的基础矩阵。因此当结果过于离散时其无法取得较好结果。

在稀疏化处理之后为了使得基础矩阵对新加入特征点对具备较高的敏感性，需要对筛选后的匹配特征点集合中的匹配特征点进行稀疏化处理，得到稀疏化处理后的匹配特征点集合，具体的，根据提取到的匹配特征点的疏密程度设定合理的稀疏半径r对已提取到的特征点对进行稀疏化处理。稀疏化处理过程：根据预设好的稀疏半径r，对每一个特征点对周围的半径r范围内的所有特征点对的匹配度进行比较并保留匹配度最高的点对。

步骤103，利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵。

计算双站相机基础矩阵过程如下：

根据极线约束，基础矩阵可以表述为：

展开整理可得：

[x'x+x'y+x'+y'x+y'y+y'+x+y+1]f＝0

其中：

[x y 1]为右站相机画面像素坐标；

[x' y' 1]为左站相机画面像素坐标；

为基础矩阵；

f为基础矩阵以列向量形式排列；

由上可得，八点联立即可求解基础矩阵。

步骤104，根据所述基础矩阵和双站相机的内部参数，计算双站相机的外部参数；

步骤105，利用所述外部参数计算匹配特征点集合中的匹配特征点的重投影误差；

步骤106，判断所述重投影误差是否小于重投影误差阈值，得到判断结果；

步骤107，若所述判断结果表示否，则在目标场景的特征点稀疏区域增加辅助标定物，分别通过左站相机和右站相机拍摄带有辅助标定物的目标场景，得到第二左图像和第二右图像。

由于自标定过程中，部分区域会存在特征不明显的情况，此种情况下自标定特征点提取算法提取到的特征点求得的基础矩阵将无法满足测量精度要求，会产生较大误差。在这种情况下需要对特征点缺乏区域进行特征点补充，本发明选择辅助标定物作为移动特征点，通过将辅助标定物放至特征缺失、稀疏区域，捕捉辅助标定物图像。其中，特征缺失、稀疏区域如图6所示。如果目标场景内特征分布已经发生明显变化则无需添加辅助标定物，直接进行同步采集图像即可作为补充图像对，如图2所示。

步骤108，利用所述基础矩阵，采用极线约束的方式对第二左图像和第二右图像中的辅助标定物的特征点进行匹配，获得辅助标定物的匹配特征点；并将辅助标定物的匹配特征点添加至所述匹配特征点集合中，返回步骤“利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵”；

如图7所示，本发明基于SURF特征点所计算出的原始基础矩阵，以极线约束的方法对左右站相机画面中的辅助标定物进行匹配。

为了尽可能降低所需的辅助标定物特征点数量，降低标定难度，本发明捕捉到辅助标定物匹配点之后，将SURF特征点与辅助标定物特征点合并计算基础矩阵，并重新计算所有匹配点的重投影误差来评价标定质量，采用逐步增设辅助标定物的方式以尽可能降低所需的辅助标定物特征点数量。

计算重投影误差的过程为：利用所有匹配特征点求取旋转矩阵R和平移向量t，进一步即可求得左右站相机投影矩阵P_l,P_r。通过投影矩阵求得空间点坐标，再将空间点重投影到左或右站相机画面中获得理论投影点(x_f y_f),计算理论投影点与实际投影点之间的距离作为重投影误差。

计算外部参数过程为：通过内部参数矩阵求解本质矩阵E，

本质矩阵E：

F＝K'^TEK

其中K为已知的内部参数矩阵；

旋转矩阵R和平移向量t：

E＝[t]_×R＝SR

通过对本质矩阵E进行奇异值分解，获得旋转矩阵R和平移向量t的方向，t的距离即是两站相机的光心距离。

重投影误差计算过程为：

投影矩阵：

P＝K[R|t]

其中：K为内参矩阵。

计算重投影误差的过程为：利用求得的旋转矩阵R和平移向量t，进一步即可求得左右站相机投影矩阵P_l,P_r。通过投影矩阵求得空间点坐标，再将空间点重投影到左或右站相机画面中获得理论投影点(x_f y_f)，对所有特征点进行相同计算，获得最终的累计值。

重投影误差：

步骤109，若所述判断结果表示是，则输出双站相机的外部参数。

本发明还提供一种双站相机的外部参数的标定系统，所述标定系统包括：

拍摄模块，用于分别通过左站相机和右站相机拍摄目标场景，得到第一左图像和第一右图像。

第一特征点提取与匹配模块，用于采用提取第一左图像和第一右图像中特征点的方式，获得目标场景的匹配特征点，建立匹配特征点集合。

所述第一特征点提取与匹配模块，具体包括：特征点提取子模块，用于采用特征提取算法分别提取所述第一左图像和所述第一右图像中的特征点，得到左侧特征点集合和右侧特征点集合；特征点匹配子模块，用于采用特征点匹配算法对所述左侧特征点集合中的左侧特征点与右侧特征点集合中的右侧特征点进行匹配，获得匹配特征点集合；匹配特征点筛选子模块，用于采用GMS算法和RANSAC算法对匹配特征点集合中的匹配特征点进行筛选或采用RANSAC算法对稀疏化处理后的匹配特征点集合中的匹配特征点进行筛选，得到筛选后的匹配特征点集合；匹配特征点稀疏化子模块，用于对筛选后的匹配特征点集合中的匹配特征点进行稀疏化处理，得到稀疏化处理后的匹配特征点集合。其中，所述特征提取算法为SIFT算法或SURF算法。所述特征点匹配算法为暴力匹配算法或最邻近近似匹配算法。

双站相机基础矩阵计算模块，用于利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵。

外部参数计算模块，用于根据所述基础矩阵和双站相机的内部参数，计算双站相机的外部参数。

重投影误差计算模块，用于利用所述外部参数计算匹配特征点集合中的匹配特征点的重投影误差。

判断模块，用于判断所述重投影误差是否小于重投影误差阈值，得到判断结果。

辅助标定物增加模块，用于若所述判断结果表示否，则在目标场景的特征点稀疏区域增加辅助标定物，分别通过左站相机和右站相机拍摄带有辅助标定物的目标场景，得到第二左图像和第二右图像。

第二特征点提取与匹配模块，用于利用所述基础矩阵，采用极线约束的方式对第二左图像和第二右图像中的辅助标定物的特征点进行匹配，获得辅助标定物的匹配特征点；并将辅助标定物的匹配特征点添加至所述匹配特征点集合中，返回步骤“利用匹配特征点集合，采用极线约束的方法计算双站相机的基础矩阵”。

本发明公开了一种双站相机的外部参数的标定方法及系统，预先通过提取画面中的已有的特征点计算一个原始基础矩阵，针对原始画面中特征稀疏或缺失的区域添加辅助标定物，利用原始基础矩阵通过极线约束可以快速匹配左右站相机画面中的辅助标定物，提高搜索效率，加速标定过程，而且此过程对标定物的要求较低，只需具备明显特征的即可，对其尺寸形状均无特别要求。本发明的双站相机的外部参数的标定方法实现了在降低标定的难度同时提高标定的质量。

而且本发明还通过逐渐增加辅助标定物特征点并对原始基础矩阵进行修正，每修正一次基础矩阵对匹配特征点计算一次重投影误差。借助重投影误差在保证精度要求的情况下尽可能降低所需的辅助标定物特征点数量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims

1.一种双站相机的外部参数的标定方法，其特征在于，所述标定方法包括如下步骤：

若所述判断结果表示是，则输出双站相机的外部参数。

2.根据权利要求1所述的双站相机的外部参数的标定方法，其特征在于，所述采用提取第一左图像和第一右图像中特征点的方式，获得目标场景的匹配特征点，建立匹配特征点集合，具体包括：

采用特征点匹配算法对所述左侧特征点集合中的左侧特征点与右侧特征点集合中的右侧特征点进行匹配，获得匹配特征点集合；

3.根据权利要求2所述的双站相机的外部参数的标定方法，其特征在于，特征提取算法为SIFT算法或SURF算法。

4.根据权利要求2所述的双站相机的外部参数的标定方法，其特征在于，所述特征点匹配算法为暴力匹配算法或最邻近近似匹配算法。

5.一种双站相机的外部参数的标定系统，其特征在于，所述标定系统包括：

6.根据权利要求5所述的双站相机的外部参数的标定系统，其特征在于，所述第一特征点提取与匹配模块，具体包括：

7.根据权利要求6所述的双站相机的外部参数的标定系统，其特征在于，所述特征提取算法为SIFT算法或SURF算法。

8.根据权利要求6所述的双站相机的外部参数的标定系统，其特征在于，所述特征点匹配算法为暴力匹配算法或最邻近近似匹配算法。