CN111768448A

CN111768448A - 一种基于多相机检测的空间坐标系标定方法

Info

Publication number: CN111768448A
Application number: CN201910254101.4A
Authority: CN
Inventors: 钱超超; 董霄剑; 张瑞凯
Original assignee: Beijing Vizum Intelligent Technology Co ltd
Current assignee: Beijing Vizum Intelligent Technology Co ltd
Priority date: 2019-03-30
Filing date: 2019-03-30
Publication date: 2020-10-13

Abstract

一种基于多相机检测的空间坐标系标定方法，包括以下步骤：安装主双目相机模组；在检测区域放置特制标定靶标物，根据双目相机的标称参数确定靶标物的尺寸；调整标定靶标物姿态使特征点能出现双目相机模组的观察区；进行特征点信息进行提取；获得各副双目相机模组E_F对主摄像模组E_Z的初始位姿信息；建立误差代价表达式：对所述误差代价表达式进行迭代优化，计算出各坐标系之间的转换关系，得到标定结果；在各双目相机模组存入其所对应的坐标转换计算结果。本发明通过简单的标定计算方法，将双目系统对空间点的坐标的检测完成坐标系变换，使得获取到的三维位姿信息更加准确，且易于操作，同时也增强了适应性以及工作效率。

Description

一种基于多相机检测的空间坐标系标定方法

技术领域

本发明涉及立体视觉技术领域，尤其涉及一种基于多相机检测的空间坐标系标定方法。

背景技术

双目立体视觉是机器视觉的一个重要分支，是机器视觉研究的核心主题之一。双目视觉即由不同位置的两台数码相机经不同角度拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。这种测量方法需要确定空间同一点在两幅或者多幅不同角度拍摄的图像上的相应位置。

这些点的三维坐标值是相对于双目系统而言的，在某些应用中并不会带来任何问题，例如当测量空间中某两点的距离时。然而，在多个双目相机同时拍摄场景图像，多个坐标系数值需要统一计算，即当需要确定空间中某点相对于由空间中另一点为原点而建立的坐标系的坐标值时，许多数据往往很难精确测量，比如双目系统坐标系相对于在所需坐标系中的原点坐标以及各坐标轴的朝向等数据，就需要利用非常繁琐的坐标系转换——将双目系统坐标系转换到所需坐标系，这些计算方式往往很难准确测量，严重影响物体检测的结果。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于多相机检测的空间坐标系标定方法，在多个双目相机与线激光结合的模组协同工作时，可以快速准确得完成各双目相机的空间坐标转换，使得获取到的三维位姿信息更加准确，便于数据融合与重建，同时还可以应用于立体视觉检测的三维坐标标定。

本发明的目的及解决其技术问题是采用以下技术方案来实现的：

一种基于多相机检测的空间坐标系标定方法，包括以下步骤：

(1)安装主双目相机模组E_Z(包含线激光发射器)及(M-1)对副双目相机模组E_F，使各模组的激光能够扫过被测物体上表面，双目相机模组能够摄取到激光线，双目相机和线激光发射器的位置保持相对固定；

(2)在检测区域放置特制标定靶标物，根据双目相机的标称参数确定靶标物的尺寸；

(3)调整标定靶标物姿态使靶标上的特征点能出现在至少M(M>1)对双目相机模组(其中需包含主摄像模组)的观察区；

(4)对M对双目相机模组的特征点信息进行提取，定义各双目相机模组坐标系下的三维点信息p，即

{p1,p2,p3,……,pN} (1)。

(5)重复步骤(2)、(3)，获得共计T次三维点信息；

(6)取第一次提取到所述主双目相机模组E_Z和所述副双目相机模组E_F的三维点信息，根据解关系式

{R|t}*P1＝PN (2)，

获得各所述副双目相机模组E_F对主摄像模组E_Z的初始位姿信息；

(7)对于每个初始位姿，取该双目相机模组和主双目相机模组在T次拍摄过程中所有共同存在的三维信息，建立误差代价表达式：

Σ({R|t}*A_EF-A_EZ) (3)，

其中，A_EF为副双目相机模组采集到的三维信息，A_EZ为主双目相机模组采集到的三维信息；

对所述误差代价表达式进行迭代优化，计算出各坐标系之间的转换关系，得到标定结果；

(8)在各双目相机模组存入其所对应的坐标转换计算结果。

优选的，在所述步骤(1)、(2)、(3)中，所述M、T为常数。

优选的，在所述步骤(3)中，各双目相机模组观察到的特征点需大于K个，K设置为8。

优选的，在所述步骤(3)中，未能在观察区检测到标定靶标特征点或检测点数不足的模组信息p记为0。

优选的，在所述步骤(6)中，第一次未能在观察区检测到靶标特征点或检测点数不足的，取第二次检测的信息，以此类推，取第n次检测到的三维信息直至提取到所述靶标特征点。

优选的，在所述步骤(8)中，所述迭代优化的方法为LM算法，即列文伯格优化方法。

优选的，在所述步骤(4)中，接收双目相机模组采集的图像时配置有图像处理系统，通过所述图像处理系统计算出标定靶标上的三维坐标和靶标特征点进行计算，实现标定。

优选的，实际检测时，各双目相机模组根据检测结果及存储的信息进行数据的融合，进行空间点的重建。

优选的，进行三维信息数据融合时计算式为：

P＝A_EZ+Σ({R|t}*A_EF) (4)。

本发明通过简单的标定计算方法，将双目系统对空间点的坐标的检测由相对于双目相机模组坐标系变换到相对于目标坐标系，使得获取到的三维位姿信息更加准确，且易于操作，也增强了适应性以及工作效率，便于数据融合与重建，同时还可以应用于立体视觉检测的三维坐标标定。

具体实施方式

下面对本发明的技术方案做进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，尽管这里可以使用术语第一、第二、第三等描述各个元件、组件和/或部分，但这些元件、组件和/或部分不受这些术语限制。

本发明的一种基于多相机检测的空间坐标系标定方法，包括以下步骤：

{p1,p2,p3,……,pN} (1)。

(5)重复步骤(2)、(3)，获得共计T次三维点信息；

{R|t}*P1＝PN (2)，

Σ({R|t}*A_EF-A_EZ) (3),

(8)在各双目相机模组存入其所对应的坐标转换计算结果。

本实施例中，步骤(1)的主双目相机模组和副双目相机模组的模组总数量不少于两组。

本实施例中，步骤(1)的具体步骤包括：

以待测物体为基准，在上方架设双目相机和线激光发射器模组，使各双目相机模组的激光扫过待测物体表面，对双目相机的左摄像头和右摄像头进行校正后，根据线激光匹配点对得到左右视图视差，并根据所述左右视图视差计算得到待测物体的三维信息，检测时，双目相机和线激光发射器的位置可以自由变化但应保持相对固定。

对校正后的左图像和校正后的右图像进行预处理，分别转换为左灰度图和右灰度图；

分别对左灰度图和所述右灰度图位于ROI内的部分进行水平扫描，计算每个扫描点的窗口能量：

其中，(x,y)表示扫描点坐标，也是计算窗口的中心坐标；n表示从所述左灰度图所选窗口中心到边缘的距离，I(x+i，y+j)表示图像坐标(x+i，y+j)处的图像灰度值；

每个扫描行E(x，y)的极大值处为线激光的成像处，根据线激光条数U，得到U个极值，按x坐标从左到右进行排序，记为(x，y)_k，k＝1，2，…U；

对所述左灰度图和所述右灰度图的坐标y相同的水平扫描行构成的水平极线进行扫描得到所述左灰度图和所述右灰度图的线激光成像点

(x_L，y)_k和(x_R，y)_k，L和R分别表示左灰度图和右灰度图，左右序列中k相同的点构成匹配点对。

根据所述线激光匹配点对得到左右视图视差，并根据所述左右视图视差计算得到测量对象的三维信息包括：

第y行水平极线上线激光成像的视差通过如下公式计算：

d_yk＝x_L-x_R，k＝1，2，...M (6)，

其中，d_yk为纵坐标为y的极线第k条激光成像点的视差；

根据双目相机的内参矩阵D和外参矩阵[R T]和如下公式计算得到测量对象各点在空间中的三维坐标(Z，X，Y)：

其中，f是外参矩阵[R T]中双目相机的焦距，B是内参矩阵D中所述左摄像头和所述右摄像头的间距，由标定信息给出；X_L-X_R为空间一点在所述左灰度图和所述右灰度图之间的视差，由匹配信息给出；(x，y)为测量目标上的物体点在成像平面上的坐标。

本实施例中，在所述步骤(1)、(2)、(3)中，所述M、T为常数。

本实施例中，在所述步骤(3)中，固定标定靶标物在待测区域中，调整标定靶标物姿态使靶标上的特征点能出现在至少1对双目相机模组(其中需包含主摄像模组)的观察区，各双目相机模组观察到的特征点需设定大于8个，以利于各个特征点相对于空间坐标系的坐标测量。

本实施例中，在所述步骤(3)中，当在观察区检测标定靶标物时，未能在观察区检测到标特征点或检测点数不足的模组信息p记为0。

本实施例中，在所述步骤(6)中，取第n次检测到的三维信息直至提取到所述靶标特征点，取提取到所述主双目相机模组E_Z和所述副双目相机模组E_F的三维点信息，根据解关系式

{R|t}*P1＝PN (2)，

获得各所述副双目相机模组E_F对主摄像模组E_Z的初始位姿信息。

具体为：

本实施例中，在所述步骤(8)中识别每个特征点时，利用LM算法，即列文伯格优化方法在每个特征点的三维信息基础上，进行迭代优化。

优选的，在所述步骤(4)中，图像处理系统，通过所述图像处理系统计算出标定靶标上的三维坐标和靶标特征点，根据公式进行计算各双目相机模组之间的空间坐标转换关系，实现标定。

优选的，在本实施例中，检测时数据融合进行三维重建，用最小二乘法求解得该点的世界坐标，通过两个成像平面上的极线的约束关系建立对应点之间的关系，并由此联立方程，求得坐标值。

进行三维信息数据融合时计算式为：

P＝A_EZ+Σ({R|t}*A_EF) (4)。

本发明通过简单的标定计算方法，将双目系统对空间点的坐标的检测由相对于双目相机模组坐标系变换到相对于目标坐标系，使得获取到的三维位姿信息更加准确，且易于操作，同时也增强了适应性以及工作效率，便于数据融合与重建，同时还可以应用于立体视觉检测的三维坐标标定。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种基于多相机检测的空间坐标系标定方法，其特征在于：包括以下步骤：

{p1,p2,p3,……,pN} (1)。

(5)重复步骤(2)、(3)，获得共计T次三维点信息；

{R|t}*P1＝PN (2)，

Σ({R|t}*A_EF-A_EZ) (3)

(8)在各双目相机模组存入其所对应的坐标转换计算结果。

2.根据权利要求1所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，在所述步骤(1)、(2)、(3)中，所述M、T为常数。

3.根据权利要求1所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，在所述步骤(3)中，各双目相机模组观察到的特征点需大于K个，K设置为8。

4.根据权利要求1所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，在所述步骤(3)中，未能在观察区检测到标定靶标特征点或检测点数不足的模组信息p记为0。

5.根据权利要求1所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，在所述步骤(6)中，第一次未能在观察区检测到靶标特征点或检测点数不足的，取第二次检测的信息，以此类推，取第n次检测到的三维信息直至提取到所述靶标特征点。

6.根据权利要求1所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，在所述步骤(8)中，所述迭代优化的方法为LM算法，即列文伯格优化方法。

7.根据权利要求1所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，在所述步骤(4)中，接收双目相机模组采集的图像时配置有图像处理系统，通过所述图像处理系统计算出标定靶标上的三维坐标和靶标特征点进行计算，实现标定。

8.根据权利要求1所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，优选的，实际检测时，各双目相机模组根据检测结果及存储的信息进行数据的融合，进行空间点的重建。

9.根据权利要求8所述的一种基于多相机检测的空间坐标系标定方法，其特征在于，优选的，进行三维信息数据融合时计算式为：

P＝A_EZ+Σ({R|t}*A_EF) (4)。