CN112837373A

CN112837373A - 一种不需要特征点匹配的多相机位姿估计方法

Info

Publication number: CN112837373A
Application number: CN202110234115.7A
Authority: CN
Inventors: 郭恩特; 吴林煌
Original assignee: Fuzhou Ivisionic Technology Co ltd
Current assignee: Fuzhou Ivisionic Technology Co ltd
Priority date: 2021-03-03
Filing date: 2021-03-03
Publication date: 2021-05-25
Anticipated expiration: 2041-03-03
Also published as: CN112837373B

Abstract

本发明涉及一种不需要特征点匹配的多相机位姿估计方法，包括以下步骤：步骤S1：标定待测相机的内参和畸变系数；步骤S2：在平面上构建空间直角坐标系，并设置地标；步骤S3：相机采集平面图像，并根据得到的标定待测相机的内参和畸变系数消畸变；步骤S4：提取平面图像中地标的位置；步骤S5：根据提取得到的图像中的地标和平面上地标的位置，计算相机和平面之间的单应矩阵；步骤S6：根据得到单应矩阵，计算不同时刻不同相机之间的单应矩阵；步骤S7：分解根据步骤S6计算的单应矩阵得到相机之间的位姿。本发明计算快速，为多相机位姿估计提供了新思路，借助地标位置估计多个相机在不同时刻的位姿。

Description

一种不需要特征点匹配的多相机位姿估计方法

技术领域

本发明涉及基于视觉的多相机位姿估计领域，涉及一种不需要特征点匹配的多相机位姿估计方法。

背景技术

目前，有不止一种方式可以确定移动机器人的轨迹，这里将重点强调“视觉里程计”这种方法。视觉里程计能够重构出搭载相机的多个机体运动轨迹和多个机体之间的相对位姿关系。作为基于视觉技术的一种，在最近十几年的时间里已广泛应用于各类机器人的导航定位中，是目前最主要的位姿估计方法之一。与其他方法相比，如轮式里程计，GPS定位等，视觉里程计适用更加广泛，在水下太空等环境均能使用，其中最成功的应用当属美国NASA开发的火星探测器“勇气号”和“机遇号”。除此以外，还用于无人空中飞行器、水下机器人、室内/外陆地机器人等。，

视觉里程计的基本步骤包括特征提取、特征匹配、坐标变换和运动估计。当前大多数视觉里程计系统是基于此框架。其中特征匹配是影响到相机位姿估计的最重要的因素之一，特征匹配的准确度将决定相机位姿估计的准确度。并且特征匹配对于相机运动的大小有限制，相机运动过大，图像共视区域减少将严重影响特征点的匹配。特征匹配还是一个计算复杂度很高的一个过程，计算复杂度随着图像中特征点的增多而增高。

发明内容

有鉴于此，本发明的目的在于提供一种不需要特征点匹配的多相机位姿估计方法，原理简单，计算快速，为多相机位姿估计提供了新思路，借助地标位置估计多个相机在不同时刻的位姿，可广泛用于自动驾驶，无人机定位等多种场景。

为实现上述目的，本发明采用如下技术方案：

一种不需要特征点匹配的多相机位姿估计方法，包括以下步骤：

步骤S1：标定待测相机的内参和畸变系数；

步骤S2：在平面上构建空间直角坐标系，并设置地标；

步骤S3：相机采集平面图像，并根据得到的标定待测相机的内参和畸变系数消畸变；

步骤S4：提取平面图像中地标的位置；

步骤S5：根据提取得到的图像中的地标和平面上地标的位置，计算相机和平面之间的单应矩阵；

步骤S6：根据得到单应矩阵，计算不同时刻不同相机之间的单应矩阵；

步骤S7：分解根据步骤S6计算的单应矩阵得到相机之间的位姿。

进一步的，所述步骤S2具体为：

步骤S21：选取一个平面，并指定一个点作为坐标系原点，规定x,y坐标轴在平面上，指定z轴为垂直平面方向，建立3维坐标系；

步骤S22：在平面坐标系中指定位置放置指定的地标。

进一步的，所述地标采用aruco码。

进一步的，所述步骤S5具体为：根据步骤S4提取的地标的多顶点p_i＝[u_i v_i]^T和指定地标的顶点在平面上的位置q_i＝[x_i y_i 0]^T估计第m时刻第n个相机与平面之间的单应矩阵H_mn。

进一步的，所述的单应矩阵通过构建的方程组Ah＝b求解得到，具体为：

(1)根据步骤S4提取的地标的四个顶点p_i＝[u_i v_i]^T，i＝{1，2，3，4}和平面上地标的顶点在平面上的位置q_i＝[x_i y_i 0]^T，i＝{1，2，3，4}构建的方程组Ah＝b；

(2)求解步骤S511构建的方程组Ah＝B，得到h向量并增广为[h 1]^T，再重排为3x3的相机与平面之间的单应矩阵H；

(3)将步骤S511和S512应用于不同时刻的所有相机，得到第m时刻第n个相机与平面之间的单应矩阵H_mn。

进一步的，所述方程组Ah＝b，具体如下：

方程组Ah＝b中h向量为单应矩阵的元素，

h＝[h₁ h₂ h₃ h₄ h₅ h₆ h₇ h₈]^T，

通过步骤S4提取的地标的四个顶点p_i＝[u_i v_i]^T，i＝{1，2，3，4}和平面上地标的顶点在平面上的位置q_i＝[x_i y_i 0]^T，i＝{1，2，3，4}构建系数矩阵A，

和b＝[u₁ v₁ u₂ v₂ u₃ v₃ u₄ v₄]^T。

进一步的，所述步骤S6具体为：根据步骤S5提取得到第m时刻第n个相机与平面之间的单应矩阵H_mn计算不同时刻不同相机之间的单应矩阵，

表示第m时刻第n个相机到第k时刻第l个相机的单应矩阵

本发明与现有技术相比具有以下有益效果：

本发明原理简单，计算快速，为多相机位姿估计提供了新思路，借助地标位置估计多个相机在不同时刻的位姿，可广泛用于自动驾驶，无人机定位等多种场景。

附图说明

图1为本发明实施例的结构框图。

图2为本发明实施例中步骤S1中所使用的标定板。

图3为本发明实施例中所用到的aruco地标中的一个实例。

图4为本发明实施例中步骤S2的平面地标设置示意图。

图5为本发明实施例中步骤S4中提取图像中地标示意图。

图6为本发明实施例中相机与地面，相机与相机之间单应矩阵关系图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

其中定义相机位姿为两个相机之间的坐标系变换，包括一个相机坐标系到另一个相机坐标系的旋转和一个坐标系原点在另一个坐标系中的位置，其中相机可以是不同时刻同一个相机，也可以是同一时刻多个相机。不需要匹配不同相机采集的图像中的特征点，将大大提高相机位姿估计准确度，和减少时间复杂度。

请参照图1，本发明提供一种不需要特征点匹配的多相机位姿估计方法，包括以下步骤：

步骤S1：标定所使用相机内参和畸变系数；

步骤S2：设置平面上空间直角坐标系，指定原点位置和方向，并在平面上设置地标；

步骤S3：使用相机采集图像，使用步骤S1中标定的参数消畸变；

步骤S4：提取步骤S3采集的图像中地标的位置，如图5所示，图中地标的四个顶点由绿色圆标注；

步骤S5：根据步骤S4得到的图像中的地标和平面上地标的位置，计算相机和平面之间的单应矩阵；

步骤S6：根据步骤S5的计算的相机和平面之间的单应矩阵，计算不同时刻不同相机之间的单应矩阵；

在本实施例中，所述步骤S1具体包括以下步骤：

步骤S11：相机从不同角度不同位置采集标定板的图像，标定板图2所示，具有固定方格数和尺寸；

步骤S22：输入步骤S11所采集的标定板图像，使用OpenCV自带的张正友标定法标定相机内参和畸变参数；

在本实施例中，步骤S2具体包括以下步骤：

步骤S21：选取现实场景中一个平面，指定一个点作为坐标系原点，并规定x，y坐标轴在平面上，指定z轴为垂直平面方向，建立3维坐标系；

步骤S22：在平面坐标系中指定位置放置指定的地标。

优选的，地标可选为aruco码：根据所使用的场景的大小，设置aruco码的尺寸，构建aruco码库，aruco码的一个实例如图3所示。并在指定位置放置指定序号的aruco码，结果如示意图4所示。

在本实施例中，步骤S5具体包括以下步骤：根据步骤S4提取的地标的四个顶点p_i＝[u_i v_i]^T，i＝{1，2，3，4}和我们指定地标的顶点在平面上的位置q_i＝[x_i y_i 0]^T，i＝{1，2，3，4}估计第m时刻第n个相机与平面之间的单应矩阵H_mn

优选的，步骤S5具体为：

步骤S511：根据步骤S4提取的地标的四个顶点p_i＝[u_i v_i]^T，i＝{1，2，3，4}和我们指定地标的顶点在平面上的位置q_i＝[x_i y_i 0]^T，i＝{1，2，3，4}构建的方程组Ah＝B；

步骤S512：求解步骤S511构建的方程组Ah＝b，得到h向量并增广为[h 1]^T，再重排为3x3的相机与平面之间的单应矩阵H。

步骤S513：将步骤S511和S512应用于不同时刻的所有相机，得到第m时刻第n个相机与平面之间的单应矩阵H_mn。

优选的，方程组Ah＝b具体如下：

方程组Ah＝b中h向量为单应矩阵的元素，

h＝[h₁ h₂ h₃ h₄ h₅ h₆ h₇ h₈]^T，

通过步骤S4提取的地标的四个顶点p_i＝[u_i v_i]^T，i＝{1，2，3，4}和预设地标的aruco码的顶点在平面上的位置q_i＝[x_i y_i 0]^T，i＝{1，2，3，4}构建系数矩阵A，

和b＝[u₁ v₁ u₂ v₂ u₃ v₃ u₄ v₄]^T。

所述步骤S6具体包括以下步骤：

步骤S61：根据步骤S5提取得到第m时刻第n个相机与平面之间的单应矩阵H_mn计算不同时刻不同相机之间的单应矩阵，

表示第m时刻第n个相机到第k时刻第l个相机的单应矩阵，所述的单应矩阵

如图6所示，步骤S5求出相机与平面之间的单应矩阵，根据这些单应矩阵，通过步骤S6得到相机之间的单应矩阵。

领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims

1.一种不需要特征点匹配的多相机位姿估计方法，其特征在于：包括以下步骤：

步骤S1：标定待测相机的内参和畸变系数；

步骤S2：在平面上构建空间直角坐标系，并设置地标；

步骤S4：提取平面图像中地标的位置；

2.根据权利要求1所述的一种不需要特征点匹配的多相机位姿估计方法，其特征在于，所述步骤S2具体为：

步骤S22：在平面坐标系中指定位置放置指定的地标。

3.根据权利要求1所述的一种不需要特征点匹配的多相机位姿估计方法，其特征在于，所述地标采用aruco码。

4.根据权利要求1所述的一种不需要特征点匹配的多相机位姿估计方法，其特征在于，所是步骤S5具体为：根据步骤S4提取的地标的多顶点p_i＝[u_i v_i]^T和指定地标的顶点在平面上的位置q_i＝[x_i y_i 0]^T估计第m时刻第n个相机与平面之间的单应矩阵H_mn。

5.根据权利要求4所述的一种不需要特征点匹配的多相机位姿估计方法，其特征在于，所述的单应矩阵通过构建的方程组Ah＝b求解得到，具体为：

6.根据权利要求5所述的一种不需要特征点匹配的多相机位姿估计方法，其特征在于，所述方程组Ah＝b，具体如下：

方程组Ah＝b中h向量为单应矩阵的元素，

h＝[h₁ h₂ h₃ h₄ h₅ h₆ h₇ h₈]^T，

和b＝[u₁ v₁ u₂ v₂ u₃ v₃ u₄ v₄]^T。

7.根据权利要求1所述的一种不需要特征点匹配的多相机位姿估计方法，其特征在于，所述步骤S6具体为：根据步骤S5提取得到第m时刻第n个相机与平面之间的单应矩阵H_mn计算不同时刻不同相机之间的单应矩阵，

表示第m时刻第n个相机到第k时刻第l个相机的单应矩阵