CN103528571A - 单目立体视觉相对位姿测量方法 - Google Patents

Abstract

本发明公开了一种单目立体视觉相对位姿测量方法，包括：步骤S1：把单目摄像机安装在可移动装置上，通过移动单目摄像机在不同位置对目标进行成像，获取含有目标的图像序列；步骤S2：对每幅图像进行目标检测和场景动态分析，若目标在世界坐标系中运动的，则把图像分割成静态背景和动态目标，对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配，否则，直接对相邻的两幅图像进行特征匹配；步骤S3：建立相邻图像之间的特征匹配和摄像机运动之间的约束关系，计算出摄像机的运动参数；步骤S4：在摄像机自运动估计的基础上，根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置，从而计算出目标的相对位姿信息。

Description

单目立体视觉相对位姿测量方法

技术领域

本发明涉及视觉测量技术领域，具体是一种利用单目摄像机实现双目摄像机立体视觉效果的相对位置和姿态的单目立体视觉相对位姿测量方法。

背景技术

随着计算机视觉理论和图像采集设备的发展，基于计算机视觉的测量方法因其具有非接触、测量范围广、成本低、自动化程度高等优点而在越来越多的领域中得到了广泛的应用。

单目视觉系统是使用一个摄像机对目标进行测量，由于单目视觉系统在测量过程中丢失了目标在三维空间中的深度信息，因此，在用单目视觉测量目标的位置和姿态时，需要已知目标的物理尺寸等信息。双目视觉系统是使用两个摄像机对目标进行测量，由于双目视觉是根据同一三维空间点在两个摄像机中的投影位置不同即视差原理来获取空间点的三维坐标，因此，可以测量几何尺寸未知的目标的位置。但是，双目视觉系统存在标定工艺复杂、两幅图像之间的特征匹配难和成本高等缺点，同时，测量精度还受标定精度、匹配误差和摄像机安装相对误差等的影响。

本发明通过利用单目摄像机在不同位置对目标进行成像实现双目立体视觉的效果，解决了传统的单目视觉测量中不能准确测量目标景深的问题，同时也避免了双目立体视觉测量中标定复杂、成本高、体积大等难题。

移动机器人应用单目立体视觉测量技术可在未知环境中实现自主定位和环境地图绘制(SLAM)。移动机器人SLAM可以应用于室内、室外、空间和水下等各种不同的环境，如在自动化生产系统中，可以作为物料搬运装置；在海洋开发方面，可以完成资源调查、石油矿藏开采、沉船打捞等任务；服务行业方面，可以完成室内清洁、送餐、传递医疗记录等工作，可以把人类从大量条件恶劣、危险、繁重单调的作业中解放出来，同时也节省了大量时间和精力。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种单目立体视觉相对位姿测量方法，该测量方法解决了传统单目视觉测量中不能准确测量目标景深和双目立体视觉测量中标定复杂、成本高、体积大等问题。

本发明是通过以下技术方案实现的。

一种单目立体视觉相对位姿测量方法，包括以下步骤：

步骤S1：把单目摄像机安装在可移动装置上，通过移动单目摄像机在不同位置对目标进行成像，获取含有目标的图像序列；

步骤S2：对每幅图像进行目标检测和场景动态分析，若目标在世界坐标系中运动的，则把图像分割成静态背景和动态目标，对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配，否则，直接对相邻的两幅图像进行特征匹配；

步骤S3：建立相邻图像之间的特征匹配和摄像机运动之间的约束关系，计算出摄像机的运动参数；

步骤S4：在摄像机自运动估计的基础上，根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置，从而计算出目标的相对位姿信息，实现目标三维重构。

所述步骤S1包括如下步骤：

步骤S1.1，移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来；

步骤S1.2，继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来，从而得到单目摄像机在不同位置拍摄的含有目标的图像序列。

所述步骤S2包括如下步骤：

步骤S2.1，采用维纳滤波进行模糊图像的恢复处理，去模糊后的图像可用以下公式计算得到：

$F(u,v)=\frac{H^{*}(u,v)}{{\left|H(u,v)\right|}^2+\frac{S_n(u,v)}{S_f(u,v)}}G(u,v)$

其中，G(u，v)为模糊图像的傅里叶变换，H(u，v)为退化的传递函数，H^*(u，v)表示H(u，v)的复共轭，|H(u，v)|²=H^*(u，v)H(u，v)，S_f(u，v)表示原始图像的功率谱，S_n(u，v)表示噪声的功率谱，S_n(u，v)/S_f(u，v)被称之为功率谱密度比，一般情况下近似为一个适当的常数；

步骤S2.2，对相邻两时刻的图像进行特征匹配：首先，通过坐标变换的方式统一两幅图像的坐标量，消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响；其次，利用极线约束关系建立初始候选匹配关系，并采用对称性测试的方法进行两次匹配；然后，将只有一个方向不满足或者两个方向都不满足约束关系的匹配，视为虚假匹配进行剔除；最后，将两个方向都满足约束关系的匹配作为正确的匹配坐标点。

所述步骤S3包括如下步骤：

步骤S3.1，对摄像机运动参数约束条件，从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件，并结合所建立的含约束非线性优化模型，将无约束非线性优化问题转化为一个带约束非线性优化问题，通过收缩优化目标函数最优解的搜索范围，从而提高摄像机位姿估计的精度；

步骤S3.2，采用滚动时域逼近最优解的方法，当选定时域窗口长度后，建立该时域窗口内的带约束非线性优化模型，采用优化算法求解出摄像机位姿的滚动时域估计结果。

所述步骤S4包括如下步骤：

步骤S4.1，在摄像机自运动估计的基础上，递推计算出摄像机在每个时刻的摄像机矩阵，当图像点坐标不存在误差时，则由简单的三角形法计算得到3D特征点的真实位置；

步骤S4.2，完成特征点重构之后，通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标之间的变换关系，求解出目标坐标系相对于摄像机坐标系的相对位姿。

所述三角形法包括以下步骤：

步骤S4.1.1，由点对应计算基本矩阵；

步骤S4.1.2，由基本矩阵计算摄像机矩阵；

步骤S4.1.3，针对每组对应点

计算空间中映射到这两个图像点的3D世界真实点。

所述3D世界真实点的正确值在测量点

附近的点且准确满足对极几何约束

其中，

和分别为点x和x′对应的齐次坐标，基本矩阵F表示将左图像中的点映射成它在右图像中极线的矩阵。

所述 ${\hat{x}}^{\′T}F\hat{x}=0$ 通过如下最小化函数得到： $\mathrm{\ϵ}(x,x^{\′})=d{(x,\hat{x})}^2+d{(x^{\′},{\hat{x}}^{\′})}^2,$ 其中，

和

分别为点x和x′对应的齐次坐标，d为点x和x′之间的距离。

与现有技术相比，本发明提供的单目立体视觉相对位姿测量方法，能够准确测量目标景深的问题，同时，具有标定简单、成本低、体积小的特点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的测量原理示意图；

图2是本发明的测量步骤示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

请同时参阅图1和图2。

本实施例提供了一种单目立体视觉相对位姿测量方法，包括以下步骤：

步骤S1：把单目摄像机安装在可移动装置上，通过移动单目摄像机在不同位置对目标进行成像，获取含有目标的图像序列；

步骤S2：对每幅图像进行目标检测和场景动态分析，若目标在世界坐标系中运动的，则把图像分割成静态背景和动态目标，对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配，否则，直接对相邻的两幅图像进行特征匹配；

步骤S3：建立相邻图像之间的特征匹配和摄像机运动之间的约束关系，计算出摄像机的运动参数；

步骤S4：在摄像机自运动估计的基础上，根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置，从而计算出目标的相对位姿信息，实现目标三维重构。

进一步地，所述步骤S1包括如下步骤：

步骤S1.1，移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来；

步骤S1.2，继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来，从而得到单目摄像机在不同位置拍摄的含有目标的图像序列。

进一步地，所述步骤S2包括如下步骤：

步骤S2.1，采用维纳滤波进行模糊图像的恢复处理，去模糊后的图像可用以下公式计算得到：

$F(u,v)=\frac{H^{*}(u,v)}{{\left|H(u,v)\right|}^2+\frac{S_n(u,v)}{S_f(u,v)}}G(u,v)$

其中，G(u，v)为模糊图像的傅里叶变换，H(u，v)为退化的传递函数，H^*(u，v)表示H(u，v)的复共轭，|H(u，v)|²=H^*(u，v)H(u，v)，S_f(u，v)表示原始图像的功率谱，S_n(u，v)表示噪声的功率谱，S_n(u，v)/S_f(u，v)被称之为功率谱密度比，一般情况下近似为一个适当的常数；

步骤S2.2，对相邻两时刻的图像进行特征匹配：首先，通过坐标变换的方式统一两幅图像的坐标量，消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响；其次，利用极线约束关系建立初始候选匹配关系，并采用对称性测试的方法进行两次匹配；然后，将只有一个方向不满足或者两个方向都不满足约束关系的匹配，视为虚假匹配进行剔除；最后，将两个方向都满足约束关系的匹配作为正确的匹配坐标点。

进一步地，所述步骤S3包括如下步骤：

步骤S3.1，对摄像机运动参数约束条件，从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件，并结合所建立的含约束非线性优化模型，将无约束非线性优化问题转化为一个带约束非线性优化问题，通过收缩优化目标函数最优解的搜索范围，从而提高摄像机位姿估计的精度；

步骤S3.2，采用滚动时域逼近最优解的方法，当选定时域窗口长度后，建立该时域窗口内的带约束非线性优化模型，采用优化算法求解出摄像机位姿的滚动时域估计结果。

进一步地，所述步骤S4包括如下步骤：

步骤S4.1，在摄像机自运动估计的基础上，递推计算出摄像机在每个时刻的摄像机矩阵，当图像点坐标不存在误差时，则由简单的三角形法计算得到3D特征点的真实位置；

步骤S4.2，完成特征点重构之后，通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标之间的变换关系，求解出目标坐标系相对于摄像机坐标系的相对位姿。

进一步地，所述三角形法包括以下步骤：

步骤S4.1.1，由点对应计算基本矩阵；

步骤S4.1.2，由基本矩阵计算摄像机矩阵；

步骤S4.1.3，针对每组对应点

计算空间中映射到这两个图像点的3D世界真实点。

进一步地，所述3D世界真实点的正确值在测量点

附近的点

且准确满足对极几何约束

其中，和

分别为点x和x′对应的齐次坐标，基本矩阵F表示将左图像中的点映射成它在右图像中极线的矩阵。

进一步地，所述 ${\hat{x}}^{\′T}F\hat{x}=0$ 通过如下最小化函数得到： $\mathrm{\ϵ}(x,x^{\′})=d{(x,\hat{x})}^2+d{(x^{\′},{\hat{x}}^{\′})}^2,$ 其中，

和

分别为点x和x′对应的齐次坐标，d为点x和x′之间的距离。

具体为：

本实施例利用单目摄像机分别在k-1时刻和k时刻的两个不同的位置对目标进行成像并把获取的含有目标的图像序列存储起来，通过这种方式在不同时刻获得的两幅图像和利用双目摄像机在同一时刻获得的两幅图像在空间上是等价的，即通过时间域的延拓，实现了空间域的扩展，这样就赋予了单目视觉系统立体视觉的功能。

所述步骤S1具体为：把单目摄像机安装在可移动装置上，如机械臂末端，通过控制可移动装置移动来实现单目摄像机的移动。移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来，然后继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来，这样就得到了单目摄像机在不同位置拍摄的含有目标的图像序列。

所述步骤S2具体为：对每幅图像进行目标检测和场景动态分析，若目标在世界坐标系中运动的，则把图像分割成静态背景和动态目标，对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配，静态背景区域的特征匹配结果用来估计摄像机的运动参数，在此基础上，动态目标区域的特征匹配结果结合目标运动的相对性特征来计算目标的相对位姿。

在获取含有目标的图像序列后，执行步骤S2：

在摄像机成像过程中，由于目标与摄像机之间存在相对运动，从而导致成像图片中出现模糊与拖尾现象。为了尽量减少模糊与拖尾现象给图像质量造成的影响，实现高质量的图象恢复，这里采用维纳滤波进行模糊图像的恢复处理，去模糊后的图像可用式

$F(u,v)=\frac{H^{*}(u,v)}{{\left|H(u,v)\right|}^2+\frac{S_n(u,v)}{S_f(u,v)}}G(u,v)$

计算得到。其中，G(u，v)为模糊图像的傅里叶变换，H(u，v)为退化的传递函数，H^*(u，v)表示H(u，v)的复共轭，|H(u，v)|²=H^*(u，v)H(u，v)，S_f(u，v)表示原始图像的功率谱，S_n(u，v)表示噪声的功率谱，S_n(u，v)/S_f(u，v)被称之为功率谱密度比，一般情况下近似为一个适当的常数。

由于图像在产生、传输和存储过程中会引入噪声，其会对图像质量和特征提取精度产生影响，从而影响测量精度。因此，在对图像进行处理和分析之前需要进行图像滤波去噪处理。这里选用SUSAN滤波作为一种主要的降噪工具，它可以在滤除图像噪声的同时较好地保持图像的细小特征结构，并且能够改善图像的质量和锐化目标特征结构。

采用Harris角点、Sift特征点等作为匹配特征，并采用Harris或Sift特征提取算法把每幅图像的特征提取出来。相邻两时刻的图像通过以下方法进行特征匹配：首先，为了消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响，需要通过坐标变换的方式统一两幅图像的坐标量。然后，利用极线约束关系建立初始候选匹配关系，为了达到较高的匹配精确度，再采用对称性测试的方法进行两次匹配，即同样算法应用于从k-1时刻采集的图像到k时刻采集的图像，也应用于从k时刻采集的图像到k-1时刻采集的图像。将只有一个方向或者两个方向都不满足约束关系的匹配，视为虚假匹配进行剔除。最后，将两个方向都满足约束关系的匹配作为正确的匹配坐标点。

对相邻两幅图像成功匹配的特征点进行场景动态分析，根据运动的相对性，若目标在世界坐标系中运动的，则把图像分割成静态背景和动态目标。

所述步骤S3具体为：相邻两幅图像进行特征匹配之后，建立摄像机的先验运动模型和场景特征的参数化模型，根据摄像机在不同位置拍摄产生的视差，估计出场景特征点的位置，然后利用基于滚动时域优化思想的摄像机位姿估计方法，从空间和时间的角度建立摄像机位姿参数和图像特征之间的对应约束关系，实现摄像机的位姿估计。

完成去模糊、滤波降噪、特征匹配和动态目标分割之后，执行步骤S3：

通过建立相邻图像之间的特征匹配和摄像机运动之间的约束关系，计算出摄像机的运动参数。然而，在实际应用中，由于特征点匹配含有误匹配以及噪声。为了消除误匹配的影响，假设不同时刻图像噪声是相互独立的，通过对某个时间段内所有图像两两之间进行特征点提取和匹配，建立不同时刻摄像机位姿约束关系，通过冗余位姿约束关系削弱图像噪声的影响。

对摄像机运动参数约束条件，从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件，并结合所建立的含约束非线性优化模型，将无约束非线性优化问题转化为一个带约束非线性优化问题，通过收缩优化目标函数最优解的搜索范围，从而提高摄像机位姿估计的精度。然而，随着摄像机运动时间的积累，该优化函数将会变得越来越复杂，即此时的最优估计往往是不可获取的，为了解决这个问题，引入滚动时域逼近最优解的思想，当选定时域窗口长度后，可以建立该时域窗口内的带约束非线性优化模型，采用优化算法求解出摄像机位姿的滚动时域估计结果。

所述步骤S4具体为：在摄像机自运动的基础上，考虑到提取的特征点图像坐标存在误差，而实际上对应图像点的正确值准确满足对极几何约束，在线性三角法的基础上，利用对极几何约束可以得到优化函数，通过计算最小化优化函数实现目标三维重构。

估计出摄像机自运动参数之后，执行步骤S4：

在摄像机自运动估计的基础上，可以递推计算出摄像机在每个时刻的摄像机矩阵。理想情况下，如果图像点坐标不存在误差，那么很容易由简单的三角形法计算得到3D特征点的真实位置。它一般包括三个步骤：由点对应计算基本矩阵；由基本矩阵计算摄像机矩阵；针对每组对应点

计算空间中映射到这两个图像点的3D世界真实点。

然而，由于测量图像坐标存在噪声：实际上对应图像点的正确值应该是在测量点附近的点

且准确满足对极几何约束

该正确值可以通过如下最小化函数得到： $\mathrm{\ϵ}(x,x^{\′})=d{(x,\hat{x})}^2+d{(x^{\′},{\hat{x}}^{\′})}^2,$ 使得 ${\hat{x}}^{\′T}F\hat{x}=0.$ 这样就重建出3D特征点在空间中的真实位置。

完成特征点重构之后，可以通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标间的变换关系求解出目标坐标系相对于摄像机坐标系的相对位姿。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种单目立体视觉相对位姿测量方法，其特征在于，包括以下步骤：

步骤S1：把单目摄像机安装在可移动装置上，通过移动单目摄像机在不同位置对目标进行成像，获取含有目标的图像序列；

步骤S2：对每幅图像进行目标检测和场景动态分析，若目标在世界坐标系中运动的，则把图像分割成静态背景和动态目标，对相邻两幅图像中的静态背景区域和动态目标区域分别进行特征匹配，否则，直接对相邻的两幅图像进行特征匹配；

步骤S3：建立相邻图像之间的特征匹配和摄像机运动之间的约束关系，计算出摄像机的运动参数；

步骤S4：在摄像机自运动估计的基础上，根据3D特征点在相邻两幅视图上的像重建出3D特征点在空间中的真实位置，从而计算出目标的相对位姿信息，实现目标三维重构。

2.根据权利要求1所述的单目立体视觉相对位姿测量方法，其特征在于，所述步骤S1包括如下步骤：

步骤S1.1，移动单目摄像机在k-1时刻对目标进行成像并把获取的含有目标的图像存储起来；

步骤S1.2，继续移动单目摄像机在k时刻再次对目标进行成像并把获取的含有目标的图像存储起来，从而得到单目摄像机在不同位置拍摄的含有目标的图像序列。

3.根据权利要求1所述的单目立体视觉相对位姿测量方法，其特征在于，所述步骤S2包括如下步骤：

步骤S2.1，采用维纳滤波进行模糊图像的恢复处理，去模糊后的图像用以下公式计算得到：

$F(u,v)=\frac{H^{*}(u,v)}{{\left|H(u,v)\right|}^2+\frac{S_n(u,v)}{S_f(u,v)}}G(u,v)$

其中，G(u，v)为模糊图像的傅里叶变换，H(u，v)为退化的传递函数，H*(u，v)表示H(u，v)的复共轭，|H(u，v)|²=H*(u，v)H(u，v)，S_f(u，v)表示原始图像的功率谱，S_n(u，v)表示噪声的功率谱，S_n(u，v)/S_f(u，v)被称之为功率谱密度比，近似为一个适当的常数；

步骤S2.2，对相邻两时刻的图像进行特征匹配：首先，通过坐标变换的方式统一两幅图像的坐标量，消除k-1时刻采集的图像和k时刻采集的图像在视觉角度上的偏差影响；其次，利用极线约束关系建立初始候选匹配关系，并采用对称性测试的方法进行两次匹配；然后，将只有一个方向不满足或者两个方向都不满足约束关系的匹配，视为虚假匹配进行剔除；最后，将两个方向都满足约束关系的匹配作为正确的匹配坐标点。

4.根据权利要求1所述的单目立体视觉相对位姿测量方法，其特征在于，所述步骤S3包括如下步骤：

步骤S3.1，对摄像机运动参数约束条件，从空间和时间两个角度推导出不同形式的极线约束和时间相关约束条件，并结合所建立的含约束非线性优化模型，将无约束非线性优化问题转化为一个带约束非线性优化问题，通过收缩优化目标函数最优解的搜索范围，从而提高摄像机位姿估计的精度；

步骤S3.2，采用滚动时域逼近最优解的方法，当选定时域窗口长度后，建立该时域窗口内的带约束非线性优化模型，采用优化算法求解出摄像机位姿的滚动时域估计结果。

5.根据权利要求1所述的单目立体视觉相对位姿测量方法，其特征在于，所述步骤S4包括如下步骤：

步骤S4.1，在摄像机自运动估计的基础上，递推计算出摄像机在每个时刻的摄像机矩阵，当图像点坐标不存在误差时，则由简单的三角形法计算得到3D特征点的真实位置；

步骤S4.2，完成特征点重构之后，通过特征点像点在摄像机坐标系中的坐标和特征点在目标坐标系中的坐标之间的变换关系，求解出目标坐标系相对于摄像机坐标系的相对位姿。

6.根据权利要求5所述的单目立体视觉相对位姿测量方法，其特征在于，所述三角形法包括以下步骤：

步骤S4.1.1，由点对应计算基本矩阵；

步骤S4.1.2，由基本矩阵计算摄像机矩阵；

步骤S4.1.3，针对每组对应点

计算空间中映射到这两个图像点的3D世界真实点。

7.根据权利要求6所述的单目立体视觉相对位姿测量方法，其特征在于，所述3D世界真实点的正确值在测量点

附近的点

且准确满足对极几何约束

其中，

和

分别为点x和x′对应的齐次坐标，基本矩阵F表示将左图像中的点映射成它在右图像中极线的矩阵。

8.根据权利要求7所述的单目立体视觉相对位姿测量方法，其特征在于，所述 ${\hat{x}}^{\′T}F\hat{x}=0$ 通过如下最小化函数得到： $\mathrm{\ϵ}(x,x^{\′})=d{(x,\hat{x})}^2+d{(x^{\′},{\hat{x}}^{\′})}^2,$ 其中，和分别为点x和x′对应的齐次坐标，d为点x和x′之间的距离。

Images