CN112884845B - 一种基于单摄像机室内机器人障碍物定位的方法 - Google Patents

Abstract

本发明提供了一种基于单摄像机室内机器人障碍物定位的方法。首先使用张正友标定法，对摄像机进行标定，得到内参数。将摄像机安装在机器人固定高度，向下倾斜固定的角度。在正前方放置棋盘格作为标定板，计算出摄像机坐标系和机器人坐标系的位置变换矩阵，进而得到摄像机的倾斜角度和光心距离地面的高度。摄像机采集路面图像，找到障碍物的图像坐标，然后计算障碍物在摄像机坐标系中的的三维坐标，转换到机器人坐标系下，就可以知道障碍物相对于机器人的位置了。本发明仅使用单个摄像机，安装简单，成本低廉；不需要特征点匹配，计算量小，不会出现误匹配；算法简单，实时性好；不要求路面有很强的纹理特征，适应性广。

Description

一种基于单摄像机室内机器人障碍物定位的方法

技术领域

本发明涉及计算机视觉领域一种基于单摄像机室内机器人障碍物定位的方法，用来检测前方路面有无障碍物及其具体坐标。

背景技术

室内机器人在室内工作时，需要检测前方路面有无障碍物及其具体坐标，来及时调整姿态或者规划路径。现有的机器人障碍物检测技术，有的用朝前发射超声波检测障碍物，但是这只能检测到正前方特定高度上某条线上的障碍物，对于其他位置的障碍物检测不到；有的使用双目立体视觉，但是一般路面纹理具有很大的一致性，或者光滑路面没有很强的纹理特征，双目特征匹配非常困难，而且双目立体视觉的计算量很大；有的使用结构光方案，解决了双目中匹配算法的复杂度和鲁棒性问题，但是在强光下，结构光核心技术激光散斑会被淹没；有的使用激光雷达，但是激光雷达价格昂贵，而且得到的只是稀疏点云。

发明内容

本发明目的是提供了一种基于单摄像机室内机器人障碍物定位的方法，本发明仅使用单个摄像机，安装简单，成本低廉；不需要特征点匹配，计算量小，不会出现误匹配；；算法简单，实时性好；不要求路面有很强的纹理特征，适应性广。

本发明为实现上述目的，通过以下技术方案实现：

步骤1，对摄像机进行标定，得到内参数

其中/>

和/>

分别表示摄像机在x和y方向上以像素为单位的焦距长度，(u₀,v₀)表示光心在图像上的像素坐标；

步骤2，标定得出摄像机相对于机器人坐标系的位置关系。将摄像机安装在机器人固定高度，向下倾斜固定的角度，在正前方放置棋盘格作为标定板，计算出摄像机坐标系和机器人坐标系的位置变换矩阵T_{cam_to_rob}，进而得到摄像机的倾斜角度α和光心距离地面的高度H；T_{cam_to_w}是从摄像机坐标系到棋盘格坐标系的变换矩阵，由相机拍摄棋盘格的图像，运行标定程序，计算外参数得到；

T_{w_to_rob}是从棋盘格坐标系到机器人坐标系的变换矩阵，由测量棋盘格相对机器人的位置得到；

T_{cam_to_rob}是从摄像机坐标系到机器人坐标系的变换矩阵，T_{cam_to_rob}＝T_{cam_to_ w}T_{w_to_rob}；

从摄像机坐标系到机器人坐标系，是先绕X轴逆向旋转90°-α，对应的旋转矩阵是

即/>

对应的平移向量是t＝[0,-H,-L]，因此

由T_{cam_to_rob}＝T_{cam_to_w}T_{w_to_rob}得到T_{cam_to_rob}的各个元素后，根据

得到H和α的值；

步骤3，摄像机采集路面图像，找到障碍物的图像坐标。

通过图像处理、深度学习或者人工标注的方法，在图像中找到障碍物区域，其中纵坐标最大的点，就是障碍物的边缘和地面的交点，记录其图像像素坐标(u,v)。

步骤4，计算障碍物在摄像机坐标系中的的三维坐标。

首先计算摄像机光心到障碍物的连线和摄像机光轴的夹角β

然后计算障碍物在摄像机坐标系中的坐标(X_c,Y_c,Z_c)

由

可得

步骤5，计算障碍物在机器人坐标系下的坐标。

将摄像机坐标系下的三维坐标转换到机器人坐标系下。

其中X_r和Z_r就是障碍物在机器人坐标系中的坐标，可以知道障碍物相对于机器人左右和前后方向的位置，为机器人姿态调整或者路径规划提供参考。

优选的，所述步骤1中对摄像机标定的方法为张正友标定法。

本发明的优点在于：一种基于单摄像机室内机器人障碍物定位的方法，使用安装在机器人本体上固定高度的摄像机检测障碍物，并计算障碍物的三维坐标，为机器人姿态调整或者路径规划提供参考。本发明仅使用单个摄像机，安装简单，成本低廉；不需要特征点匹配，计算量小，不会出现误匹配；；算法简单，实时性好；不要求路面有很强的纹理特征，适应性广。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1本发明机器人坐标系和摄像机坐标系位置示意图。

图2为本发明摄像机和机器人本体相对位置标定。

图3为本发明障碍物坐标计算示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

步骤1，首先使用张正友标定法，对摄像机进行标定，得到内参数矩阵

其中/>

和/>

分别表示摄像机在x和y方向上以像素为单位的焦距长度，(u₀,v₀)表示光心在图像上的像素坐标。

步骤2，标定得出摄像机相对于机器人坐标系的位置关系。由于摄像机光心的位置不确定，不能直接测量摄像机光心到地面的距离，本发明提出了一种通过棋盘格标定的方法计算摄像机相对于机器人坐标系位置的方法。将摄像机安装在机器人固定高度，向下倾斜固定的角度。在正前方放置棋盘格作为标定板，计算出摄像机坐标系和机器人坐标系的位置变换矩阵T_{cam_to_rob}，进而得到摄像机的倾斜角度α和光心距离地面的高度H。

T_{cam_to_w}是从摄像机坐标系到棋盘格坐标系的变换矩阵，由相机拍摄棋盘格的图像，运行张正友标定程序，计算外参数得到。

T_{w_to_rob}是从棋盘格坐标系到机器人坐标系的变换矩阵，由测量棋盘格相对机器人的位置得到。

T_{cam_to_rob}是从摄像机坐标系到机器人坐标系的变换矩阵，由图中可知T_{cam_to_rob}＝T_{cam_to_w}T_{w_to_rob}。

从摄像机坐标系到机器人坐标系，是先绕X轴逆向旋转90°-α，对应的旋转矩阵是

即/>

对应的平移向量是t＝[0,-H,-L]，因此

由T_{cam_to_rob}＝T_{cam_to_w}T_{w_to_rob}得到T_{cam_to_rob}的各个元素后，根据

得到H和α的值。

步骤3，摄像机采集路面图像，找到障碍物的图像坐标。

通过图像处理、深度学习或者人工标注的方法，在图像中找到障碍物区域，其中纵坐标最大的点，就是障碍物的边缘和地面的交点，记录其图像像素坐标(u,v)。

步骤4，计算障碍物在摄像机坐标系中的的三维坐标。

首先计算摄像机光心到障碍物的连线和摄像机光轴的夹角β

然后计算障碍物在摄像机坐标系中的坐标(X_c,Y_c,Z_c)

由

可得

步骤5，计算障碍物在机器人坐标系下的坐标。

将摄像机坐标系下的三维坐标转换到机器人坐标系下。

其中X_r和Z_r就是障碍物在机器人坐标系中的坐标，可以知道障碍物相对于机器人左右和前后方向的位置，为机器人姿态调整或者路径规划提供参考。

Claims (2)

1.一种基于单摄像机室内机器人障碍物定位的方法，其特征在于，包括以下步骤：

步骤1，对摄像机进行标定，得到内参数

其中/>

和/>

分别表示摄像机在x和y方向上以像素为单位的焦距长度，(u₀,v₀)表示光心在图像上的像素坐标；

步骤2，标定得出摄像机相对于机器人坐标系的位置关系，将摄像机安装在机器人固定高度，向下倾斜固定的角度，在正前方放置棋盘格作为标定板，计算出摄像机坐标系和机器人坐标系的位置变换矩阵T_{cam_to_rob}，进而得到摄像机的倾斜角度α和光心距离地面的高度H；T_{cam_to_w}是从摄像机坐标系到棋盘格坐标系的变换矩阵，由相机拍摄棋盘格的图像，运行标定程序，计算外参数得到；

T_{w_to_rob}是从棋盘格坐标系到机器人坐标系的变换矩阵，由测量棋盘格相对机器人的位置得到；

T_{cam_to_rob}是从摄像机坐标系到机器人坐标系的变换矩阵，T_{cam_to_rob}＝T_{cam_to_w}T_{w_to_rob}；

从摄像机坐标系到机器人坐标系，是先绕X轴逆向旋转90°-α，对应的旋转矩阵是

即/>

对应的平移向量是t＝[0,-H,-L]，因此

由T_{cam_to_rob}＝T_{cam_to_w}T_{w_to_rob}得到T_{cam_to_rob}的各个元素后，根据

得到H和α的值；

步骤3，摄像机采集路面图像，找到障碍物的图像坐标；

通过图像处理、深度学习或者人工标注的方法，在图像中找到障碍物区域，其中纵坐标最大的点，就是障碍物的边缘和地面的交点，记录其图像像素坐标(u,v)；

步骤4，计算障碍物在摄像机坐标系中的的三维坐标；

首先计算摄像机光心到障碍物的连线和摄像机光轴的夹角β

然后计算障碍物在摄像机坐标系中的坐标(X_c,Y_c,Z_c)

由

可得

步骤5，计算障碍物在机器人坐标系下的坐标；

将摄像机坐标系下的三维坐标转换到机器人坐标系下；

其中X_r和Z_r就是障碍物在机器人坐标系中的坐标，可以知道障碍物相对于机器人左右和前后方向的位置，为机器人姿态调整或者路径规划提供参考；

2.根据权利要求1所述的基于单摄像机室内机器人障碍物定位的方法，其特征在于，所述步骤1中对摄像机标定的方法为张正友标定法。

Images