CN114445487A - 障碍物识别与同步定位的方法、图像获取装置及机器人 - Google Patents

Abstract

本发明公开了一种障碍物识别与同步定位的方法、图像获取装置及机器人，该方法包括以下步骤：S1：机器人使线激光器和摄像头工作，获取具有线激光的环境图像；S2：基于具有线激光的环境图像，分别实现视觉定位和障碍物信息识别；其中，所述障碍物信息包括距离信息和方位信息。本申请通过一个摄像头就可以实现避障和定位的功能，降低系统复杂度和生产成本。

Description

障碍物识别与同步定位的方法、图像获取装置及机器人

技术领域

本发明涉及智能机器人领域，具体涉及一种障碍物识别与同步定位的方法、图像获取装置及机器人。

背景技术

目前室内机器人定位与避障都是强需求，定位用来更好的对机器人进行规划，避障用来避免障碍物阻碍机器人的运行，使机器人看起来更为智能。目前，市面上的产品，这两个传感器是分开实现的。而分开设置，不仅需要获取和处理的数据更多，而且机器人的生产成本也更高。

发明内容

为解决上述问题，本发明提供了一种障碍物识别与同步定位的方法、图像获取装置及机器人，本申请通过一个摄像头就可以实现避障和定位的功能，降低系统复杂度和生产成本。本发明的具体技术方案如下：

一种障碍物识别与同步定位的方法，该方法包括以下步骤：S1：机器人使线激光器和摄像头工作，获取具有线激光的环境图像；S2：基于具有线激光的环境图像，分别实现视觉定位和障碍物信息识别；其中，所述障碍物信息包括距离信息和方位信息。

进一步地，步骤S1中，获取具有线激光的环境图像，包括以下步骤：机器人控制线激光器工作，使线激光器投射线型激光，然后控制摄像头工作，获取若干张具有线激光的环境图像。

进一步地，步骤S2中，基于具有线激光的环境图像，实现视觉定位，包括以下步骤：获取两帧图像，然后提取第二帧图像中的特征点，并通过获取两张图像时的IMU数据和里程计积分来得到机器人位姿；基于第二帧图像中的特征点和机器人位姿获取第二帧图像中的特征点在第一帧图像上的对极线；在对极线上搜索与第二帧图像中的特征点的特征值匹配的点，得到第一帧图像中对应的特征点；基于两帧图像之间匹配的特征点和机器人位姿，通过最小化重投影误差计算，得到两帧图像之间的视觉定位位姿。

进一步地，从第二帧图像中选取特征点，包括以下步骤：设置用于存储特征点的容器，然后从第二帧图像中，像素灰度值变化大于设定阈值的位置选取角点的位置选取角点，将选取出来的角点作为第二帧图像中识别特征点，然后将识别到的特征点存储到容器中。

进一步地，最小化重投影误差计算包括以下步骤：通过两帧图像之间匹配的特征点和机器人位姿进行投影计算，得到进行投影后的特征点的像素值；获取两帧图像之间匹配的特征点的像素值与进行投影后的特征点的像素值的差值；将差值的和进行最小化处理，得到摄像头位姿参数和特征点的三维空间点的坐标，确定视觉定位位姿，实现视觉定位。

进一步地，步骤S2中，基于具有线激光的环境图像，获取障碍物的方位信息，包括以下步骤：机器人通过校准来获取摄像头的内参，然后通过摄像头的内参来获取线激光平面相对于摄像头的光平面；机器人对获取的图像中的线激光进行跟踪，当发现线激光不位于地平面时，然后从线激光上以线激光的一端的端点为起点，按照特定的间距选取若干点作为计算点；计算过摄像头的中心点和计算点的直线的直线方程，然后基于直线坐标和所述光平面来获取直线与光平面的交点的三维坐标；根据若干计算点相对应的交点的三维坐标得到障碍物的方位信息。

进一步地，基于直线方程和所述光平面来获取直线与光平面的交点的三维坐标，包括以下步骤：将所述直线方程转换为参数方程，然后将参数方程代入光平面的方程，得到参数方程的参数，再将参数代入参数方程得到交点的三维坐标。

进一步地，步骤S2中，基于具有线激光的环境图像，获取障碍物的距离信息，包括以下步骤：提前获取线激光在图像上的位置与机器人和障碍物之间的距离的比例；获取具有线激光的环境图像中线激光；根据线激光在图像上的位置和所述比例来得到机器人与障碍物之间的距离，也就是得到障碍物的距离信息。

一种图像获取装置，所述装置包括摄像头和线激光器，所述摄像头以第一预设角度斜向上设置或者水平朝向机器人正前方前设置，所述线激光器位于摄像头的上端，该线激光器的中轴线以第二预设角度斜向下设置。

进一步地，所述摄像头为单色摄像头或彩色摄像头。

一种机器人，所述机器人上设有上述的图像获取装置，所述机器人执行上述的障碍物识别与同步定位的方法。

与现有的技术相比，本申请的技术方案通过一个摄像头和线激光器来获取具有线激光的环境图像，然后根据获取的环境图像来进行机器人定位和障碍物识别，降低系统复杂度和生产成本。

附图说明

图1为本发明的一种实施例所述的障碍物识别与同步定位的方法的流程图；

图2为本发明的一种实施例所述的机器人的结构示意图；

图3为本发明的一种实施例所述的直线和光平面的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。应当理解，下面所描述的具体实施例仅用于解释本发明，并不用于限定本发明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

如图1所示，一种障碍物识别与同步定位的方法，主要是机器人通过一个摄像头获取具有线激光的图像来进行障碍物识别和定位，而移动机器人中还包括IMU模块、里程计等必要的传感器外，还包括用于构建清洁地图的激光雷达等等，这些传感器模块的工作方式和获取的数据跟常规的工作方式和获取的数据一样。该方法包括以下步骤：S1：机器人使线激光器和摄像头工作，获取具有线激光的环境图像；S2：基于具有线激光的环境图像，分别实现视觉定位和障碍物信息识别；其中，所述障碍物信息包括距离信息和方位信息。步骤S1中，获取具有线激光的环境图像，包括以下步骤：机器人控制线激光器工作，使线激光器投射线型激光，然后控制摄像头工作，获取若干张具有线激光的环境图像，然后将环境图像分别用于进行视觉定位和障碍物信息识别，在进行障碍物识别时，又分为障碍物的点云计算和障碍物与机器人之间的距离计算，两者结合得到障碍物信息。

作为其中一种实施例，步骤S2中，步骤S2中，机器人基于具有线激光的环境图像，实现视觉定位，包括以下步骤：获取两帧图像，然后提取第二帧图像中的特征点，并通过获取两帧图像时的IMU数据和里程计积分来得到机器人位姿，即确定根据机器人的移动轨迹，为机器人常规功能；基于第二帧图像中的特征点和机器人位姿获取第二帧图像中的特征点在第一帧图像上的对极线，即根据机器人的移动轨迹和两帧图像的获取时间，得到两帧图像在空间上的相对位置和获取图像时摄像头相应的拍摄中心，然后根据2D-2D对极几何得到第二帧图像的特征点构成的对极线在第一帧图像上的相应位置。在对极线上搜索与第二帧图像中的特征点的特征值匹配的点，得到第一帧图像中对应的特征点，即可以通过两帧图像中的特征点的相似程度或者两者之间的距离进行匹配，在对极线上选择与第二帧图像中的特征点相对应的点。基于两帧图像之间匹配的特征点和机器人位姿，通过最小化重投影误差计算，得到两帧图像之间的视觉定位位姿。从第二帧图像中选取特征点，包括以下步骤：设置用于存储特征点的容器，容器是一种特殊的数据结构，检测出来的角点通常要存储起来，形成一个KeyPoint类型的容器（vector）。然后将角点或边缘点作为特征点来设置检测模板；通过调用函数，根据检测模板来检测第二帧图像中的角点或边缘点（角点或边缘点都可以从图像中像素灰度值变化较大的位置进行选取），然后将识别到的角点或边缘点作为特征点，存储到容器中（视觉SLAM十四讲：从理论到实践（第2版）第 7 讲 视觉里程计.作者: 高翔 / 张涛 / 等.出版社: 电子工业出版社.出版年: 2019-8）。当然这是其中一种特征点的获取方式，还可以通过其他方式获取特征点。最小化重投影误差计算包括以下步骤：通过两帧图像之间匹配的特征点和机器人位姿进行投影计算，得到进行投影后的特征点的像素值；获取两帧图像之间匹配的特征点的像素值与进行投影后的特征点的像素值的差值；将差值的和进行最小化处理，得到摄像头位姿参数和特征点的三维空间点的坐标，确定视觉定位位姿，实现视觉定位。最小化重投影误差中，重投影也就是指的第二次投影：其实第一次投影指的就是相机在拍照的时候三维空间点投影到图像上；然后利用这些图像对一些特征点进行三角定位（triangulation），利用几何信息（对极几何）构建三角形来确定三维空间点的位置；最后利用计算得到的三维点的坐标（注意不是真实的）和计算得到的相机位姿（当然也不是真实的）进行第二次投影，也就是重投影。重投影误差：指的真实三维空间点在图像平面上的投影（也就是图像上的像素点）和重投影（其实是用计算值得到的虚拟的像素点）的差值，因为种种原因计算得到的值和实际情况不会完全相符，也就是这个差值不可能恰好为0，此时也就需要将这些差值的和最小化获取最优的相机位姿参数及三维空间点的坐标。（视觉SLAM十四讲：从理论到实践（第2版）第 7 讲 视觉里程计.作者: 高翔 /张涛 / 等.出版社: 电子工业出版社.出版年: 2019-8）。

作为其中一种实施例，步骤S2中，基于具有线激光的环境图像，获取障碍物信息，包括以下步骤：机器人通过校准来获取摄像头的内参，然后通过摄像头的内参来获取线激光平面相对于摄像头的光平面；机器人对获取的图像中的线激光进行跟踪，当发现线激光不位于地平面时，然后从线激光上以线激光的一端的端点为起点，按照特定的间距选取若干点作为计算点；如果线激光的线段分为两条相交的线段，就取其中最长的线段或在图像上与水平线夹角最小的线段进行计算。计算过摄像头的中心点和计算点的直线的直线方程，然后基于直线方程和所述光平面来获取直线与光平面的交点的三维坐标；根据若干计算点相对应的交点的三维坐标得到障碍物的方位信息。如图3所示，图中1为摄像头的中心点，2为障碍物，3为计算点，4为线激光，5为直线与光平面的交点，6为光平面，7为计算点和直线与光平面的交点的重合点。当障碍物的表面为平面时，实际线激光投射在障碍物的表面上为直线，图像上的线激光也是直线，线激光位于光平面上，这时线激光上的计算点和直线与光平面的交点的重合，也就是点7，线激光上的计算点的三维坐标也就是障碍物上的点的三维坐标，根据这个三维坐标就可以知道障碍物位于机器人的哪个方位。当障碍物的表面为弧面时，实际线激光投射在障碍物的表面上为弧线，而图像上的线激光是直线，这时从线激光上选取的计算点3并不是障碍物上的点，而直线与光平面的交点5才是障碍物上的点，所以需要通过点3来求出点5来得到实际中障碍物的点的三维坐标，从而知道障碍物位于机器人的哪个方位。其中，若干计算点相对应的交点就是障碍物上的点，根据这些点的三维坐标就可以得到障碍物在机器人哪个方位了。在获取若干计算点相对应的交点的三维坐标后，可以对这些交点进行筛选使计算结果更准确。因为计算点是在同一条激光线段上按照特定间隔选取的，可以将若干计算点相对应的交点的三维坐标的变化太大的坐标删除，在进行计算。基于直线方程和所述光平面来获取直线与光平面的交点的三维坐标，包括以下步骤：将所述直线方程转换为参数方程，然后将参数方程代入光平面的方程，得到参数方程的参数，再将参数代入参数方程得到交点的三维坐标。已知直线方程L：(x-a)/m=(x-b)/n=(z-c)/p和光平面的方程π：Ax+By+Cz+D=0;求直线L与平面π的交点的坐标。把直线方程改写成参数形式：设(x-a)/m=(x-b)/n=(z-c)/p=t；则x=mt+a；y=nt+b；z=pt+c；代入平面π的方程得：A(mt+a)+B(nt+b)+C(pt+c)+D=0；由此解得t=-(Aa+Bb+Cc+D)/(Am+Bn+Cp)；再代入参数方程即得交点的坐标(x，y，z）。步骤S2中，基于具有线激光的环境图像，获取障碍物位置信息，包括以下步骤：提前获取线激光在图像上的位置与机器人和障碍物之间的距离的比例；获取具有线激光的环境图像中线激光；根据线激光在图像上的位置和所述比例来得到机器人与障碍物之间的距离，也就是得到障碍物的距离信息。线激光器斜向下投射激光线段，投射在障碍物上，获取具有障碍物和线激光的环境时，障碍物离机器人越远，则线激光在图像上的位置越低，这个比例可以提前通过校准计算得到，而且这个比例是根据线激光的安装角度不同而进行相应改变的。还可以通过图像中的线激光的长度来计算，但是当障碍物太小时，就不好计算，不过可以根据图像中的线激光的长度来计算障碍物的长度或高度等信息，便于机器人进行避障。

一种图像获取装置，所述装置包括摄像头和线激光器，所述摄像头以第一预设角度斜向上设置或者水平朝向机器人正前方前设置，所述线激光器位于摄像头的上端，该线激光器的激光发射方向斜向下且与水平线呈第二预设角度。所述摄像头为单色摄像头，没有颜色滤镜和红外滤镜。

如图2所示，一种机器人，所述机器人上设有上述的图像获取装置，图中的101位地面，102为机器人主体，103为摄像头，104为线激光器，105为水平线，106为摄像头中轴线，107为摄像头上视角线，108为摄像头下视角线，109为线激光投射线。所述机器人通过图像获取装置执行上述的障碍物识别与同步定位的方法。

与现有的技术相比，本申请的技术方案通过一个摄像头和线激光器来获取具有线激光的环境图像，然后根据获取的环境图像来进行机器人定位和障碍物识别，降低系统复杂度和生产成本。

显然，上述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，各个实施例之间的技术方案可以相互结合。此外，如果实施例中出现“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等术语，其指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位或以特定的方位构造和操作，因此不能理解为对本发明的限制。如果实施例中出现“第一”、“第二”、“第三”等术语，是为了便于相关特征的区分，不能理解为指示或暗示其相对重要性、次序的先后或者技术特征的数量。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。这些程序可以存储于计算机可读取存储介质（比如ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质）中。该程序在执行时，执行包括上述各方法实施例的步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种障碍物识别与同步定位的方法，其特征在于，该方法包括以下步骤：

S1：机器人使线激光器和摄像头工作，获取具有线激光的环境图像；

S2：基于具有线激光的环境图像，分别实现视觉定位和障碍物信息识别；

其中，所述障碍物信息包括距离信息和方位信息。

2.根据权利要求1所述的障碍物识别与同步定位的方法，其特征在于，步骤S1中，获取具有线激光的环境图像，包括以下步骤：

机器人控制线激光器工作，使线激光器投射线型激光，然后控制摄像头工作，获取若干张具有线激光的环境图像。

3.根据权利要求1所述的障碍物识别与同步定位的方法，其特征在于，步骤S2中，基于具有线激光的环境图像，实现视觉定位，包括以下步骤：

获取两帧图像，然后提取第二帧图像中的特征点，并通过获取两张图像时的IMU数据和里程计积分来得到机器人位姿；

基于第二帧图像中的特征点和机器人位姿获取第二帧图像中的特征点在第一帧图像上的对极线；

在对极线上搜索与第二帧图像中的特征点的特征值匹配的点，得到第一帧图像中对应的特征点；

基于两帧图像之间匹配的特征点和机器人位姿，通过最小化重投影误差计算，得到两帧图像之间的视觉定位位姿。

4.根据权利要求3所述的障碍物识别与同步定位的方法，其特征在于，从第二帧图像中选取特征点，包括以下步骤：

设置用于存储特征点的容器，然后从第二帧图像中，像素灰度值变化大于设定阈值的位置选取角点的位置选取角点，将选取出来的角点作为第二帧图像中识别特征点，然后将识别到的特征点存储到容器中。

5.根据权利要求3所述的障碍物识别与同步定位的方法，其特征在于，最小化重投影误差计算包括以下步骤：

通过两帧图像之间匹配的特征点和机器人位姿进行投影计算，得到进行投影后的特征点的像素值；

获取两帧图像之间匹配的特征点的像素值与进行投影后的特征点的像素值的差值；

将差值的和进行最小化处理，得到摄像头位姿参数和特征点的三维空间点的坐标，确定视觉定位位姿，实现视觉定位。

6.根据权利要求1所述的障碍物识别与同步定位的方法，其特征在于，步骤S2中，基于具有线激光的环境图像，获取障碍物的方位信息，包括以下步骤：

机器人通过校准来获取摄像头的内参，然后通过摄像头的内参来获取线激光平面相对于摄像头的光平面；

机器人对获取的图像中的线激光进行跟踪，当发现线激光不位于地平面时，然后从线激光上以线激光的一端的端点为起点，按照特定的间距选取若干点作为计算点；

计算过摄像头的中心点和计算点的直线的直线方程，然后基于直线方程和所述光平面来获取直线与光平面的交点的三维坐标；

根据若干计算点相对应的交点的三维坐标得到障碍物的方位信息。

7.根据权利要求6所述的障碍物识别与同步定位的方法，其特征在于，基于直线方程和所述光平面来获取直线与光平面的交点的三维坐标，包括以下步骤：

将所述直线方程转换为参数方程，然后将参数方程代入光平面的方程，得到参数方程的参数，再将参数代入参数方程得到交点的三维坐标。

8.根据权利要求1所述的障碍物识别与同步定位的方法，其特征在于，步骤S2中，基于具有线激光的环境图像，获取障碍物的距离信息，包括以下步骤：

提前获取线激光在图像上的位置与机器人和障碍物之间的距离的比例；

获取具有线激光的环境图像中线激光；

根据线激光在图像上的位置和所述比例来得到机器人与障碍物之间的距离，得到障碍物的距离信息。

9.一种图像获取装置，其特征在于，所述装置包括摄像头和线激光器，所述摄像头以第一预设角度斜向上设置或者水平朝向机器人正前方前设置，所述线激光器位于摄像头的上端，该线激光器的中轴线以第二预设角度斜向下设置。

10.根据权利要求9所述的图像获取装置，其特征在于，所述摄像头为单色摄像头或者彩色摄像头。

11.一种机器人，其特征在于，所述机器人上设有权利要求9至10中任一项所述的图像获取装置，所述机器人执行权利要求1至8任一项所述的障碍物识别与同步定位的方法。

Images