CN109634279A - 基于激光雷达与单目视觉的物体定位方法 - Google Patents

Abstract

本发明涉及一种基于激光雷达与单目视觉的物体定位方法，将摄像头与激光雷达按照一定的相对位置关系安装，利用深度学习算法在机器人运动过程中对目标物进行识别，参照摄像头原理，利用目标物在图片中的位置计算得到目标物在摄像头坐标系下的角度，并在激光雷达数据中寻找该角度的对应的激光束以得到目标物与机器人的相对位置关系，在实时定位与地图构建过程中，获取得到目标物在地图中的位置。

Description

基于激光雷达与单目视觉的物体定位方法

技术领域

本发明属于移动机器人定位与地图构建领域，具体涉及一种基于激光雷达与单目视觉的物体定位方法。

背景技术

伴随着经济社会的快速发展，服务机器人已经逐渐成为人类生活的一部分。服务机器人是一种半自主或者全自主工作的机器人，能完成有益于人类健康的服务工作。而对服务机器人来说，SLAM技术是其关键，即将机器人放入未知环境中的未知位置，让机器人在移动过程中根据位置估计和地图进行自身的定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。

随着人们对SLAM技术的探索，人们开始研究有理解力的SLAM技术，即语义SLAM，其能精准感知并适应环境并构建语义地图。将语义分析与SLAM有效融合，增强机器对环境中相互作用的理解能力，为机器人赋予了复杂环境感知力和动态场景适应力。

为了实现机器人的自我环境感知和自主移动与语义地图的构建，目前大多数研究人员都是选用激光雷达与摄像头两种传感器的结合。激光雷达是一种工作在光学波段的雷达，主动发射自己的激光束，激光束接触到目标后被反射并被系统接收，通过探测激光束的回波信号来获取目标位置，其不依赖于外界的光照条件或者目标的特性。激光雷扫描周期较短，探测范围较广，角度分辨率高，雷达本身体积较小，重量相对较轻，功耗也比较低，可靠性高，能采集到大量代表环境且具有准确角度和距离信息的点，能为地图构建与机器人的定位提供良好的传感器条件。摄像头可分为单目摄像头、双目摄像头以及RGB-D摄像头，三者在测距原理上完全不同，单目摄像头需要对目标进行识别，即在测距前先识别障碍物是哪种物体，在此基础上再进行测距。双目摄像头主要是通过两个位置固定的两个摄像头获取同一时刻同一被测物体的图像并计算图像对应点间的位置偏差，来获取距离信息，但是由于摄像头容易受光照等外界环境的干扰，导致得到的距离信息精度较低，且成本相对较高，不宜轻易使用。而对于RGB-D摄像头，以微软推出的kinectv1为例，拥有着一个彩色摄像头，一个红外结构光发射器、一个红外结构光接收器，通过发送发射器红外均匀点阵，接收器接收变形红外点阵，从而通过变形量获取深度信息，官方推荐的测量距离为1220mm～3810mm，其在距离为1.0m时，其精度大概为3mm，当距离为3.0m时，其精度大概为3.0cm，因此其测量距离越远，深度值精度也就越低，且由于使用红外进行深度值的测量，容易受日光或者其他传感器发射的红外光干扰，使用比较受限，此外RGB-D相机在成本、功耗等方面也有一定的劣势。

发明内容

本发明提供了一种基于激光雷达与单目视觉的物体定位方法，结构简单。能够将单目摄像头中识别到的物体的位置以较高的精度确定在地图中。在一定程度上降低了成本的同时，解决了双目以及RGB-D摄像头所测量得到的深度信息精度不够的问题。

为了实现上述发明目的，本发明提供的技术方案如下：基于激光雷达与单目视觉的物体定位方法，包括如下步骤：

步骤1，对单目摄像头进行标定；

步骤2，将单目摄像头与激光雷达水平安装在机器人正前方，并对单目摄像头与激光雷达在空间域上进行配准；

步骤3，将单目摄像头与激光雷达在时序上进行配准；

步骤4，通过激光雷达朝目标发射激光束，采集机器人与周围障碍物的距离信息，通过单目摄像头对准机器人前方采集图像，并利用标定参数修正畸变；

步骤5，利用深度学习算法得到单目摄像头视角范围内的目标物种类并获取其在图片中的位置，得到该位置相对于单目摄像头本身的角度位置关系；

步骤6，将目标物在单目摄像头坐标系下的角度关系映射到激光雷达坐标系，得到目标物对应的激光雷达一帧数据中的某一激光束，根据该激光束得到机器人与目标物之间的相对位置关系。

进一步的，步骤2中对摄像头与激光雷达在空间域上进行配准，实现单目摄像头和激光雷达正前方与机器人正前方对齐，激光雷达坐标系与摄像头坐标系的原点保持在同一竖直线上，单目摄像头坐标系所在平面与激光雷达坐标系所在平面均与地面保持平行。

进一步的，步骤5的具体实现方式如下，

设O为假想的光汇聚中心，单目摄像头的水平视场角为α，单目摄像头获取的图片大小为w*h，O’为图片的中心，通过深度学习算法识别到目标物中心在图片中的位置为(x，y)，f’为O点到图片的虚拟垂直距离，则f’＝(w/2)/tan(α/2)，目标物中心(x，y)与图片中心点O’在图片宽度方向的距离w’＝w/2-x，目标物中心(x，y)与图片中心点O’在图片高度方向距离h’＝h/2-y，设α’为对应于目标物在摄像头坐标系下平面上的某一角度，则α’＝arctan(w’/f’)。

进一步的，步骤6的具体实现方式如下，

在α’的基础上，通过空间域以及时序上的配准结果，将角度α’对应于激光雷达一帧数据中的某一激光束，那么激光雷达中心到目标物的距离则为某一帧激光雷达数第γ束激光束所测到的距离，其中γ的确定方法为下：如某一激光雷达扫描范围为正前方β，激光雷达角度分辨率为δ，当深度学习算法识别的目标物中心在图片左侧时，得到第n束激光束使得nδ<(β/2+α’)≤(n+1)δ，如((β/2+α’)-nδ)<δ/2，取γ＝n，如((β/2+α’)-nδ)>δ/2，则取γ＝n+1；如目标物中心在图片右侧时，求得n使得nδ<(β/2-α’)≤(n+1)δ，如((β/2-α’)-nδ)<δ/2，取γ＝n，如((β/2-α’)-nδ)>δ/2，则取γ＝n+1。

与现有技术相比，本发明的优点和有益效果：激光雷达作为目前slam过程中高精度保证所必须的传感器，本发明在利用单目摄像头的丰富的颜色纹理信息进行识别的同时，借助激光雷达较高精度的距离信息，从一定上程度上降低了slam过程中物体识别定位的成本，且提高了物体定位的精度。

附图说明

图1为本发明激光雷达与摄像头相对安装位置表示图；

图2为参照摄像头原理与程序中图片宽高构建的物体角度定位原理表示图；

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明做进一步的说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本方法要求摄像头与激光雷达水平安装于机器人本体上，且摄像头和激光雷达正前方(X轴方向)与机器人正前方对齐，并且保证激光雷达原点与摄像头原点基本保持在同一竖直线上。附图1中，表达了本方法所要求的激光雷达坐标系X₂Y₂Z₂与单目摄像头坐标系X₁Y₁Z₁的位置关系，单目摄像头坐标原点O₁与激光雷达坐标原点O₂在同一竖直线上，单目摄像头坐标系的X₁-Z₁平面与激光雷达坐标系的X₂-Z₂平面基本平行且坐标系中的X₁-Y₁平面和X₂-Y₂平面均与地面保持平行。

附图2中，虚线分别为大粗线框与小粗线框的水平与竖直中心线。左侧大粗线框为单目摄像头获取的图片，以图片的左上角点为原点，图片宽度方向为水平轴U，高度方向为竖直轴V，其大小为w*h，其大小可通过自带程序获得。小粗线框为使用深度学习算法识别到的目标物所在图片中的长方形框，其中心在图片中的位置为(x，y)。图中右侧实心圆点O可假想为光汇聚中心(假想的光汇聚中心为按照摄像头水平视场角α与图片的宽度大小在图片水平中心线所在的垂直于图片的面上得到的点，附图2为：将实际的物理空间依照摄像头原理与图片大小(像素)映射的另一单位的空间)，α角为虚拟的水平视场角，其与真实物理空间摄像头的水平视场角相等，可由摄像头说明书以及其标定参数中计算得到，f’为O点到图片的虚拟垂直距离(O-O’)，其单位按照程序中的图片大小与水平视场角进行转换，为pixel/rad。

本发明所采用的技术方案是，基于激光雷达与单目视觉的物体定位方法，所述的方法包括以下步骤：

机器人在运动过程中，激光雷达朝目标发射激光束采集机器人与周围障碍物的距离信息，而摄像头用于对准机器人前方采集图像，并利用摄像头标定参数修正其畸变。摄像头的水平视场角α可由摄像头的说明书以及摄像头标定参数计算得到，且其采集到的图像的宽高w*h通过程序获取。将单目摄像头采集到的图像通过深度学习算法得到机器人前方目标物的类型，并得到图像中被识别物体的中心在图像中的位置(x，y)。故附图2中的虚拟垂直距离f’＝(w/2)/tan(α/2)，而附图2中目标物中心(x，y)与图片中心点O’在U轴方向的距离w’＝w/2-x，目标物中心(x，y)与图片中心点O’在V轴方向距离h’＝h/2-y，那么α’＝arctan(w’/f’)，α’对应于目标物在摄像头坐标系下X₁-Y₁平面上的某一角度。

要得到机器人与所识别到的目标物之间的距离，并将目标物位置准确定于地图中并且标识其目标物类型，则要获取深度学习算法识别到目标物的同一时刻目标物所对应的激光束所测量到的距离。在图2中已得到识别到的目标物与摄像头的角度关系为α’，由于对激光雷达与摄像头安装关系的保证，对于激光雷达来说，将图2中角度α’对应于激光雷达一帧数据中的某一激光束(即在空间域中寻找激光雷达数据中与摄像头坐标系角度α’最为接近的一束激光束)，然后激光雷达中心到图2中α’角度所对应的目标物的距离则为一帧激光雷达数第γ束激光束所测到的距离。γ确定为下：如某一激光雷达扫描范围为正前方β，激光雷达角度分辨率为δ，当深度学习算法识别的目标物中心在图片左侧时，得到第n束激光束使得nδ<(β/2+α’)≤(n+1)δ，如((β/2+α’)-nδ)<δ/2，取γ＝n，如((β/2+α’)-nδ)>δ/2，则取γ＝n+1。如目标物中心在图片右侧时，求得n使得nδ<(β/2-α’)≤(n+1)δ，如((β/2-α’)-nδ)<δ/2，取γ＝n，如((β/2-α’)-nδ)>δ/2，则取γ＝n+1。激光雷达精度较高，在实时定位与地图构建过程中，在获取到机器人位姿的情况下，依据此方法，同时可较为准确地可获取到目标物在地图中的位置。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.基于激光雷达与单目视觉的物体定位方法，其特征在于，包括如下步骤：

步骤1，对单目摄像头进行标定；

步骤2，将单目摄像头与激光雷达水平安装在机器人正前方，并对单目摄像头与激光雷达在空间域上进行配准；

步骤3，将单目摄像头与激光雷达在时序上进行配准；

步骤4，通过激光雷达朝目标发射激光束，采集机器人与周围障碍物的距离信息，通过单目摄像头对准机器人前方采集图像，并利用标定参数修正畸变；

步骤5，利用深度学习算法得到单目摄像头视角范围内的目标物种类并获取其在图片中的位置，得到该位置相对于单目摄像头本身的角度位置关系；

步骤6，将目标物在单目摄像头坐标系下的角度关系映射到激光雷达坐标系，得到目标物对应的激光雷达一帧数据中的某一激光束，根据该激光束得到机器人与目标物之间的相对位置关系。

2.如权利要求1所述的基于激光雷达与单目视觉的物体定位方法，其特征在于：步骤2中对摄像头与激光雷达在空间域上进行配准，实现单目摄像头和激光雷达正前方与机器人正前方对齐，激光雷达坐标系与摄像头坐标系的原点保持在同一竖直线上，单目摄像头坐标系所在平面与激光雷达坐标系所在平面均与地面保持平行。

3.如权利要求1所述的基于激光雷达与单目视觉的物体定位方法，其特征在于：步骤5的具体实现方式如下，

设O为假想的光汇聚中心，单目摄像头的水平视场角为α，单目摄像头获取的图片大小为w*h，O’为图片的中心，通过深度学习算法识别到的目标物中心在图片中的位置为(x，y)，f’为O点到图片的虚拟垂直距离，则f’＝(w/2)/tan(α/2)，目标物中心(x，y)与图片中心点O’在图片宽度方向的距离w’＝w/2-x，目标物中心(x，y)与图片中心点O’在图片高度方向距离h’＝h/2-y，设α’为对应于目标物在摄像头坐标系下平面上的某一角度，则α’＝arctan(w’/f’)。

4.如权利要求3所述的基于激光雷达与单目视觉的物体定位方法，其特征在于：步骤6的具体实现方式如下，

在α’的基础上，通过空间域以及时序上的配准结果，将角度α’对应于激光雷达一帧数据中的某一激光束，那么激光雷达中心到目标物的距离则为某一帧激光雷达数第γ束激光束所测到的距离，其中γ的确定方法为下：如某一激光雷达扫描范围为正前方β，激光雷达角度分辨率为δ，当深度学习算法识别的目标物中心在图片左侧时，得到第n束激光束使得nδ<(β/2+α’)≤(n+1)δ，如((β/2+α’)-nδ)<δ/2，取γ＝n，如((β/2+α’)-nδ)>δ/2，则取γ＝n+1；如目标物中心在图片右侧时，求得n使得nδ<(β/2-α’)≤(n+1)δ，如((β/2-α’)-nδ)<δ/2，取γ＝n，如((β/2-α’)-nδ)>δ/2，则取γ＝n+1。