CN112598729A - 融合激光与相机的目标物体识别与定位方法 - Google Patents

Abstract

本发明公开一种融合激光与相机的目标物体识别与定位方法，包括：S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；S2、将采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；S3、将目标物体中心的图像坐标转换为空间坐标P_cam，计算目标物体中心距雷达及相机所在平面的距离d_cam；S4、激光雷达通过点云图像获取目标物体中心的空间坐标P_las，及该目标物体中心距激光及相机所在平面的距离d_las；S5、计算距离偏差d_dis＝|d_las‑d_cam|，若距离偏差大于或等于阈值d_p，则执行步骤S1，若距离偏差小于阈值d_p，则返回目标物体的中心坐标。对相机定位与雷达定位结果进行相互校准，通过这种方式来提高识别准确度和定位精度。

Description

融合激光与相机的目标物体识别与定位方法

技术领域

本发明属于图像处理技术领域，更具体地，本发明涉及一种融合激光与相机的目标物体识别与定位方法。

背景技术

随着自主移动抓取机器人在服务和仓储物流领域有着越来越广泛的应用，其定位导航技术也越发重要。自主移动抓取机器人主要分为移动平台和机械臂，移动平台的定位导航主要使用激光或视觉SLAM，地图的分辨率比较低，定位精度不高，因此在机械臂对目标物体进行一系列操作之前，必须对目标物体进行识别和精定位。

现有基于双目视觉和激光雷达的机器人目标定位和抓取方法，进行了双目视觉和激光雷达的机器人目标定位，该方案也只是采用激光和相机进行目标物体的定位识别，并没有对样本和计算结果进行评估，精确性有待进一步提高。

发明内容

本发明提供了一种融合激光与相机的目标物体识别与定位，旨在改善上述问题。

本发明是这样实现的，一种融合激光与相机的目标物体识别与定位方法，所述方法具体包括如下步骤：

S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；

S2、将双目相机采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；

S3、将目标物体中心的图像坐标转换为世界坐标系下的空间坐标P_cam及目标物体中心距雷达及相机所在平面的距离d_cam；

S4、激光雷达通过点云图像获取目标物体中心的空间坐标P_las，及该目标物体中心距激光及相机所在平面的距离d_las；

S5、计算距离偏差d_dis＝|d_las-d_cam|，若距离偏差大于或等于阈值d_p，则认定目标物体识别定位失败，执行步骤S1，若距离偏差小于阈值d_p，则认定目标物体识别定位成功，返回目标物体的中心坐标。

进一步的，目标物体的中心坐标为：

其中，α为权重调整因子，P_las为雷达获取的目标物体中心的空间坐标，P_cam为双目相机获取的目标空间中心的空间坐标。

进一步的，神经网络模型为YOLOV3模型。

进一步的，YOLOV3模型是通过含有目标物体图像作为训练集，进行训练形成，训练集中含有目标物体图像的获取方法具体如下：

S21、自动获取目标物体在各方位上各拍摄角度的图像；

S22、去除步骤S21中各图像的背景，将目标物体进行不同透明度的处理；

S23、拍摄目标环境的目标环境图像，将步骤S22获得的图像复制至形成目标环境图像中；

S24、对步骤S23获得图像进行增强处理，形成目标物体在不同环境中的训练本集，其中，增强处理包括如下处理中的至少一种，即锐化处理、雾化处理、背景虚化处理、目标物体复制粘贴处理。

进一步的，所述步骤S21中的图像获取方法具体如下：

控制采样平台围绕目标物体以设定的步长移动，在移动至下一位置点后，控制机械臂末端的相机以不同的角度拍摄该位置点的目标物体图像，该位置点的角度图像拍摄完毕后，控制采样平台移动设定步长，移动至下一位置点，不断重读上述操作，直至采样平台完成所有位置点的图像拍摄。

本发明提供的融合激光与相机的目标物体识别与定位方法具有如下有益技术效果：

1)实现一键自动采集和样本生成，从而实现目标物体的识别训练的便利性提升、宽容性提升；

2)实现一键自动样本增强，从而实现目标物体的识别训练的样本数量提升和小目标检测模型精确度提升；

3)对相机定位与雷达定位结果进行相互校准，通过这种方式来提高识别准确度和定位精度。

附图说明

图1为本发明实施例提供的种融合激光与相机的目标物体识别与定位方法流程图；

图2为本发明实施例提供的双目视差法原理示意图。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

图1为本发明实施例提供的种融合激光与相机的目标物体识别与定位方法流程图，该方法具体包括如下步骤：

S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；

在进行目标物体定位和识别过程前，需要对相机进行标定，获取相机内参和畸变等。还需要对相机和雷达进行联合配准，建立相机坐标系和雷达坐标系之间的坐标转换关系。

S2、将双目相机采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；

在本发明实施例中，神经网络模型为YOLOV3模型，适合工业应用，但物体定位不够准确，利用激光雷达来进行弥补

在进行物体识别之前，需要采集各种物体的图像数据集，然后采用神经网络对数据集进行训练，构造目标检测模型。为了实际工业应用的轻便性和准确性，如果人为拍摄去获取数据集，这样不仅耗时，样本多样性和训练精度很难保证。我们设计一种样本采集与处理方法，实现自动采集和增强样本一键标注，从而实现后期的物体识别训练，在本发明实施例中，YOLOV3模型是通过含有目标物体图像作为训练集，进行训练形成，在本发明实施例中，训练集中含有目标物体图像的获取方法具体如下：

S21、自动获取目标物体在各方位上各拍摄角度的图像；其获取方法具体如下：

控制采样平台围绕目标物体以设定的步长移动，在移动至下一位置点后，控制机械臂末端的相机以不同的角度拍摄该位置点的目标物体图像，该位置点的角度图像拍摄完毕后，控制采样平台移动设定步长，移动至下一位置点，不断重读上述操作，直至采样平台完成所有位置点的图像拍摄。

S22、去除步骤S21中各图像的背景，将目标物体进行不同透明度的处理；

S23、拍摄目标环境的目标环境图像，将步骤S22获得的图像复制至形成目标环境图像中；

S24、对步骤S23获得图像进行增强处理，形成目标物体在不同环境中的训练本集，其中，增强处理包括如下处理中的至少一种，即锐化处理、雾化处理、背景虚化处理、目标物体复制粘贴处理。

考虑工业应用场景的实际情况，很多场景可能环境很大，比如几千平的厂房，在相机获取的图片中，很多目标可能在图片中是很小的，而通用的Yolov3模型对小目标的检测精确性有待进一步提高。设计不同于yolov3的更丰富的数据增强和数据集扩充与生成技术，来对小目标检测的精度进行提高。

其中，由于在实际场景中很难采集大量样本，为了扩大样本数量及样本采集便利性，样本的采集我们设计样本采集平台，在滑台上安装有机械臂，机械臂的末端设置有相机(可以为单目相机或双目相机)，滑台上有三自由度机械臂，基座转轴实现竖直方向上的转动，中间转轴实现水平方向的转动，最上面的转轴同样实现竖直方向转动。并且滑台可以呈矩形排布，以实现样本的四个方位，10个角度采集(角度数量可以通过编程控制更改)。

为了扩大样本的数量和样本的适用性，我们设计了一种样本扩充和生成技术，我们只需获取大量厂房等工业应用场景、实际生活目标物体存在场景的照片，将这些场景等照片作为背景图片，将采集的物体照片进行原背景去除处理并进行目标物体不同透明度处理后复制到这些场景中，生成模拟对应环境的目标物体图片，从而减少了去不同场景实地拍摄实际目标物体照片的大量样本采集过程。之后还会对形成的物体图片进行锐化、雾化、背景虚化、目标物体复制粘贴、并将工业场景背景图的某一部分复制覆盖目标物体的部分区域模拟环境遮挡，多目标物体，多环境重叠等，进行一系列的数据增强策略，丰富样本的宽容性，以适应不同环境的目标检测过程。并且这些数据增强策略实现一键完成，对数据的预处理能够降低模型的训练时间。

S3、将目标物体中心的图像坐标转换为世界坐标系下的空间坐标P_cam及目标物体中心距雷达及相机所在平面的距离d_cam；

S4、激光雷达通过点云图像获取目标物体的中心坐标P_las，及该目标物体中心距激光及相机所在平面的距离d_las；

在本发明实施例中，根据双目视差法算出目标物体中心点的空间坐标P，结合图2对双目视差法原理进行简要说明，说明如下：

世界坐标系下的空间坐标为：

其中，p_l，p_r为双目相机同一时刻相对于空间中的点P在左右图像上的点，

P(X_w,Y_w,Z_w)为点P在世界坐标系及左相机坐标系中的坐标，f为左相机、右相机的焦距，d₀为左相机光心与右相机光心的距离，因为两个相机只是在X轴方向有相对位移，所以d₀＝||O_l-O_r||，其中O_l、O_r为左相机的相机坐标系原点，右相机的相机坐标系原点，(x_l,y_l)表示点P在相机坐标系O_l中的坐标，(x_r,y_r)表示点P在相机坐标系O_r中的坐标；

于是：

y_r＝y_l＝y；所以：视差

Z＝Z_w，也即是深度值。

S5、计算距离偏差d_dis＝|d_las-d_cam|，若距离偏差大于或等于阈值d_p，则认定目标物体识别定位失败，执行步骤S1，若距离偏差小于阈值d_p，则认定目标物体识别定位成功，返回目标物体的中心坐标，通过这种方式来提高识别准确度和定位精度。

在本发明实施例中，目标物体的中心坐标为(λ_camP_cam+λ_lasP_las)，

其中，α为权重调整因子，在实际应用中，λ_cam远小于λ_las。

本发明提供的融合激光与相机的目标物体识别与定位方法具有如下有益技术效果：

1)实现一键自动采集和样本生成，从而实现目标物体的识别训练的便利性提升、宽容性提升；

2)实现一键自动样本增强，从而实现目标物体的识别训练的样本数量提升和小目标检测模型精确度提升；

3)对相机定位与雷达定位结果进行相互校准，通过这种方式来提高识别准确度和定位精度。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (5)

1.一种融合激光与相机的目标物体识别与定位方法，其特征在于，所述方法具体包括如下步骤：

S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；

S2、将双目相机采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；

S3、将目标物体中心的图像坐标转换为世界坐标系下的空间坐标P_cam、并计算目标物体中心距雷达及相机所在平面的距离d_cam；

S4、激光雷达通过点云图像获取目标物体中心的空间坐标P_las，及该目标物体中心距激光及相机所在平面的距离d_las；

S5、计算距离偏差d_dis＝|d_las-d_cam|，若距离偏差大于或等于阈值d_p，则执行步骤S1，若距离偏差小于阈值d_p，则返回目标物体的中心坐标。

2.如权利要求1所述融合激光与相机的目标物体识别与定位方法，其特征在于，目标物体的中心坐标为：(λ_camP_cam+λ_lasP_las)，

其中，α为权重调整因子，P_las为雷达获取的目标物体中心的空间坐标，P_cam为双目相机获取的目标空间中心的空间坐标。

3.如权利要求1所述融合激光与相机的目标物体识别与定位方法，其特征在于，神经网络模型为YOLOV3模型。

4.如权利要求3所述融合激光与相机的目标物体识别与定位方法，其特征在于，YOLOV3模型是通过含有目标物体图像作为训练集，进行训练形成，训练集中含有目标物体图像的获取方法具体如下：

S21、自动获取目标物体在各方位上各拍摄角度的图像；

S22、去除步骤S21中各图像的背景，将目标物体进行不同透明度的处理；

S23、拍摄目标环境的目标环境图像，将步骤S22获得的图像复制至形成目标环境图像中；

S24、对步骤S23获得图像进行增强处理，形成目标物体在不同环境中的训练本集，其中，增强处理包括如下处理中的至少一种，即锐化处理、雾化处理、背景虚化处理、目标物体复制粘贴处理。

5.如权利要求3所述融合激光与相机的目标物体识别与定位方法，其特征在于，所述步骤S21中的图像获取方法具体如下：

控制采样平台围绕目标物体以设定的步长移动，在移动至下一位置点后，控制机械臂末端的相机以不同的角度拍摄该位置点的目标物体图像，该位置点的角度图像拍摄完毕后，控制采样平台移动设定步长，移动至下一位置点，不断重读上述操作，直至采样平台完成所有位置点的图像拍摄。

Images