CN112017240B - 一种面向无人叉车的托盘识别定位方法 - Google Patents

Abstract

本发明公开了一种面向无人叉车的托盘识别定位方法，包括如下步骤：S1，集成单目相机与单线激光雷达，对对其进行标定，得到相机的内参矩阵和外参矩阵；S2，选取并完成神经网络系统的训练及部署；S3，通过神经网络获取托盘识别框顶点的二维坐标和内参矩阵，得到托盘左右两侧与相机光心的连线，与相机光轴的夹角；S4，根据单线激光雷达测距信息和外参矩阵，将点云投影到相机坐标系下，根据夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云；S5，将托盘对应的点云，利用霍夫变换进行直线检测，拟合出托盘前表面及托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角。

Description

一种面向无人叉车的托盘识别定位方法

技术领域

本发明涉及智能识别及定位技术领域，尤其是涉及了一种面向无人叉车的托盘识别定位方法。

背景技术

在智能化的时代背景下，随着机器人技术和人工智能技术的不断更迭，制造行业与仓储物流行业逐渐向智能化、无人化、自主化等方向转型，智能物流作为上述行业向智能化迈进的重要基础，有了长足的进步与发展。无人叉车作为智能物流的基本实现形式，被广泛应用于物料输送、仓储存放及货物装卸等工作场景，可适应不同工作环境，完成高强度作业任务。

无人叉车的本质是一台智能机器人，而智能机器人则是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统，其中环境感知能力是体现其智能化程度的一个重要指标，并对其自主作业功能起指导性作用，是机器人系统中极为重要的组成部分。无人叉车在大多数作业任务中的感知目标为托盘，因此无人叉车对托盘的感知能力是其实现无人化自主作业的关键因素。目前在无人叉车相关研究中对于托盘的识别与定位通常采用双目视觉、激光雷达、毫米波雷达等深度传感器与单目视觉融合的方案，此类方案在一定范围内可实现无人叉车对托盘的识别与定位，但在计算资源消耗、物体定位精度、有效定位距离及成本等方面还存在着明显的不足。由于无人叉车受成本、体积、功耗及作业效率等问题的约束，其搭载的终端计算设备算力十分有限，因此采用上述方案的托盘识别与定位方法造价高昂、计算资源消耗大、实时性差，在无人叉车实际工作条件下难以有效完成托盘识别与定位工作。

发明内容

为解决现有技术的不足，实现降低计算资源消耗，提高定位精度，增加有效定位距离，提高实时性，节约成本的目的，本发明采用如下的技术方案：

一种面向无人叉车的托盘识别定位方法，包括如下步骤：

S1，集成单目相机与单线激光雷达，相机光轴平行于地面，激光雷达标原点与相机光心的连线垂直于地面，对单目相机和单线激光雷达进行标定，得到的标定参数包括单目相机的内参矩阵和外参矩阵；

S2，选取神经网络系统，采集托盘图像作为训练数据集，并完成对神经网络的训练，实现托盘识别神经网络的部署；

S3，通过神经网络识别单目相机采集的托盘，并获取托盘识别框顶点的二维坐标，根据所述内参矩阵，计算得到托盘左右两侧与相机光心的连线，在相机水平视角场中，与相机光轴的夹角；

S4，读取单线激光雷达测距信息，将极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云，根据所述外参矩阵，将点云投影到相机坐标系下，根据所述夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云；

S5，将托盘对应的点云转换成像素与距离成对应关系的平面图像，利用霍夫变换进行直线检测，拟合出托盘前表面，并对拟合得到的托盘前表面的直线进行处理，得到托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角，从而实现对托盘的识别定位。

所述S1包括如下步骤：

S11，相机标定板结合相机视场范围采集不同位姿的标定图像以覆盖单目相机的全部视场，并确保采集过程中标定板始终在激光雷达点云中清晰可辨；

S12，利用采集到的标定图像和点云数据，通过联合标定工具箱处理标定板点云以实现点云和标定图像的帧匹配，完成单目相机的标定和单目相机与单线激光雷达的联合标定，分别得到相机的内参矩阵和外参矩阵。

所述S2，根据无人叉车上计算平台的算力选取神经网络，以满足网络运行的实时性要求。

所述S3包括如下步骤：

S31，单目相机获取视野中的环境图像；

S32，利用神经网络识别环境图像中的托盘及其识别框左右两侧顶点在像素坐标系中的二维坐标；

S33，根据左右两侧顶点的二维坐标和所述相机内参，计算得到托盘左右两侧与相机光心连线，在相机水平视角场中，与相机光轴的夹角；通过如下公式计算夹角：

u₀,u₁分别表示识别框左右两侧顶点在uv像素坐标系中的水平方向上的u值，f_x是所述相机内参矩阵的参数。

所述S4包括如下步骤：

S41，获取激光雷达原始测距信息；

S42，将激光雷达原始极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云；通过如下公式计算：

x_i＝d_i sinγ_i

z_i＝d_i cosγ_i

d_i、γ_i表示第i个点云的极坐标，x_i、z_i表示第i个点云的笛卡尔坐标；

S43，根据所述外参矩阵，将点云的笛卡尔坐标投影到相机坐标系下；通过如下公式：

x、z表示所述的x_i、z_i的集合，D_c表示相机坐标系下的点云；

S44，根据所述夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云。滤波的结果就是保留托盘左右两侧之间的雷达点云数据。

所述S5包括如下步骤：

S51，选定像素与实际距离的比例关系，将所述点云转换为一副二值图像，并做归一化处理；

S52，对S51中得到的图像做霍夫变换进行直线检测，将拟合点数最多的线段作为托盘前表面的线段；

S53，利用线段端点像素坐标及所述像素与实际距离的比例关系，算出托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角，从而实现对托盘的识别定位，通过如下公式计算：

x＝0.5k(x₀+x₁)

z＝0.5k(z₀+z₁)

(x₀,z₀),(x₁,z₁)分别表示霍夫变换拟合出的线段左右端点，k表示像素与实际距离的比例关系，(x,z)表示托盘前表面中心点在相机坐标系中的二维坐标，angle是相机水平视角场中，托盘前表面在相机坐标系中与X轴的夹角。

本发明的优势和有益效果在于：

本发明在实际工作场景中能够提高无人叉车的自主作业能力和环境适应能力，降低了计算资源的消耗，以便在移动端算力有限的情况下保证托盘识别定位的实时性，同时具有较好的托盘识别效果与定位效果，识别准确度高、识别范围广，定位精度高、定位范围广，保障了无人叉车在非结构化环境中的自主作业能力，此方法可以降低传感器元件的要求，提高结构紧凑，提高集成度，降低成本，从而可降低此方法的使用门槛，有利于此托盘识别定位方法的推广与应用普及。

附图说明

图1是本发明的托盘识别定位方法流程图。

图2是本发明中各坐标系与托盘的示意图。

图3是本发明中各坐标系与托盘在添加滤波线后的示意图。

图4是本发明中俯视状态下angle角的示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，一种面向无人叉车的托盘识别定位方法，基于单线激光雷达-单目视觉融合的传感器方案，包括以下步骤：

S1，设计结构件来实现单目相机与单线激光雷达的集成，相机安装位置保证相机光轴平行于地面，单线激光雷达安装位置保证雷达坐标原点与相机光心的连线垂直于地面且使激光雷达与单目相机之间的垂直间距尽可能小，对单目相机和单线激光雷达进行标定，得到标定参数，包含相机内参矩阵K和外参矩阵M；具体包括如下步骤：

S11，相机标定板选取为12×9的国际象棋盘图案标定板，结合相机视场范围采集了150张不同位姿的标定图像以覆盖相机的全部视场，并且保证在采集过程中标定板始终在激光雷达点云中清晰可辨别；

S12，利用采集到的标定图像和激光雷达点云数据，通过Autoware自动驾驶包的联合标定工具箱处理标定板点云以实现点云和图像的帧匹配，完成单目相机的标定和相机-激光雷达的联合标定，分别得到相机内参矩阵K和相机外参矩阵M。

S2，选择合适的物体识别神经网络，采集实际环境中托盘图像，制作训练用数据集并完成神经网络的训练工作，实现托盘识别神经网络部署工作；具体包括如下步骤：

S21，基于终端设备性能与系统工作频率指标等选取合适的物体识别神经网络，无人叉车上设有终端设备，终端设备采用NVIDIA的Jetson Nano嵌入式计算平台，根据计算平台的算力，选取物体识别神经网络系统，以满足网络运行的实时性要求；

S22，在实际环境中采集托盘图像，保证背景复杂多样及托盘种类、尺寸、姿态多样；

S23，利用采集的图像制作托盘识别训练集，完成神经网络的训练工作及部署工作。

S3，利用托盘识别算法识别单目相机视野中的托盘，并获取托盘识别框顶点二维坐标；如图2所示，根据S1标定得到的相机内参可计算得到托盘左右两侧与相机光心连线在相机水平视角场中与相机光轴的夹角，O_cX_cY_cZ_c为相机坐标系，O₁xy为图像坐标系，uv为像素坐标系，O_wX_wY_wZ_w为激光雷达坐标系，b₀,b₁,b₂,b₃为识别框顶点坐标，α,β为托盘左右两侧与相机光心连线在相机水平视角场中与相机光轴的夹角。具体包括如下步骤：

S31，单目相机获取视野中的环境原始图像；

S32，根据获取到的环境图像利用托盘识别神经网络进行物体检测，检测出托盘及其识别框顶点在像素坐标系中的二维坐标；

S33，根据S1标定得到的相机内参可计算得到托盘左右两侧与相机光心连线在相机水平视角场中与相机光轴的夹角；

通过如下公式计算夹角：

u₀,u₁分别为b₀,b₁中的u值，f_x为相机内参矩阵K的参数；

S4，读取激光雷达测距信息，并对测距信息进行预处理，将极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云，并根据S1中获取的相机外参矩阵，将激光雷达点云投影到相机坐标系下，根据S3中得到的托盘左右两侧在相机水平视角场中与相机光心连线的夹角，对相机坐标系下激光雷达点云进行滤波处理，只保留托盘对应的激光雷达点云；具体包括如下步骤：

S41，利用激光雷达SDK读取激光雷达原始测距信息；

S42，将激光雷达原始极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云；通过如下公式：

x_i＝d_i sinγ_i

z_i＝d_i cosγ_i

其中d_i,γ_i为第i个点云的极坐标，x_i,z_i为第i个点云的笛卡尔坐标；

S43，根据S1中获取的相机外参矩阵M，将激光雷达点云投影到相机坐标系下；通过如下公式：

其中，x、z表示所述的x_i、z_i的集合，D_c分别为相机坐标系下的雷达点云；

S44，根据S3中得到的托盘左右两侧在相机水平视角场中与相机光心连线的夹角，对相机坐标系下激光雷达点云进行滤波处理，只保留托盘对应的激光雷达点云。如图3所示，滤波的结果就是保留两条竖直虚线之间的雷达点云数据。

S5，将S4中得到的托盘对应的激光雷达点云转换成平面图像，像素与实际距离成一定的对应关系，利用霍夫变换进行直线检测来拟合出托盘前表面，对拟合得到的代表托盘前表面的直线进行处理，可得到托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角，实现对托盘的识别定位。具体包括如下步骤：

S51，选定像素与实际距离的比例关系，将激光雷达点云转换为一副二值图像，并做归一化处理；

S52，利用OPENCV对S51中得到的图像做霍夫变换进行直线检测，设定霍夫变换函数命令中的相关参数，用来调整最小拟合点数、最小线间距、最大间隔(即多条线段能否连成一条线)等，其中拟合点数最多的线段即为代表托盘前表面的线段；

S53，根据S52中得到的托盘前表面线段，利用其端点像素坐标及S51中生成图像时设定的像素与实际距离的比例关系，可解算出托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角，从而实现对托盘的识别定位。通过如下公式：

x＝0.5k(x₀+x₁)

z＝0.5k(z₀+z₁)

其中(x₀,z₀),(x₁,z₁)分别为霍夫变换拟合出的线段左右端点，k表示像素与实际距离的比例关系，(x,z)为托盘前表面中心点二维坐标，如图4所示，angle是相机水平视角场中，托盘前表面在相机坐标系中与X轴的夹角。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (6)

1.一种面向无人叉车的托盘识别定位方法，其特征在于包括如下步骤：

S1，集成单目相机与单线激光雷达，相机光轴平行于地面，激光雷达标原点与相机光心的连线垂直于地面，对单目相机和单线激光雷达进行标定，得到的标定参数包括单目相机的内参矩阵和外参矩阵；

S2，选取神经网络系统，采集托盘图像作为训练数据集，并完成对神经网络的训练，实现托盘识别神经网络的部署；

S3，通过神经网络识别单目相机采集的托盘，并获取托盘识别框顶点的二维坐标，根据所述内参矩阵，计算得到托盘左右两侧与相机光心的连线，在相机水平视角场中，与相机光轴的夹角；

S4，读取单线激光雷达测距信息，将极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云，根据所述外参矩阵，将点云投影到相机坐标系下，根据所述夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云；

S5，将托盘对应的点云转换成像素与距离成对应关系的平面图像，利用霍夫变换进行直线检测，拟合出托盘前表面，并对拟合得到的托盘前表面的直线进行处理，得到托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角。

2.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S1包括如下步骤：

S11，相机标定板结合相机视场范围，通过相机采集不同位姿的标定图像以覆盖单目相机的全部视场，并确保采集过程中标定板始终在激光雷达点云中清晰可辨；

S12，利用采集到的标定图像和点云数据，通过联合标定工具箱处理标定板点云以实现点云和标定图像的帧匹配，完成单目相机的标定和单目相机与单线激光雷达的联合标定，分别得到相机的内参矩阵和外参矩阵。

3.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S2，根据无人叉车上计算平台的算力选取神经网络。

4.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S3包括如下步骤：

S31，单目相机获取视野中的环境图像；

S32，利用神经网络识别环境图像中的托盘及其识别框左右两侧顶点在像素坐标系中的二维坐标；

S33，根据左右两侧顶点的二维坐标和所述相机内参，计算得到托盘左右两侧与相机光心连线，在相机水平视角场中，与相机光轴的夹角；通过如下公式计算夹角：

u₀,u₁分别表示识别框左右两侧顶点在uv像素坐标系中的水平方向上的u值，f_x是所述相机内参矩阵的参数。

5.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S4包括如下步骤：

S41，获取激光雷达原始测距信息；

S42，将激光雷达原始极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云；通过如下公式计算：

x_i＝d_isinγ_i

z_i＝d_icosγ_i

d_i、γ_i表示第i个点云的极坐标，x_i、z_i表示第i个点云的笛卡尔坐标；

S43，根据所述外参矩阵，将点云的笛卡尔坐标投影到相机坐标系下；通过如下公式：

x、z表示所述的x_i、z_i的集合，D_c表示相机坐标系下的点云；

S44，根据所述夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云。

6.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S5包括如下步骤：

S51，选定像素与实际距离的比例关系，将所述点云转换为一副二值图像，并做归一化处理；

S52，对S51中得到的图像做霍夫变换进行直线检测，将拟合点数最多的线段作为托盘前表面的线段；

S53，利用线段端点像素坐标及所述像素与实际距离的比例关系，算出托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角，通过如下公式计算：

x＝0.5k(x₀+x₁)

z＝0.5k(z₀+z₁)

(x₀,z₀),(x₁,z₁)分别表示霍夫变换拟合出的线段左右端点，k表示像素与实际距离的比例关系，(x,z)表示托盘前表面中心点在相机坐标系中的二维坐标，angle是相机水平视角场中，托盘前表面在相机坐标系中与X轴的夹角。

Images