CN111292261A - 一种基于多传感器融合的集装箱检测及锁定方法 - Google Patents

Abstract

本发明涉及一种基于多传感器融合的集装箱检测及锁定方法。实际工业环境中需要利用叉车对搬运设备对集装箱搬运。自动搬运首先需要对集装箱及底部角件的位置进行定位，再操纵搬运设备对集装箱进行锁定、抬升，最后将集装箱搬运到目的地。传统的检测锁定方法通过人工进行锁定效率低、人工成本高。本发明通过多传感器采集不同的环境信息，通过神经网络检测出集装箱在图像中的位置，再通过主成分分析法粗略估计集装箱正面姿态，直至靠近集装箱后，再对其姿态进行精细化估计，最后将集装箱锁定。

Description

一种基于多传感器融合的集装箱检测及锁定方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于多传感器融合的集装箱检测及锁定方法。

背景技术

在目前的集装箱搬运方法中，大部分都是使用括岸边集装装卸桥、轨道式集装箱龙门起重机、轮胎式集装箱龙门起重机、集装箱跨运车和集装箱正面吊运机等大型机械设备配合人工操作。也有一小部分是应用在小型搬运场景下的设备。集装箱搬运方法中，首先需要对集装箱进行角件锁定，再运输到目标位置。目前，对集装箱进行角件锁定的方法主要有：1)人工对集装箱进行角件锁定；2)通过自动化方法进行角件锁定。

人工对集装箱进行锁定的方法在技术上比较简单，对设备要求不高。但是其工作效率因人而异，熟练与不熟练的工人工作效率相差较大。同时人工成本较高。

自动锁定方法是指集装箱搬运设备结合现有的计算机视觉技术、传感器技术等替代人工操作的方法。集装箱自动锁定方法通过传感器获取集装箱环境信息，通过计算机处理器对传感器采集的信息进行计算，提取出有用信息，再对集装箱进行定位，最后对集装箱进行角件锁定。相对于人工锁定的方法，自动锁定的方法工作效率高，不会受到外界因素影响，可以24小时工作，同时减少了人工开支。

发明内容

本发明通过彩色变焦相机与TOF深度相机组成的多传感器系统采集集装箱所在环境信息，使用目标检测神经网络检测出集装箱在相机拍摄图像中的位置，在根据其位置选择对应的三维点云计算集装箱相对于搬运设备的姿态，最后引导叉车对集装箱进行锁定。

具体步骤是：

步骤(1)使用TOF深度相机获取环境的灰度图和深度图；其中灰度图即为G，深度图即为D；

步骤(2)使用训练好的YOLO-v3神经网络检测灰度图中是否存在集装箱；具体如下：

①将灰度图G输入到训练好的YOLO-v3神经网络中；通过神经网络对灰度图的图像特征进行提取，然后利用提取出的图像特征对集装箱在灰度图中的坐标进行预测，输出多个可能的坐标，最后对多个坐标进行筛选，选择置信度最高的坐标并将坐标保存到内存中；坐标的表示方法为(left,right,top,bottom)，其中left，right，top，bottom分别表示集装箱正面在灰度图中最左、最右、最上、最下的像素坐标；

②判断网络输出是否有效；通过与内存中前5帧图像中的集装箱坐标进行比较，比较方式如下：

其中，flag表示结果是否有效，x_now表示当前的left，right，top，bottom坐标，x_last表示前帧的left，right，top，bottom坐标，d表示突变阈值；

如果flag为1，则直接进行步骤(4)；如果flag为0，表示集装箱位置出现突变，需要进行优化，进行步骤(3)；

步骤(3)对集装箱坐标进行优化；优化方式以left坐标为例，如下：

left_now＝0.4×left₁+0.3×left₂+0.2×left₃+0.05×left₄+0.05×left₅

其中，left_now为当前帧的左边界坐标值，left_k为k帧前的左边界坐标值；

步骤(4)根据步骤(2)得到的坐标框或步骤(3)优化后的坐标框，再在深度图中选取对应位置的三维点云数据，并通过主成分分析算法计算集装箱正面法向量，再与搬运设备平面的法向量计算两平面夹角，并将当前夹角与中心点云坐标发送给下位机；具体计算步骤如下：

对平面建立平面模型：

Ax+By+Cz+D＝0

其中A、B、C、D为平面的参数，x、y、z为平面上点的坐标值；

利用主成分分析算法求解平面法向量的参数，计算方法如下：

(a)求解平面上所有点的协方差矩阵；公式为：

Σ＝E(xx^T)-E(x)E(x^T)

(b)求解协方差矩阵的特征向量与特征值，其中最小特征值对应的特征向量就是平面对应的法向量，也就是平面方程中的参数A、B、C；

(c)将点云中的所有有效数据代入方程，求得多个D值，对D值求平均，得到一个较为准确的D；

(d)在获得了平面在深度相机坐标系的方程后，利用立体几何中的方法，计算出深度相机所在垂直平面与角件平面的夹角；使用公式如下：

其中，θ为两平面之间的夹角，

和

分别为相机垂直于地面平面的法向量与角件平面的法向量；

步骤(5)搬运设备接收到位置信息后，开始向目标位置进行移动；

步骤(6)重复步骤(1)至(5)，不断矫正位置，直至搬运设备移动到集装箱正面2m处，进行步骤(7)；

步骤(7)彩色相机开始采集图像，记为I；将I输入到训练好的YOLO-v3神经网络中检测角件在彩色图片中的位置；具体检测过程与步骤(2)相同；

步骤(8)通过集装箱角件位置计算集装箱角件的水平偏差距离diff；具体步骤如下：

(i)计算图片I中单个像素代表的现实距离；计算公式如下：

其中，pix代表每个像素的距离，d代表集装箱角件的实际宽度，r和l分别是角件通过步骤(7)检测出来的右边界坐标和左边界坐标；

(ii)计算水平偏差距离；计算公式如下：

diff＝pix×(center-correct)

其中diff为水平偏差距离，center为步骤(7)检测出来的集装箱中心的水平坐标

correct为记录的对准时中心的水平坐标；

步骤(9)通过图像处理算法对深度相机灰度图G进行处理获取集装箱正面的可靠点云区域，再使用主成分分析法求取准确的搬运设备平面与集装箱正面的夹角；将获取的水平偏移与夹角发送给下位机；其中，主成分分析法与步骤(4)相同；获取点云区域的具体步骤如下：

①、使用高斯滤波器对灰度图进行滤波，滤去图片中的噪声，滤波后的图像记为G'；因为高斯滤波器的卷积核是旋转对称的，所以不会对图像的边缘特征造成偏移；在本方案中，卷积核的尺寸具体参数为

②、使用Sobel算子对G'进行计算，求取G'中每个像素点的梯度，并且将其水平梯度图与垂直梯度图分别记为G_x与G_y；G_x与G_y的求取公式如下：

③、对G_x与G_y先使用腐蚀操作滤去一些因为噪声等因素造成的干扰像素，再对其使用闭操作，使G_x与G_y中一些因为被某些干扰因素干扰而未被合理计算出梯度的闭合区域进行填充，记操作后的G_x和G_y为G_x’与G_y’；其中，腐蚀操作选取的核函数大小为3×3，闭操作选取的核函数大小为17×17；

④、对G_x’与G_y’进行均值滤波，选取的卷积核大小为5×5；再逐个遍历像素，按照设定的阈值进行挑选，将大于阈值的像素设置为255，小于等于阈值的像素设置为0；经过此步操作后，G_x’与G_y’的边缘的毛刺会明显减少，使边缘信息更加明显；其中，本次阈值选择为245；

⑤、对G_x’按照每列像素统计像素值为255的个数，对G_y’按照每行像素统计像素值的个数，因为如果是边缘所在的行列区域，则该区域的行列中，像素值为255的像素个数与平滑区域有明显数值上的差距，通过记录两个峰值之间的坐标范围，认为此处为该方向上平滑区域；

⑥、分别统计G_x’与G_y’的峰值坐标，选取两者交汇区域作为集装箱前平面的平滑区域；

步骤(10)重复步骤(7)至(9)，直至搬运设备根据步骤(9)提供的水平偏移与法向量夹角移动，保证将集装箱角件锁定为止；至此，集装箱被搬运设备锁定。

本发明的有益效果：本发明利用多传感器的强大的环境信息采集能力，通过神经网络检测出集装箱在图像中的位置，再通过主成分分析法粗略估计集装箱正面姿态，直至靠近集装箱后，对其姿态进行精细化估计，最后将集装箱锁定。本方法对集装箱检测位置准确，姿态估计准确。

具体实施方式

步骤(1)使用TOF深度相机获取环境的灰度图和深度图；其中灰度图即为G，深度图即为D；

步骤(2)使用训练好的YOLO-v3神经网络检测灰度图中是否存在集装箱；具体如下：

①将灰度图G输入到训练好的YOLO-v3神经网络中；通过神经网络对灰度图的图像特征进行提取，然后利用提取出的图像特征对集装箱在灰度图中的坐标进行预测，输出多个可能的坐标，最后对多个坐标进行筛选，选择置信度最高的坐标并将坐标保存到内存中；坐标的表示方法为(left,right,top,bottom)，其中left，right，top，bottom分别表示集装箱正面在灰度图中最左、最右、最上、最下的像素坐标；

②判断网络输出是否有效；通过与内存中前5帧图像中的集装箱坐标进行比较，比较方式如下：

其中，flag表示结果是否有效，x_now表示当前的left，right，top，bottom坐标，x_last表示前帧的left，right，top，bottom坐标，d表示突变阈值；

如果flag为1，则直接进行步骤(4)；如果flag为0，表示集装箱位置出现突变，需要进行优化，进行步骤(3)；

步骤(3)对集装箱坐标进行优化；优化方式以left坐标为例，如下：

left_now＝0.4×left₁+0.3×left₂+0.2×left₃+0.05×left₄+0.05×left₅

其中，left_now为当前帧的左边界坐标值，left_k为k帧前的左边界坐标值；

步骤(4)根据步骤(2)得到的坐标框或步骤(3)优化后的坐标框，再在深度图中选取对应位置的三维点云数据，并通过主成分分析算法计算集装箱正面法向量，再与搬运设备平面的法向量计算两平面夹角，并将当前夹角与中心点云坐标发送给下位机；具体计算步骤如下：

对平面建立平面模型：

Ax+By+Cz+D＝0

其中A、B、C、D为平面的参数，x、y、z为平面上点的坐标值；

利用主成分分析算法求解平面法向量的参数，计算方法如下：

(a)求解平面上所有点的协方差矩阵；公式为：

Σ＝E(xx^T)-E(x)E(x^T)

(b)求解协方差矩阵的特征向量与特征值，其中最小特征值对应的特征向量就是平面对应的法向量，也就是平面方程中的参数A、B、C；

(c)将点云中的所有有效数据代入方程，求得多个D值，对D值求平均，得到一个较为准确的D；

(d)在获得了平面在深度相机坐标系的方程后，利用立体几何中的方法，计算出深度相机所在垂直平面与角件平面的夹角；使用公式如下：

其中，θ为两平面之间的夹角，

和

分别为相机垂直于地面平面的法向量与角件平面的法向量；

步骤(5)搬运设备接收到位置信息后，开始向目标位置进行移动；

步骤(6)重复步骤(1)至(5)，不断矫正位置，直至搬运设备移动到集装箱正面2m处，进行步骤(7)；

步骤(7)彩色相机开始采集图像，记为I；将I输入到训练好的YOLO-v3神经网络中检测角件在彩色图片中的位置；具体检测过程与步骤(2)相同；

步骤(8)通过集装箱角件位置计算集装箱角件的水平偏差距离diff；具体步骤如下：

(i)计算图片I中单个像素代表的现实距离；计算公式如下：

其中，pix代表每个像素的距离，d代表集装箱角件的实际宽度，r和l分别是角件通过步骤(7)检测出来的右边界坐标和左边界坐标；

(ii)计算水平偏差距离；计算公式如下：

diff＝pix×(center-correct)

其中diff为水平偏差距离，center为步骤(7)检测出来的集装箱中心的水平坐标

correct为记录的对准时中心的水平坐标；

步骤(9)通过图像处理算法对深度相机灰度图G进行处理获取集装箱正面的可靠点云区域，再使用主成分分析法求取准确的搬运设备平面与集装箱正面的夹角；将获取的水平偏移与夹角发送给下位机；其中，主成分分析法与步骤(4)相同；获取点云区域的具体步骤如下：

①、使用高斯滤波器对灰度图进行滤波，滤去图片中的噪声，滤波后的图像记为G'；因为高斯滤波器的卷积核是旋转对称的，所以不会对图像的边缘特征造成偏移；在本方案中，卷积核的尺寸具体参数为

②、使用Sobel算子对G'进行计算，求取G'中每个像素点的梯度，并且将其水平梯度图与垂直梯度图分别记为G_x与G_y；G_x与G_y的求取公式如下：

③、对G_x与G_y先使用腐蚀操作滤去一些因为噪声等因素造成的干扰像素，再对其使用闭操作，使G_x与G_y中一些因为被某些干扰因素干扰而未被合理计算出梯度的闭合区域进行填充，记操作后的G_x和G_y为G_x’与G_y’；其中，腐蚀操作选取的核函数大小为3×3，闭操作选取的核函数大小为17×17；

④、对G_x’与G_y’进行均值滤波，选取的卷积核大小为5×5；再逐个遍历像素，按照设定的阈值进行挑选，将大于阈值的像素设置为255，小于等于阈值的像素设置为0；经过此步操作后，G_x’与G_y’的边缘的毛刺会明显减少，使边缘信息更加明显；其中，本次阈值选择为245；

⑤、对G_x’按照每列像素统计像素值为255的个数，对G_y’按照每行像素统计像素值的个数，因为如果是边缘所在的行列区域，则该区域的行列中，像素值为255的像素个数与平滑区域有明显数值上的差距，通过记录两个峰值之间的坐标范围，认为此处为该方向上平滑区域；

⑥、分别统计G_x’与G_y’的峰值坐标，选取两者交汇区域作为集装箱前平面的平滑区域；

步骤(10)重复步骤(7)至(9)，直至搬运设备根据步骤(9)提供的水平偏移与法向量夹角移动，保证将集装箱角件锁定为止；至此，集装箱被搬运设备锁定。

Claims (1)

1.一种基于多传感器融合的集装箱检测及锁定方法，其特征在于该方法的具体步骤是：

步骤(1)使用TOF深度相机获取环境的灰度图和深度图；其中灰度图即为G，深度图即为D；

步骤(2)使用训练好的YOLO-v3神经网络检测灰度图中是否存在集装箱；具体如下：

①将灰度图G输入到训练好的YOLO-v3神经网络中；通过神经网络对灰度图的图像特征进行提取，然后利用提取出的图像特征对集装箱在灰度图中的坐标进行预测，输出多个可能的坐标，最后对多个坐标进行筛选，选择置信度最高的坐标并将坐标保存到内存中；坐标的表示方法为(left,right,top,bottom)，其中left，right，top，bottom分别表示集装箱正面在灰度图中最左、最右、最上、最下的像素坐标；

②判断网络输出是否有效；通过与内存中前5帧图像中的集装箱坐标进行比较，比较方式如下：

其中，flag表示结果是否有效，x_now表示当前的left，right，top，bottom坐标，x_last表示前帧的left，right，top，bottom坐标，d表示突变阈值；

如果flag为1，则直接进行步骤(4)；如果flag为0，表示集装箱位置出现突变，需要进行优化，进行步骤(3)；

步骤(3)对集装箱坐标进行优化；优化方式以left坐标为例，如下：

left_now＝0.4×left₁+0.3×left₂+0.2×left₃+0.05×left₄+0.05×left₅

其中，left_now为当前帧的左边界坐标值，left_k为k帧前的左边界坐标值；

步骤(4)根据步骤(2)得到的坐标框或步骤(3)优化后的坐标框，再在深度图中选取对应位置的三维点云数据，并通过主成分分析算法计算集装箱正面法向量，再与搬运设备平面的法向量计算两平面夹角，并将当前夹角与中心点云坐标发送给下位机；具体计算步骤如下：

对平面建立平面模型：

Ax+By+Cz+D＝0

其中A、B、C、D为平面的参数，x、y、z为平面上点的坐标值；

利用主成分分析算法求解平面法向量的参数，计算方法如下：

(a)求解平面上所有点的协方差矩阵；公式为：

Σ＝E(xx^T)-E(x)E(x^T)

(b)求解协方差矩阵的特征向量与特征值，其中最小特征值对应的特征向量就是平面对应的法向量，也就是平面方程中的参数A、B、C；

(c)将点云中的所有有效数据代入方程，求得多个D值，对D值求平均，得到一个较为准确的D；

(d)在获得了平面在深度相机坐标系的方程后，利用立体几何中的方法，计算出深度相机所在垂直平面与角件平面的夹角；使用公式如下：

其中，θ为两平面之间的夹角，

和

分别为相机垂直于地面平面的法向量与角件平面的法向量；

步骤(5)搬运设备接收到位置信息后，开始向目标位置进行移动；

步骤(6)重复步骤(1)至(5)，不断矫正位置，直至搬运设备移动到集装箱正面2m处，进行步骤(7)；

步骤(7)彩色相机开始采集图像，记为I；将I输入到训练好的YOLO-v3神经网络中检测角件在彩色图片中的位置；具体检测过程与步骤(2)相同；

步骤(8)通过集装箱角件位置计算集装箱角件的水平偏差距离diff；具体步骤如下：

(i)计算图片I中单个像素代表的现实距离；计算公式如下：

其中，pix代表每个像素的距离，d代表集装箱角件的实际宽度，r和l分别是角件通过步骤(7)检测出来的右边界坐标和左边界坐标；

(ii)计算水平偏差距离；计算公式如下：

diff＝pix×(center-correct)

其中diff为水平偏差距离，center为步骤(7)检测出来的集装箱中心的水平坐标

correct为记录的对准时中心的水平坐标；

步骤(9)通过图像处理算法对深度相机灰度图G进行处理获取集装箱正面的可靠点云区域，再使用主成分分析法求取准确的搬运设备平面与集装箱正面的夹角；将获取的水平偏移与夹角发送给下位机；其中，主成分分析法与步骤(4)相同；获取点云区域的具体步骤如下：

①、使用高斯滤波器对灰度图进行滤波，滤去图片中的噪声，滤波后的图像记为G'；因为高斯滤波器的卷积核是旋转对称的，所以不会对图像的边缘特征造成偏移；在本方案中，卷积核的尺寸具体参数为

②、使用Sobel算子对G'进行计算，求取G'中每个像素点的梯度，并且将其水平梯度图与垂直梯度图分别记为G_x与G_y；G_x与G_y的求取公式如下：

③、对G_x与G_y先使用腐蚀操作滤去一些因为噪声等因素造成的干扰像素，再对其使用闭操作，使G_x与G_y中一些因为被某些干扰因素干扰而未被合理计算出梯度的闭合区域进行填充，记操作后的G_x和G_y为G_x’与G_y’；其中，腐蚀操作选取的核函数大小为3×3，闭操作选取的核函数大小为17×17；

④、对G_x’与G_y’进行均值滤波，选取的卷积核大小为5×5；再逐个遍历像素，按照设定的阈值进行挑选，将大于阈值的像素设置为255，小于等于阈值的像素设置为0；经过此步操作后，G_x’与G_y’的边缘的毛刺会明显减少，使边缘信息更加明显；其中，本次阈值选择为245；

⑤、对G_x’按照每列像素统计像素值为255的个数，对G_y’按照每行像素统计像素值的个数，因为如果是边缘所在的行列区域，则该区域的行列中，像素值为255的像素个数与平滑区域有明显数值上的差距，通过记录两个峰值之间的坐标范围，认为此处为该方向上平滑区域；

⑥、分别统计G_x’与G_y’的峰值坐标，选取两者交汇区域作为集装箱前平面的平滑区域；

步骤(10)重复步骤(7)至(9)，直至搬运设备根据步骤(9)提供的水平偏移与法向量夹角移动，保证将集装箱角件锁定为止；至此，集装箱被搬运设备锁定。