CN102431895B - 一种集装箱对准系统及对准方法 - Google Patents

Abstract

本发明提供一种集装箱对准系统及对准方法，采用以下3种方法中的任一种方法实现：方法1：采用2个激光雷达以及至少1个单目摄像机测量并对准；方法2：采用2个立体摄像机测量并对准；方法3：方法1和方法2的融合使集装箱对准，方法1中的摄像头采用立体摄像机中的摄像头。该集装箱对准系统及对准方法能有效保证堆垛对齐质量，提高堆垛效率。

Description

一种集装箱对准系统及对准方法

技术领域

本发明涉及集装箱对准系统及对准方法。本专利中的集装箱对准方法和系统可以应用到大部分的港口机械(如：堆高机、正面吊等)。

背景技术

集装箱堆垛机械被广泛应用于集装箱码头、铁路中转站、公路中间站以及集装箱货场，主要用于集装箱的堆垛和搬运。空集装箱堆垛可达九层，由于堆垛高度较高，每一层的集装箱需要准确的对齐，否则有可能导致集装箱倒塌。当堆垛机械堆垛集装箱到较高层时，由于距离较远、视角太高、吊具摇晃幅度较大，堆垛机械驾驶员难以准确地将吊具上的集装箱对准下面已经堆垛好的集装箱，需要反复操作堆垛机械，才能对准，这样堆垛质量得不到保证，而且大大影响堆垛机械的作业生产效率。

发明内容

发明所要解决的技术问题是提供一种集装箱对准系统及对准方法，该集装箱对准系统及对准方法能有效提供堆垛对齐质量，提高堆垛效率。

本发明的技术解决方案如下：

一种集装箱对准方法，采用以下3种方法中的任一种方法实现：

方法1：采用2个激光雷达以及至少1个单目摄像机测量并对准：

步骤1：方向对齐：

通过分别安装在吊具左右侧支架上的2台激光雷达分别对集装箱的左右两侧扫描，从而测得激光雷达到吊具上的集装箱的两侧的水平距离b1和b2，以及测得激光雷达到已堆垛好的集装箱的水平距离b3和b4，采用以下公式：

b_i＝l_i·cos(α_i)，其中i＝1，2，3，4；l_i为激光雷达到集装箱上某一点的直线距离，b_i与b1、b2、b3和b4对应，α_i为l_i与水平面的夹角；

通过吊具移动，使得b1＝b2【即让图3中的θ＝0】，即消除了吊具上的集装箱与已经堆垛好的集装箱之间的角度差；

步骤2：左右对齐：

使用安装在吊具支架上的单目摄像机对吊具上的集装箱的左端或右端进行拍照，在所得图像中检测出其中的2条边缘线，一条边缘线为吊具上的集装箱的一侧的边缘线，另一条边缘线为已堆垛好的集装箱的侧边缘线，根据所述2条边缘线在图像之间的距离，再结合摄像机的标定，得到吊具上的集装箱与已堆垛好的集装箱左右方向上的实际距离f；

通过吊具移动吊具上的集装箱，使得f＝0，即消除集装箱的左右位置差；

步骤3：前后对齐：

使用步骤1中的测量方法，得到上下集装箱的前后位置差，将集装箱移动，使得前后位置差为零，即使得吊具上的集装箱与已堆垛好的集装箱前后对齐，完成集装箱的对准；

最后让吊具下降，把吊具上的集装箱放置在已经堆垛好的集装箱上；

方法2：采用2个立体摄像机测量并对准：

步骤a：方向对齐：

在吊具两侧各设置1个立体摄像机，每一个立体摄像机包括两个单目摄像机L和R；

每一个立体摄像机测量集装箱上的某一点到立体摄像机基线即LR连线的方法如下：

对于任一个立体摄像机包含的单目摄像机L和R，在吊具上的集装箱或下面已经堆垛好的集装箱上选择某一标志点记为O，两个单目摄像机L和R的焦距均为w，两个单目摄像机L和R之间距离为b，L0为L拍摄到的图像即左边图像的中心，Lx为点O在左边图像上的成像，R0为R拍摄到的图像即右边图像的中心，Rx为点O在右边图像上的成像，则O点到LR连线的垂直距离为z＝bw/|x_L-x_R|，其中x_L为点Lx在左边图像中的横坐标，x_R为点Rx在右边图像中的横坐标；

对于同一台立体摄像机，分别在吊具上的集装箱和下面已经堆垛好的集装箱上各选取一个标志点，求得的每一个标志点到该台立体摄像机的距离z，2个z值的差值即为该立体摄像机处前后方向的位置差d；比较两个立体摄像机处的位置差，结合两个立体摄像机之间的距离，求出上下集装箱的角度差θ；

通过吊具移动，使得上集装箱与下集装箱的角度差θ得以消除；

步骤b：左右对齐：

使用任一立体摄像机包含的任一个单目摄像机对吊具上的集装箱的左端或右端进行拍照，所得图像中包含有2条边缘线，一条边缘线为吊具上的集装箱的一侧的边缘线，另一条边缘线为已堆垛好的集装箱的侧边缘线，根据所述2条边缘线在图像之间的距离，再结合摄像机的标定，得到吊具上的集装箱与已堆垛好的集装箱左右方向上的实际距离f；

通过吊具移动吊具上的集装箱，使得f＝0，即消除集装箱的左右位置差；

步骤c：前后对齐：

使用步骤a中的测量方法，得到上下集装箱的前后位置差，移动吊具，将集装箱往后方移动，使得前后位置差为零，即完成集装箱的对准；

最后让吊具下降，把吊具上的集装箱放置在已经堆垛好的集装箱上。

方法3：方法1和方法2的融合使集装箱对准，方法1中的摄像头采用立体摄像机中两个摄像头中的任意一个摄像头，包括以下步骤：

步骤I：方向对齐：

将方法1中步骤1中测得的b_i与方法2中步骤a中测得的两个z值通过冗余数据的融合方法取加权平均以增强测量的精度，再移动吊具移动实现集装箱的方向对齐；

【融合方法如下：根据激光雷达和立体视觉在不同距离上的测量精度，再考虑当时环境的影响，确定激光雷达和立体摄像机各自的加权系数，通过加权平均得到最后的结果。假设X₁为激光雷达的误差，X₂为立体视觉的误差，它们均为随机变量。X₁是[-1，1]上的均匀分布，X₂是[-h，h]上的均匀分布，由于激光雷达较为精确，所以h＞1。

融合策略如下：

$\left\{\begin{array}{cc}Y=X_1& \mathrm{if}|X_1-X_2|<C\\ Y=k{X}_1+(1-k)X_2& \mathrm{if}|X_1-X_2|>C\end{array}\right.$ C＞0，且0＜k＜1。

对于特定的h，通过下面的方程组来确定k和C，Y为输出量，即对2个z值融合后的值；

$\left\{\begin{array}{c}{k}^3{(h+1)}^3-k({(h-1)}^3+2h^3)+{2(h-1)}^3=0\\ C=\frac{h-1}{k}\end{array}\right.$

例如：当h＝1.0时，k＝0.5，C＝0；当h＝1.5时，k＝0.6443，C＝0.776；】

步骤II：按照方法2的步骤b实现左右对齐。

步骤III：按照步骤I的方法通过冗余数据融合方法得到上下集装箱的前后位置差，移动集装箱以消除此位置差。

2根据权利要求1所述的集装箱对准方法，其特征在于，所述的标志点为集

装箱上的任何一个成像特征点。【如一个钉子、一个破损处等】

3.根据权利要求1或2所述的集装箱对准方法，其特征在于，激光雷达扫描线所经过的平面为竖直平面，立体摄像机或单目摄像机的视角向下倾斜，以便拍摄到吊具上的集装箱和已堆垛好的集装箱。

4.一种基于权利要求1所述的集装箱对准方法的集装箱对准系统，其特征在于，包括2个激光雷达、2台立体摄像机以及带显示屏的工控机，所述的激光雷达和立体摄像机通过支架安装于吊具左右两侧，每侧一个激光雷达和一个立体摄像机。

5.一种基于权利要求1所述的集装箱对准方法的集装箱对准系统，其特征在于，工控机上设有显示屏，所述的显示屏安装在堆垛机械驾驶人员身边。【显示出摄像机拍摄的图像，驾驶人员可以据此监控整个系统的运行过程；即使不使用本集装箱对准方法，该显示屏也可以实时显示上下集装箱的相应图像，协助驾驶人员使用传统方式对集装箱进行对准。】

有益效果：

本发明通过支架在堆垛机械的吊具左右两侧各安装一台激光雷达和一个立体摄像机，用以获取吊具上的集装箱和已经堆垛好的集装箱的图像及位置信息，经过计算机计算分析后判断集装箱位置，控制堆垛机械动作及吊具动作，从而达到集装箱自动对位的目的。支架上还得有避震装置，以减少机械震动对系统的影响。

本发明的有益效果是，集装箱堆垛质量和堆垛速度大大提高，降低了堆垛机械驾驶员的劳动强度和疲劳程度，消除安全隐患，提高了堆垛机械的生产效率。

附图说明

图1是本发明的吊具俯视图；

图2是本发明的双目立体成像测距示意图；

图3是本发明的集装箱相对位置示意图；(a、b和c分图分别为正视图、侧视图和俯视图)

图4是某堆垛机械(如：堆高机)的侧面示意图；

图5是激光雷达扫描测量示意图(图中，b1＝PA，b2＝PB)。

标号说明：1、吊具，2、支架，3，立体摄像机，4、激光雷达，5、工控机，6、显示屏(在驾驶室内)，7、安装支架。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明：

实施例1：

如图1-5所示，最下面的第一层集装箱由堆垛机械驾驶员手工操作进行堆放，堆垛第二层及以上的集装箱时，首先由驾驶员手动操作将集装箱提升至正确位置附近，确保高于已经堆垛好的集装箱。然后，驾驶员将手工控制转为自动控制，由系统测量出吊具上的集装箱与已经堆垛好的集装箱之间的位置差，然后控制吊具上集装箱的位置，直到堆垛成功，再转为人工控制，由驾驶员手动控制去搬运下一个集装箱，并重复上述步骤。如果不自动控制集装箱的位置，也可以利用语音、文字或图像等信息，实时告诉驾驶员上下集装箱之间的位置差，然后由驾驶员手动控制吊具上的集装箱的位置，当驾驶员观察不方便时，这尤为有益。

如图2所示，激光雷达和立体摄像机通过支架分别安装于堆垛机械的吊具左右侧。此外，如图4所示，工控机安装于车体内，显示屏安装于驾驶室内。

为了自动对准集装箱的位置，系统需要感知并控制吊具上的集装箱和已经堆垛好的集装箱之间的相对位置。这个相对位置主要由三个参数构成，如图3所示：前后位置差d，角度差θ，左右位置差f。d和θ的调整可以通过工控机控制堆垛机械的吊具(如果有必要，还可以移动堆垛机械的各个轮子)的前后运动来实现，f的调整可以通过左右移动吊具实现。

激光雷达和立体摄像机检测到的信息输送给工控机进行处理，摄像机的视频图像同时在驾驶室的显示屏上进行显示。部分具体问题叙述如下：

(1)利用激光雷达和单目摄像机得到上下集装箱的相对位置差。

根据图5，以及利用以下公式可以计算得到：

b_i＝l_i·cos(α_i)，其中i＝1，2，3，4；l_i为激光雷达到集装箱上某一点的直接距离，b_i与b1、b2、b3和b4对应，α_i为l_i与水平面的夹角；其中b1和b3是由同一个激光雷达得到，b2和b4由另一侧的激光雷达得到，图5中只画出了一个激光雷达对应的测量结果。

因为立体摄像机由两个独立的摄像机构成，因此其中任意一个摄像机均可以用来作为一个单目摄像机。两台激光雷达扫描方式为竖直扫描。根据某台单线激光雷达的测量值，可以得到上下两个集装箱分别到该激光雷达的距离，从而计算出上下两个集装箱的位置差。由于在集装箱两端各有一个激光雷达，因此可以在集装箱两端分别得到上下两个集装箱之间的位置差，移动堆垛机械或者吊具使得两端的位置差相等，也就消除了角度差θ。

自动对位控制系统首先消除这个角度差θ。消除角度差θ后，吊具上面的集装箱与下面已经堆垛好的集装箱已经处于平行的位置。然后在左右两个摄像机拍摄的图像中提取边缘，得到上下两个集装箱的外边缘之间的距离，通过预先的标定和换算可以得到上下两个集装箱的左右位置差f。根据几何关系可以知道，只要保证在两个摄像头中得到的两个外边缘距离相等，就可以保证上下集装箱之间在左右水平方向上位置差f为零。

具体方法为：使用安装在吊具支架上的单目摄像机对吊具上的集装箱的左端或右端进行拍照，所得图像中包含有2条边缘线，一条边缘线为吊具上的集装箱的一侧的边缘线，另一条边缘线为已堆垛好的集装箱的侧边缘线，根据b以及所述2条边缘线在图像之间的距离，再结合摄像机的标定，可得吊具上的集装箱与已堆垛好的集装箱左右方向上的实际距离f；

通过吊具移动吊具上的集装箱，使得f＝0，即消除集装箱的左右位置差；

最后移动吊具或者堆垛机械以消除集装箱的前后位置差。

即完成集装箱的对准。

(2)利用立体摄像机得到上下集装箱的相对位置差

立体摄像机的图像经过滤波去噪配准后，通过计算可得到下方集装箱面对堆垛机械的各特征点的深度信息，也即图像上各特征点与立体摄像机中的两个摄像机之间的连线(基线)的距离。图2以集装箱的表面的某特征点为例，L、R表示左右两个摄像机，点O表示集装箱表面某个特征点，摄像机焦距为w，摄像机之间距离为e，L0为左摄像头L拍摄到得图像(简称左边图像)的中心，Lx为点O在左边图像上的成像，R0为右摄像头R拍摄到的图像(简称右边图像)的中心，Rx为点O在右边图像上的成像【Rx是OR和LoRo连线的交点】。根据三角关系，可以计算出O点到LR连线的垂直距离为z＝ew/|x_L-x_R|，其中x_L为点Lx在左边图像中的横坐标，x_R为点Rx在右边图像中的横坐标。计算出上下集装箱正对立体摄像机的表面上的点【如污损、油漆、文字等特征点】与基线的距离后，就可以计算出上下两个集装箱的正对激光雷达的平面的角度差θ，以及上下集装箱在前后方向的位置差d【上下两个集装箱与基线的距离的差即为d】。上下集装箱左右的位置差f的求法与(1)中一样。

(3)以上处理过程(1)和过程(2)分别是两组不同传感器(或组合)对同一物体的同一物理量进行测量，都是为了得到待放置集装箱与已堆垛好的集装箱的相对位置差，包括前后位置差、角度差、左右位置差。通过不同精度传感器数据的融合算法(加权取平均)得到融合后的数据值比各组传感器单独测量的数据值精度更高，更能确保堆垛的准确程度。

(4)两个激光雷达与两个立体摄像机协同工作，还可以提高系统的可靠性。如果激光雷达发生故障，可以通过立体摄像机单独工作来完成堆垛工作。如果立体摄像机发生故障，也同样可以利用激光雷达来单独完成堆垛工作。如果激光雷达与立体摄像机都发生了故障，堆垛机械驾驶员可切换回手动模式，同时通过观测显示屏上的摄像机图像，确保堆垛工作的高效完成。

Claims (5)

1.一种集装箱对准方法，其特征在于，采用2个立体摄像机测量并对准：

步骤a：方向对齐：

在吊具两侧各设置1个立体摄像机，每一个立体摄像机包括两个单目摄像机L和R；

每一个立体摄像机测量集装箱上的某一点到立体摄像机基线即LR连线的方法如下：

对于任一个立体摄像机包含的单目摄像机L和R，在吊具上的集装箱或下面已经堆垛好的集装箱上选择某一标志点记为O，两个单目摄像机L和R的焦距均为w，两个单目摄像机L和R之间距离为b，L0为L拍摄到的图像即左边图像的中心，Lx为点O在左边图像上的成像，R0为R拍摄到的图像即右边图像的中心，Rx为点O在右边图像上的成像，则O点到LR连线的垂直距离为z=bw/|x_L-x_R|，其中x_L为点Lx在左边图像中的横坐标，x_R为点Rx在右边图像中的横坐标；

对于同一台立体摄像机，分别在吊具上的集装箱和下面已经堆垛好的集装箱上各选取一个标志点，求得的每一个标志点到该台立体摄像机的距离z，2个z值的差值即为该立体摄像机处前后方向的位置差d；比较两个立体摄像机处的位置差，结合两个立体摄像机之间的距离，求出上下集装箱的角度差θ；

通过吊具移动，使得上集装箱与下集装箱的角度差θ得以消除；

步骤b：左右对齐：

使用任一立体摄像机包含的任一个单目摄像机对吊具上的集装箱的左端或右端进行拍照，所得图像中包含有2条边缘线，一条边缘线为吊具上的集装箱的一侧的边缘线，另一条边缘线为已堆垛好的集装箱的侧边缘线，根据所述2条边缘线在图像之间的距离，再结合摄像机的标定，得到吊具上的集装箱与已堆垛好的集装箱左右方向上的实际距离f；

通过吊具移动吊具上的集装箱，使得f=0，即消除集装箱的左右位置差；

步骤c：前后对齐：

使用步骤a中的测量方法，得到上下集装箱的前后位置差，移动吊具，将集装箱往后方移动，使得前后位置差为零，即完成集装箱的对准；

最后让吊具下降，把吊具上的集装箱放置在已经堆垛好的集装箱上。

2.根据权利要求1所述的集装箱对准方法，其特征在于，所述的标志点为集装箱上的任何一个成像特征点。

3.根据权利要求1或2所述的集装箱对准方法，其特征在于，激光雷达扫描线所经过的平面为竖直平面，立体摄像机或单目摄像机的视角向下倾斜，以便拍摄到吊具上的集装箱和已堆垛好的集装箱。

4.一种基于权利要求1所述的集装箱对准方法的集装箱对准系统，其特征在于，包括2个激光雷达、2台立体摄像机以及带显示屏的工控机，所述的激光雷达和立体摄像机通过支架安装于吊具左右两侧，每侧一个激光雷达和一个立体摄像机。

5.一种基于权利要求4所述的集装箱对准方法的集装箱对准系统，其特征在于，工控机上设有显示屏，所述的显示屏安装在堆垛机械驾驶人员身边。

Images