CN106096606B - 一种基于直线拟合的集装箱轮廓定位方法 - Google Patents

Abstract

本发明涉及一种基于直线拟合的集装箱轮廓识别方法，它用安装在吊具上的摄像头采集下方集装箱相对两侧的图像，利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域，并采用图割算法分离前景与背景，得到上下锁孔的二值化轮廓图像，二值化轮廓图像设置两个矩形区域等步骤，最后利用基于双目视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将这四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。本发明通过采用上述技术，有效地解决锁孔图像在边缘提取存在干扰点、Hough直线效果不佳等不足。

Description

一种基于直线拟合的集装箱轮廓定位方法

技术领域

本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于直线拟合的集装箱轮廓定位方法。

背景技术

随着集装箱运输的发展，使得集装箱船舶越来越大，货物集装箱化的比例不断提高，集装箱运量不断上升。从航次经济核算分析，通过缩短集装箱船舶的停泊时间可以降低停泊成本，提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势，提高经济效益。传统的手动控制抓取集装箱已经极大地影响了生产效率和装卸速度。一台桥吊把集装箱从货轮装到拖车上，过程要求操作精度高，劳动强度大，是比较耗时的一个环节，其中，在桥吊司机将抓具对准集装箱锁孔这一环节花费的时间占主要部分。提高装卸自动化的程度是提高集装箱效率的有效途径，其关键内容就是减少桥吊司机对集装箱锁孔的定位时间并且提升定位的准确性。

为了解决集装箱锁孔定位的问题，国内外学术界、工业界提出了很多方案，其中与本发明较为接近的技术方案包括：梁晓波,程文明(基于双目视觉的集装箱自动识别定位系统的设计[J].西南交通大学,2015)使用安装在集装箱吊具上的高清相机采集下方集装箱锁孔的图像，然后识别图像中吊孔的位置。这种方法存在的问题是相机需要调整到相对理想的位置才能拍摄到清晰的锁孔图像，比较耗时，同时由于吊具锁头的制造偏差以及磨损，近似椭圆形的吊孔坐标并不能很好地和锁头坐标重合。陈丹(集装箱图像识别与定位系统研究与实现[D].西南交通大学,2013)将集装箱锁孔当作角点，采用基于SVM的方法提取出集装箱的顶点集合，并且通过条件判断识别出属于集装箱顶部的顶点，以此定位集装箱轮廓。文中将识别到的顶点作为集装箱锁孔的外侧角点，然而锁孔实际上是有一定尺寸的，无法判断提取到的顶点就是锁孔的外侧角点，通过这种方法得到的集装箱顶部轮廓降低了识别的准确性。发明专利(申请号：201410078600.X，名称：集装箱起重机吊具对箱引导系统)中利用集装箱边缘直线上的点空间坐标等约束锁孔的位置，同时用闭运算和边缘提取方法获得锁孔目标框。但是由于长时间的装卸作业以及雨水等液体的腐蚀和污染，集装箱锁孔表面通常都会非常旧，闭运算和边缘提取对于这类集装箱并不能取得很好的效果。

综上所述，既要实现集装箱锁孔的准确定位，又要能很好地适应新旧集装箱是集装箱锁孔定位的难点，当前方法存在如下不足：(1)近似椭圆形的吊孔中心坐标不能准确代表集装箱顶点的位置(2)识别出的顶点坐标不能很好代表锁孔外侧角点(3)对磨损的锁孔效果不好、光线不足条件下识别率低等等。本发明针对这些问题提出了一种基于直线拟合的集装箱轮廓定位方法。

发明内容

为解决上述问题，本发明的目的在于提供了一种基于直线拟合的集装箱轮廓识别方法。

所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于包括如下步骤：

步骤1：首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像；

步骤2：然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域，该粗定位区域图像的高度为height，宽度为width，单位为像素；

步骤3：对粗定位的上下锁孔区域图像采用图割算法分离前景与背景，分别得到上下锁孔的二值化轮廓图像I₁,I₂；

步骤4：对I₁,I₂分别设置两个矩形区域，其中I₁设置上侧矩形区域r₁和左侧矩形区域r₂，I₂设置下侧矩形区域r₃和左侧矩形区域r₄，r₁和r₃的高度和宽度分别为h和d，r₂和r₄高度和宽度分别为d和h，单位为像素；

步骤5：对于I₁,I₂，只对矩形区域内的部分进行操作，分别得到4个点集p₁，p₂，p₃及p₄；将得到的4组点集合并为3组，其中点集_p1为一组g₁，点集p₃为一组g₂，点集p₂、p₄合并为一组g₃；

步骤6：使用最小二乘法对步骤5中获得的点集g_k,k＝1,2,3分别进行直线拟合，得到3条直线l_k:A_kx+B_ky+C_k＝0,k＝1,2,3，根据式(1)、(2)、(3)计算距离方差

式中，(x_ik,y_ik)表示点集g_k中的第i个点的坐标，A_k、B_k和C_k表示直线l_k的参数，N_k表示点集g_k中点的个数，d_ik表示点(x_ik,y_ik)到直线l_k的垂直距离，表示点集g_k中所有d_ik的平均值；

步骤7：找到每个点集g_k内到对应直线l_k距离最大的点P_k，将该点从点集g_k中排除，再按照步骤6重新计算每个点集g_k的距离方差最后计算方差值的变化率：

式中，表示排除点P_k之前的距离方差，Δ表示方差变化率；

步骤8：若Δ≥T，重复步骤6、7，T表示方差变化率的阈值；否则，经过步骤7之后得到最终的3条直线l_k,k＝1,2,3，求得l₁和l₃的的交点记为C₁，l₂和l₃的交点记为C₂；

步骤9：用安装在吊具上的摄像头采集下方集装箱另一侧的图像，然后重复步骤2～8，获得另一侧的交点C₃和C₄；

步骤10：利用基于双目视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将这四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。

所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于步骤4中h、d的范围为：0<h<height且0<h<width，0<d<height且0<d<width保证选取的4个矩形区域r_k内的图像都包含一条锁孔的边,k＝1,2,3,4。

所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于步骤5中的4个点集取得方法如下：首先对r₁内的图像，从左到右按列扫描，取每列最靠上的非零像素点得到一个点集p₁，其次对r₂内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集p₂；然后对r₃内的图像，从左到右按列扫描，取每列最靠下的非零像素点得到点集p₃，最后对r₄内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集p₄。

本发明的优点是：本发明能有效地解决锁孔图像在边缘提取存在干扰点、Hough直线效果不佳等不足。

附图说明

图1为本发明实施例步骤1采集的集装箱图像；

图2a为本发明实施例步骤2得到的上锁孔粗定位区域图像；

图2b为本发明实施例步骤2得到的下锁孔粗定位区域图像；

图3a为本发明实施例经过步骤3处理的上锁孔粗定位区域图像；

图3b为本发明实施例经过步骤3处理的下锁孔粗定位区域图像；

图4a为本发明实施例图3a经过步骤4设置的矩形区域；

图4b为本发明实施例图3b经过步骤4设置的矩形区域；

图5a为本发明实施例步骤8得到的锁孔拐点图像；

图5b为本发明实施例步骤8得到的锁孔拐点图像；

图中：1-上侧矩形区域r₁，2-左侧矩形区域r₂，3-下侧矩形区域r₃，4-左侧矩形区域r₄,5-交点C₁,6-交点C₂。

具体实施方式

下面结合实施例来详细阐述本发明集装箱轮廓定位方法的具体实施方式。

步骤1：首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像；在本实施例中，如图1；

步骤2：然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域，该粗定位区域图像的高度为height，宽度为width，单位为像素；在本实施例中，上锁孔图像如附图2a、下锁孔如图2b，height＝140,width＝135；所述的集装箱锁孔粗定位和跟踪方法在申请号为201610273182.9的文件中已公开，在此不再详述；

步骤3：对粗定位的上下锁孔区域图像采用图割算法分离前景与背景，得到上下锁孔的二值化轮廓图像I₁,I₂；在本实施例中，如附图3a、图3b；

步骤4：对I₁,I₂分别设置两个矩形区域，其中I₁设置上侧矩形区域r₁ 1和左侧矩形区域r₂ 2，I₂设置下侧矩形区域r₃ 3和左侧矩形区域r₄ 4，r₁和r₃高度和宽度分别为h和d，r₂和r₄高度和宽度分别为d和h，单位为像素；要求满足：0<h<height且0<h<width，0<d<height且0<d<width，保证选取的4个矩形区域r_k内的图像都包含一条锁孔的边,k＝1,2,3,4；本实施例中，如附图4a和图4b，h＝80,d＝60；

步骤5：对于I₁,I₂，只对矩形区域内的部分进行操作；首先对r₁内的图像，从左到右按列扫描，取每列最靠上的非零像素点得到一个点集p₁，其次对r₂内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集p₂；然后对r₃内的图像，从左到右按列扫描，取每列最靠下的非零像素点得到点集p₃，最后对r₄内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集p₄；将得到的4组点集合并为3组，其中点集p₁为一组g₁，点集p₃为一组g₂，点集p₂、p₄合并为一组g₃；

步骤6：使用最小二乘法对步骤5中获得的点集g_k,k＝1,2,3分别进行直线拟合，得到3条直线l_k:A_kx+B_ky+C_k＝0,k＝1,2,3，根据式(1)、(2)、(3)计算距离方差

式中，(x_ik,y_ik)表示点集g_k中的第i个点的坐标，(A_k,B_k,C_k)表示直线l_k的参数，N_k表示点集g_k中点的个数，d_ik表示点(x_ik,y_ik)到直线l_k的垂直距离，表示点集g_k中所有d_ik的平均值；在本实施例中，l₁:0.1031x+0.9947y-683.1388＝0、l₂:0.0596x-0.9982y+1758.4850＝0、l₃:0.9999x-0.0144y-1520.1214＝0；

步骤7：找到每个点集g_k内到对应直线l_k距离最大的点P_k，将该点从点集g_k中排除，再按照步骤6重新计算每个点集g_k的距离方差最后计算方差值的变化率：

式中，表示排除点P_k之前的距离方差，Δ表示方差的变化率；

步骤8：若Δ≥T，重复步骤6、7，T表示方差变化率的阈值；否

则，经过

步骤7之后得到最终的3条直线l_k,k＝1,2,3，求得l₁和l₃的交点C₁ 5，l₂和l₃的交点C₂ 6；在本实施例中，如附图5a，图5b，T＝10％；

步骤9：用安装在吊具上的摄像头采集下方集装箱另一侧的图像，然后重复步骤2～8，获得另一侧的交点C₃和C₄；

步骤10：利用基于双目视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将这四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。

本发明的优点是：本发明能有效地解决锁孔图像在边缘提取存在干扰点、Hough直线效果不佳等不足。

Claims (1)

1.一种基于直线拟合的集装箱轮廓识别方法，其特征在于包括如下步骤：

步骤1：首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像；

步骤2：然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域，上下锁孔的粗定位区域图像的高度均为height，宽度均为width，单位均为像素；

步骤3：对粗定位的上下锁孔区域图像采用图割算法分离前景与背景，分别得到上下锁孔的二值化轮廓图像I₁,I₂；

步骤4：对I₁,I₂分别设置两个矩形区域，其中I₁设置上侧矩形区域r₁和左侧矩形区域r₂，I₂设置下侧矩形区域r₃和左侧矩形区域r₄，r₁和r₃的高度和宽度分别为h和d，r₂和r₄高度和宽度分别为d和h，单位为像素，h、d的范围为：0<h<height且0<h<width，0<d<height且0<d<width保证选取的4个矩形区域r_n内的图像都包含一条锁孔的边,n＝1,2,3,4；

步骤5：对于I₁,I₂，只对矩形区域内的部分进行操作，分别得到4个点集p₁，p₂，p₃及p₄；将得到的4组点集合并为3组，其中点集p₁为一组g₁，点集p₃为一组g₂，点集p₂、p₄合并为一组g₃，4个点集取得方法如下：首先对r₁内的图像，从左到右按列扫描，取每列最靠上的非零像素点得到一个点集p₁，其次对r₂内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集p₂；然后对r₃内的图像，从左到右按列扫描，取每列最靠下的非零像素点得到点集p₃，最后对r₄内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集p₄；

步骤6：使用最小二乘法对步骤5中获得的点集g_k,k＝1,2,3分别进行直线拟合，得到3条直线l_k:A_kx+B_ky+C_k＝0,k＝1,2,3，根据式(1)、(2)、(3)计算距离方差

式中，(x_ik,y_ik)表示点集g_k中的第i个点的坐标，A_k、B_k和C_k表示直线l_k的参数，N_k表示点集g_k中点的个数，d_ik表示点(x_ik,y_ik)到直线l_k的垂直距离，表示点集g_k中所有d_ik的平均值；

步骤7：找到每个点集g_k内到对应直线l_k距离最大的点P_k，将该点从点集g_k中排除，再按照步骤6重新计算每个点集g_k的距离方差最后计算方差值的变化率：

式中，表示排除点P_k之前的距离方差，Δ表示方差变化率；

步骤8：若Δ≥T，重复步骤6、7，T表示方差变化率的阈值；否则，经过步骤7之后得到最终的3条直线l_k,k＝1,2,3，求得l₁和l₃的的交点记为C₁，l₂和l₃的交点记为C₂；

步骤9：用安装在吊具上的摄像头采集下方集装箱另一侧的图像，然后重复步骤2～8，获得另一侧的交点C₃和C₄；

步骤10：利用基于双目视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将这四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。