CN106097332A - 一种基于角点检测的集装箱轮廓定位方法 - Google Patents

Abstract

本发明公开了一种基于角点检测的集装箱轮廓定位方法。它通过摄像头采集下方集装箱两侧的图像，利用集装箱锁孔粗定位和跟踪方法获得图像上下锁孔的粗定位区域并得到区域内图像I₁,I₂，新建一个和图像I₁,I₂大小一样的掩膜矩阵m₁,m₂，根据上下锁孔粗定位图像I₁,I₂和对应的掩膜矩阵m₁,m₂，利用Grabcut算法计算得到分割图像，再根据分割图像，采用获取最小外接矩形算法得到图像前景的最小外接矩形，将矩形其中一个顶点作为集装箱轮廓的角点，基于双目立体视觉技术将拐点的像素坐标转换为世界坐标并排序构成一个四边形即为集装箱轮廓。本发明能有效解决光线的干扰、锁孔前景和背景区分度不明显等不足，避免了光线不足条件下识别率低的问题，实现了集装箱轮廓的准确定位。

Description

一种基于角点检测的集装箱轮廓定位方法

技术领域

本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于角点检测的集装箱轮廓定位方法。

背景技术

随着集装箱运输的发展，使得集装箱船舶越来越大，货物集装箱化的比例不断提高，集装箱运量不断上升。从航次经济核算分析，通过缩短集装箱船舶的停泊时间可以降低停泊成本，提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势，提高经济效益。传统的手动控制抓取集装箱已经极大的影响了装卸速度。一台桥吊把集装箱从货轮装到拖车上，过程要求操作精度高，劳动强度大，是比较耗时的一个环节，其中，在桥吊司机将抓具对准集装箱锁孔这一环节花费的时间占主要部分。而提高装卸自动化的程度是提高集装箱效率的有效途径，其关键内容就是减少桥吊司机对集装箱锁孔的定位时间并且提升定位的准确性。

为了解决集装箱轮廓定位的问题，国内外学术界、工业界提出了很多方案，其中与本发明较为接近的技术方案包括：洪方年(基于图像处理技术的敞车装载集装箱定位系统的研究与实现[D].西南交通大学,2009)利用安装在吊桥小车两侧的摄像机采集下方敞车和集装箱的图像，采用间接的方法识别并测量敞车两侧边缘与集装箱边缘的距离，从而通过数字显示，帮助司机准确定位。但是文中方法存在一些问题，例如集装箱在敞车内倾斜导致二者的中心并不处于同一条直线上，其次在光线强烈以及夜晚灯光条件较差的时候定位性能也较差，而且该方法只识别了敞车与集装箱左右两侧的边缘并没有识别上下两侧的边缘，对于小车司机操控吊具带来不便。肖洋(基于单目视觉的集装箱箱位自动检测与定位技术试验研究[D].上海海事大学,2007)采用单个摄像机采集集装箱图像，并通过Harris角点探测算法识别集装箱边缘的角点，从而定位集装箱的位置，文中利用平面标靶测试模型模拟集装箱实物。该方法存在的问题是实际的集装箱的4个角并不只是单纯的角点，而是有一定宽度的角件，Harris角点检测算法并不能很好地识别该类角点，同时会带来较大的误差。发明专利(申请号：2006101165045，名称：港口运动集装箱卡车定位方法及装置)中利用摄像头采集集装箱图像，检测集装箱上平面的前边缘和4个角点，然后将像素坐标转换到物理坐标并以此定位集装箱的位置。该方法只检测了集装箱上平面的前边缘，导致识别准确率并不高。

综上所述，既要实现集装箱轮廓的准确定位，又要能很好地适应光线问题带来识别率降低的难点，当前方法存在如下不足：(1)只定位集装箱两侧的边缘而不是四周的边缘；(2)使用角点代替集装箱外侧轮廓顶点带来较大误差；(3)光线不足条件下识别率低等。本发明针对这些问题提出了一种基于角点检测的集装箱轮廓定位方法。

发明内容

为解决上述问题，本发明的目的在于提供一种基于角点检测的集装箱轮廓定位方法。

所述的一种基于角点检测的集装箱轮廓定位方法，其特征在于包括如下步骤：

步骤1：首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像；

步骤2：然后利用集装箱锁孔粗定位和跟踪方法获得步骤1采集到的集装箱图像上下锁孔的粗定位区域，并得到区域内图像I₁,I₂，其中高度为height，宽度为width，单位为像素；

步骤3：新建一个和图像I₁,I₂大小一样的掩膜矩阵m₁,m₂或标记矩阵b₁,b₂，在m₁,m₂或b₁,b₂中用不同的值标记前景区域、背景区域和剩余区域；

步骤4：得到上下锁孔粗定位图像中的锁孔边缘，具体为：根据上下锁孔粗定位图像I₁,I₂和对应的掩膜矩阵m₁,m₂，利用Grabcut算法进行处理；或根据上下锁孔粗定位图像I₁,I₂和对应的标记矩阵b₁,b₂，利用分水岭算法进行处理；

步骤5：根据步骤4得到上下锁孔粗定位的分割图像，分别获取其图像前景的最小外接矩形，将上锁孔的最小外接矩形左上角的点作为集装箱轮廓的角点C₁，将下锁孔的最小外接矩形左下角的点作为集装箱轮廓的角点C₂；

步骤6：用安装在吊具上的摄像头采集下方集装箱另一侧，即步骤1中相对的那侧的图像，然后重复步骤2～5，获得另一侧的角点C₃和C₄；

步骤7：基于双目立体视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将这个四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。

所述的一种基于角点检测的集装箱轮廓定位方法，其特征在于步骤3中在掩膜矩阵m₁,m₂中用不同的值标记前景区域、背景区域和剩余区域，背景设置为0，前景设置为1，剩余区域设置为2，具体方法为：

步骤3.1：首先在m₁中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m₁中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

$m_1(x,y)=\left\{\begin{array}{c}0,ifx=dory=d,0<d<widthand0<d<height\\ 1,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 2,else\end{array}\right.---\left(1\right)$

式中，(x,y)表示m₁上的坐标，d表示线段到m₁上侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；

步骤3.2：首先在m₂中的下侧和左侧设置两条值为0的线段作为背景区域，然后在m₂中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

$m_2(x,y)=\left\{\begin{array}{c}0,ifx=dory=height-d,0<d<widthand0<d<height\\ 1,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 2,else\end{array}\right.---\left(2\right)$

式中，(x,y)表示m₂上的坐标，d表示线段到m₂下侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。

所述的一种基于角点检测的集装箱轮廓定位方法，其特征在于步骤3中在标记矩阵b₁,b₂用不同的值标记前景区域、背景区域和剩余区域，其中前景区域、背景区域设置为不同的值，剩余区域的值设置为0，具体方法为：

步骤3.1：首先在b₁中的上侧和左侧设置两条值为f的线段作为背景区域，然后在b₁中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

$b_1(x,y)=\left\{\begin{array}{c}f,ifx=dory=d,0<d<widthand0<d<height\\ g,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 0,else\end{array}\right.---\left(3\right)$

式中，(x,y)表示b₁上的坐标，d表示线段到b₁上侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；

步骤3.2：首先在b₂中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b₂中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

$b_2(x,y)=\left\{\begin{array}{c}f,ifx=dory=height-d,0<d<widthand0<d<height\\ g,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 0,else\end{array}\right.---\left(4\right)$

式中，(x,y)表示b₂上的坐标，d表示线段到b₂下侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。

本发明的优点是：本发明能有效解决光线的干扰、锁孔前景和背景区分度不明显等不足，避免了光线不足条件下识别率低的问题，实现了集装箱轮廓的准确定位。

附图说明

图1为本发明实施例步骤1采集的集装箱图像；

图2a为本发明实施例步骤2得到的上锁孔粗定位图像；

图2b为本发明实施例步骤2得到的下锁孔粗定位图像；

图3a为本发明实施例经过步骤4得到的上锁孔粗定位图像中锁孔的边缘图像；

图3b为本发明实施例经过步骤4得到的下锁孔粗定位图像中锁孔的边缘图像；

图4a为本发明实施例经过步骤5得到的集装箱轮廓上锁孔角点图像；

图4b为本发明实施例经过步骤5得到的集装箱轮廓下锁孔角点图像；

图中：1-上锁孔粗定位图像中锁孔边缘，2-下锁孔粗定位图像中锁孔边缘，3-角点C₁，4-角点C₂。

具体实施方式

下面结合实施例来详细阐述本发明一种基于角点检测的集装箱轮廓定位方法的具体实施方式。

如图所示，本发明的一种基于角点检测的集装箱轮廓定位方法，包括如下步骤：

步骤1：首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像；在本实施例中，如附图1；

步骤2：然后集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域并得到区域内图像I₁,I₂，其中高度为height，宽度为width，单位为像素；在本实施例中，上锁孔粗定位图像如附图2(a)、下锁孔粗定位图像如附图2(b)，height＝140、width＝135，所述的集装箱锁孔粗定位和跟踪方法在申请号为201610273182.9的文件中已公开，在此不再详述；

步骤3：新建一个和图像I₁,I₂大小一样的掩膜矩阵m₁,m₂，在m₁,m₂中用不同的值设置前景、背景和剩余区域，其中背景设置为0，前景设置为1，剩余区域设置为2：

步骤3.1：首先在m₁中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m₁中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

$m_1(x,y)=\left\{\begin{array}{c}0,ifx=dory=d,0<d<widthand0<d<height\\ 1,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 2,else\end{array}\right.---\left(1\right)$

式中，(x,y)表示m₁上的坐标，d表示线段到m₁上侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；在本实施例中，d＝3、l＝80、k＝60；

步骤3.2：首先在m₂中的下侧和左侧设置两条值为0的线段作为背景区域，然后在m₂中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

$m_2(x,y)=\left\{\begin{array}{c}0,ifx=dory=height-d,0<d<widthand0<d<height\\ 1,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 2,else\end{array}\right.---\left(2\right)$

式中，(x,y)表示m₂上的坐标，d表示线段到m₂下侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；在本实施例中，d＝3、l＝80、k＝60；

本发明步骤3可以用分水岭法代替Grabcut算法进行处理，具体为新建一个和图像I₁,I₂大小一样的标记矩阵b₁,b₂，在标记矩阵b₁,b₂用不同的值标记前景区域、背景区域和剩余区域，其中前景区域、背景区域设置为不同的值，剩余区域的值设置为0，具体方法为：

1)首先在b₁中的上侧和左侧设置两条值为f的线段作为背景区域，然后在b₁中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

$b_1(x,y)=\left\{\begin{array}{c}f,ifx=dory=d,0<d<widthand0<d<height\\ g,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 0,else\end{array}\right.---\left(3\right)$

式中，(x,y)表示b₁上的坐标，d表示线段到b₁上侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；

2)首先在b₂中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b₂中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

$b_2(x,y)=\left\{\begin{array}{c}f,ifx=dory=height-d,0<d<widthand0<d<height\\ g,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 0,else\end{array}\right.---\left(4\right)$

式中，(x,y)表示b₂上的坐标，d表示线段到b₂下侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。

步骤4：根据上下锁孔粗定位图像I₁,I₂和对应的掩膜矩阵m₁,m₂，利用Grabcut算法进行处理，或根据上下锁孔粗定位图像I₁,I₂和对应的标记矩阵b₁,b₂，利用分水岭算法进行处理，得到上锁孔粗定位图像中锁孔边缘1和下锁孔粗定位图像中锁孔边缘2如附图3a、3b；

步骤5：根据步骤4得到上下锁孔粗定位的分割图像，分别获取其图像前景的最小外接矩形，将上锁孔的最小外接矩形左上角的点作为集装箱轮廓的角点C₁3，将下锁孔的最小外接矩形左下角的点作为集装箱轮廓的角点C₂4；在本实施例中，如附图4a、图4b；

步骤6：用安装在吊具上的摄像头采集下方集装箱另一侧的图像，即步骤1中相对的那侧的图像，然后重复步骤2～5，获得另一侧的拐点C₃和C₄；

步骤7：基于双目立体视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参数物建立的坐标系下的世界坐标，然后将这个四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于角点检测的集装箱轮廓定位方法，其特征在于包括如下步骤：

步骤1：首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像；

步骤2：然后利用集装箱锁孔粗定位和跟踪方法获得步骤1采集到的集装箱图像上下锁孔的粗定位区域，并得到区域内图像I₁,I₂，其中高度为height，宽度为width，单位为像素；

步骤3：新建一个和图像I₁,I₂大小一样的掩膜矩阵m₁,m₂或标记矩阵b₁,b₂，在m₁,m₂或b₁,b₂中用不同的值标记前景区域、背景区域和剩余区域；

步骤4：得到上下锁孔粗定位图像中的锁孔边缘，具体为：根据上下锁孔粗定位图像I₁,I₂和对应的掩膜矩阵m₁,m₂，利用Grabcut算法进行处理；或根据上下锁孔粗定位图像I₁,I₂和对应的标记矩阵b₁,b₂，利用分水岭算法进行处理；

步骤5：根据步骤4得到上下锁孔粗定位的分割图像，分别获取其图像前景的最小外接矩形，将上锁孔的最小外接矩形左上角的点作为集装箱轮廓的角点C₁，将下锁孔的最小外接矩形左下角的点作为集装箱轮廓的角点C₂；

步骤6：用安装在吊具上的摄像头采集下方集装箱另一侧，即步骤1中相对的那侧的图像，然后重复步骤2～5，获得另一侧的角点C₃和C₄；

步骤7：基于双目立体视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将这个四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。

2.根据权利要求1所述的一种基于角点检测的集装箱轮廓定位方法，其特征在于步骤3中在掩膜矩阵m₁,m₂中用不同的值标记前景区域、背景区域和剩余区域，背景区域设置为0，前景区域设置为1，剩余区域设置为2，具体方法为：

步骤3.1：首先在m₁中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m₁中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

$m_1(x,y)=\left\{\begin{array}{c}0,ifx=dory=d,0<d<widthand0<d<height\\ 1,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 2,else\end{array}\right.---\left(1\right)$

式中，(x,y)表示m₁上的坐标，d表示线段到m₁上侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；

步骤3.2：首先在m₂中的下侧和左侧设置两条值为0的线段作为背景区域，然后在m₂中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

$m_2(x,y)=\left\{\begin{array}{c}0,ifx=dory=height-d,0<d<widthand0<d<height\\ 1,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 2,else\end{array}\right.---\left(2\right)$

式中，(x,y)表示m₂上的坐标，d表示线段到m₂下侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。

3.根据权利要求1所述的一种基于角点检测的集装箱轮廓定位方法，其特征在于步骤3中在标记矩阵b₁,b₂用不同的值标记前景区域、背景区域和剩余区域，其中前景区域、背景区域设置为不同的值，剩余区域的值设置为0，具体方法为：

步骤3.1：首先在b₁中的上侧和左侧设置两条值为f的线段作为背景区域，然后在b₁中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

$b_1(x,y)=\left\{\begin{array}{c}f,ifx=dory=d,0<d<widthand0<d<height\\ g,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 0,else\end{array}\right.---\left(3\right)$

式中，(x,y)表示b₁上的坐标，d表示线段到b₁上侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；

步骤3.2：首先在b₂中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b₂中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

$b_2(x,y)=\left\{\begin{array}{c}f,ifx=dory=height-d,0<d<widthand0<d<height\\ g,if0.5*(width-l)<x<0.5*(width+l)and\\ 0.5*(height-k)<y<0.5*(height+k)\\ 0,else\end{array}\right.---\left(4\right)$

式中，(x,y)表示b₂上的坐标，d表示线段到b₂下侧边界或左侧边界的距离，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。