CN108460800B - 集装箱图像定位方法及系统 - Google Patents

Abstract

本发明公开了一种集装箱图像定位方法及系统，包括以下步骤：获取组合图像；判断所述组合图像是否具有集装箱特征；若具有，则采用集装箱轮廓的粗略定位模式或集装箱轮廓和锁孔结合的精密定位模式；若不具有，则处理下一帧组合图像。本发明实施例通过对组合图像进行数据分析，判断其是否具有集装箱特征，再施行相应的定位模式，从而提高了定位的精度、运算速度和稳定性。

Description

集装箱图像定位方法及系统

技术领域

本发明涉及运输技术领域，特别涉及一种集装箱图像定位方法及系统。

背景技术

近年来集装箱船舶的大型化对码头装卸效率提出了越来越高的要求。码头作业的岸桥和场桥受生产运营成本的限制无法大量增加。在此前提下，提高单机运行效率是较为可行的码头整体装卸效率提升的解决方案。单机运行效率主要受机械性能和司机操作效率影响。吊具与集装箱的对位是每次集装箱装卸的必要环节且难度较高，对司机的体力和精神力消耗较大，成为了影响司机操作效率的关键。

一般通过图像分析和激光扫描实现集装箱装卸过程中的目标集装箱定位，其中采用激光传感器的方案已经在交通行业得到了一定范围的应用。激光扫描器是一种可以实现长距离、无接触的目标物体定位的技术设备。使用该设备进行集装箱定位时，一般需要将两台同样设备平行安装于起重机主梁下方，向下方进行垂直断面的扫描，根据扫描数据计算获取集装箱位置信息。该技术方案的集装箱定位的精度取决于激光扫描传感器的精度。满足集装箱定位精度的设备价格昂贵，因此该套方案初装成本高。

第二种方法是通过图像分析进行集装箱定位。其中早期研究一般采用基于集装箱边缘识别的定位方式。该类方式采用直线检测技术获取集装箱的边缘进行位置定位，但由于方法单一且受光照等环境因素影响较大，目标的捕捉不稳定、定位精度难以提高。近年来的集装箱定位研究逐渐将边缘和锁孔识别和定位技术相结合，进行组合的分析和定位。

在相关技术中，对集装箱进行了边缘检测，并根据边缘检测结果推测锁孔大致位置，进而进行锁孔的精确定位，其锁孔检测方式使用的是圆检测。根据集装箱角件的标准锁孔外形与圆形有较大偏差，针对单步的圆检测实现锁孔的定位并不稳定，其次，摄像机的安装位置也有较大区别，主要的安装位置有起重机主梁、吊具。摄像机安装于起重机主梁的方案由于摄像机安装位置较高，难以采集到目标集装箱的大尺寸图像信息，从而降低了目标定位精度。摄像机安装于吊具可以有效的获取大尺寸角件锁孔的图像信息，现有的安装方案为吊具短边方向的两端。该方案可有效的获取集装箱一侧的两个锁孔的图像，但吊具与集装箱距离较近 时无法获取集装箱主要外轮廓和集装箱另一端两个锁孔的图像信息。因此该定位方式仅能依靠集装箱的两个锁孔图像进行定位。其实际应用中的精度、稳定性和置信度均难以保障。从上述不难看出，摄像机安装位置很大程度上影响了对集装箱定位的算法实现及其精度、稳定性等性能。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种集装箱图像定位方法。该集装箱图像定位方法提高了定位的精度、运算速度和稳定性。

本发明的另一个目的在于提出一种集装箱图像定位系统。

为了实现上述目的，本发明的一方面公开了一种集装箱图像定位方法，所述方法包括以下步骤：获取组合图像；判断所述组合图像是否具有集装箱特征；若具有，则采用集装箱轮廓的粗略定位模式或集装箱轮廓和锁孔结合的精密定位模式；若不具有，则处理下一帧组合图像。

根据本发明的集装箱图像定位方法，通过对组合图像进行数据分析，判断其是否具有集装箱特征，再施行相应的定位模式，从而提高了定位的精度、运算速度和稳定性。

另外，根据本发明上述实施例的集装箱图像定位方法还可以具有如下附加的技术特征：

进一步地，判断所述组合图像是否具有集装箱特征包括：对所述组合图像进行并行处理，并提取边缘，获取线段集；根据集装箱的特征，判断所述线段集是否可组成完整集装箱；若所述组合图像中任意一个可组成，则采用所述集装箱轮廓的粗略定位模式；若不是，则判断所述线段集是否为单侧集装箱；若所述组合图像均为单侧集装箱，则判断所述组合图像是否来自同一集装箱；若是，则采用所述集装箱轮廓和锁孔结合的精密定位模式。

进一步地，判断所述单侧集装箱包括：通过所述线段集推算角件锁孔的位置，并判断所述角件的位置处是否具有面积与锁孔相当的物体轮廓。

进一步地，所述组合判定包括：判断所述组合图像的方向与宽长是否来自同一集装箱。

进一步地，所述粗略定位模式包括：根据所述组合图像，确定水平方向最接近中心和垂直方向最接近中心的集装箱的图像坐标；将所述水平方向最接近中心点和垂直方向最接近中心点的集装箱的图像坐标，转换成以吊具中心为原点的空间定位信息。

进一步地，所述精密定位模式包括：根据所述组合判定的图像，判定锁孔的预测位置和预测大小；根据所述预测位置和预测大小，确定以锁孔为中心点的图像坐标；将以锁孔为中心点的图像坐标，最终转换成集装箱顶点坐标。

本发明的另一方面公开了一种集装箱图像定位系统，所述系统包括：获取模块，所述获取模块用于获取目标集装箱的组合图像；判断模块，所述判断模块用于判断所述组合图像是否具有集装箱特征；定位模块，所述定位模块用于若具有所述集装箱特征，则采用集装箱轮廓的粗略定位模式或集装箱轮廓和锁孔结合的精密定位模式，若不具有，则处理下一帧所述组合图像。

根据本发明的集装箱图像定位系统，通过对组合图像进行数据分析，判断其是否具有集装箱特征，再施行相应的定位模式，从而提高了定位的精度、运算速度和稳定性。

另外，根据本发明上述实施例的集装箱图像定位系统还可以具有如下附加的技术特征：

进一步地，还包括：摄像机，所述摄像机安装在吊具长轴两端，所述摄像机的镜头朝向垂直向下。

进一步地，所述粗略定位模式包括：第一确定单元，用于根据所述组合图像，确定水平方向最接近中心和垂直方向最接近中心的集装箱的图像坐标；第一转换单元，用于将所述水平方向最接近中心点和垂直方向最接近中心点的集装箱的图像坐标，转换成以吊具中心为原点的空间定位信息。

进一步地，所述精密定位模式包括：判定单元，用于判定锁孔的预测位置和预测大小；第二确定单元，用于根据所述预测位置和预测大小，确定以锁孔为中心的图像坐标；第二转换单元，用于将以锁孔为中心的图像坐标最终转换成集装箱顶点坐标。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的集装箱图像定位方法的流程图；

图2是根据本发明一个实施例的摄像机安装示意图；

图3是根据本发明另一个实施例的集装箱图像定位方法的流程图；

图4是根据本发明一个实施例的粗略定位模式流程图；

图5是根据本发明一个实施例的精确定位模式流程图；以及

图6是根据本发明一个实施例的集装箱图像定位系统的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的集装箱图像定位方法及系统。

图1是根据本发明一个实施例的集装箱图像定位方法的流程图。

如图1所示，根据本发明一个实施例的集装箱图像定位方法，包括以下步骤：

S110：获取组合图像。

组合图像是指在起重机的吊具两端分别有摄像机A和B，摄像机A和摄像机B所采集到的图像。

具体而言，将摄像机安装于吊具长轴的两端，两个短边中心位置。摄像机镜头垂直向下，镜头最低位置与吊具边缘平行，摄像机画面长轴与安装轴平行,如图2所示。然后，将摄像机进行标定，其可以分为安装位置标定和摄像机参数标定。摄像机安装位置标定主要用于精确的测量两台摄像机安装的位置和角度，并求出两台摄像机之间设计原点的距离以及两台摄像机分别与吊具中心点的距离。摄像机参数标定可以采用张氏标定法，获取内外参数和畸变系数。

S120：判断组合图像是否具有集装箱特征。

具体而言，在获取的组合图像中，可能具有整个完整集装箱，也可能具有集装箱的部分特征，也可能没有采集到集装箱，所以判断组合图像是否具有集装箱特征主要是判断是否可组成完整集装箱，是否有单侧集装箱，若是单侧集装箱是否可通过组合判定。

S121：对组合图像进行并行处理，并提取边缘，获取线段集。并行处理是指将摄像机A和摄像机B分别形成的一个独立流程进行处理，如图3所示，图像处理部分将彩色图像转为灰度图像，其后使用相机标定结果进行图像矫正，然后高斯滤波进行图像降噪，最后进行开运算消除纹理细节。边缘提取时首先使用Laplacian算子提取物体轮廓灰度图，并将灰度图进行二值化。根据二值化的物体轮廓图进行直线检测，获取图像中的直线组成初始线段集，其后获取线段集中各线段在图像中的角度，并将与水平和垂直夹角过大的线段剔除，最后将线段集中极小间隙的线段合并、剔除极短线段，其中的线段集可能包括整个集装箱或者单侧集装箱或者其他不完整线段。

S122：根据集装箱的特征，判断所述线段集是否可组成完整集装箱。根据集装箱外形尺寸和比例，分析处理后的线段集，判定线段集中是否存在完整的集装箱。

若组合图像中任意一个可组成，则进行步骤S130，即跳转至集装箱轮廓的粗略定位。具体而言，当两条摄像机图像分析流程中存在一条处理流程判图像内具有完整的集装箱信息时，则从状态初始化模块跳转至粗略定位模块。状态跳转后，关闭另一条图像分析流程线程。

S123：若不是，则判断线段集是否为单侧集装箱。当两条图像分析流程均未发现完整的集装箱信息时，则各自进行单侧集装箱判定。判断单侧集装箱包括：通过图像得到的线段集推算角件锁孔的位置，并判断角件的位置处是否具有面积与锁孔相当的物体轮廓。具体而言，从处理后的线段集中是否存在一条近似水平线段和两条近似垂直线段相交或接近相交。如存在上述线段组则计算两个交点间的距离并假设其为集装箱宽度的图像像素距离，进而推算集装箱的两个角件锁孔的图像位置，并将推算位置与二值化的图像相匹配，判断推算的两个锁孔位置是否存在面积与锁孔相当的物体轮廓。

S124：若组合图像均为单侧集装箱，则进行组合判定。组合判定包括：判断组合图像的方向与宽长是否来自同一集装箱，也就是说，根据两个图像分析流程的单侧集装箱判定结果，判断集装箱方向是否同侧、集装箱宽长是否匹配。如有一条处理流程为不符合，则两条流程均返回摄像机图像读取环节。

若是，则进行步骤S130，即集装箱轮廓和锁孔结合的精密定位。具体而言，当摄像机A如果采集到的是集装箱的上面的边缘线段，若来自同一个集装箱，则摄像机B采集到的是与之对应的集装箱的下面的边缘线段，则可判定为同一个集装箱。

其中，如图4所示，粗略定位模式包括：根据组合图像，确定水平方向最接近中心和垂直方向最接近中心的集装箱的图像坐标；将水平方向最接近中心和垂直方向最接近中心的集装箱的图像坐标，转换成以吊具中心为原点的空间定位信息。具体而言，通过摄像机A和摄像机B所获取的图像信息进行集装箱轮廓提取并确定集装箱位置。粗略定位启动后，算法并行的读取两台摄像机的各一帧图像进行独立的图像分析流程。首先通过图像处理、边缘提取、完整集装箱判定获取图像中的集装箱集合，其中，在图像处理环节首先将图片转为HSV颜色空间，使用非等间隔量化方式弱化S分量、去除V分量，将图像变为单通道数据，再进行图像校正、降噪和消除纹理细节处理，最后遍历集装箱集中各集装箱中心点，寻找其中水平方向最接近中心，垂直方向接近底部的集装箱，并将该集装箱坐标转为以吊具为原点的三维空间坐标传入定位结果输出环节。如该条图像分析流程没有通过完整集装箱判定，则该集装箱定位仅向定位结果输出环节传送空标识。在收到了两条图像分析流程的输出后，如两条流程均输出了空间坐标则匹配集装箱各对应顶点并取均值，如一条流程输出为空标识，则仅输出另一流程结果。

如图5所示，精确定位包括：根据组合判定的图像，判定锁孔的预测位置和预测大小； 根据预测位置和预测大小，确定以锁孔为中心点的图像坐标；将以锁孔为中心点的图像坐标，最终转换成集装箱顶点坐标。具体而言，首先通过图像处理、边缘提取、单侧集装箱判定和组合判定，其中，在图像处理环节首先将图片转为HSV颜色空间，使用其中的V分量，将图像变为单通道数据，之后进行图像校正、降噪和消除细纹细节处理。其次，组合判定时的集装箱长宽图像像素估算值判定锁孔在图像中的预测位置及预测大小，并以预测位置为中心预测大小为范围获取单侧两个锁孔的感兴趣区域(ROI)。从物体轮廓图灰度图中获取锁孔的感兴趣区域的数据，并进行像素级的锁孔曲线拟合，进而确定锁孔中心点的图像坐标。最后将锁孔的图像坐标转换为以吊具中心点为原点的三维空间坐标。在接收到两条图像分析流程的输出后，将4个锁孔的空间坐标转换为集装箱顶点坐标，并输出结果。结果输出后，两条图像分析流程均继续处理下一帧数据。

根据本发明的集装箱图像定位方法，通过对目标集装箱进行图像数据分析，判断其是否具有集装箱特征，再施行相应的定位模式，从而提高了定位的精度、运算速度和稳定性。

图6是根据本发明一个实施例的集装箱图像定位系统的结构图。

如图6所示，集装箱图像定位系统600，该系统600包括：获取模块610、判断模块620和定位模块630。

其中，获取模块610用于获取组合图像；判断模块620用于判断组合图像是否具有集装箱特征；定位模块630用于若具有集装箱特征，则采用集装箱轮廓的粗略定位模式或集装箱轮廓和锁孔结合的精密定位模式，若不具有，则处理下一帧所述组合图像。

根据本发明的集装箱图像定位系统，通过对目标集装箱进行图像数据分析，判断其是否具有集装箱特征，再施行相应的定位模式，从而提高了定位的精度、运算速度和稳定性。

集装箱图像定位系统600还包括：摄像机640。摄像机640安装在吊具长轴两端，其镜头垂直向下。

粗略定位模式包括：第一确定单元，用于根据所述组合图像，确定水平方向最接近中心和垂直方向最接近中心的集装箱的图像坐标；第一转换单元，用于将所述水平方向最接近中心点和垂直方向最接近中心点的集装箱的图像坐标，转换成以吊具中心为原点的空间定位信息。

精密定位模式包括：判定单元，用于判定锁孔的预测位置和预测大小；第二确定单元，用于根据所述预测位置和预测大小，确定以锁孔为中心点的图像坐标；第二转换单元，用于将以锁孔为中心点的图像坐标最终转换成集装箱顶点坐标。

需要说明的是，本发明实施例的集装箱图像定位系统的具体实现方式与本发明实施例的集装箱图像定位方法的具体实现方式类似，具体请参见方法部分的描述，为了减少冗余，此 处不做赘述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种集装箱图像定位方法，其特征在于，包括以下步骤：

获取组合图像；

判断所述组合图像是否具有集装箱特征，具体包括：对所述组合图像进行并行处理，并提取边缘，获取线段集；根据集装箱的特征，判断所述线段集是否可组成完整集装箱；若所述组合图像中任意一个可组成，则采用所述集装箱轮廓的粗略定位模式；若所述组合图像中任意一个均未组成完整的集装箱信息，则判断所述线段集是否为单侧集装箱；若所述组合图像均为单侧集装箱，则进行组合判定；所述组合判定包括：判断所述组合图像的方向与宽长是否来自同一集装箱；若组合图像的方向与宽长来自同一集装箱，则采用所述集装箱轮廓和锁孔结合的精密定位模式；

若具有，则采用集装箱轮廓的粗略定位模式或集装箱轮廓和锁孔结合的精密定位模式；

若不具有，则处理下一帧所述组合图像；

其中，所述粗略定位模式包括：

通过图像处理、边缘提取、完整集装箱判定，获取所述图像中的集装箱集合；

遍历所述集装箱集合中各集装箱中心点，确定水平方向最接近中心和垂直方向最接近中心的集装箱的图像坐标；

将所述集装箱的图像坐标，转换成以吊具中心为原点的空间定位信息；

所述精密定位模式包括：

通过图像处理、边缘提取、单侧集装箱判定和组合判定，获取所述锁孔的预测位置和预测大小；

以所述预测位置为中心，所述预测大小为范围，获取单侧两个锁孔的感兴趣区域；

结合集装箱轮廓图，获取所述锁孔的感兴趣区域的数据，并进行像素级的锁孔曲线拟合，以确定以锁孔为中心点的图像坐标；

将所述锁孔为中心点的图像坐标，转换成以吊具中心为原点的空间定位信息。

2.根据权利要求1所述的集装箱图像定位方法，其特征在于，判断所述单侧集装箱包括：通过所述线段集推算角件锁孔的位置，并判断所述角件的位置处是否具有面积与锁孔相当的物体轮廓。

3.一种集装箱图像定位系统，其特征在于，包括：

获取模块，所述获取模块用于获取组合图像；

判断模块，所述判断模块用于判断所述组合图像是否具有集装箱特征，具体包括：对所述组合图像进行并行处理，并提取边缘，获取线段集；根据集装箱的特征，判断所述线段集是否可组成完整集装箱；若所述组合图像中任意一个可组成，则采用所述集装箱轮廓的粗略定位模式；若所述组合图像中任意一个均未组成完整的集装箱信息，则判断所述线段集是否为单侧集装箱；若所述组合图像均为单侧集装箱，则进行组合判定；所述组合判定包括：判断所述组合图像的方向与宽长是否来自同一集装箱；若组合图像的方向与宽长来自同一集装箱，则采用所述集装箱轮廓和锁孔结合的精密定位模式；

定位模块，所述定位模块用于若具有所述集装箱特征，则采用集装箱轮廓的粗略定位模式或集装箱轮廓和锁孔结合的精密定位模式，若不具有，则处理下一帧所述组合图像；

其中，所述粗略定位模式包括：

第一确定单元，用于通过图像处理、边缘提取、完整集装箱判定，获取所述图像中的集装箱集合，并遍历所述集装箱集合中各集装箱中心点，确定水平方向最接近中心和垂直方向最接近中心的集装箱的图像坐标；

第一转换单元，用于将所述集装箱的图像坐标，转换成以吊具中心为原点的空间定位信息；

所述精密定位模式包括：

判定单元，用于通过图像处理、边缘提取、单侧集装箱判定和组合判定，获取所述锁孔的预测位置和预测大小，并以所述预测位置为中心，所述预测大小为范围，获取单侧两个锁孔的感兴趣区域；

第二确定单元，用于结合集装箱轮廓图，获取所述锁孔的感兴趣区域的数据，并进行像素级的锁孔曲线拟合，以确定以锁孔为中心点的图像坐标；

第二转换单元，用于将所述锁孔为中心点的图像坐标，转换成以吊具中心为原点的空间定位信息。

4.根据权利要求3所述的集装箱图像定位系统，其特征在于，还包括：

摄像机，所述摄像机安装在吊具长轴两端，所述摄像机的镜头垂直向下。

Images