CN101251381A - 基于机器视觉的双集装箱定位系统 - Google Patents

Abstract

本发明涉及一种基于机器视觉的双集装箱定位系统，所采用的方法是：在现场安装高分辨相机，首先对相机进行标定，然后相机采集集装箱或集卡图像，从图像中提取集装箱下抓点的图像坐标，进行目标匹配后，结合相机标定的参数结果测量两个集装箱的相对位置的精确值，最后将此计算数值传送至桥吊驾驶室，结合控制室的控制与检测装置，在空中调整两吊具的相对位置，实现两吊具与集装箱在空间上的匹配，桥吊司机只需对准其中一个集装箱，另一个集装箱就自动的对准了，进而实现从单箱操作向双箱操作的转化。本发明利用计算机视觉技术模拟人的双眼，直接测量两个集装箱的相对位置的精确值，即将双箱操作简化成单箱操作，提高了效率的同时大大减轻桥吊司机的负担。

Description

基于机器视觉的双集装箱定位系统

技术领域

本发明属于图像分割和模式识别领域，具体地讲是一种基于机器视觉的双集装箱定位系统。

背景技术

由于大型港口装卸容量的不断扩大，生产效率日益提高，以生产过程中物料装卸搬运费用所占比例逐渐增加，促使大型或高速起重机的需求量不断增长。起重量越来越大，工作速度越来越高，并对能耗和可靠性提出更高的要求。起重装卸机械已成为港口自动化生产流程中的极其的装备。对于岸桥装卸设备而言，在装卸集装箱的过程中，如何实现路径优化，准确吊装以及节省吊装时间和劳动强度，一直是大型港口装备应用过程中十分关注的一个研究课题。港口起重装卸设备的更新和发展，在很大程度上取决于电气传动与控制以及检测方法的改进。将机械技术和电子技术相结合，将先进的计算机技术、微电子技术、电力电子技术、光缆技术、液压技术、模糊控制技术、先进检测技术应用到起重机械的驱动和控制系统，实现起重设备的自动化和智能化正成为发展的趋势。

为了提高港口起重设备的工作效率、起重量等性能，各领域的最新的成果不断被采用：差动原理的应用、交流变频调速系统的应用、自动控制技术的应用以及结构力学等等，都取得了不错的效果。在集装箱的自动抓取的研究方面，一种是采用的是GPS方案，属于半自动操作，有部分工作需要人工承担；另一种是自动抓取方案则采用了激光定位或雷达探测的方案，其造价成本相当高。目前，随着信息技术的不断发展，各种新的检测技术测出不穷，人工智能理论也不断发展，因此，将这些理论与技术应用于起重设备上，在可以接受的造价之内，实现起重设备的全自动、智能化的抓箱控制完全是可能的，是能够取得具有国际水平的应用成果。

由于桥吊司机在起重机驾驶室内视场有限，现在港口装卸一般是单箱操作，即起重机一次抓起一个集装箱。双40英尺箱双小车起重机是最新出现的高效起重机，理论上每小时可卸80～100个40英尺箱，堪称世界最快的起重机，但目前基本是半自动化操作，最终是由司机分别控制两个吊具与两个集装箱的对准，其效率不高。

发明内容

本发明的目的是提供一种利用机器视觉和图像识别技术，直接模拟人的双眼处理景物，使引导桥吊司机方便地实现双集装箱的自动定位，引导桥吊司机的对箱操作，从而大大减轻司机的疲劳，大幅度地提高工作效率的基于机器视觉的双集装箱定位系统。

为了实现上述目的，本发明所采用的方法是：在现场安装高分辨相机(千万级象素)，首先对相机进行标定，即确定相机的参数，包括相机进行图象采集时的内部结构所处的状态(内部参数的确定)和相机相对于所拍摄场景的位置和方向上的关系(外部参数的确定)，然后相机采集集装箱或集卡图像，从图像中提取集装箱下抓点的图像坐标，进行目标匹配后，结合相机标定的参数结果测量两个集装箱的相对位置的精确值(距离、角度)，最后将此计算数值传送至桥吊驾驶室，结合控制室的控制与检测装置，在空中调整两吊具的相对位置，实现两吊具与集装箱在空间上的匹配，桥吊司机只需对准其中一个集装箱，另一个集装箱就自动的对准了，进而实现从单箱操作向双箱操作的转化。

本发明的处理流程分以下三个部分：

第一部分为相机标定，以设定的已知参照物为标定，并与成像单元对应，建立物点的空间三维坐标和它们在相机图像坐标的关系。由于在码头现场相机的位置是固定的，所以只需在安装完相机后对它们标定一次，在相当长的时间内，都无需再次标定。所采用的是改进的直接线性变换法，该方法计算量小，方法直接，精度高，理论上可以达到毫米级，适应现场环境。标定结果经计算机处理后储存，作为第三部分的输入值之一。

第二部分为拍摄图像中目标提取和特征点匹配，解决在各种光照条件下集装箱的提取问题，一般可根据集装箱的具体特征加以分析，如角点、直线，并建立这特征点在两CCD成像的对应关系。设计适合现场环境各种变化的方案，并保证精度的稳定，提取的特征点图像坐标储存后作为第三部分的输入值之二。

在复杂背景下，从采集的图像中提取集装箱是一个重要的过程，它直接影响后面处理的结果。如光照条件得到充分保证，集装箱区域的灰度分布较为均匀，且高于背景，对其进行提取就相对易实现。但是，集装箱装卸一般是全天候进行，其作业环境十分复杂，因此，尽管可以增加辅助的照明光源，但阳光、雨水、雾、晚上等条件下的光照还是会或多或少受到影响，因此，这些都增加了目标提取的难度。

对集装箱的作业现场进行分析，并观察实际场景下拍摄的集装箱图像，可以发现：图像中地面的灰度分布较为均匀；在光照有一定保证的情况下，集装箱上部的灰度值高而且较为均匀。集装箱为立方体，其边缘在图像中的直线特征明显，各直线间的拓扑较为明确。

在本发明中，集装箱提取算法包括：用SUSAN算子提取边缘区域得到图像I₁；抑制背景噪声提取并保留满足一定条件的直线得到图像I₂；以I₂为初始条件，I₁为限定条件，进行目标增强得到图像I₃；在图像I₃中提取集装箱的若干条边线(至少两条)，并与图库中的集装箱的各种姿态相匹配，提取出集装箱的上平面；最后将两个相机所拍摄到的图片中的特征点进行特征匹配。

第三部分为目标定位，依据成像关系式，从已知的相机参数、两相机CCD成像特征对应关系即前两步的结果解算出特征点的实际空间坐标，此发明中结合考虑了集装箱的下抓点尺寸和起重机吊具的控制精确度，确定最终空间坐标的误差在5cm以内，误差具体来说是指特征点空间坐标的计算值与真实值的距离。

本发明利用计算机视觉技术模拟人的双眼，直接测量两个集装箱的相对位置的精确值(距离、角度)，并将这些测量出来的值传送给吊车司机驾驶室，结合控制室的控制与检测装置，在空中调整两吊具的位置，实现两吊具与集装箱在空间上的匹配，这样只要对准了陆侧的集装箱，海侧的集装箱也能对准，即将双箱操作简化成单箱操作，提高了效率的同时大大减轻司机的负担。

附图说明

图1为本发明吊具与集装箱对准示意图。

图2为本发明工作原理框图。

图3为本发明立体视觉双相机的几何关系图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但该实施例不应理解为对本发明的限制。

本发明的第一部分：相机的标定。经典的相机标定方法有直接线性变换法、Tsai法、张正友法。直接线性变换法未考虑相机畸变，精度不高。Tsai法应用的前提是畸变中心与图像中心重合，而现代相机并不全满足此条件。张正友法当目标距相机较远时，标定的精度下降，不适合此系统的应用环境。本发明采用的是一种改进的直接线性变换法，它在传统直接线性变换法所做的改进主要有：

(1)传统的直接线性变换法(DLT)是直接建立物点的空间三维坐标和它们在相机图像坐标的关系，这个方法是基于共线原则的，即物点、相机光心、和它们的成像点共线。DLT基本公式如下

$u=\frac{l_{1}x+l_{2}y+l_{3}z+l_4}{l_{9}x+l_{10}y+l_{11}z+1}$

$v=\frac{l_{5}x+l_{6}y+l_{7}z+l_8}{l_{9}x+l_{10}y+l_{11}z+1}$

其中(u，v)是图像坐标，(x，y，z)是空间坐标。这个公式中的系数l可以组成一个3×4的矩阵L，矩阵的最后一个元素值设置为1。很多现在提出的线性标定法都是基于相同的过程：先估计出M矩阵的初值，再将此矩阵分解为内外参数，解出了相机参数的封闭解。其中有些方法未考虑畸变，而即便是高精度相机也有畸变，所以导致标定精度不高，达不到本系统的要求。

本发明先在设定无畸变的条件下求出L矩阵的初值，最后的一个元素作为畸变参数，然后对L矩阵进行优化，优化的目的是搜索最优值使(u-u′，v-v′)最小，(u-u′，v-v′)是计算值与真实值间的误差；

(2)经过大量实验证明L矩阵的分解对噪声很敏感，L估计微小的不精确都会导致分解结果的巨大误差。本发明最终的目的恢复物点的空间3D坐标并将误差控制在一定范围内，恢复物点的空间3D坐标的过程并不一定要用到内外参数的值，本发明的改进的算法中对L矩阵不做分解，求3D坐标时直接用L矩阵的元素，以此提高精度。

(3)标定的控制点用圆心，由于圆的中心对称特性，采用圆心做控制点可以很好地克服光照不均匀的不理想情况，但它却带来另一个问题：＝相机光轴与圆直径不垂直时，圆心在图像上的成像点与图像中圆的投影的重心不重合，这称为不对称投影，本发明并在标定过程中加入不对称投影矫正，矫正是基于改进的DLT标定法，以此进一步了提高精度。

本发明的第二部分：图像中目标提取和特征点匹配，包括下面四个步骤：

第一步骤：用SUSAN算子提取边缘区域得到图像I₁，SUSAN算子(SmallUnvalued Segment Assimilating Nucleus)是一种直接利用图像灰度进行角点和边缘检测的方法，它计算简单，具有定位准确、抗噪能力强等特点。把图像中的每个像素与具有其相似灰度值的局部区域相联系起来是SUSAN原则的基础。由于SUSAN滤波不用考虑目标具体灰度值，因为光照不均匀，目标的灰度有些区域可能高于背景，而某些区域的灰度又低于背景。用单一灰度门限是难以将目标的轮廓正确分割出来的，必须使用多门限。

第二步骤：抑制背景噪声提取并保留满足一定条件的直线得到图像I₂。经过SUSAN算子处理后的图像，虽然集装箱的轮廓已经大致已知，但仍然可能会存在着一些噪声，必须抑制这些噪声。通过观察，可以发现集装箱的边缘可以看作是由长的直线组成，并且直线都存在着一定的连接关系。于是，如果保留满足一定条件的直线，去除其他不规则边缘，利用形态学运算重构出一新的图像，就可以达到保留目标区，抑制噪声的目的。在此基础上进行直线提取，具体方法为1)对原图像进行边缘检测，得到二值图像F₁；2)对于F₁上的每一个值为1的点，以其为中心，在设定的小窗口内(窗口大小可以依目标边缘直线的平均长度而定)寻找直线，处理后的图像记为F₂；3)以F₂为输入图像，I₁为条件限制图像，进行重构得到新的灰度图像I₂。

第三步骤：以I₂为初始条件，I₁为限定条件，进行目标增强得到图像I₃，包括一下几步：1)对灰度图像I₂采用Ostu方法进行二值化；2)用大小合适的结构元对二值化后的图像作闭运算(即先膨胀后腐蚀)；3)依据面积大小去除小的孤立的噪声块；4)对剩下的目标区域进行填充；5)对图像进行细化，细化的目的是减少图像成分，直到只留下区域的最基本信息，其过程就是不断去除区域内不影响连通性的像素，直到只留下区域的最基本信息。

第四步骤：在图像I₃中提取集装箱的若干条边线(至少两条)，并与图库中的集装箱的各种姿态相匹配，最终提取出集装箱的上平面。提取集装箱边线采用Hough变换算法，图库是预先建立的，由于相机位置固定，而集装箱停放位置是位于某一范围以内，所以图库中的集装箱姿态也是在一定范围内的，图片数量与匹配速度是成反比的，图片数量的减少带来识别速度的增加。

第五步骤：特征点匹配，还存在一个对应关系，即若p₁点为图像I₁上的某点，但该点在图像I₂上会存在一对应的点p₂，此时，利用点p₁与p₂便可以计算出正确的空间点坐标，而若没有正确建立将点p₁在图像I₂的对应点关系，则是无法获得正确空间坐标点坐标。特征点的对应是一个十分复杂的问题。但在本发明中，集装箱的大致位置可以预先知道，而所提取的特征点在两幅图像中的拓扑关系相对稳定，因此，根据这种稳定性，建立特征点之间的对应规则，这样就可以避免过多繁琐的计算。

本发明的第三部分是目标定位：在立体视觉系统中，数据是两个相机获得的图像I₁和I₂，如果P₁，P₂是空间同一点P在两个图像的投影点，P₁，P₂称为对应点。根据对应点的图像坐标和相机的标定结果既得P点的三维空间坐标，在前两个部分的所得数据的基础上即可得出任意物点的空间三维坐标。将此坐标结果经计算机储存处理后作为输出调整两个吊具的相对位置，并最终实现吊具和双箱的位置匹配。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1、一种基于机器视觉的双集装箱定位系统，所采用的方法是：在现场安装高分辨相机，首先对相机进行标定，即确定相机的参数，包括相机进行图象采集时的内部结构所处的状态和相机相对于所拍摄场景的位置和方向上的关系，然后相机采集集装箱或集卡图像，从图像中提取集装箱下抓点的图像坐标，进行目标匹配后，结合相机标定的参数结果测量两个集装箱的相对位置的精确值，最后将此计算数值传送至桥吊驾驶室，结合控制室的控制与检测装置，在空中调整两吊具的相对位置，实现两吊具与集装箱在空间上的匹配，桥吊司机只需对准其中一个集装箱，另一个集装箱就自动的对准了，进而实现从单箱操作向双箱操作的转化。

2、如权利要求1所述的基于机器视觉的双集装箱定位系统，包括相机标定、拍摄图像中目标提取和特征点匹配和目标定位，其特征在于：

相机标定：以设定的已知参照物为标定，并与成像单元对应，建立物点的空间三维坐标和它们在相机图像坐标的关系，码头现场相机的位置是固定的，所以只需在安装完相机后对它们标定一次，在相当长的时间内，都无需再次标定；

拍摄图像中目标提取和特征点匹配：解决在各种光照条件下集装箱的提取问题，根据集装箱的具体特征加以分析，集装箱提取方法包括提取边缘区域和抑制背景噪声，并提取集装箱的角点、直线，并建立这些特征点在两相机CCD成像的对应关系，在提取的基础上进行目标增强、提取集装箱边线并于图库中的数据相比较、特征点匹配；

目标定位：依据成像关系式，从已知的相机参数、两相机CCD成像特征对应关系，即相机标定和拍摄图像中目标提取和特征点匹配结果得出特征点的实际空间坐标。

3、如权利要求2所述的基于机器视觉的双集装箱定位系统，其特征在于：相机标定采用改进的直接线性变换法，在传统直接线性变换法上加入镜头畸变参数，不把L矩阵分解为内外参数以提高精度，采用圆做控制点，标定结果经计算机处理后储存，作为目标定位的输入值。

4、如权利要求2所述的基于机器视觉的双集装箱定位系统，其特征在于：拍摄图像中目标提取和特征点匹配是用SUSAN算子提取边缘区域得到图像I₁，抑制背景噪声提取并保留得到图像I₂，以图像I₂为初始条件，图像I₁为限定条件，进行目标增强得到图像I₃，采用Hough变换在图像I₃中提取集装箱的至少两条边线，并与图库中的集装箱的各种姿态相匹配，提取出集装箱的上平面，最后将两个相机所拍摄到的图片中的特征点进行特征匹配。

5、如权利要求4所述的基于机器视觉的双集装箱定位系统，其特征在于：抑制背景噪声提取并保留得到图像I₂的具体方法为：

1)对原图像进行边缘检测，得到二值图像F₁；

2)对于F₁上的每一个值为1的点，以其为中心，在设定的小窗口内寻找直线，处理后的图像为F₂；

3)以图像F₂为输入图像，图像I₁为条件限制图像，进行重构得到新的灰度图像I₂。

6、如权利要求4所述的基于机器视觉的双集装箱定位系统，其特征在于：进行目标增强得到图像I₃的具体方法为：

1)对灰度图像I₂采用Ostu方法进行二值化；

2)用结构元对二值化后的图像作闭运算；

3)依据面积大小去除小的孤立的噪声块；

4)对剩下的目标区域进行填充；

5)对图像进行细化，直到只留下区域的最基本信息，其过程就是不断去除区域内不影响连通性的像素，直到只留下区域的最基本信息。

7、如权利要求4所述的基于机器视觉的双集装箱定位系统，其特征在于：将两个相机所拍摄到的图片中的特征点进行特征匹配的具体方法是：建立特征点匹配对应关系，即建立集装箱上的点与图像I₁上的对应点和图像I₂上存在相同对应点之间的对应规则。

Images