CN1394190A - 装卸用起重机中的集装箱位置检测方法及装置、及集装箱着地、摞放控制方法 - Google Patents

Abstract

在通过处理从设置在吊具上的CCD等的摄像装置获得的对象集装箱的图像数据，可以确定与产生预先设定的值以上的亮度变化、或色相变化的像素群的配置近似的直线时，用那样的直线构成可近似的配置的像素群作为表示该集装箱的棱线、即集装箱的边缘的像素群，通过检测对象集装箱的位置，可以排除实际的运转环境中的各种状态、条件的影响而可靠性高、确实地进行由设置在吊具上的CCD摄像机等的摄像装置获得的图像数据处理的对象集装箱的边缘抽出，利用此可以高精度确实地进行对象集装箱与悬吊集装箱的相对位置检测。

Description

装卸用起重机中的集装箱位置检测方法 及装置、及集装箱着地、摞放控制方法

技术领域

本发明涉及一种装卸用起重机中的集装箱位置检测方法及装置，特别涉及一种将吊具本身、或吊具把持着的悬吊集装箱着地或摞放在对象集装箱上、或将吊具把持着的集装箱摞放在地上的指定位置的装卸用起重机中的集装箱位置检测方法及装置、及集装箱着地、摞放控制方法。

背景技术

为了用集装箱堆放场用桥式起重机那样的装卸用起重机抓住摞放在地上的集装箱而在将吊具(一般称为撒播器(スプレツダ-))着落于集装箱上时、或摞放集装箱时(包括将集装箱摞放在地上的指定位置的情况)、需要将吊具或被吊具把持的集装箱相对于摞放在地上的集装箱或相对于地上的指定位置以规定的角度定位。特别是在摞放集装箱时，需要使上下的集装箱没有水平错位地进行摞放。

为了进行这样的运转，必须检测所要摞放集装箱的地上的指定位置、或成为作为吊具所要抓持的对象的、或被吊具所抓着的集装箱摞放在其上的对象的地上的集装箱(在以下的说明中，将上述的地上的指定位置、及作为抓取对象、或摞放对象的地上的集装箱称为“对象集装箱”)与吊具或吊具把持的集装箱(在以下的说明中称为悬吊集装箱)的相对位置，并且使相对位置没有偏移地进行控制。

另外，以下的说明，只要不作特别的说明，是将吊具所把持的集装箱摞放在摞放于地上的集装箱上的运转作为对象进行的，当然，也在使吊具着落于摞放在地上的集装箱上的运转、或将被吊具把持着的集装箱摞放在地上的指定位置的运转中可以使用同样的技术。在以下说明中，关于悬吊集装箱的边缘检测的说明只要没有特别的说明也适用于吊具本身边缘的检测，另外，关于对象集装箱的边缘的检测，只要没有特别的说明，也适用于设置在地上使第一层的摞放变容易的目标标记的边缘的检测。

在装卸用起重机中，作为检测对象集装箱的位置的现有技术，如日本特开平5-170391号公报(发明专利公报第2831190号)所示出的那样，为人所知的有由安装在吊具上的超音波式等的水平距离检测器检测吊具与集装箱侧面之间的距离，由其检测值检测出对象集装箱的位置、及由安装在吊具上的CCD摄像机等的摄像装置拍摄吊具下方，由其图像数据用图像处理技术找出对象集装箱的边缘，由此检测出对象集装箱的位置的技术等。

另外，在欧洲专利公报0440915A1中公开了一种技术，该技术是由朝下地安装在吊具上的CCD摄像机那样的摄像装置拍摄与吊具连接的对象物的角部，从图像处理技术检测出吊具与对象集装箱的相对位置，由根据其的吊具的位置控制自动地进行集装箱相对于吊具连接时的定置。

在由水平距离检测器检测吊具与集装箱侧面之间的距离的技术中，存在水平距离检测器与集装箱干涉的问题，当在对象集装箱和悬吊集装箱的水平错位量大的阶段要使水平距离检测器位于检测位置时，有水平距离检测器与对象集装箱冲撞的危险，在实际中难以实用化。

在由CCD摄像机等的摄像装置拍摄吊具下方，从其图像数据由图像处理技术找出对象集装箱的边缘的技术，虽然没有干涉、冲撞的危险，但是，在实际的起重机运转环境中，对于处理由CCD摄像机等拍摄的图像数据没有误差地找出对象集装箱也存在问题。在实际的运转环境中，除了天气气候条件的变化、太阳光强度的变化、起重机自身、悬吊集装箱、或相邻的摞放集装箱等所产生的阴影等的影响之外，还有集装箱喷漆的斑、集装箱表面的反射率的不同等带来影响，若不排除这些影响则不能实现实用的对象集装箱的找出。

发明内容

因此，本发明的目的是提供一种装卸用起重机中的集装箱位置检测方法、及使用于实施其方法的集装箱位置检测装置、或集装箱着地、摞放控制方法，该装卸用起重机中的集装箱位置检测方法、及使用于其方法实施的集装箱位置检测装置、或集装箱着地、摞放控制方法，解除了对于上述的CCD摄像机等的摄像装置的图像数据处理所进行的对象集装箱的边缘抽出中，由于实际运转下的环境条件、对象集装箱的条件等的影响而产生的问题，可以通过排除实际运转环境中的各种状态、条件的影响而可靠性高、确实地进行由设在吊具上的CCD摄像机等的摄影装置获得的图像数据的处理所进行的对象集装箱的边缘抽出，由此，高精度、确实地进行对象集装箱和悬吊集装箱的相对位置的检测，由此推进装卸用起重机的自动运转化。

实现上述目的的技术方案的基本着眼点是：(1)检测对象的形状是长方形，(2)从上方看对象集装箱或表示集装箱摞放场所的目标位置的标记的形状(长方形)的各边与悬吊集装箱的所对应的各边被在此未详述的其它方法使之保持相互基本平行，(3)悬吊集装箱和对象集装箱的大致相对高度由其它的检测装置已知，(4)对象集装箱和悬吊集装箱的水平距离由后述的方法保持在规定的范围中。

所谓上述(1)的利用对象集装箱是长方体，指的是，在通过处理从设置在吊具上的CCD等摄像装置获得的对象集装箱的图像数据可将近似的直线与产生预先设定的值以上的亮度变化、或色像变化的像素群的配置吻合时，构成以那样的直线可近似的配置的像素群作为该集装箱的棱线、即表示集装箱的边缘的信息来检测对象集装箱的位置。但是，由于对象集装箱本身的色斑、锈迹、周边的影响等，在集装箱的边缘以外的部分也产生亮度变化，上述那样地抽出的直线多大都不能定为一条。

从作为表示边缘的候补的多根直线确定对象集装箱的边缘，是利用上述(2)、(3)及(4)或它们其中的任何一个。即、同时可拍摄对象集装箱和悬吊集装箱地配置设置在吊具上的CCD摄像机等的摄像装置。这样，可以相互对应地比较表示由上述图像处理得到的与悬吊集装箱边的对应的边缘的直线和表示相当于对象集装箱对应的边的边缘的直线。

当使表示对象集装箱的边缘的直线和表示悬吊集装箱的对应的边缘的直线相对应时，两者处于基本平行的位置关系。另外，由于用其它的手段检测出悬吊集装箱和对象集装箱的大致相对高度，因此可以从由设置在吊具上的CCD等的摄像装置获得的图像数据平面上的对象集装箱的边缘候补直线与悬吊集装箱的相对应的边缘直线间的关系求得两者间的实际的水平距离的概略值。如前所述，由于悬吊集装箱相对于对象集装箱被定位在预先设定的水平距离的范围内，因此对于从图像数据求得的上述概略的水平距离，只有判定为预先设定的值的范围内的候补直线才是表示对象集装箱边缘的直线。

在使用上述的解决手段时，最初进行表示悬吊集装箱的一边的直线的抽出。悬吊集装箱被吊具把持着，它与设置在吊具上的CCD等的摄像装置的相对位置关系不变化。因此，在该悬吊集装箱移动到目标位置附近之前的期间，对于从CCD等的摄像装置获得的图像数据，调查像素的亮度变化，反复进行相对于产生预先设定的值以上的亮度变化的像素群的配置的近似直线的重合处理，在使直线经常地重合在图像数据平面内的相同位置时，将其直线作为悬吊集装箱的边缘。在此，所谓图像数据平面，指的是二维地分布由CCD等的摄像装置获得的图像数据的面。各像素的位置由设定在图像数据平面上的二维坐标定义。

在使吊具着落于对象集装箱上时，需要检测吊具与对象集装箱的相对位置，需要与对上述悬吊集装箱进行说明的同样地检测吊具自身的位置。在实际中，以可同时地拍摄吊具和对象集装箱的方式将摄像装置配置在吊具上是困难的，但是，由于在吊具上配置摄像装置是已知的技术，因此可以相对从摄像装置获得的图像数据的平面假想地设定表示吊具的边缘的直线位置，通过与悬吊集装箱的边缘线进行比较，可以由与检测对象集装箱边缘线的同样的方法进行相对于吊具的对象集装箱边缘的检测。

在由图像数据处理进行对象集装箱的边缘检测时，在与表示上述的悬吊集装箱的边缘的图像数据平面内的直线并行的、具有相当于悬吊集装箱与对象集装箱之间的预先设定的水平距离范围宽度的带状图像数据平面的区域调查各像素的亮度或色相的变化。进行近似产生超过预先设定的值的亮度变化的像素群的配置的直线的重合。作为充当这些像素群的排列的近似的直线是成为表示对象集装箱的边缘的候补的直线。

由于对象集装箱的涂漆的反射率变化、相邻的起重机的阴影等，作为上述处理结果有时检测出多条直线。因此，校验作为边缘的候补被检测出的各直线与表示悬吊集装箱的边的直线的平行度，抽出基本平行的直线，根据上述的平行度校对结果检测出多条候补直线时，再将其中的最长的直线作为对象集装箱的边缘加以确定。

在将集装箱摞放在地上时，将具有与检测出集装箱位置时同样效果的形状、标记设置在摞放位置，通过用同样的方法检测出它们的形状或标记可以实现其目的。

另外，通过相互比较参照从由分别配置在吊具的同一边的两端部的两台摄像装置拍摄吊具下方的图像数据获得的各对象集装箱的边缘候补直线，可以确实地检测出对象集装箱的边缘。该两台摄像装置在吊具上的配置是相对于安装它们的一边的中点使两者处于基本对称的位置关系的配置。由这样地配置的两台摄像装置拍摄吊具下方，进行各图像数据中的上述亮度或色相变化校验及检测出边缘候补直线。当比较分别检测出的候补直线之间选择形成几乎一条直线的候补直线时，这就检测出对象集装箱的相同的边，可以进行比只由一台摄像装置进行检测时精度更高的检测。

在该发明的集装箱位置检测方法中，在由上述两台摄像装置的图像数据分别抽出对象集装箱的边缘时，在根据从一方摄像装置获得的图像数据不能确定对象集装箱的设置着该摄像装置的一侧的边缘线时，可以参照另一方的摄像装置的图像数据中的对象集装箱的边缘位置的检测结果将与其边缘线的延长线接近的线作为不能确定边缘的一侧的边缘线。

在实施上述的方法时，CCD等摄像装置从形成吊具的外周的构造突出地设置，在吊具把持着集装箱时也需要以使吊具不会遮拦摄像装置的视野、可确实地捕捉对象集装箱的像的方式配置CCD等摄像装置。

另外，在由于吊具所把持的集装箱的负荷分布不均等等的理由而使吊具倾斜、其结果摄像装置的视野中心方向倾斜的情况下，吊具与对象集装箱的相对位置检测量产生误差。为了补正吊具倾斜的影响，在吊具上设置倾斜检测装置，由其检测值补正相对位置检测值。作为检测吊具的倾斜的其它的方法，也可检测起重钢缆的张力，利用张力差与倾斜基本处于正比例关系来进行该补正。

为了进行集装箱的装卸，需要对对象集装箱的长边方向和短边方向检测与被吊具把持着的集装箱的相对位置。在这时，只要将由上述的摄像装置获得的图像数据处理方法分别应用于长边方向和短边方向即可。但是，这些装置必须是两套，存在经济性上的问题。

如上所述，由从摄像装置获得的图象数据的处理作为表示长或短边方向的边缘的位置而检测出的直线是基本处于其线上的、其处的亮度或色相的变化基本相等的像素群所构成的线或其延长。因此，在将该直线作为表示长边方向的边缘位置的线检测出时，在超过了对象集装箱的长边方向的集装箱端部的该直线的范围中，具有与相当于对象集装箱的边缘的范围同样的亮度或色相变化的像素的分布密度极低。这样的像素分布密度急剧地变化的该直线上的点是表示对象集装箱的长边方向端部的位置。

由于对象集装箱形状是长方体，若其长边方向的端部位置被决定，则可以从该点用与表示上述长边方向的边缘位置的直线正交的直线作为短边侧的边缘加以确定。同样的方法也可以应用于对短边侧检测出边缘位置，利用其结果检测出长边方向的边缘位置的情况。即，由于可以由长边或短边方向的任何一个边缘的检测进行另一方的边缘的检测，可以节约摄像装置等的设备。

以下，对以上所说明了的利用了由设在吊具上的摄像装置所获得的图像数据的处理检测出吊具或被吊具把持着的集装箱与对象集装箱的相对位置的方法及装置的装卸用起重机的自动控制进行说明。该控制也包括上述的将悬吊集装箱和对象集装箱的水平距离保持在预先设定的范围中的功能。

装卸起重机中的自动控制是，在第一目标位置用吊具抓住摞放在地上的集装箱，将该集装箱移动到第二目标位置，在允许的位置偏移内摞放到处于第二目标位置的摞放在地上的其它的集装箱上。另外，第一目标位置中的集装箱有时处于拖车等的车箱等上，另外，第二位置的集装箱摞放位置也有时是地上或拖车等的车箱上。

第二目标位置处的集装箱的摞放位置在是地上或拖车等的车箱上时，在地上或车箱等的周边施加具有与后述的进行与对象集装箱的相对位置检测时类似的效果的形状或记号。

位于地上的对象集装箱的位置以从地上的基准点距离被给予。另外，在装卸用起重机中，悬吊负荷的位置作为从设定在起重机体上的基准点的距离被检测出。在这种情况下，为了进行自动控制需要将相对于其中起重机上的基准点被检测的悬吊负荷的位置变换为相对于地上的基准点的位置数据。该变换是首先通常相对上述地上的基准上点来检测出起重机的腿部的位置，在其上加上从腿部到上述起重机的基准点的位置的偏移及从该基准点到作为悬吊负荷的支承点的吊车的位置偏移来进行。

最终，再需要加上以吊车作为基准的悬吊负荷的位置偏移。由于在这样的变换结果中加上起重机腿部相对于地上基准点的位置等的与上述的变换有关的全部的计测值的误差，因此，需要极高精度的计测，还需要补正起重机的构造变形等的影响。特别是，在无轨起重机中，难以进行起重机腿位置相对地上基准点的位置的高精度计测，而且，也难以进行对于行走车轮的变形的补正，在实施自动运转上有问题。将从起重机上的基准点检测到的悬吊负荷的位置变换为相对于地上的基准点的位置为基础的自动控制称为绝对位置控制。

在利用检测吊具或悬吊集装箱与对象集装箱的相对位置的上述检测方法时，没有绝对位置控制那样的困难，可以容易地实现自动化，需要高度精度的位置检测、位置控制虽然是最终吊具或悬吊集装箱着落于对象集装箱上进行摞放时，但是，本发明所涉及的相对位置检测方法，与地上基准点没有关系，可以直接地检测出吊具或悬吊集装箱相对于对象集装箱的相对位置，通过以消除相对位置的偏移的方式控制吊车等的位置，可以自动地进行着地、摞放。将以使相对位置检测和相对位置偏移为零为基础的控制方法称为相对位置控制模式。

另外，上述相对位置检测在吊具或被吊具把持的集装箱与对象集装箱在水平方向上相互位于适当的范围内时可以进行。为了以使吊具或被吊具把持的集装箱与对象集装箱都在水平方向上相互位于适当的范围内的方式进行控制，需要进行与上述的绝对位置控制类似的控制。即为了与作为自地上的基准点起的距离被给予的对象集装箱的位置重合，需要控制为将起重机腿位置、吊车位置、吊具位置等的起重机的各部位置到达被决定的位置。但是，在利用相对位置检测的控制中，相对于以地上的基准点被给予的对象集装箱位置的定位控制只要求达到上述的相对位置检测可以发挥功能的程度的范围，用低精度的控制就足够。将吊具定位在上述的相对位置检测可以进行的位置关系的范围中的控制称作绝对位置控制模式。

如以上的叙述可知的那样，组合相对位置模式和绝对位置模式，将吊具和悬吊集装箱从对象集装箱的位置离开着的(相对位置检测不能发挥作用的范围)期间，在接近了在将绝对位置控制模式接近了(相对位置检测起作用的范围)后，通过自动地切换为相对位置控制模式，不需要起重机腿部位置、吊车位置、相对于吊车的悬吊负荷位置等的高精度的位置检测、定位控制，而且可以实现不受起重机基体变形等的影响控制。这样的控制在难以进行相对于地上基准点的起重机腿的位置的检测、定位、而且起动机构造、行走轮胎车轮的变形大的无轨起重机中效果特别显著。

在将被吊具把持着的集装箱放置在集装箱放置场地上的第一层的情况下，不能使用由已经摞放着的集装箱的边缘的抽出检测相对位置偏移的上述的方法。作为解决该问题的手段，在作为地上的集装箱摞放位置的长方形的区域的周边在该长方形的外部在设置在吊具上的摄影装置可以进行摄像的范围中与该长方形的一边或多边平行地施加地上的表面亮度或色彩不同的带状着色(包括粘接带、涂漆)，由此以与检测摞放着的集装箱的边缘相同的方法可以检测悬吊集装箱与地上的摞放区域的相对位置。另外，通过将带有直线棱的物体配置在同样的位置来代替在地上着色也可以获得同样的效果。

在此，将具有在上述的集装箱放置场所地上施加的带状的着色或具有棱的物体称作目标位置记号。目标位置记号相对集装箱放置场地上的规定集装箱摞放位置具有预先决定的水平方向位置关系。因此，使用本发明的集装箱位置检测方法检测被吊具把持的集装箱相对于对象集装箱或目标位置记号的上述水平方向相对位置关系的偏差，在该偏差小于允许值时，通过吊具把持的集装箱坐落在对象集装箱上的或地上的规定位置，可以进行自动地使吊具把持的集装箱坐落在地上的规定位置等的控制。另外，在进行两层以上的摞放时，将悬吊集装箱和上述目标位置记号的相对位置关系的检测量代替悬吊集装箱和对象集装箱的相对位置检测进行使用或并用它们可进行自动地进行摞放的控制。

在用手动运转摞放被吊具把持的集装箱时，也可以将相对位置的检测结果显示在显示装置上，作为运转操作的援助手段。在进行手动运转时有时不能目视被吊具把持的集装箱和对象集装箱的位置关系，增加了运转操作性的困难性，有时带来作业效率的降低。通过将上述的相对位置检测结果表示在配置于驾驶室等的驾驶员容易利用的场所，进行使所表示的相对位置偏移消除的运转操作，可以解决由视野的制约所产生的运转操作的困难性，可以改善作业效率。

以上所述的悬吊集装箱和对象集装箱间的相对位置检测方法也可以使用于防止悬吊集装箱或吊具向与对象集装箱相邻的集装箱摞放的冲撞。即，在与对象集装箱的相对位置检测中，通过将设定的带状图像数据校对范围设定在设定于相邻的集装箱存在范围中，可以由与以上所述的相同的图像处理检测出相对于相邻集装箱的相对位置、可以进行使吊具或悬吊集装箱不与相邻集装箱冲撞的控制。

附图说明

图1是表示使用本发明的集装箱位置检测装置的起重机的整体构成的立体图。

图2是表示该发明的集装箱位置检测装置的一实施例的框图。

图3是在本发明的集装箱位置检测中，从图像数据检测出对象集装箱的边缘线的候补的处理流程的说明图。

图4是本发明中的、从边缘候补线群选择确定对象集装箱的边缘线的处理中的、校验与悬吊集装箱的边缘线的平行度所进行的处理流程的说明图。

图5是本发明中的、从边缘候补线群选择确定对象集装箱的边缘线的处理中的、将最长的候补线作为目的边缘的处理流程的说明图。

图6是本发明中的、从边缘候补线群选择确定对象集装箱的边缘线的处理中的、比较从分别配置在吊具的左右端部的图像摄影装置获得的边缘候补直线彼此间而进行的处理流程的说明图。

图7是本发明中的、从边缘候补线群选择确定对象集装箱的边缘线的处理中的、比较从分别配置在吊具的左右端部的图像摄影装置获得的边缘候补直线彼此间而进行其它的方法的处理流程的说明图。

图8是利用对对象集装箱的一边检测出的边缘线检测另外的垂直的边的边缘端部的处理流程的说明图。

图9是对调查包含于图3所示的图像数据的像素的亮度变化的区域进行说明的说明图。

图10是在图3所示的处理流程中检测出边缘线候补的处理的说明图。

图11是通过比较从图6及图7所示的两台CCD摄像机的图像数据获得的边缘线来确定目的边缘线的处理的说明图。

图12是利用对图8所示的对象集装箱的一边对应的边缘线检测另外的垂直的边的边缘端部的处理流程的说明图。

具体实施方式

以下，参照附图详细说明本发明的装卸起重机的集装箱位置检测方法及装置、或集装箱着地、层积控制方法的实施例。

首先，参照图1说明使用了本发明的集装箱位置检测装置的起重机的整体构成。该起重机是摞放集装箱的轮胎式货场用桥形起重机，具有由轮胎式行走装置11在无轨道面上行走的门形起重机行走机体10。在起重机行走机体10的水平的上部梁12上设有沿上部梁12向水平方向移动的横行吊车13。在横行吊车13上搭载着卷上装置14，由卷上装置14进行卷上、放出的吊缆15悬挂集装箱用的吊具(撒播器)16。吊具16可结合脱离地把持作为悬吊负荷的集装箱A。

在吊具16的一边16a的两端朝向下地分别安装着拍摄吊具下方的两台CCD摄像机20R、20L。另外，在本实施例中，在与边16a平行的另一边16b的两端部也分别朝下地安装着拍摄吊具下方的两台CCD摄像机21R、21L。

这时因为，即使在悬吊集装箱A相对对象集装箱B朝向任何一侧偏着也可以进行对象集装箱B的边缘抽出。CCD摄像机20R、20L、21R及21L由于适当地成对地被设置，因此在此对CCD摄像机20R、20L成对的情况进行说明。

图2表示本发明的集装箱位置检测装置的一实施例，集装箱位置检测装置包括图像处理装置30。图像处理装置30由图像处理用的电子计算机构成，从两台CCD摄像机20R、20L分别输入图像数据。图像处理装置30具有处理从CCD摄像机20L及20R取入的图像数据来表示对象集装箱B的边缘的直线的候补群抽出部30A、及来自抽出的边缘直线候补群的对象集装箱B边缘线确定部30B和悬吊集装箱A的相对位置检测部30C。在30C中，从作为对象集装箱B的边缘线在图像数据平面内确定的直线与作为对象集装箱A的边缘线在相同平面内确定的直线的相对关系检测对象集装箱B和悬吊集装箱A的相对位置。

另外，在将吊具所把持的集装箱放置在集装箱放置货场地上的第一层上时，在作为地上的集装箱的摞放位置的长方形的区域的周边，在该长方形的外部，在设在吊具上的摄影装置可进行摄像的范围中与该长方形的一边或多边平行地施加地上的表面亮度、或色彩不同的带状着色(包括粘贴带、喷涂油漆)，由两台CCD摄像机20R、20L及图像处理装置30检测出该着色的边缘，从而可以检测出悬吊集装箱与地上的摞放区域的相对位置。另外，也可以代替在地上着色，而将具有直线棱的物体配置在上述长方形的区域周边将该棱作为边缘检测来检测出悬吊集装箱与地上的摞放区域的相对位置。

图3是表示图2中的表示对象集装箱B的边缘的直线候补群抽出部30A的处理内容的图。在图3中，33作为检测出悬吊集装箱A的边缘线的处理是在吊具把持了该悬吊集装箱后，由起重机移动到对象集装箱B近旁之前的期间进行。处理内容是与图3的34、34-1、35、36L及图4所示的37、38及39的内容相同，但是，由于吊具与悬吊集装箱A的位置关系、即CCD摄像机20R、20L与悬吊集装箱的位置经常保持一定，因此在向对象集装箱B移动的过程中，可以通过反复进行图3及图4所示的上述处理进行检测。

在图3的34以下所表示的处理是对于向对象集装箱近旁移动后所进行的对象集装箱B的图像处理及边缘检测处理。在处理34中，取入对象集装箱B的图像，输入到图3的34-1以下的图像处理部。在34-1中，由于对象集装箱B保持与悬吊集装箱A基本平行的关系，处于预先设定的距离范围内，因此，调查图像数据平面中的、相对由处理33检测出的悬吊集装箱A的边缘线平行并带有预先设定的距离的宽度的带状区域中的图像数据的像素亮度变化。在图像数据是由彩色摄像机拍摄的图像数据时，也可以代替亮度而调查色彩的变化。调查图像数据的像素的变化的带状区域是用沿图9所示的悬吊集装箱A的边缘线设定的阴影线所表示的区域。在34-1中，通过对作为对象的带状区域的各个像素进行空间微分处理，检测出亮度变化的像素位置。抽出亮度变化超过设定的阈值的像素群。

在图3的35中，由于设定与在上述34-1的处理中抽出的像素群的配置近似的直线，对其像素群进行霍夫(Hough)变换，设定适当的直线。在上述带状的区域内也有时由于由悬吊集装箱遮挡太阳光所生成的影、或由于集装箱的表面喷漆的反射率变化等而使由亮度变化校对和霍夫变换设定直线成为多条。在第3图的36L中，在由上述理由检测出多条直线时，检测出它们的全部，输入从那些候补直线中确定表示对象集装箱B的边缘的直线的处理。

在图3的36L-1中，作为边缘线确定处理所需要的数据，保存在候补直线检测处理中获得的、属于各候补直线上的亮度变化超过设定的阈值的像素个数及其像素的图像数据平面内的位置数据。另外，在以上的说明中是将配置在吊具的左侧的CCD摄像机作为对象进行的，但是，也可以同样地对右侧进行。图10是说明同一亮度变化像素群的分布与相对于其设定的候补直线的关系的图，候补直线在相对于图像数据空间设定的两维坐标系中被确定。

图4、图5、图6及图7表示用于从由上述的处理获得的对象集装箱的边缘线候补直线选择确定对象集装箱的边缘线的处理。从图4的处理开始通过依次进行这些处理来确定对象集装箱B的边缘，但是，在任何一个处理阶段中如果确定了所求得的直线，当然也不一定需要进行全部的处理。

图4表示对上述图3的36L的处理中获得的候补直线由与悬吊集装箱A的边缘的平行度校对来确定对象集装箱的边缘线的处理。本图中所示的处理是分别单独地对左侧的CCD摄像机和右侧CCD摄像机的图像数据进行处理。以下的说明只对一侧进行。在图4的37中，校对各候补直线与悬吊集装箱A的边缘线的平行度，在38中，从对象集装箱B的边缘线候补中选择判定为在设定的阈值内与悬吊集装箱A的边缘线平行的直线。在图4的39中如果所选择的候补直线判定为是唯一的，则将其直线确定为对象集装箱B的边缘线。在39中在检测出多条候补直线时，进入以下的处理。以上对于右侧的CCD摄像机的图像数据也进行同样的处理。

图5表示从候补直线中将最长的直线确定为对象集装箱B的边缘线的处理。该处理也分别单独地对左右CCD摄像机进行。为了比较候补直线的长度，利用由图3的36L-1获得的属于候补直线的像素数量的数据，将其像素数量多的直线作为长直线。

图6是由以上所述的图5之前的处理未确定目的边缘线时、或再次对由图5之前的处理确定的目的边缘线进行确认时的处理。图6的处理中，左右摄像机向吊具的配置是已知的形式，分别比较从双方的CCD摄像机图像获得的候补直线，在检测出左右重合的直线时，将其作为目的边缘线。左右的CCD摄像机由于是拍摄悬吊集装箱底部棱的同一边，因此，当考虑到左右CCD摄像机的配置而将从一方的摄像机的图像数据获得的候补直线假想地延长到另一方的CCD摄像机的设置位置，与从另一方的CCD的摄像机的图像获得的各候补直线进行比较时，有时有与其中的某一个重合的情况，这样地一致的一对候补直线彼此是对象集装箱B的边缘线。

图11(a)是说明图6的处理内容的图。在图11(a)中，CL是相对于左侧的CCD摄像机图像的图像数据平面，CR是相对于右侧的摄像机的同样的平面。另外，AL是左侧摄像机拍摄到的悬吊集装箱A的边缘线，AR是由右侧的摄像机拍摄到的悬吊集装箱A的边缘线。BL01、BL02是由左侧摄像机拍摄到的对象集装箱B的边缘线的候补，BR01、BR02是由右侧的摄像机拍摄的对象集装箱B的边缘线候补。BLE01、BLE02、ALE是将由左侧摄像机得到的对象集装箱、悬吊集装箱的边缘线候补及边缘线假想地延长到右侧摄像机设定位置的线。将与BL02的延长即BLE02最重合的BR02确定为对象集装箱的边缘线。

图7是表示从左右CCD摄像机的图像获得的候补直线相互比较的其它的方法的图，其中，代替将从一方CCD摄像机获得的候补直线向另一方延长，而是在使由左右摄像机获得的各个悬吊集装箱的边缘线位置一致时，在左侧CCD摄像机的候补直线的右端部与右侧CCD摄像机的候补直线的左端部最接近、且那些候补直线相对悬吊集装箱A的边缘线所成的角度一致时，将它们作为对象集装箱B的边缘线。

图11(b)是图7的处理的说明图。图中的记号的意义与图11(a)的相同。为了使由左侧CCD摄像机和右侧CCD摄像机的图像数据处理获得的悬吊集装箱A的边缘线(AL及AR)一致而平行移动右侧的摄像机的图像平面的对象集装箱B的边缘线候补(BR01、BR02、BR03)。在由左侧摄像机得到的图像平面中，在对象集装箱B的边缘线候补(BL01、BL02)的周边设定成为与右侧摄像机的边缘线候补的一致识别的阈值的范围(图11中的施加了剖面线的范围。该范围只表示了BL02)。在被设定的范围内一致的右侧摄像机的边缘线候补若被确定为一根，则将其确定为对象集装箱B的边缘线。在该处理中未确定为一根时，选择边缘线候补与悬吊集装箱A的边缘线所成的角(TL、TR)最接近的直线，确定边缘线。

图8表示利用对象集装箱长边方向的边缘检测结果检测短边方向边缘的处理。如图3的36L-1(或36R-1)所示，在设定候补直线时，保存属于候补直线的像素位置的数据。对于从配置在吊具左侧的CCD摄像机获得的图像，处于与图像数据平面的右端部接近的位置的对象集装箱B的边缘线的部分表示实际存在的对象集装箱的边，但是，边缘线的左侧端部尽管不存在集装箱的边，它仅是从右侧延长的部分。因此，属于直线的右侧部分的像素的分布密度高，相反，在图像数据在的左侧由于存在对象集装箱长边方向端部(这样地配置CCD摄像机)在该边缘线的左侧存在所属的像素密度降低的点，该点是短边方向的边缘的端部。

图12是说明图8所示的属于边缘直线的像素分布的图。利用图的36L-1获得的像素的位置数据，像图8的52处理所示的那样，求出从图像数据平面的右侧朝向左侧(对于左侧配置的CCD摄像机)依次相邻的像素间的距离，在每次向左方向求图像间的间隔时，取包括过去的间隔数据的平均。在向左求间隔的中途，如图8的54所示，在发现了比相对过去的间隔平均设定的阈值大的间隔点时，将其一次前的像素作为边缘线的端部。

图8所示的流程是利用由CCD摄像机20L检测到的对象集装箱B的长边方向边缘直线检测对象集装箱B的短边方向左侧边缘的情况。其它的情况也可以由同样的处理进行检测。

将这样地检测出的被吊具把持的集装箱的边缘和对象集装箱的边缘的相对位置偏差量反馈到起重机的控制系统，在该偏差量处于允许值以内时，可以将吊具把持的集装箱着落在对象集装箱上。另外，在反馈吊具把持的集装箱的边缘与目标位置标记的边缘之间所存在的规定的相对位置关系的偏差量并且该偏差量为允许值以内时，可以使吊具所把持的集装箱着落在目标位置标记的规定位置。这样，可以以高的位置精度且迅速地将吊具所把持的集装箱着落在对象集装箱上或着落在与目标位置标记对应的规定位置。因此，可以减小坐落空间的边际，可以有效地利用船内或集装箱摞放场所等的空间。另外，可以缩短集装箱摞放作业所需要的时间，由于即使不需要人工仔细地修正，也可以提高落地精度，因此其摞放作业不麻烦。

从以上的说明可知，按照本发明的装卸用悬吊机的集装箱位置检测方法及装置、或集装箱着地、摞放控制方法，通过处理配置在吊具的端部的CCD摄像机那样的摄像装置的图像数据，可以排除由吊具或周边集装箱产生的影子的影响等的运转环境、条件的影响，进行对象集装箱的边缘抽出，由此，可以高精度确实地进行对象集装箱的位置检测。利用了这样的相对位置检测的装卸用起重机的自动控制不需要像绝对位置控制那样的起重机各部分的高精度的位置检测、位置控制，可靠性高且成本低。

如上所述，本发明的装卸用起重机的集装箱位置检测方法及装置、或集装箱着地、摞放控制方法，可以应用于将吊具本身、或吊具把持着的悬吊集装箱坐落或摞放在对象集装箱上、或将吊具把持着的集装箱摞放在地上的指定位置，有助于推进装卸用起重机的自动运转化。

Claims (9)

1.一种集装箱位置检测方法，它是将吊具或吊具把持着的悬吊集装箱着落或摞放在对象集装箱上或摞放场所的目标位置上的装卸用起重机的集装箱位置检测方法，其特征在于，

将摄像装置可同时拍摄集装箱和着落目标位置标记地配置在吊具的一边的端部，该集装箱在吊具的下方被吊具把持，该目标位置标记是为了表示对象集装箱或集装箱摞放场所中的落地目标位置而设置的，

对于由该摄像装置拍摄的图像数据进行包含在该图像数据中的像素的亮度或色相变化检测处理，

通过用直线近似产生设定的值以下的亮度或色相变化的像素群的配置，检测出表示位于配置在该吊具端部的摄像装置的下方的对象集装箱的端部附近边缘或目标位置标记的边缘的作为候补的直线群，

而且，检测出对于上述摄像装置的图像数据进行同样的处理而获得的、表示位于该摄像装置下方的吊具上所把持的集装箱的端部附近的边缘的直线，

比较上述直线与表示上述对象集装箱的边缘或目标位置标记的边缘的各候补直线群的平行度、相互的水平距离，

将表示对象集装箱的边缘或目标位置标记的边缘的候补直线群中所包含的直线内的、相对于表示吊具把持的集装箱的边缘的直线的角度和水平距离是预先设定的值以内的直线确定为表示摄像装置下方的对象集装箱端部的边缘或目标位置标记的边缘的直线，

从这样地确定的对象集装箱的边缘线或目标位置标记的边缘线与吊具把持的集装箱的边缘线的相对关系检测出吊具或被吊具把持的集装箱与对象集装箱或目标标记的相对位置。

2.一种集装箱位置检测方法，它是将吊具或吊具把持着的悬吊集装箱着落或摞放在对象集装箱上或摞放场所的目标位置上的装卸用起重机的集装箱位置检测方法，其特征在于，

关于分别比较由权利要求1所述的方法检测出的、表示摄像装置设置位置下方的对象集装箱的端部的边缘或目标位置的标记的边缘的直线候补群与表示吊具把持的悬吊集装箱的对应端部边缘的直线来确定对象集装箱的边缘线或目标位置标记边缘线，

将由权利要求1所述的、由平行度、水平距离的比较选择的对象集装箱的边缘或目标位置标记的边缘候补直线群内的最长的直线确定为对象集装箱或目标位置标记的边缘线，

从这样地确定的对象集装箱的边缘线或目标位置标记的边缘线与被吊具把持的集装箱的边缘线的相对关系检测出吊具或被吊具把持的集装箱与对象集装箱或目标位置标记的相对位置。

3.一种集装箱位置检测方法，它是将吊具或吊具把持着的悬吊集装箱着落或摞放在对象集装箱上或摞放场所的目标位置上的装卸用起重机的集装箱位置检测方法，其特征在于，

将权利要求1所述的摄像装置分别在吊具的同一边的左侧和右侧的两端部配置一组，对于各摄像装置下方端部附近的图像数据，由上述的方法检测出表示各侧的端部附近的对象集装箱的边缘或表示集装箱摞放场所的目标位置的标记的边缘的候补直线群与表示被吊具把持的集装箱边缘的直线，

将一侧的对象集装箱或目标位置标记的边缘候补直线及被吊具把持的集装箱边缘线假想地延长到相当于另一摄像装置设置位置的位置，再将由另一方的摄像位置得到的被吊具把持的集装箱的边缘线位置与由上述一方的摄像装置得到的被吊具把持的集装箱的边缘线重合，

与此对应在将表示上述另一方的摄像装置所得到的对象集装箱或目标位置标记的边缘的候补直线群相对地移动了后，进行上述对象集装箱或目标位置标记的边缘候补直线的延长与另一方的对象集装箱或目标位置标记的边缘候补直线的相互比较，找出一对最重合的边缘候补直线，将其一对边缘候补直线确定为对象集装箱或目标位置标记的边缘线。

从这样地确定的对象集装箱或目标位置标记的边缘线与被吊具把持的集装箱的边缘线的相对关系检测出吊具或被吊具把持的集装箱与对象集装箱或目标位置标记的相对位置。

4.一种集装箱位置检测装置，其特征是，在将吊具或吊具把持着的悬吊集装箱着地或摞放在对象集装箱上或摞放场所的目标位置上的装卸用起重机的集装箱位置检测中由权利要求1所述的方法检测对象集装箱或目标位置标记的位置。

5.一种集装箱位置检测装置，其特征是，是由将吊具或吊具把持着的悬吊集装箱着地或摞放在对象集装箱上或集装箱摞放场所的目标位置上的装卸用起重机的、权利要求2所述的方法检测对象集装箱或目标位置标记的位置。

6.一种集装箱位置检测装置，其特征是，是由将吊具或吊具把持着的悬吊集装箱着地或摞放在对象集装箱上或摞放场所的目标位置上的装卸用起重机的、权利要求3所述的方法检测对象集装箱或目标位置标记的位置。

7.一种集装箱位置检测装置，其特征是，自动地选择使用将吊具或吊具把持着的悬吊集装箱着地或摞放在对象集装箱上或摞放场所的目标位置上的装卸用起重机的、权利要求1、2或3所述的方法检测对象集装箱或目标位置标记的位置。

8.一种集装箱着地、摞放控制方法，其特征是，具有组合将吊具或吊具把持着的悬吊集装箱着地或摞放在对象集装箱上或摞放场所的目标位置上的装卸用起重机的、权利要求4、5、6或7所述的集装箱位置检测装置的一或二以上而构成的吊具或吊具把持着的悬吊集装箱与对象集装箱或目标位置标记的相对位置检测装置，反馈由上述检测装置检测出的吊具或吊具把持着的悬吊集装箱与对象集装箱相对位置偏差量、或被吊具把持着集装箱与目标位置标记的规定的相对位置关系的偏差量，在该偏差量是允许值以内时，使吊具或吊具把持的集装箱着落在对象集装箱上或将把持在吊具上的集装箱着地于目标位置标记对应的规定位置。

9.一种集装箱着地、摞放控制方法，其特征是，

在将吊具或吊具把持着的悬吊集装箱着地或摞放在对象集装箱或集装箱摞放场所的目标位置上的装卸用起重机中，

具有相对为了特定对象集装箱或摞放目标位置标记的位置而设定的基准点检测吊具或被吊具把持的集装箱的位置的装置，

具有第一工序，该第一工序中，反馈由上述装置检测到的吊具或吊具把持着的起重机集装箱的位置数据与相对上述基准点被给予的对象集装箱或摞放目标位置标记的位置数据的偏差量而进行吊具或被吊具把持着集装箱的位置控制，

具有组合权利要求4、5、6或7所述的集装箱位置检测装置之一或二以上而构成的吊具或吊具把持着的悬吊集装箱与对象集装箱或目标位置标记的相对位置检测装置，

具有第二工序，在该第二工序中，反馈由上述相对位置检测装置测出的吊具或吊具把持着的悬吊集装箱与对象集装箱相对位置偏差量、或来自被吊具把持着集装箱与目标位置标记的规定的相对位置关系的偏差量，在该偏差量是允许值以内时，使吊具或吊具把持的集装箱着落在对象集装箱上或将把持在吊具上的集装箱着地于目标位置标记对应的规定位置，

在由第一工序在对象集装箱或摞放目标位置标记的附近作为可使用上述相对位置检测装置的范围而预先设定的领域内移动吊具或吊具把持的集装箱后，自动地切换为第二工序，使吊具或被吊具把持的集装箱着落在对象集装箱上、或将吊具把持的集装箱着落在与目标位置标记对应的规定位置。

Images