CN104812693A - 通过货物操纵设备进行货物操纵 - Google Patents

Abstract

通过货物操纵设备来操纵货物，该货物操纵设备包括用于夹持货物的至少一个紧固点的夹持装置，包括在该夹持装置中确定距离图，在该距离图的区域内体现了夹持装置所附接到的和/或另一货物所堆叠到的货物的区域的一部分以及该货物的周边。

Description

通过货物操纵设备进行货物操纵

技术领域

本发明涉及通过夹具来进行货物操纵，并且具体涉及通过附接在一个或多个货物紧固点的夹持装置来进行货物操纵。

背景技术

当今，绝大多数国际海运货物是在集装箱中被运输的。此类集装箱是箱式运输单元，其具有标准尺寸，长度为20、40或45英尺。集装箱的宽度为约2.5m，并且大部分典型集装箱的高度为约2.6m和2.9m。

集装箱设置有标准化的角配件，其使得集装箱能够通过不同集装箱吊运机来吊起和搬运。集装箱吊运机典型地设置有悬挂在吊索或吊链上的吊具，该吊具由伸缩机构根据要被吊起的集装箱的长度(例如20英尺或40英尺的长度)来调节。吊具的角部设置有特殊的可转动扭锁，其使得集装箱能够被夹持。集装箱的角配件设置有标准形状的孔，吊具的扭锁安装在所述孔中。当集装箱吊运机将吊具降下到集装箱的顶部上以使得吊具的全部四个扭锁都被接纳在角配件的孔中时，扭锁随后可转动90度，从而使扭锁锁定在角配件中。集装箱此时可从吊具悬挂被提升到空中。

集装箱可互相上下堆叠，典型地例如五个集装箱彼此上下堆叠。这使得能够在小的占地面积内(例如在集装箱港口)储存大量集装箱。必须小心地执行集装箱的堆叠，以使得要堆叠的集装箱的底部中的角配件以至少约5cm的精度与设置在下方集装箱的顶部中的角配件对准。否则存在集装箱堆码坍塌的风险。

用于吊起和堆叠集装箱的典型集装箱吊运机称为门式起重机(图1)，其可在轨道(轨道安装式门式起重机或RMG)或橡胶轮胎(橡胶轮胎式门式起重机或RTG)上移动。当使用门式起重机时，将要储存的集装箱(1)成行(a，b，c，d，e)放置在门式起重机(14)的腿之间，以使得典型地6至8行集装箱并排设置在门式起重机的腿之间，各行典型地包括例如五个互相上下堆叠的集装箱。然后在集装箱和集装箱行之间留出典型地30cm至50cm的间隙，以使集装箱更容易操纵。典型地，在门式起重机的腿之间留出车道(f)以使得要在门式起重机下方吊装的集装箱能够被堆叠成行(a，b，c，d，e)。

在门式起重机中，吊具(2)借助于悬挂在特制小车(15)上的吊索(16)，所述小车可沿集装箱吊运机的横向被驱动到不同位置，从而使得能够操纵不同行中的集装箱。各行集装箱的长度可高达数百米，即接连几十个20英尺或40英尺的集装箱。船-岸起重机被特别设计用于向/从船提升集装箱。这种情况下，起重机的小车能够沿悬臂桥移动以处于要被操纵的船的上方。

另一典型集装箱吊运机称为跨运车，其依靠橡胶轮胎上移动并且比门式起重机窄很多。集装箱跨运车可在其腿之间容纳仅一行集装箱，典型地3至4个互相上下堆叠的集装箱。目前，在各行集装箱之间留出高达1.5m的相当大的间隙，以提供用于跨运车的轮胎在各行集装箱之间移动的充足空间。

集装箱吊运机的吊具(2)通常还设置有特殊的精确传送机构，这种情况下，例如借助于吊具的悬吊系统的拉索(17)或借助于不同液压缸，可以在不必驱动或移动整个小车(15)或集装箱吊运机(14)的情况下控制吊具的水平位置和偏转。该特性旨在使集装箱被更容易和更快地吊起并互相上下堆叠。

如果吊具的精确传送机构例如通过拉索(17)实现，则拉索的数量典型地为四个，即集装箱的每个角部一个(图7)，然后例如通过电动机在拉索中产生期望力或力差，用以使吊具(2)沿期望方向水平地(x，y)移动或使吊具在期望方向上偏转。跨运车的精确传送机构通常通过不同液压缸来实现。

当集装箱操纵机器(比方说上述集装箱吊运机)用于操纵集装箱时，操作员在若干作业阶段被要求高精度。这些作业阶段的示例包括夹持集装箱和将一个集装箱堆叠在另一个集装箱的顶部。

为了吊起集装箱，吊具必须通过利用精确传送机构或通过使小车或集装箱吊运机整体移动成使得当吊具被降下到集装箱的顶部上时吊具的全部四个扭锁被准确地接纳在集装箱的角配件的孔中而被水平地控制成精确地处于要被吊起的集装箱的顶部上。该作业阶段对于集装箱操纵机器的操作员来说是辛苦的。在一些情况下，通过安装在吊具中的机械导引件来促进吊起过程。但是，导引件使在集装箱之间的狭窄间隙中的作业更加困难。

为了将集装箱互相上下堆叠，吊具和自其悬挂的集装箱必须通过利用精确传送机构或通过使小车或集装箱吊运机整体移动以使得当上方集装箱被一直降下到下方集装箱上时上方集装箱的底部中的角配件尽可能准确地与下方集装箱的角配件对齐而被准确地控制成处于下方集装箱的顶部上。争取达到典型地约3cm的堆叠精度。如本领域的技术人员理解的，该作业阶段要求集装箱操纵机器的操作员的比吊起集装箱更多的时间和更高的精度，因为此时该集装箱在下方集装箱的顶部上的对齐无法例如通过诸如上述导引件的简单机械导引件来促进。

集装箱吊运机的操作日益变得越来越自动化，以使得借助于例如计算机控制来使集装箱吊运机的操作员的工作更快和更轻松。当进一步进行自动化时，甚至可以免去集装箱操纵机器的操作员，这种情况下集装箱操纵机器通过远程控制来操作和/或由计算机完全独立地控制。通常还可以以灵活方式来执行作业阶段，以使得如果在某种情况下自动作业阶段失效，则远程控制操作员随后可通过远程控制来例外地执行该作业阶段。例如，在这种状况下，所使用的技术可以灵活地适应辅助操作员的功能和由计算机控制的自动功能两者。

现有技术中已知的辅助操作员夹持集装箱的方案利用电荷耦合器件或CCD摄像机，其安装在吊具中并向下定向以用于传输使得操作员能够将吊具在集装箱顶部上对齐的视频影像。但是，该方法不适于使操作自动化，因为可实现从摄像机影像监控集装箱的位置的图像处理算法在不同气候和光照条件下不可靠地工作。该方法不适于堆叠集装箱，因为在堆叠集装箱时，摄像机传感器离下方集装箱相当远(3m)，此外，上方集装箱挡住了操作员的大部分或全部视线。此外，上方集装箱在下方集装箱上投下阴影，从而使集装箱之间的间隙非常暗。这种情况下，很难在视频影像中辨别下方集装箱。

发明内容

因此，本发明的一个目的是提供一种方法和一种实施该方法以使得能够解决上述问题的设备。本发明的目的通过特征在于独立权利要求所述内容的方法、布置结构和计算机程序产品来实现。本发明的优选实施例在从属权利要求中被公开。

根据一个方面，提供一种用于通过货物操纵设备来操纵货物的方法，所述货物操纵设备包括用于夹持货物的至少一个紧固点的夹持装置，该方法包括在夹持装置中确定距离图，在该距离图的区域内体现了夹持装置所附接到的和/或另一货物所堆叠到的货物的区域的一部分以及货物的周边。

根据另一方面，提供了一种布置结构，其包括用于执行根据任意方面的方法的装置。

根据另一方面，提供了一种计算机程序产品，其包括用于在被下载到一设备(例如货物操纵设备)中时使该设备执行根据任意方面的方法的程序指令。

根据另一方面，提供了一种用于更新货物操纵设备的方法，其中，根据一个方面的布置结构或根据一个方面的计算机程序产品被安装在货物操纵设备上。本发明基于的思想是形成要被操纵的货物的一部分的距离图，对该货物的一部分进行附接或另一货物被堆叠在该货物的一部分的顶部。该距离图确定具有距离值的多个图点。优选地，距离包括在货物的一个移动方向、例如在竖直方向上的距离，其使得能够基于例如在竖直方向上和/或在可垂直于竖直方向的其它移动方向上的距离图来控制货物。此外，该距离图可确定要被搬运的货物的区域，从而使得能够通过监控该距离图的处于要被搬运的货物之外的区域来移动要被搬运的货物。

根据本发明的方法和布置结构的一个优点在于可以准确地监控要被操纵的货物的相关部分。此外，该监控可由人或计算机容易和灵活地执行。当要监控的区域仅限于要被操纵的货物的一部分时，可保持监控信息的处理简单，这种情况下也可保持监控误差量小。更多优点和/或益处在以下描述中被公开，其中更详细地描述了不同实施例。

附图说明

现在结合优选实施例并参考附图更详细地描述本发明，在附图中：

图1示出了将集装箱堆叠在下方集装箱的顶部的门式起重机；

图2示出了3D摄像机的图像传感器；

图3示出了根据本发明的布置结构；

图4示出了根据本发明的布置结构及其在货物被吊起时的操作；

图5示出了根据本发明的布置结构及其紧在货物被附接在夹持器上之后的操作；

图6示出了根据本发明的布置结构及其在货物被堆叠时的操作；

图7示出了基于距离图的区域来实现吊具(2)的自动控制的方式；

图8示出了根据一个实施例的堆叠货物的方法；

图9示出了根据一个实施例的当货物基于在起重机的坐标系和吊具的坐标系中测出的距离图而被控制时操纵货物的方法；以及

图10示出了用于实现本发明实施例的装置的设备。

具体实施方式

一个实施例基于确定距离图。该距离图包括二维(2D)平面中的多个位置点，和与位置点相关的距离信息。该2D平面可例如基于由货物夹持装置使用的坐标系来确定。该坐标系可以是例如具有x轴和y轴的笛卡尔坐标系，从而使该2D平面能够作为由x轴和y轴确定的平面被确立。在这种情况下，可借助于坐标系(x，y)的值在该2D平面中确定位置点。

优选地，该距离信息包括与在基本垂直于该2D平面的方向上的距离有关的信息。当该2D平面由笛卡尔坐标系的x轴和y轴确定时，该距离信息可包括同一坐标系的z轴的值。

在本发明实施例中，通过用于附接在货物上的夹持装置来操纵货物。这种夹持装置的示例包括吊具和/或吊钩。货物的操纵可包括吊起货物，这种情况下夹持装置用于附接在货物上和/或堆叠货物，这种情况下通过夹持装置搬运的货物被放置在另一货物的顶部。

本发明实施例适合用于诸如集装箱的货物的操纵，例如在吊起集装箱时和/或在堆叠集装箱时。应该指出的是，本发明的实施例也可应用于其它货物的操纵，所述其它货物具有一个或多个紧固点以使它们能够被操纵。紧固点可固定地设置在货物中，或它们可由系紧的条带构成，例如用于通过系紧的条带绑扎的板木货物中的条带。

本发明的一个实施例基于使用飞行时间或ToF摄像机。ToF摄像机是三维(3D)摄像机的一个示例。3D摄像机产生与二维(2D)图像相关的距离信息和2D图像点。2D图像点可被确定为像素，每个像素不仅与光亮度值(I)相关，而且可以与颜色信息(RGB)相关。诸如ToF摄像机的3D摄像机将从摄像机的图像传感器到图像像素中可见的物体测出的距离(D)与2D图像的点关联。下文将充分详细地描述ToF摄像机的工作原理，以使得本发明能够被理解。

传统电荷耦合器件或CCD摄像机包括通过半导体技术制造并且包含布置在规则光栅(7)(图2)中的光敏光电二极管的光电池。例如现代六百万像素摄像机中的该光栅在最佳状态下可具有高达例如2816行和2112列。一个这样的光敏光电二极管称为像素(13)。当这种光电二极管暴露于典型地被引导通过透镜的光时，光电二极管测量它所接收的光的照射强度(I)。传统CCD摄像机因此测量光栅(7)的每个像素(13)中的光强度。

典型地，单个光敏二极管看不到颜色，但可以将不同颜色的滤色片放置在光敏二极管上以使得CCD摄像机也能够测量图像的颜色。滤色片通常为红色、绿色和蓝色(R，G，B)。总而言之，常规CCD摄像机测量对图像光栅的每个像素(13)测量以下值：(I，R，G，B)，尽管通常由于不必要而从其中省略了颜色信息。

当今，在越来越多的应用中，CCD单元被互补金属氧化物半导体或CMOS单元取代，CMOS单元的基本操作相似，但光强度的测量，尤其是A/D(模拟-数字)转换，由单元电路自身执行，而在使用CCD单元时，它在单元电路外部被执行。

飞行时间(ToF)摄像机与传统CCD(和CMOS)摄像机的不同之处在于，当传统摄像机测量来自周边的光时，ToF摄像机独立地产生它所测量的光并且为此通过其自身的光源来照亮物体。除此之外，ToF摄像机测量它所产生的光传播到图像中可见的物体并且在反射之后返回摄像机的图像传感器所花费的时间。ToF摄像机对图像传感器(7)的每个像素(13)(n，m)分别执行该传播时间的测量。除传统图像，即强度图l(n，m)和可能的颜色图(R(n，m)，G(n，m)，B(n，m))外，ToF摄像机因此还产生其图像区域(7)的距离图(D(n，m))。

在本发明的实施例中，传播时间的测量可例如在ToF摄像机中执行，以使得要发射到物体的光通过射频(RF)载波被调制并且将从物体返回的反射光的相位与原始RF载波的相位进行比较，这使得能够确定发射光与反射光之间的相移。可在每个图像像素中独立地确定相移。基于该相移，可以对每个图像像素分别确定光从摄像机到物体并且返回的传播时间。最后，利用已知的光传播速度来计算从物体到每个图像像素的距离(D)。ToF摄像机每秒可执行上述距离测量多达100次。当今，ToF摄像机能够测量典型地远至约6米的距离。应该指出的是，例如通过将像素组的相移平均或通过选择结合在一起的一组像素中的一个像素代表由该像素组形成的区域，也可对一组图像点以上述方式测量距离。

除距离信息D外，ToF摄像机典型地还测量通常的黑-白或彩色摄像机图像。总而言之，ToF摄像机对图像光栅(7)的每个像素(13)测量以下值：(I，R，G，B，D)，其中D为从摄像机的图像传感器到图像像素(13)中可见的物体的3D距离。但是，通常，颜色信息由于不必要而被省略。

ToF摄像机的当前分辨率还是比较适中，典型地是例如320×240像素，但该分辨率已经实现了一些技术应用。对于典型的透镜方案，一个像素的尺寸对应于所测量的物体的约1mm到1cm的尺寸。所述的ToF摄像机特别适合用于移动式作业机器的应用，因为它不包含任何移动的机械部件且因此非常耐用，例如耐受从吊具(2)传来的冲击。

如本领域的技术人员理解的，根据本发明的方法和设备也可通过利用不同于ToF的技术实现的3D摄像机来实现，该3D摄像机以例如10Hz以上的高频率至少产生与要记录的物体的图像像素有关的距离信息(D)，并且在一些实施例中至少产生与要记录的物体的图像像素有关的强度和距离信息(I，D)。

适于实现3D摄像机的技术的示例尤其包括全光摄像机和立体摄像机对。在全光摄像机中，特殊的微透镜晶格被安装在图像传感器的前方。全光摄像机使得图像例如能够在期望距离之后聚焦。类似地，可认为该对立体摄像机产生强度和距离信息(I，D)。但是，应该指出的是，由于所需的立体，立体摄像机对的物理尺寸对于在本发明中的使用而言过大，并且为每个图像像素确定距离信息D由于立体匹配算法的有限运算能力而更加不可靠。

图1示出了将集装箱(1’)堆叠在下方集装箱(1)的顶部上的门式起重机(14)。典型地，集装箱(1)以很长的多行被储存在门式起重机(14)的腿之间。在集装箱堆叠之间留出了典型地30cm至50cm的间隙。门式起重机(14)通过从门式起重机的挂在吊索(16)上的小车(15)悬挂的特殊吊具(2)来抓取集装箱。通过将吊索(16)缩短或加长，要被搬运的集装箱(1’)被提升和降下。可通过移动小车(15)或门式起重机(14)或借助于特殊的精确传送机构来使要被搬运的集装箱(1’)沿水平方向移动，所述精确传送机构可例如借助于拉索(17)来实现。拉索(17)使得被提供侧向力的吊具能够移动和/或使吊具(2)偏转。

图2示出了3D摄像机(3)例如飞行时间(ToF)摄像机的图像传感器(7)。该图像传感器包括从要记录的物体接收光的多个像素(13)。图像传感器的像素形成与其对应的摄像机的图像区域。在图像传感器中，由像素接收的射入光被转换成电信号。该电信号可包含与离所记录的物体的距离有关的信息、与测出的光强度有关的信息和颜色信息(例如R，G，B)或上述一者或多者的组合。典型地，各像素在单元(7)上以规则的行和列排列。该3D摄像机为每个单一像素(13)典型地测量以下值：通过与像素对应的光电二极管检测出的光强度(I)，以及在一些情况下还有通过不同滤色片测出的颜色成分(R，G，B)。该3D摄像机还基于由摄像机发射的光的传播时间来为每个单独的图像像素(13)n，m测量图像中可见的物体的3D距离(D)。因此，除传统静态和/或视频图像外，该3D摄像机还借助于其图像传感器(7)来产生距离图D(n，m)。

在一个实施例中，3D摄像机例如ToF摄像机的图像传感器用于形成距离图。该图像传感器的像素在各自的位置测量距离信息，其中在图像传感器上测出的像素(n，m)形成距离图。该距离图可被存储在存储器中，例如图7的计算机(20)的存储器中。可通过多个3D摄像机来形成多个距离图。距离图可作为静态图像或作为视频图像被存储。

在图3、4、5、6、7中描述的集装箱的位置在x，y坐标系中示出，其中该坐标系的x轴被置于吊具的宽度方向上，而y轴被置于吊具的纵向上，从而使得集装箱的位置能够作为x轴的值和y轴的值并借助于坐标系的转动例如作为度数被确定。此外，该位置可包括集装箱在z轴方向上的竖直位置，从而使得该旋转能够被确定为绕z轴的旋转。

图3示出了根据本发明的布置结构，其中3D摄像机(3)被安装在吊具(2)的外角部中。3D摄像机可安装在一个、两个、三个或四个外角部中。更大数量的3D摄像机使得集装箱的操纵更精确并且控制更简单。

吊具自身通过集装箱的角配件附接在集装箱上。这种情况下，安装在吊具的外角部中的3D摄像机的视野包括要被搬运的集装箱(1’)的侧面和在阴影区域(11)中示出的集装箱的一角。在从未暴露于3D摄像机(3)的吊具悬挂的集装箱下方留下了区域(9，10)。因此，3D摄像机的图像区域不包含与处于要被搬运的集装箱下方的物体，比方说另一集装箱的顶部，有关的信息。

在一个实施例中，该3D摄像机在宽度方向(x)和纵向(y)上都被安装在吊具外周的略外侧。合适的安装点例如为外周外侧的5cm至10cm。优选地，该3D摄像机的视野向下指向要被操纵的集装箱。该3D摄像机的安装方向因此在从其接收和递送要附接在吊具上的集装箱的方向上。

图3示出了这种摄像机传感器(3)在吊具(2)中的安装示例，以及在集装箱(1’)被堆叠在另一集装箱(1)的顶部上时传感器看到的距离图像(7)。被传感器覆盖的图像区域(4)于是与要被搬运的集装箱(1’)部分地匹配，因为传感器(3)安装成非常靠近集装箱(1’)的外角部。这种情况下，摄像机传感器的图像区域的一部分(10)包括要被搬运的集装箱(1’)。该图像区域包括处于三角形区域(11)内的集装箱(1’)的侧部的图像点。摄像机传感器为所述图像点中处于该三角形区域内的图像点测量距离值(D1)，其在集装箱的零位和高度之间变化。类似地，图像区域(4)的保持在要被搬运的集装箱(1’)下方的阴影区域中的区域(9)完全不能被传感器(3)看到。图像区域(10)的被覆盖的程度根据要被搬运的集装箱(1’)多高而改变，并且根据要被搬运的集装箱如何安置以悬挂在吊具的扭锁上而稍微改变。从区域(9)的外部，传感器(3)代之以测量自下方集装箱(1)的上表面(8)起的距离值(D2)，其表示下方集装箱(1)离传感器(3)的距离。从位于图像区域(4，7)的与下方集装箱(1)不交汇但可能在更低的高度与地面或集装箱交汇的外部点(图像区域7的未被包括在区域8或10中的区域)，传感器(3)测量明显高于距离值(D2)的距离值(D3)。根据上方和下方集装箱的相互位置，区域(8)可以呈正方形，具有字母L的形状，或在下方集装箱的角部被完全隐藏在上方集装箱之下时完全消失。如果其它集装箱处于下方集装箱(1)附近，则传感器(3)可获得与也来自图像区域(4，7)的外缘的距离D2相当的距离读数，但由于在要堆叠的集装箱之间留出了约30...50cm的间隙，所以在外部获得的这些读数可与区域(8)分开并作为错误被忽略。

可能处于摄像机的图像区域(4，7)内的下方集装箱(1)在上方集装箱下方的摄像机图像中部分地可见(8)。在保持在阴影区域(9)中的图像区域(10)中，3D摄像机测量距离D1，其中摄像机的像素以要被搬运的集装箱在区域(11)中的侧面作为它们的目标。这种情况下，3D摄像机在保留在阴影区域中的区域(10)中测出的距离D1因此受要被搬运的集装箱的高度限制，并且要测量的距离局限于要被搬运的集装箱的下缘。距离D1因此例如在直线距离上比集装箱(1’)的高度h短或大致相等。类似地，3D摄像机测量离图像区域(8)的距离D2，其大于集装箱(1’)的高度。从图像区域的处于阴影区域(8)之外的部分测量这些距离。保持在阴影区域之外的区域可包括集装箱和/或保持在要被搬运的集装箱下方的其它物体。

当要被搬运的集装箱悬空时，可例如基于从图像区域测得的距离的变化来确定阴影区域与阴影区域之外的区域之间的边界。可检测出大于特定阈值的两个相邻像素的距离值的变化。当一个像素包含从上方集装箱的侧面(11)测出的距离信息作为距离信息D(n，m)时，下一个像素在3D摄像机的图像区域中处于阴影区域之外的区域内并且包含以阈值大于从该集装箱的侧面测出的距离值的距离值。可根据期望方案来选择该阈值。

还可以基于集装箱的高度来选择用于确定阴影区域与阴影区域之外的区域之间的边界的阈值。集装箱高度是标准的，从而使得能通过将从集装箱的侧面测出的距离与集装箱的已知高度进行比较来确定阴影区域的边界。

此外，应该指出的是，一般可通过相邻像素中包含的信息相对于阈值的变化来支持边界的确定。可将像素中包含的信息，例如距离、强度和/或颜色信息，与已为它们中的每一者设定的相应阈值进行比较。

此外，可通过处理通过3D摄像机为该像素测出的信息来确定阴影区域与保持在其之外的区域之间的边界。与相邻像素有关的距离信息、强度信息和/或颜色信息例如可以是有差别的并且可将导数值与导数的阈值进行比较。

3D摄像机的图像区域(7)可包括阴影区域(10)，未被包括在3D摄像机的视野(4)中的、该阴影区域下方的区域(9)和该阴影区域之外的区域(12，8)，其可包括阴影区域周边的物体的图像点，比方说集装箱的表面、地板或地面。

参照图3，图像区域(7)的白色区域对应于3D摄像机的视野(4)的处于阴影区域之外并且还处于集装箱(1)之外的处于3D摄像机的视野中的阴影区域之外的部分。3D摄像机从该区域测量距离D3，其大于距离D2，并且还大于从要被搬运的集装箱(1’)测得并形成阴影区域的距离D1。

在图4、5、6中，货物包括通过吊具(2)操纵的集装箱(1，1’)。图4示出了根据本发明的布置结构及其在货物被吊起时的操作。图5示出了根据本发明的布置结构及其紧在货物被附接在吊具上之后的操作，而图6示出了根据本发明的布置结构及其在货物被堆叠时的操作。

在图4、5和6中，吊具(2)的外角部设置有3D摄像机(3)。各摄像机的视野(4)在图像区域(4)中被示出。3D摄像机的图像区域形成一组(6)。在该组中，由包括要被操纵的货物的图像区域形成的距离图的各部分被互相分开并与它们的周边分开。该组图像形成一个合成图像，其中距离图的包括要操纵的货物的部分被置于中间，而距离图的处于存在要被操纵的货物的部分之外的部分被置于该合成图像的边缘。

就处于摄像机的视野(4)中的部分(5，11)而言，当3D摄像机(3)看到集装箱(1，1’)的角部时形成一组。未附接在吊具上的集装箱的处于3D摄像机的视野内的部分作为阴影区域(8)在摄像机的图像区域(7)中被示出。3D摄像机测量离3D摄像机的视野内的物体(5，11)的距离(D)。测出的距离在各3D摄像机的图像区域(7)中作为与视野中的物体(5，11)对应的区域(8，10)被示出。

该合成图像使得集装箱操纵设备的操作员例如在由集装箱堆码形成的黑暗间隙中的困难光照条件下也能够清楚地看到集装箱的角部相对于彼此的位置。操作员例如可被显示例如具有像场的区域(图像像素)的摄像机的常规强度图像，其中要被操纵的集装箱的位置(8，10)利用不同颜色着色。像场的着色部分可以部分地透明，使得可从色彩下方看到摄像机的常规强度图像，或像场的着色部分(8，10)完全不透明。也可通过计算机(20)图形地增加对操作员来说很重要的区域(例如(8))的相对尺寸和可检测性，以使得操作员更容易检测例如上方和下方集装箱之间的甚至很小的位置偏离。ToF摄像机特别适于实现所述功能，因为同一个摄像机传感器(3)既产生通常的摄像机图像(即强度图l(n，m))，又产生距离图(D(n，m))。优选地，3D摄像机在吊具中安装成使得紧在集装箱被附接在吊具上之后通过它们显示的集装箱的各角部的图像与其它摄像机的图像对称。这尤其在涉及操作员辅助的功能时有利于操作，从而使操作员容易检测对称状况。例如当在吊具的全部3D摄像机中集装箱在3D摄像机的图像区域中的区域(8)具有相同形状和尺寸时可实现对称。不同形式的对称例如是图案相对于一条直线的数学反映，以及图案相对于一个点的反映或旋转。可通过将各3D摄像机相对于吊具的3D摄像机被紧固于其上的外角部安装在同一平面中并且在必要的情况下通过缩放3D摄像机的图像来实现这种构型。当集装箱被附接在吊具上时3D摄像机的图像区域的对称以及由多个3D摄像机的图像区域形成的合成图像使得在集装箱被吊起时能够控制吊具。在吊起集装箱时，吊具可因此被控制成朝向3D摄像机的互相对称的图像区域。

在一个实施例中，由3D摄像机的图像形成一组图像(6)，其中3D摄像机的图像区域的包括要被吊起的集装箱的部分被放置在中间，而图像区域的处于存在要被吊起和操纵的集装箱的部分之外的部分被放置在合成图像的边缘。在合成图像中可以在不同3D摄像机的图像区域之间留下一定空间，这种情况下由图像区域形成的网格构成将图像互相分离的格子。应该指出的是，这样的格子不是必要的，而是图像也可存在于其间不存在空间的合成图像中。合成图像使得能够将存在要被吊起的集装箱的图像区域互相比较并且将吊具控制成使得形成互相对称的图像区域。尤其在操作员辅助功能中，操作员容易基于该对称来检测吊具的正确对准。此外，当使用自动控制时，在例如由计算机(20)代替操作员来控制吊具的情况下，图像的对称使得能够将处理3D摄像机的图像信号所需的资源和算法的复杂性保持在低水平，因为可将图像信号的处理集中在3D摄像机的图像区域的特定部分上以及此外合成图像的中间。

在图5和6中，要被操纵的集装箱已被紧固在吊具上，这种情况下，在所示的合成图像(6)中，代替上述要被吊起的集装箱，在该合成图像的中间现在可见图像区域的包括被紧固在吊具上的集装箱(10)的部分，而图像区域的处于存在被紧固的集装箱的部分之外的部分位于该合成图像的边缘。

来自3D摄像机的视野中的物体，例如要被吊起的集装箱(1)、要被搬运的集装箱(1’)和/或要被搬运的集装箱下方的集装箱(1)，在3D摄像机的图像区域中形成与这些物体对应的区域(10，8)。可例如基于通过3D摄像机(3)测出的距离(D)来识别不同区域。

在一个实施例中，例如在吊起集装箱时，如图4所示，当吊具(2)朝集装箱(1)被降下时，识别来自测定距离(D)小于预定极限值(例如1m)的3D摄像机的图像区域的图像像素(8)。如上所述，可基于集装箱之间的间隙(30cm至50cm)而将来自可能与集装箱(1)相邻地定位的集装箱(比方说相邻的集装箱行中的集装箱)的测量结果作为错误忽略。接下来，集装箱操纵机器的操作员可被显示例如由四个实时摄像机图像(7)构成的网格(6)，其中，例如该图像区域的检测出的物体(＝要被吊起的集装箱)比特定距离更接近的区域(图像线束)是彩色的(8)。如本领域的技术人员理解的，来自要被吊起的集装箱周边和例如来自地面的距离读数由于要被吊起的集装箱(1)的高度而明显更高。当网格(6)中可见的集装箱的角部(8)形成对称图案时，吊具(2)相对于要被吊起的集装箱(1)处于正确位置。

该方法在操纵20英尺和40英尺两种集装箱时同样适用，因为当以正确的尺寸根据要被操纵的集装箱伸长或缩短吊具时，3D摄像机相对于集装箱处于相同位置。当仅仅考虑吊起集装箱的过程时，3D摄像机的数量可减少到两个，因为这足以控制吊具相对于集装箱的两个角部处于适当位置：其余两个角部然后自动位于它们的正确位置。为使操作员能够在控制过程中利用图像的对称，3D摄像机的最有利位置将是吊具的对角角部。在一个实施例中，例如在如图4中吊起集装箱时，可基于在像场(7)中识别的图像像素(8)来计算吊具相对于要被吊起的集装箱的侧向位移(x，y)和偏转的数值。这可例如通过由计算机(20)确定正方形部分(8)的宽度(w)和高度(h)作为图像像素来执行。当优选以至少10Hz的频率恒定地确定此类数值时，可通过计算机控制(20)来将吊具(2)控制在正确位置并因此实现对吊具的侧向位移(x，y)和偏转的自动控制。该方法的一大优点在于可针对完全自动的无人操作而且还针对辅助操作员两种情况使用同一个传感器系统。

在一个实施例中，当操纵一个或多个集装箱时利用距离图来控制吊具。集装箱操纵的示例包括吊起一个集装箱并且将一个集装箱堆叠成被承载在位于其下方的集装箱的顶部。可自动执行该控制，这种情况下可例如通过设置在集装箱操纵设备中的计算机或通过远程控制来以无人方式控制吊具。

集装箱的控制可包括例如借助于吊具来控制要被搬运的集装箱(1’)处于另一个集装箱的顶部和/或通过吊具来吊起集装箱(1)。吊具可在所选择的坐标系中(例如集装箱操纵设备(14，5)如起重机的坐标系中)移动。当吊具在未搬运货物的情况下移动时，要被操纵的货物(例如要被吊起的集装箱)在距离图中移动。当吊具搬运货物时，要被操纵的货物(即要被搬运的集装箱)在距离图中保持基本固定不动。当吊具被控制时，附接在其上的一个或多个3D摄像机形成对应的距离图。

吊具在3D摄像机的图像平面中、沿相对于该图像平面的深度方向或以这些的结合移动。当形成多个距离图时，优选3D摄像机的图像平面互相平行。然而，由于吊具的摆动，可在各距离图中以不同方式检测吊具的移动。

在一个实施例中，在夹持装置的坐标系中确定距离图。这种情况下，相对于夹持装置测量距离，并且将要使用的坐标系的轴线固定在夹持装置上。由这样形成的距离图提供的距离信息可针对具有与夹持装置的坐标系的轴线不同的轴线的新坐标系转换。这在例如吊具中使用仅一个或两个3D摄像机时会是有利的，这种情况下未获得该集装箱的所有角部的距离图上的图像。可利用使用要被操纵的集装箱和/或其下方的集装箱上的距离图测出的距离信息来在新坐标系中控制夹持装置。应该指出的是，当针对新坐标系转换由距离图提供的信息时，所有3D摄像机的距离图都不必具有对要被操纵的集装箱的同时检测。可为新坐标系转换由通过一个3D摄像机获得的距离图提供的距离信息，这种情况下在距离图中检测出的区域(8，10)的位置在该新坐标系中是已知的。当在另一个3D摄像机的距离图上检测出要被操纵的货物(10)或位于要被操纵的货物之外的物体(8)时，可为新坐标系转换由另一个距离图提供的距离信息。当使用两个3D摄像机时，可如上所述将摄像机安装在吊具的外角部中。优选地，角部是对角的或在吊具的纵向上彼此相对。吊具的纵向可被确定为与集装箱的长度方向一致的方向。因此，利用两个3D摄像机，例如，可以确定集装箱的角部的位置并控制吊具吊起或堆叠集装箱。

类似地，当要被搬运的集装箱悬空并离开位于其下方的集装箱时，可在该距离低于为其设定的下限时识别要被搬运的集装箱的区域。如上所述，该下限可包括基于要被搬运的集装箱的高度而被限制的阈值。此外，当该阈值被超过时，可识别位于要被搬运的集装箱下方的物体，比方说其它集装箱或另一个集装箱。

图5示出了根据本发明的布置结构及其紧在货物(1’)被紧固在夹持装置(2)上之后的操作。在图5的示例中，该货物为集装箱(1’)且夹持装置为吊具(2)，如在操纵集装箱时通常的那样。吊具的外角部设置有3D摄像机。该3D摄像机的视野(4)包括与阴影区域(9)对应的区域(10)，其中通过3D摄像机测出的距离基于集装箱的高度而被限制。因此从要被搬运的集装箱的表面，例如从其侧面(11)测量离阴影区域的距离。要被搬运的集装箱阻挡3D摄像机看到位于集装箱下方的区域(9)。3D摄像机形成图像区域(7)，其中阴影区域(10)可与3D摄像机的视野的位于阴影区域之外的自由区域(12)分离。可如上所述来识别该图像区域的阴影区域和其它区域。

图5的布置结构使得一旦货物被紧固在夹持装置上便能够在距离图中确定要被搬运的集装箱的区域。该区域形成阴影区域，通过3D摄像机测出的距离基于集装箱的高度而被限制在该阴影区域内。因此，可在3D摄像机的图像区域中确定要被搬运的集装箱的位置，从而能够在操纵集装箱时，例如在将它堆叠在另一个集装箱的顶部上时利用所确定的阴影区域来移动集装箱。优选地，阴影区域被确定成使得，在同一高度范围内，仅要被搬运的集装箱处于3D摄像机的视野内，如图5所示。在一个示例中，3D摄像机被设定成检测处于3m以下的距离处的物体。对于这种3D摄像机而言，可通过将集装箱提升得足够高以使3D摄像机离要被搬运的集装箱以外的集装箱的距离在3m以上来确定该阴影区域。这样确定的阴影区域(例如一组图像像素)现在可被存储在计算机(20)的存储器中，以便能够例如在堆叠集装箱时仅对下方集装箱搜索视野的自由区域(12)。

在一个实施例中，要被搬运的集装箱被控制成使得，在各3D摄像机的图像区域的特定高度范围内，仅与所确定的阴影区域(9)对应的区域(10)是可见的。如果在该图像区域中，在特定高度范围内阴影区域以外的物体是可见的，则可停止该移动。该移动尤其当在图像区域内检测出的物体的距离(D)小于集装箱的高度时停止，这种情况下在图像区域的平面中移动物体会导致与检测到的物体的碰撞。

在另一个示例中，可使用为3D摄像机确定的阴影区域来在堆叠集装箱时控制要被搬运的集装箱。这种情况下，要被搬运的集装箱(1’)被控制成处于另一个集装箱的顶部上并被降下到它之上。当堆叠集装箱时，有必要的是在靠近下方集装箱(1)时要从上方集装箱测出的距离读数(D1)和从下方集装箱获得的距离读数(D2)可彼此分开。当要堆叠的集装箱(1’)和下方集装箱(1)互相靠近时，这些距离读数之差减至零，因此任务要求高。当已在3D摄像机的图像区域中确定阴影区域(10)并且该阴影区域(10)已被存储在例如计算机(20)的存储器中时，在确定下方集装箱(1)的位置时可以仅监控该阴影区域之外的区域(12)，而不必担心要被搬运的集装箱与下方集装箱混淆。

在本发明的一个实施例中，所确定的阴影区域(10)被用于在今后的日期吊起集装箱。当集装箱(1)被放置在集装箱堆码中时，可确定阴影区域(10)并且将其存储在例如计算机(20)的存储器中。当今后再次吊起集装箱(1)时，可在为了吊起集装箱(1)而将吊具(2)控制在正确位置时利用所存储的距离图(10)。这使得能够将通过传感器(3)测出的距离图实时与所存储的距离图(10)比较并由操作员控制或由计算机(20)自动控制这些距离图一致。当由该距离图不仅确定该图中可见的角部的位置(21)而且确定该图中可见的集装箱的侧面的方向以相对于所存储的距离图(10)比较集装箱(1)的偏转时，可最少利用仅一个3D摄像机(3)来应用该方法。

集装箱的堆叠结合图6示出。图6示出了根据本发明的布置结构及其在堆叠货物(1’)时的操作。在图6的示例中，货物为集装箱且夹持装置为吊具(2)，如在操纵集装箱时通常的那样。3D摄像机安装在吊具的外角部中。可如上所述执行安装。在下方集装箱(1)的角部(5)未被上方集装箱(1’)产生的阴影(9)覆盖的情况下，3D摄像机(3)然后可以看到下方集装箱(1)的角部(5)。可例如如上所述基于通过3D摄像机测出的距离(D)来识别该图像区域的与下方集装箱(1)对应的区域(8)。在一个示例中，可在例如测出的距离D低于设定的下限时识别下方集装箱的区域，这种情况下所述下限高于要被搬运的集装箱(1’)的高度。

这种情况下，在集装箱的控制中，可忽略阴影区域(10)并且可通过对应于下方集装箱的区域(8)和/或对应于下方集装箱的区域(8)与阴影区域的相互关系来控制集装箱。可通过将所述区域互相比较，例如通过比较它们在3D摄像机的图像区域的位置、大小和/或一个或多个尺寸，来形成所述区域的关系。因此，当堆叠集装箱时，可将要被搬运的集装箱控制成使得区域(8)是对称的并且阴影区域(10)也可能覆盖与下方集装箱对应的区域(8)。这种情况下，当集装箱互相对齐时与下方集装箱对应的区域最终在阴影区域中几乎消失。如上所述，也可通过计算机(20)人为地使区域(8)的相对尺寸在图形上增大，以使得操作员更容易检测上方和下方集装箱之间的位置的甚至是很小的偏差。

该方法在操纵20英尺集装箱时和在操纵40英尺集装箱时都同样适用，因为当以正确措施与要被操纵的集装箱一致地伸长或缩短吊具时，3D摄像机相对于集装箱处于相同位置。

在一个实施例中，也可以基于所识别的区域(8)来计算上方集装箱相对于下方集装箱的侧向位移(x，y)和偏转的数值。这可例如通过由计算机(20)确定正方形或字母L形的部分(8)的边的宽度(w)和高度(h)作为图像像素来执行。当优选以至少10Hz的频率恒定地确定此类数值时，可通过计算机控制(20)来将吊具(2)控制在正确位置并因此在堆叠集装箱时实现对吊具的侧向位移(x，y)和偏转的自动控制。该方法的一大优点在于可针对完全自动的无人操作而且还针对辅助操作员使用同一个传感器系统。

在一个实施例中，当堆叠集装箱时，基于通过3D摄像机检测出的与下方集装箱对应的区域和阴影区域来确定下方集装箱与要被搬运的集装箱之间的偏转。可通过测量阴影区域的边与对应于下方集装箱的区域之间的角度来确定该偏转。基于所确定的角度，可朝所述区域之间的零角度来控制要被搬运的集装箱，偏转于是为零。这种情况下，所述区域互相对称。

图6进一步示出了根据本发明的一个实施例的另一个传感器系统(18，19)，其使得除3D摄像机的坐标系外另一个坐标系能够被用于货物操纵以控制吊具。通过使用多于一个坐标系，尤其在堆叠集装箱时，可减少要安装在吊具中的3D摄像机的数量，例如从安装在吊具的每个外角部中的四个3D摄像机减少到两个。除3D摄像机外，还可通过使用在与3D摄像机的坐标系不同的坐标系中工作的附加传感器来形成不同坐标系。例如，该附加传感器系统和3D摄像机的坐标系可具有不同轴线。可通过为各坐标系选择不同的起点、原点来实现不同轴线。

在图6中，通过测量吊具(2)相对于小车(15)的x，y位置和偏转的测量设备(8，19)来实现该附加传感器系统。因此，吊具用作3D摄像机的坐标系的起点，而实现附加传感器系统的测量设备的坐标系的起点例如被设定在测量设备的可为小车(15)的紧固部位。该测量设备可例如通过安装在吊具中的两个红外(IR)光源(18)来实现，通过安装在小车(15)中的摄像机(19)来确定所述光源的位置。由于该测量设备，尤其在堆叠集装箱时，可将3D摄像机(3)的数量从四个减少到两个，因为当两个3D摄像机(3)看到下方集装箱(1)的两个角部时，此时可在存储于计算机(20)的存储器中的小车(15)的坐标系中确定下方集装箱上的位置信息及其偏转，并且可借助于传感器系统(18，19)和所存储的下方集装箱的位置来将上方集装箱降下到下方集装箱的顶部上。此外，不必同时看到下方集装箱(1)的两个角部。

图7示出了基于距离图的区域来实施对吊具(2)的控制的方式。可以将包括一个或多个3D摄像机(3)和拉索(17)的精确传送机构紧固在吊具上。图4所示的精确传送机构包括四根拉索(拉索1，拉索2，拉索3，拉索4)和安装在吊具(2)的外角部中的3D摄像机。可如上所述安装3D摄像机(3)。基于由3D摄像机(3)形成的距离图，拉索(17)被控制成移动要被搬运的集装箱(1)。

在实施图7的精确传送时，拉索17分别紧挨着吊索(16)的滑轮被安装在吊具(2)的中间部分的四个角部中。吊索的上端附接在小车(15)上，可例如通过电动机来控制从小车施加于拉索的力。如果吊具(2)此时沿方向x移动，则在同时减小拉索3和4的力时增大拉索1和2的力。如果要使吊具(2)沿方向y移动，则在同时减小拉索1和4的力时增大拉索2和3的力。如果要使吊具(2)偏转，即，如果要将吊具的坐标系的偏转控制在逆时针方向上，则在同时减小拉索1和3的力时增大拉索2和4的力。根据图7，拉索(17)可由计算机(20)例如以在上述实施例中所述的一种或多种方式自动控制。该计算机可与一个或多个3D摄像机(3)连接以接收测量数据，例如电和/或光学测量信号。该计算机还可与测量坐标系之间的位移的附加传感器系统(18，19)连接。

图8示出了根据一个实施例的堆叠货物的方法。现在利用通过吊具操纵集装箱并利用图1至7的附图标记同时参照图1至7所示的实施例来说明该方法。吊具还可以是诸如门式起重机的集装箱操纵设备的一部分。

一旦将集装箱紧固在吊具上，该方法便在802开始。该状况在图5中示出。然后，将一个或多个3D摄像机安装在吊具中以形成对应的距离图。在步骤804中确定3D摄像机的距离图的阴影区域。可分开或同时对各3D摄像机确定距离图。在下文中，将参考一个距离图来说明该操作。该距离图的确定可包括识别被要被搬运的集装箱覆盖的区域。在该区域中，基于要被搬运的集装箱的高度来将该距离图的图像点的距离限制为例如略大于要被搬运的集装箱的高度。因此，在该区域(10)内处于集装箱下方的物体(9)的可见性被挡住，该区域因此形成阴影区域(10)。

在一个实施例中，当集装箱已被提升到空中、优选被提升到这样的高度时确定阴影区域：在该高度处要被搬运的集装箱与其下方的物体之间的距离大于3D摄像机的设定检测距离。因此，3D摄像机的阴影区域之外的区域(12)为空，并且阴影区域的确定很简单。

在一个实施例中，根据要被搬运的集装箱的特征来确定阴影区域。当已知例如要被操纵的集装箱的尺寸如高度时，可将要被搬运的集装箱的特征确定为预定特征。这种情况下，可将距离图上的阴影区域确定为由距离被限制为要被操纵的集装箱的高度的图点形成的区域。因此，可将保持在阴影区域之外的区域确定为由距离超过要被操纵的集装箱的高度的距离图的图点形成的区域。

在806中将要被搬运的集装箱堆叠在另一个集装箱(1)的顶部。这可以如图6所示执行。优选地，在堆叠集装箱(1’)时，仅监控距离图的处于阴影区域之外的部分。由于阴影区域在集装箱被搬运时基本保持不变，所以通过将对下方集装箱(1)的监控集中在阴影区域之外的区域，可避免将混淆要被搬运的集装箱(1’)的监控结果的风险，从而使得可用于处理由距离图产生的信息的计算能力能够被用于监控该图的变化部分。

该方法在808中结束，并且集装箱此时准备好进行堆叠。在已堆叠集装箱之后，可拆下吊具，并且该过程继续以操纵下一个集装箱，例如吊起一个集装箱，由此该方法可重新开始。

图9示出了根据一个实施例的当基于在起重机(14，15)的坐标系和吊具的坐标系中测出的距离图来控制货物时操纵货物的方法。现在利用通过吊具操纵集装箱并利用图1至7的附图标记同时参照图1至7所示的实施例来说明该方法。吊具还可以是诸如门式起重机的集装箱操纵设备的一部分。利用附加传感器系统(18，19)的一个优点在于，尤其在堆叠集装箱时，可减少吊具中监控要被操纵的集装箱所需的3D摄像机的数量。该方法包括如图6所示通过利用沿纵向安装在吊具的不同侧例如吊具的纵向或对角地相对的外角部中的两个3D摄像机和一附加传感器系统来确定吊具的位置而吊起集装箱和/或将所吊起的集装箱堆叠在另一个集装箱的顶部。

当吊具(2)通过3D摄像机确定距离图时，该方法在902中开始。在步骤904和906中，吊具的3D摄像机(3)检测位于吊具下方的集装箱的角部(21)。检测可分别或同时发生。借助于用于另一个坐标系(例如起重机(14，15)的坐标系)的附加传感器系统(18，19)来转换距离图的位置点中包含的信息，并进行存储。因此，检测到的下方集装箱的角部(21)的位置设置在起重机的坐标系中，这使得集装箱在吊具下方的位置在控制吊具时可用。

可在908中控制吊具和/或吊具和由它搬运的集装箱移动到下方集装箱的角部在起重机的坐标系中的位置。当使用附加传感器系统(18，19)时，可确定吊具(2)的任何选定点相对于起重机(14，15)的水平坐标(x，y)。例如可以确定传感器(3)的位置或要被搬运的集装箱(1’)的角部的位置(22)，或吊具的外角部的位置(22)，其典型地对应于要被搬运的集装箱的角部的位置。当吊具已被控制成处于下方集装箱的顶部上而使得能够吊起集装箱和/或要被搬运的集装箱已被控制成处于下方集装箱的顶部上而使得能够堆叠集装箱时，该方法在910中结束。

当使用附加传感器系统(18，19)时，可在904、906中确定吊具(2)的距离图的一个点相对于起重机(14，15)的水平坐标(x，y)。这种情况下，例如当堆叠集装箱时，例如通过下式针对起重机(14，15)的坐标系(x_角部_下方集装箱，y_角部_下方集装箱)转换通过下方集装箱(1)的传感器(3)检测出的角部的位置(21)(x_角部，y_角部)：

x_角部_下方集装箱＝x_传感器+cos(偏转)x_角部+sin(偏转)y_角部     (1)

y_角部_上方集装箱＝y_传感器+cos(偏转)y_角部-sin(偏转)x_角部，

其中(x_传感器，y_传感器)是通过测量设备(18，19)确定的传感器(3)相对于起重机(14，15)的水平位置，而(偏转)是通过测量设备(18，19)确定的吊具(2)相对于起重机(14，15)确定的偏转。

坐标(x_角部_下方集装箱，y_角部_下方集装箱)被存储在计算机(20)的存储器中。在至少两个单独的角部的坐标已被存储在计算机(20)的存储器中之后，随后可在908中使上方集装箱(1’)被对齐在下方集装箱(1)的顶部上。吊具(2)的侧向位置可刻意地由计算机(20)控制成使得确保了检测到下方集装箱(1)的任何期望的两个角部。换言之，计算机控制将确保下方集装箱(1)的期望的两个角部不会连续被上方集装箱(1’)覆盖。可执行该对齐，以使得上方集装箱(1)例如通过计算机控制(20)而被控制成处于集装箱(1’)的所述至少两个角部处：

x_角部_spr->x_角部_下方集装箱     (2)

y_角部_spr->y_角部_下方集装箱

其中(x_角部_spr，y_角部_spr)是通过测量设备(18，19)测出的要被搬运的集装箱(1’)的角部(22)相对于起重机(14，15)的水平位置，而(偏转)是通过测量设备(18，19)测出的吊具(2)相对于起重机(14，15)的偏转。这种情况下，吊具的角部(和上方集装箱)刚好处在下方集装箱的顶部上。替代地，在吊起集装箱时，(x_角部_spr，y_角部_spr)是通过测量设备(18，19)确定的吊具的外角部(22)相对于起重机(14，15)的水平位置。

图10示出了用于实施本发明实施例的布置结构的设备。图10的设备1000包括处理单元1008、存储器1010和连接装置1002。连接装置1002用于将一个或多个传感器(例如3D摄像机)与该设备连接。该连接装置可包括数据接收单元1004和数据传输单元1006。经由该数据接收单元，可从3D摄像机接收信息，例如通过3D摄像机测出的图像像素。经由该数据传输单元，可将在设备中确定的一个或多个距离图例如转递到负责控制起重机或夹持装置的设备。

所有单元都彼此电连接。所述存储器可包含一个或多个可由处理单元执行的程序。处理单元可由被存储在存储器中的程序指令控制操作并且基于从3D摄像机接收的信息来确定距离图。

在一个实施例中，设备1000可采用所确定的距离图来控制起重机和/或其夹持装置：这种情况下，设备1000可以例如是诸如起重机的货物操纵设备的控制单元，其与诸如一个或多个3D摄像机和/或附加传感器的传感器连接。

在一个实施例中，设备1000可将通过它确定的距离图转递至负责控制夹持装置的设备，比方说诸如起重机的货物操纵设备的控制单元。该设备于是易于实现，并且可与已经使用的起重机中的一个或多个传感器例如3D传感器和/或附加传感器安装在一起。这使得能更新已经存在的起重机以实施本发明的实施例。

在一个实施例中，该连接装置包括显示器。该显示器使得能够监控一个或多个货物操纵设备的操作。一个或多个距离图，例如一组距离图(6)，可被显示在显示器上。该显示器，例如液晶显示器(LCD)，可用作连接单元的传输单元，这种情况下该显示器用于传输图像信号以便例如向操作员、远程控制货物操纵设备的人员或监控自动货物操纵的人员显示距离图。该显示器还可既用作连接单元的传输单元又用作其接收单元，这种情况下，除上面已经描述的内容外，可以接收信息和/或指令，例如用于控制货物操纵设备的指令和/或用于修改(例如缩放)一组距离图的图像处理指令。例如，这种显示器可包括触屏。该处理单元可按照存储在存储器中的指令和/或命令来控制显示器以实现上述功能。

处理单元可包含一组寄存器、算术逻辑单元和控制单元。所述控制单元由从存储器传送到处理单元的一系列程序指令控制。所述控制单元可包含用于基础功能的大量微指令。微指令的实施根据处理单元的构型可变化。所述程序指令可用编程语言编码，所述编程语言可以是高级编程语言，例如C语言和Java，或低级编程语言，例如机器语言或汇编语言。所述存储器可以是非永久性存储器或永久性存储器，例如EEPROM、ROM、PROM、RAM、DRAM、SRAM、固件和可编程逻辑。

所述计算机程序可以呈源代码格式、目标代码格式或某种中间格式，并且它可以被存储在传送介质上，所述传送介质可以是能够存储所述程序的任何实体或设备。这种传送介质包括例如存储介质、计算机存储器、只读存储器、电载波、数据通信信号和软件分发包。

设备及其各部分1000可实施为一个或多个集成电路，例如专用集成电路或ASIC。其它实施方案也是可以的，例如由单独的逻辑元件制成的电路。这些不同的替代实施方案的组合也是可行的。由逻辑元件制成的电路的示例是现场可编程门阵列或FPGA电路。

在一个实施例中，更新货物操纵设备，例如起重机，比方说集装箱吊运机，例如门式起重机或跨运车，由此在起重机中，在夹持装置中，可确定一距离图，在该距离图的区域内体现了夹持装置附接在其上和/或另一货物堆叠在其上的货物区域的一部分以及货物周边。可通过如上所述为夹持装置设置一个或多个3D摄像机来实施该更新。另一方面，如果要使用更少数量的3D摄像机，则可如图6所示将3D摄像机和另外的传感器安装在货物操纵设备中。除安装上述设备外，该更新还可包括软件更新。该软件可包括例如计算机软件，其可被存储在货物操纵设备的存储器中，从而使得能够在操纵货物时执行它。也可行的是，如果货物操纵设备已经设置有用于产生距离图的装置，则该更新仅包括软件安装。

本发明适用于任何货物操纵设备、提升设备、起重机、集装箱吊运机、门式起重机、跨运车、桥式起重机、码头起重机，或设置有用于紧固在货物上的夹持装置的不同设备的任意组合。

实现根据上述实施例的设备的功能的设备(比方说货物操纵设备、吊运设备、起重机、集装箱吊运机、门式起重机、跨运车、桥式起重机)不仅包括现有技术装置，而且包括用于在夹持装置中确定距离图的装置，该距离图的区域体现了夹持装置附接在其上和/或另一货物堆叠在其顶部上的货物区域的一部分以及货物周边。

更具体地，它们可包括用于实现任意上述实施例中所述的设备的功能的装置，并且它们可包括用于各个单独功能的单独装置，或者所述装置可设置成执行两种以上功能。已知设备包括可用于上述实施例中所述的一个或多个功能的处理器和存储器。

对本领域的技术人员来说明显的是，上述实施例中所示的设备还可包含不同于上述部分的部分，其与本发明不相关并且为了公开内容的清楚起见已从其省略。

对本领域的技术人员来说将明显的是，作为技术进步，可采用许多不同的方式实现本发明的基本思想。本发明及其实施例因而不局限于上述示例，而是可在权利要求的范围内变化。

Claims (28)

1.一种通过货物操纵设备来操纵货物的方法，所述货物操纵设备包括用于夹持所述货物的至少一个紧固点的夹持装置，所述方法包括：

在所述夹持装置中确定距离图，在所述距离图的区域内体现出所述夹持装置所附接到的和/或另一货物所堆叠到的所述货物的区域的一部分以及所述货物的周边。

2.如权利要求1所述的方法，包括:

一旦将所述货物紧固在所述夹持装置上，便在所述距离图中确定要被操纵的货物的第一区域；

一旦所述货物脱离所述夹持装置，便在所述距离图中确定所述要被操纵的货物的第二区域；

确定所述第一区域与所述第二区域之差；以及

基于所述差来控制所述夹持装置。

3.如前述权利要求中任一项所述的方法，包括：

一旦将所述货物紧固在所述夹持装置上，便在所述距离图中确定所述要被操纵的货物的第一区域；

在所述距离图中确定第二货物区域；

在所述距离图中确定货物区域之差；

基于所述货物区域之差来控制所述夹持装置。

4.如前述权利要求中任一项所述的方法，其中，所述方法包括：在所述夹持装置的坐标系中确定距离图；以及

为具有与所述夹持装置的坐标系的轴线不同的轴线的新坐标系转换距离图距离信息；并且在所述新坐标系中控制所述夹持装置。

5.如前述权利要求中任一项所述的方法，其中，所述方法包括：所述夹持装置的控制，所述控制包括使所述夹持装置沿所述距离图的距离方向在垂直平面中或沿深度方向或以其组合移动所述距离图的一定距离。

6.如前述权利要求中任一项所述的方法，包括：

确定体现了不同货物区域的多个距离图，紧固点或堆叠点位于所述不同货物区域内；

形成一组距离图，其中所述距离图的包括要被操纵的货物的部分互相分离并与它们的周边分离。

7.如前述权利要求中任一项所述的方法，其中，所述方法包括：确定多个距离图；以及

基于由所述货物确定的距离图的区域的形状来控制所述夹持装置。

8.如前述权利要求中任一项所述的方法，其中，所述方法包括：确定多个距离图；以及

基于所述距离图的对称来控制所述夹持装置。

9.如前述权利要求中任一项所述的方法，其中，所述方法包括操纵所述货物，操纵所述货物包括吊起所述货物和/或将所述货物堆叠在另一货物的顶部。

10.如前述权利要求中任一项所述的方法，其中，所述方法包括：将所述夹持装置控制到货物紧固点和/或将所述货物堆叠在另一货物的顶部。

11.如前述权利要求中任一项所述的方法，其中，所述方法包括在沿控制所述货物的方向的平面中确定所述距离图，并且所述距离图包括沿垂直于所述平面的方向的距离。

12.如前述权利要求中任一项所述的方法，其中，所述方法包括：所述距离图包括图像区域，所述图像区域包含包括以下一者或多者的图像点：距离信息、光强度信息和颜色信息。

13.如前述权利要求中任一项所述的方法，其中，所述方法包括将所述货物紧固在所述夹持装置上并且所述距离图包括图像区域，所述图像区域包括被紧固的货物的一部分。

14.如前述权利要求中任一项所述的方法，其中，所述方法包括：将所述货物紧固在所述夹持装置上，并在货物被提升成与其它货物分离时确定所述距离图的被所述货物覆盖的部分，并存储在例如计算机的存储器中。

15.如前述权利要求中任一项所述的方法，其中，所述方法包括：将所述货物紧固到所述夹持装置并且在监控其它货物时忽略所存储的所述距离图中被所述货物覆盖的部分。

16.如前述权利要求中任一项所述的方法，其中，所述方法包括：所述夹持装置包括用于附接在集装箱的角配件上的吊具，所述吊具包括例如一个或多个扭锁。

17.如前述权利要求中任一项所述的方法，其中，所述方法包括：所述货物包括集装箱并且所述距离图确定放置在集装箱堆叠中的集装箱或要被搬运的集装箱或两者相对于所述夹持装置的位置。

18.如前述权利要求中任一项所述的方法，其中，所述方法包括：所述夹持装置包括吊具，且所述吊具的一个或多个，例如两个，纵向或对角地相对的外角部，或全部外角部设置有测量距离图的传感器。

19.如前述权利要求中任一项所述的方法，其中，所述方法包括：向货物操纵设备的操作员显示所述距离图以便辅助所述操作员吊起和/或堆叠所述货物。

20.如前述权利要求中任一项所述的方法，其中，所述方法包括：通过图像处理来修改所述距离图以便更好地辅助操作员吊起和/或堆叠所述货物。

21.如前述权利要求中任一项所述的方法，其中，所述方法包括：在计算机上输入所述距离图以由所述计算机自动控制地吊起和/或堆叠所述货物。

22.如前述权利要求中任一项所述的方法，其中，所述方法包括：不同时地定位要被操纵的货物的至少两个区域并且存储所述区域的位置以便确定所述货物的位置和偏转。

23.如前述权利要求中任一项所述的方法，其中，所述方法包括：在包括要被搬运的集装箱的角部的视野中确定所述距离图，所述角部包括用于所述夹持装置的紧固点。

24.如前述权利要求中任一项所述的方法，其中，所述方法包括：所述货物操纵设备包括起重机，例如集装箱吊运机，如门式起重机或跨运车。

25.如前述权利要求中任一项所述的方法，其中，所述方法包括：使用3D摄像机，例如测量光传播时间的摄像机，如飞行时间摄像机，来确定所述距离图。

26.一种布置结构，包括用于执行如权利要求1至25中任一项所述的方法的装置。

27.一种计算机程序产品，包括用于在被下载到设备，例如货物操纵设备，中时使所述设备执行如权利要求1至25中任一项所述的方法的程序指令。

28.一种更新货物操纵设备的方法，包括：

将根据权利要求26的布置结构或根据权利要求27的计算机程序产品安装在所述货物操纵设备中。