CN109641729A

CN109641729A - 锁定设备的探测

Info

Publication number: CN109641729A
Application number: CN201780049677.6A
Authority: CN
Inventors: 托马斯·多布勒; 拉尔夫·格尔德亨里希斯; 亚历山大·维尔赫夫特
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2016-09-14
Filing date: 2017-08-08
Publication date: 2019-04-16
Anticipated expiration: 2037-08-08
Also published as: CN109641729B; US20190367335A1; EP3475210A1; EP3475210B1; WO2018050365A1; EP3296247A1; US11745987B2

Abstract

本发明涉及一种用于探测在能移动的物体(C)处的锁定设备(LOCK)的方法，其中锁定设备(LOCK)构成用于将多个能移动的物体(C)相互锁定和用于设置在能移动的物体(C)的锁定区域(L)中，并且其中能移动的物体(C)构成用于借助于装运设备(100)移动。此外，本发明涉及一种图像处理单元(PU)、一种用于执行根据本发明的方法的系统以及一种自动化的装载和/或卸载系统。为了有效且可靠地识别锁定设备(LOCK)而提出：能由至少一个相机(K1、K2)在检测区域(SCAN)中检测锁定区域(L)，并且其中图像处理单元(PU)评估相机(K1、K2)的信号(SIG)，用于探测在能移动的物体(C)的锁定区域(L)中的锁定设备(LOCK)。

Description

锁定设备的探测

技术领域

本发明涉及一种用于探测在能移动的物体处的锁定设备的方法。此外，本发明涉及一种图像处理单元、一种用于执行根据本发明的方法的系统以及一种自动化的装载和/或卸载系统。

背景技术

这种方法例如使用在用于装运集装箱的起重机系统中。如果在那里错误地在集装箱处忘记了集装箱锁定装置，那么无法顺利地进一步装载集装箱。由此，将会堵住运输车辆或集装箱。这可能会导致起重机机械装置、车辆和集装箱的显著损坏，直至人员伤害。如果所存放的集装箱的锁定装置被忘记，那么该集装箱立于锁定装置上进而出现集装箱的倾斜状况。至今，起重机驾驶员的一个任务是：识别这种被忘记的锁定装置。为了对起重机驾驶员减负并且为了允许这种系统完全自动化，以下介绍了探测检测锁定设备的方法。

从DE 10 2012 020 953 A1中已知一种用于以计算机辅助的方式确定位置的方法，该方法根据代表承载车辆上侧的测量点云来实现，其中在所述位置中借助于起重机能够将ISO集装箱安置到承载车辆上，其中所述测量点通过从上方利用3D激光扫描仪扫描承载车辆来获得。在此，利用至少一个虚拟测试体扫描测量点云，测试体至少部分地具有如下形状，该形状接近承载车辆处的扭锁的突出于承载车辆上侧的部分的形状。此外，测定全部如下地点，在这些地点处，虚拟测试体的接近扭锁的形状至少以预设的程度与测量点云的局部形状一致，并且从如此确定的扭锁地点中计算出要安置到承载车辆上的集装箱的集装箱目标位置数据。

发明内容

本发明所基于的目的是：提供一种方法，其能够有效且可靠地识别锁定设备。

该目的通过具有权利要求1中给出的特征的方法来实现。

将锁定设备不仅理解为单独的锁定设备，而且也理解为多个锁定设备。因此，以下谈及多个锁定设备的探测或一个锁定设备的探测，其中借此描绘了全部可能的探测结果。可能的探测结果例如是：“没有识别到锁定设备”、“识别到一个锁定设备”或“识别到多个锁定设备”。因此，如果执行该方法以探测仅一个锁定设备或无锁定设备，那么这根据本发明和探测多个锁定设备一样。在此，锁定设备构成用于将多个能移动的物体、例如货运集装箱相互锁定，和/或构成用于在物体承载件上或与物体承载件锁定，并且构成用于设置在能移动的物体的锁定区域中。能移动的物体构成用于借助于装置设备移动，并且在检测区域中能由至少一个相机检测锁定区域。为了探测在能移动的物体处的锁定设备、尤其是在货物集装箱处的所谓的扭锁，图像处理单元评估相机的信号，用于探测能移动的物体的锁定区域中的锁定装置。在此，物体承载件例如能够是载重车的挂斗或另外的承载件，所述另外的承载件构成用于容纳能移动的物体或用于与能移动的物体锁定。

能移动的物体的锁定区域原则上是如下区域，在该区域中安置有锁定设备。这在集装箱的情况下例如是外角，在这些外角处安置有扭锁。根据集装箱的大小并且根据设施的结构来定向一个或多个相机，使得能移动的物体在利用装运设备运输时移动经过相机的检测区域，并且使得锁定区域至少为了探测锁定设备的目的而至少部分地且至少暂时地处于检测区域中。

检测区域基本上根据相机的定向、分辨率和光学装置来得出。因此必须相应地选择检测区域。例如，每个起重机侧能够设有至少一个相机。

尤其有利的是：当识别到锁定设备时，图像处理单元输出错误报告。该错误报告随后例如能够经由PLC转发给起重机驾驶员，起重机驾驶员随后采取相应的进一步步骤。PLC也能够自动地对这种错误报告做出反应。同样能够考虑的是：就提高的安全度而言，图像处理单元输出所谓的“高态有效”、即持久有效的逻辑电平。对此，连续地以信号通知：没有识别到锁定设备。如果识别到锁定设备，那么取消“高态有效”并且能够输出错误报告。

在另一实施方式中，图像处理单元评估这个相机的信号或这些相机的信号，用于检查能移动的物体的正确位置。这使得能够识别：能移动的物体是否处于适合于探测锁定设备的位置中。在此例如能够根据移动的物体的以获得的标准化的大小来学习位置数据。同样能够考虑：对于每个当前的移动的物体，在中央物流系统中存储相应的尺寸，将其提供给图像处理单元用于检查能移动的物体的正确位置。尤其在集装箱的情况下提供：在图像处理单元中学习或存储标准尺寸。也能够考虑的是：在其他存储地点处存储该标准尺寸，它们能被图像处理单元访问。

在一个尤其有利的实施方式中，图像处理单元借助Blob分析来评估相机的信号。在此，Blob分析是如下可行性：检测物体作为所谓的Blob，并且将这些物体与图像中的背景区分。还尤其有利的是：Blob分析在整个灰度区域中进行，以便考虑不同的光影响，即例如阳光、影子、雨、人工照明灯。在此，借助Blob分析，例如能够确定移动的物体的定位和大小，并与基准位置/大小进行比较。

还尤其有利的是：图像处理单元借助差值图像评估来评估相机的信号。如果例如测定明确的位置，那么能够借助于差值图像评估执行对集装箱底角之下的图像区域的评估，在集装箱底角中例如能够存在扭锁。因此，借助于差值图像评估对锁定区域调查锁定设备的存在情况，这些锁定区域现在处于这个或这些相机的检测区域中。在此，差值图像评估的前提是：集装箱移动(每次移动最小像素)。在此尤其有利的是：在将Blob分析和差值图像评估组合时，系统能够自动地通过Blob分析的XY评估来识别位置改变或移动，进而在装运时能够立即对行驶停止做出反应，而并不触发错误警报。

在另一有利的实施方式中，当识别到锁定设备时，控制装置中断装载和/或卸载过程。控制装置在此能够是例如PLC形式的中央控制装置，其控制整个装载和/或卸载过程。但是同样能够考虑的是：控制装置仅为向起重机驾驶员输出相应的信号，起重机驾驶员随后必须确认该信号。当移除错误安置的锁定设备或将能移动的物体、即例如集装箱运输到用于移除锁定设备的地点时，才能够继续进行装载和/或卸载过程。

在另一有利的实施方式中，仅当能移动的物体处于一个检测区域中时，图像处理单元才评估来自相机的信号。以该方式和方法，不必持久地评估相机的信号、即相机的一个或多个图像。这降低了经由控制系统的网络的不必要的通信。如果现在例如识别：能移动的物体移动到相机的识别区域中，那么能够执行探测。能移动的物体是否处于检测区域中的信息在此例如能够由监控位置的中央控制装置提供，并且用于触发或用于可信度测试。

在另一实施方式中，图像处理单元提供当前能移动的物体的分类数据以探测锁定设备。分类数据在此能够包括能移动的物体的形状和类型。在此，例如能够考虑集装箱的外部尺寸，也许甚至还有锁定设备的颜色以及潜在地点。因此，图像处理单元能够根据分类数据更有效地执行对被忘记的锁定设备的识别。分类数据能够由控制装置、中央物流系统、或数据库经由通信系统提供。

在另一实施方式中，将检测到的锁定设备自动地从能移动的物体移除。能够考虑的是：对此将能移动的物体运输到另一地点，在该地点借助于自动装置能够自动地或手动地移除锁定设备。同样能够考虑的是：小型机器人、例如一个或多个机器人臂或其他解决方案形式的小型机器人将锁定设备直接在识别区域中移除。这具有的优点是：直接通过该方法本身能够执行移除锁定设备的确认。在此能够考虑：相应快速地设计移除，以便装运过程不必中断，替选地同样可行的是：至少短暂地中断装运过程，以便实现锁定设备的可靠移除。

在一个尤其有利的实施方式中，在中央物流系统中记录了探测到的锁定设备的移除。中央物流系统具有关于能移动的物体的来源和关于最终逗留的信息。如果现在通过移除锁定设备将能移动的物体在另一部位处排列，使得中央物流系统能够直接对此做出反应并且能够确保无间隙的交货记录。

在另一实施方式中，图像处理单元测定能移动的物体的标识。标识在此例如能够是集装箱的根据ISO 6346的集装箱编号。以该方式和方法，或者能够从中央物流系统中验证现有的数据，并且在有疑问的情况下更新，或者直接执行卸载的货物与中央物流数据的关联。

此外，所述目的通过一种用于执行根据本发明的方法的图像处理单元。图像处理单元对此具有：至少一个信号接口、通信接口以及评估单元，其中信号接口构成用于连接至少一个相机，其中通信接口构成用于与至少一个控制装置通信，并且其中评估单元构成用于评估至少一个相机的信号以探测锁定设备。这种图像处理单元能够构成为独立的单元、构成为PLC的一部分或甚至是基于云端的。在此，接口能够是标准以太网、工业标准接口或其他的专用接口。

所述目的还通过一种用于探测能移动的物体处的锁定设备的系统，其具有至少一个图像处理单元和至少一个相机。在此，相机能够定向，使得在借助于装运设备移动时能够由至少一个相机在检测区域中检测能移动的物体的锁定区域。

在系统的一个有利的改进形式中，至少一个相机定向，使得通过该定向防止在运行期间的阳光入射。例如，相机能够朝天空方向定向，从天空方向可在运行期间期望没有阳光辐射。也能够考虑用于清洁相机光学装置以减小光学干扰的自动清洁系统。

在系统的一个有利的改进形式中，至少一个相机以一定倾角向下定向，尤其以20至30度的倾角向下定向。这是尤其有利的，因为如此将阳光辐射和其他的天气影响最小化。

此外，所述目的通过一种自动化的装载和/或卸载系统实现，其具有用于执行根据本发明的方法的至少一个系统、用于移动能移动的物体的装运设备和用于控制装载和/或卸载过程的控制装置。这种集成是尤其有利的，因为如此能够执行无缝集成到现有设施的物流流中。这种设施的错误概率与之相应地减小并且能够提高可用性。

附图说明

下面，根据附图中示出的实施例详细描述和阐述本发明。附图示出：

图1示出具有用于探测锁定设备的系统的、集装箱起重机形式的装运设备，和

图2示例性地示出对锁定设备的探测。

具体实施方式

图1示出集装箱起重机形式的装运设备100，其构成用于装运能移动的物体C，在该情况下为集装箱形式。装运设备100对此具有升降装置105，也称作为撑板。为了控制装运设备100设有控制装置PLC。控制装置PLC具有到图像处理单元PU的通信接口PCOM的通信连接COM。图像处理单元PU还具有两个信号接口PSIG以及一个评估单元CPU。在此，通信连接优选能够构成为基于IP的连接，但是同样能够考虑其他的协议。信号接口PSIG构成用于接收来自相机K1、K2的信号SIG。相机K1、K2分别具有一检测区域SCAN，该检测区域能够通过其定向来调节。在该情况下，相机K1和K2略微倾斜地向下定向，使得其能够可靠地探测在能移动的物体C的下侧处的锁定设备LOCK。在检测区域SCAN中，在该情况下存在能移动的物体C的锁定区域L，其中在右侧的锁定区域L中存在锁定设备LOCK，并且在左侧的锁定区域L中不存在锁定设备。借助闪电形的箭头ERR表明：在右侧的锁定区域L中的锁定设备LCOK的存在为错误ERR。如果现在以该方式和方法继续装运所绘制的能移动的物体C、即集装箱，那么出现集装箱的倾斜状态或者在最差的情况下甚至出现与其他的集装箱部分地锁定，这能够导致人员伤害。

在所示出的状态下，能移动的物体C与其锁定区域L处于检测区域SCAN中。为了可靠地实现用锁定区域L覆盖相机K1、K2的检测区域SCAN以检测锁定设备LOCK，能够使用例如来自中央物流系统的且包含能移动的物体C的尺寸的数据，用于经由PLC进行定位。同样能够考虑的是：图像处理单元PU自动地识别：何时锁定区域L运动经过检测区域SCAN。

对于探测扭锁理想的是：两个底角(螺旋孔的扭锁)分别处于相机K1、K2的检测区域SCAN中。相机K1、K2例如能够以大约25°的角度向下安装在具有阳光顶的天气保护壳体中，以便将通过阳光和雨水对图像识别的损害在较长时间段保持得尽可能小。图像信息、即相机K1、K2的信号SIG经由通信连接提供给图像处理单元PU。图像处理单元PU在此例如安装在起重机上，并且相机K1、K2的信号SIG、即例如图像能够数字地或模拟地读取、处理并且将提出结果转发到控制装置PLC。

对于识别未被移除的锁定设备的探测安全性与由相机K1、K2提供的信号SIG的品质相关。因此，要考虑其中清洁相机K1、K2的维护间隔。通过使用附加的辅助机构、例如窗刮水设备和喷水箱，也能够由控制装置PLC对维护进行操控。

图2示意地示出探测锁定设备的可能的流程。对此，将能移动的物体C划分成步骤1.1至1.4。在此，顺序并不具有约束力。继续使用图1中的元件的附图标识。

在步骤1.1中可见能移动的物体C，其具有锁定设备LOCK，锁定设备表面上没有被正确移除。现在，该能移动的物体C利用为了概览而未示出的装运设备100来装运。

在步骤1.2中，在该情况下，通过Blob分析执行对能运动的物体C的测量或位置确定。通过Blob分析设定的标记BL在该情况下例如能够标记能移动的物体C的角，在这些角处原则上可预期锁定设备LOCK。

为了不对通信连接COM不必要地加载，探测不应当持续地工作。能够从装运设备100或其升降装置105的已知坐标中导出明确的触发。在该过程中确保：能移动的物体C、即集装箱至少部分地处于相机K1、K2的检测区域SCAN中。探测在整个过程期间进行，并且在达到能移动的物体100的特定位置时再次结束。

在步骤1.3中借助学习的参考位置REF执行可信性检查。例如，这根据能移动的物体C的恒定和/或已知的宽度、如标准的集装箱宽度进行，宽度在此描述为基准位置REF。此外，绘制可信度位置PLAUS，借助可信度位置例如能够表示与基准位置REF的允许的偏差。例如，借助相机K1、K2的相应大的检测区域SCAN能够实现这种允许的偏差。至今为止，探测基于用于对能移动的物体C的测量或位置确定的Blob分析，如其在步骤1.2中执行。Blob系统能够在整个灰度范围中进行，以便考虑通过阳光、影子、雨水、照明辐射器等产生的不同的光影响。在步骤1.3中，根据可信性位置PLAUS和基准位置REF验证位置确定。

现在，在步骤1.4中通过差值图像评估确定和评估锁定区域L。在此，左侧的锁定区域L不包含锁定设备，右侧的锁定区域L在此错误地包含锁定设备LOCK。如果根据之前的步骤1.1至1.3测定明确的位置，那么能够借助于差值图像处理执行对在集装箱底角之下的图像区域的评估，在该图像区域中能够存在扭锁。差值图像评估的前提是：集装箱移动(每次移动最小像素)。系统自动地通过Blob分析的XY评估识别位置改变/移动，并且借此能够在装运时能够对行驶停止做出反应，而没有触发错误警报。

各个检测步骤的探测结果经过关于明确学习的基准信息、如间距(分别涉及能移动的物体C、例如集装箱的恒定宽度或长度)和例如位置高度的多个可信度测试，位置高度仅需在最小范围内变化。学习能够一次性地在系统启动时进行。能够考虑的是：系统借助于基准物体有规律地校准。利用来自起重机自动装置的附加的信息，如起重机类型20”/40”/45”、高度标注/高/立方体能够布设不同的检测项目，以便使干扰情况最小化。借助于可信度检查能够拒绝通过污物、天气影响等引起的错误识别的位置，进而提高评估的稳定性。

综上所述，本发明涉及一种用于探测在能移动的物体C处的锁定设备LOCK的方法，其中锁定设备LOCK构成用于将多个能移动的物体C相互锁定和用于设置在能移动的物体C的锁定区域L中，其中能移动的物体C构成用于借助于装运设备100移动。此外，本发明涉及一种图像处理单元PU、一种用于执行根据本发明的方法的系统以及一种自动化的装载和/或卸载系统。为了有效且可靠地识别锁定设备LOCK提出：能由至少一个相机K1、K2在检测区域SCAN中检测锁定区域L，并且其中图像处理单元PU评估相机K1、K2的信号SIG，用于探测在能移动的物体C的锁定区域L中的锁定设备LOCK。

Claims

1.一种用于探测在能移动的物体(C)处的锁定设备(LOCK)的方法，

其中，所述锁定设备(LOCK)构成用于将多个能移动的物体(C)相互锁定和/或用于在物体承载件上锁定，

其中，所述锁定设备(LOCK)构成用于设置在所述能移动的物体(C)的锁定区域(L)中，

其中，所述能移动的物体(C)构成用于借助于装运设备(100)移动，

其中，能由至少一个相机(K1、K2)在检测区域(SCAN)中检测所述锁定区域(L)，

并且其中，图像处理单元(PU)评估所述相机(K1、K2)的信号(SIG)，用于探测在所述能移动的物体(C)的锁定区域(L)中的锁定设备(LOCK)。

2.根据权利要求1所述的方法，其中，当识别到锁定设备(LOCK)时，所述图像处理单元(PU)输出错误报告(ERR)。

3.根据权利要求1或2所述的方法，其中，所述图像处理单元(PU)评估所述相机(K1、K2)的所述信号(SIG)，用于检查所述能移动的物体(C)的正确位置(POS)。

4.根据前述权利要求中任一项所述的方法，其中，所述图像处理单元(PU)借助Blob分析来评估所述相机(K1、K2)的所述信号(SIG)。

5.根据前述权利要求中任一项所述的方法，其中，所述图像处理单元(PU)借助差值图像评估来评估所述相机(K1、K2)的所述信号(SIG)。

6.根据前述权利要求中任一项所述的方法，其中，当识别到锁定设备(LOCK)时，控制装置(PLC)中断装载和/或卸载过程。

7.根据前述权利要求中任一项所述的方法，其中，仅当所述能移动的物体(C)处于至少一个检测区域(SCAN)中时，所述图像处理单元(PU)才评估来自至少一个所述相机(K1、K2)的信号(SIG)。

8.根据前述权利要求中任一项所述的方法，其中，所述图像处理单元(PU)提供当前的所述能移动的物体(C)的分类数据。

9.根据前述权利要求中任一项所述的方法，其中，将探测到的锁定设备(LOCK)自动地从所述能移动的物体(C)移除。

10.根据前述权利要求中任一项所述的方法，其中，在中央物流系统中记录了探测到的锁定设备(LOCK)从所述能移动的物体(C)的移除。

11.根据前述权利要求中任一项所述的方法，其中，所述图像处理单元(PU)测定所述能移动的物体(C)的标识(ID)。

12.一种图像处理单元(PU)，用于执行根据权利要求1至11中任一项所述的方法，所述图像处理单元具有：至少一个信号接口(PSIG)、通信接口(PCOM)以及评估单元(CPU)，其中所述信号接口(PSIG)构成用于连接至少一个相机(K1、K2)，其中所述通信接口(PCOM)构成用于与至少一个控制装置(PLC)通信，并且其中所述评估单元(CPU)构成用于评估所述至少一个相机的信号(SIG)以探测锁定设备(LOCK)。

13.一种用于探测在能移动的物体(C)处的锁定设备(LOCK)的系统，所述系统具有至少一个根据权利要求12所述的图像处理单元(PU)和至少一个相机(K1、K2)。

14.根据权利要求13所述的系统，其中，所述至少一个相机(K1、K2)定向使得通过该定向防止在运行期间的阳光入射。

15.根据权利要求13或14所述的系统，其中，所述至少一个相机(K1、K2)以一倾角向下定向，尤其以20至30度的倾角向下定向。

16.一种自动化的装载和/或卸载系统，所述装载和/或卸载系统具有至少一个根据权利要求13至15中任一项所述的系统、用于移动能移动的物体(C)的装运设备(100)和用于控制装载和/或卸载过程的控制装置(PLC)。