CN114560396B - 用于智能塔吊取放运动检测的传感物联网设备及方法 - Google Patents

Abstract

本申请提供一种用于智能塔吊取放运动检测的传感物联网设备及方法。其中，所述用于智能塔吊取放运动检测的传感物联网设备，包括：控制器和与所述控制器连接的多个微型图像传感器；所述多个微型图像传感器均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器设于所述吊钩的钩体内侧，所述多个微型图像传感器分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；所述控制器用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。本申请能够提高智能塔吊的自动化、智能化水平，降低事故发生率。

Description

用于智能塔吊取放运动检测的传感物联网设备及方法

技术领域

本申请涉及智能塔吊技术领域，具体涉及一种用于智能塔吊取放运动检测的传感物联网设备及方法。

背景技术

随着建筑业的发展，建筑施工的机械化程度逐年提高，塔式起重机(简称塔吊)作为一种能够实现垂直和水平运输物料的机械，特别是因其起升高度高、起升重量大、工作幅度大等特点，在建筑业得到了广泛的应用。

随着塔吊安全事故的频繁发生，为了保护塔吊操作人员、司索工的人身安全，以及减少人为失误导致的安全事故，无人驾驶塔吊即智能塔吊成为新的研发方向，其中，如何实现智能塔吊对物料的自动取放成为当前亟待解决的问题。

发明内容

本申请的目的是提供一种用于智能塔吊取放运动检测的传感物联网设备及方法。

本申请第一方面提供一种用于智能塔吊取放运动检测的传感物联网设备，包括：控制器和与所述控制器连接的多个微型图像传感器；

所述多个微型图像传感器均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器设于所述吊钩的钩体内侧，所述多个微型图像传感器分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；

所述控制器用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。

本申请第二方面提供一种用于智能塔吊取放运动检测的方法，用于本申请第一方面提供的用于智能塔吊取放运动检测的传感物联网设备，所述方法包括：

所述多个微型图像传感器分别在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；

所述控制器根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。

本申请第三方面提供一种智能塔吊，所述智能塔吊设置有本申请第一方面提供的用于智能塔吊取放运动检测的传感物联网设备。

相较于现有技术，本申请提供的用于智能塔吊取放运动检测的传感物联网设备及方法，通过设置控制器和与所述控制器连接的多个微型图像传感器；所述多个微型图像传感器均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器设于所述吊钩的钩体内侧，所述多个微型图像传感器分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；所述控制器用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。从而能够实现对吊钩和货物的自动检测和相对位置计算，有助于实现吊钩的自动化取放作业，提高智能塔吊的自动化、智能化水平，降低事故发生率和避免工作人员伤亡。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请的一些实施方式所提供的一种用于智能塔吊取放运动检测的传感物联网设备的结构示意图；

图2示出了本申请的一些实施方式所提供的一种智能塔吊的结构示意图；

图3示出了本申请的一些实施方式所提供的一种用于智能塔吊取放运动检测的方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种用于智能塔吊取放运动检测的传感物联网设备及方法，下面结合实施例及附图进行示例性说明。

请参考图1，其示出了本申请的一些实施方式所提供的一种用于智能塔吊取放运动检测的传感物联网设备的结构示意图，以下示例性说明可以结合图2进行理解，如图1所示，所述用于智能塔吊取放运动检测的传感物联网设备，可以包括：控制器101和与所述控制器101连接的多个微型图像传感器102；

所述多个微型图像传感器102均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器102设于所述吊钩的钩体内侧，所述多个微型图像传感器102分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器101；

所述控制器101用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。

相较于现有技术，本申请实施例提供的用于智能塔吊取放运动检测的传感物联网设备，通过设置控制器101和与所述控制器101连接的多个微型图像传感器102；所述多个微型图像传感器102均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器102设于所述吊钩的钩体内侧，所述多个微型图像传感器102分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器101；所述控制器101用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。从而能够实现对吊钩和货物的自动检测和相对位置计算，有助于实现吊钩的自动化取放作业，提高智能塔吊的自动化、智能化水平，降低事故发生率和避免工作人员伤亡。

其中，上述相对位置信息包括相对方向、相对距离、相对角度等至少一种信息，本申请实施例并不限定其具体内容，本领域技术人员可以结合实际需求灵活选择使用。

在本申请实施例的一些变更实施方式中，所述多个微型图像传感器102中的至少一个设于所述吊钩的柄部朝向吊钩开口一侧，用于在所述吊装部进入所述吊钩钩内前采集所述吊装部的钩外影像信息；所述控制器101用于根据所述钩外影像信息检测所述吊装部在所述吊钩钩外的钩外相对位置信息，并根据所述钩外相对位置信息控制所述吊钩靠近所述吊装部。

通过本实施方式，可以通过设置在钩外的微型图像传感器102来采集钩外影像信息，进而利用该钩外影像信息确定吊装部在所述吊钩钩外的钩外相对位置信息，从而可以确保控制器101能够控制所述吊钩准确运动到吊装部所在位置，无需人工控制和参与即可实现自动钩吊。

在本申请实施例的一些变更实施方式中，设于所述钩体内侧的微型图像传感器102用于在所述吊装部进入所述吊钩钩内后采集所述吊装部的钩内影像信息；

所述控制器101用于根据所述钩内影像信息检测所述吊装部进入钩内后的钩内相对位置信息，并根据所述钩内相对位置信息控制所述吊钩勾住所述吊装部。

通过本实施方式，可以通过设置在钩内的微型图像传感器102来采集钩内影像信息，进而利用该钩内影像信息确定吊装部在所述吊钩钩内的钩内相对位置信息，从而可以确保控制器101能够控制所述吊钩微调，使吊装部准确落到吊钩钩内，无需人工控制和参与即可实现自动钩吊。

为了便于理解，请参考图1，其中微型图像传感器102A和B设于钩外，用于采集钩外影像信息，微型图像传感器102C和D设于钩内，用于采集钩内影像信息，从而实现对吊钩内外工况的全面监测。

在本申请实施例的一些变更实施方式中，所述控制器101还用于在将所述待装卸货物吊起后，根据所述钩内相对位置信息检测所述待装卸货物是否存在脱钩危险。请参考图1，利用吊钩钩内顶端朝下设置的微型图像传感器102C采集的钩内影像信息，可以准确判断吊装部是否位于安全区域(例如钩底预设范围内为安全区域)，如果位于安全区域内，可以进行起吊，如果位于安全区域内，则说明存在脱钩危险，需要重新调整吊钩的位置，直至确保安全后再进行起吊。

在本申请实施例的一些变更实施方式中，所述微型图像传感器102的信息采集端面设有透明保护罩，所述透明保护罩用于防护所述微型图像传感器102被污染和/或被所述吊装部撞击损坏。所述透明保护罩可以采用玻璃或透明亚克力实现，本申请示例并不限定其具体材质。考虑到工地环境较为恶劣，粉尘较多，且吊装时吊钩容易与吊装部发生碰撞，通过本实施方式，可以有效防护所述微型图像传感器102被粉尘、雨水等污染，以及有效防护所述微型图像传感器102被所述吊装部撞击损坏。

考虑到撞击力度较大时，玻璃或者亚克力等透明保护罩有可能被撞碎进而损坏微型图像传感器102，因此，在本申请实施例的一些变更实施方式中，所述吊钩上设置有多个凹槽，所述微型图像传感器102嵌入所述凹槽内，且所述透明保护罩的外表面齐平或低于所述凹槽的上表面。通过将微型图像传感器102及透明保护罩嵌入凹槽内，即使吊装部与吊钩发生撞击，撞击产生的冲击力也是由吊钩本体承受，而不会损坏微型图像传感器102，从而可以有效提高微型图像传感器102的使用寿命。

在上述任意实施方式的基础上，在一些变更实施方式中，上述待装卸货物的吊装部设有区别于其他部位的预设图案；

所述控制器101用于通过在所述影像信息中检测所述预设图案识别所述吊装部。

其中，上述预设图案可以采用喷枪喷涂于吊装部，也可以以贴纸的形式贴附于吊装部，或者将该预设图案设于标识板上，再将该标识板通过夹具夹持在吊装部，本申请实施例并不限定其具体实施方式，上述方式及其结合均可实现本申请实施例的目的，都应在本申请的保护范围之内。

由于该预设图案区别于其他部位，因此，在上述影像信息中，通过图案匹配识别即可检测出上述预设图案，从而在影像信息中识别出吊装部。基于图案的图像识别技术已是当前较为成熟的技术，因此此处不再赘述，本领域技术人员可以采用现有技术公开的任意基于图案的图像识别技术来实现本申请实施例的目的，其均应在本申请的保护范围之内。

通过本实施方式，可以利用预设图案实现对吊装部的区分性标识，有助于提高控制器101识别吊装部的准确率和效率，进而提高智能塔吊的智能化水平和安全性。

另外，由于本申请实施例的目的之一在于识别吊装部与吊钩之间的相对位置信息，为了获得深度信息进而确定三维空间的相对位置信息，在一些实施方式中，上述微型图像传感器102包括双目摄像头，所述控制器101具体用于采用双目摄像头测距算法计算所述吊装部与所述吊钩之间的相对位置信息。

其中，基于双目摄像头的测距算法已是当前较为成熟的技术，因此此处不再赘述，本领域技术人员可以采用现有技术公开的任意双目摄像头测距算法来实现本申请实施例的目的，其均应在本申请的保护范围之内。

通过本实施方式，可以利用双目摄像头及其对应的测距算法准确计算出吊装部与吊钩之间的相对位置信息，进而精准地控制吊钩运动以实现自动取放，可以有效提高吊钩取放运动的精准性和效率。

需要说明的是，上述微型图像传感器102可以采用CCD传感器实现，也可以采用CMOS传感器实现，其均可以实现本申请实施例的目的，此处不做限定。

另外，考虑到微型图像传感器102嵌入凹槽的情况下，无线通信信号会受到吊钩主体金属结构的屏蔽而无法有效传输，因此，为了提高智能塔吊的安全性，在一些实施方式中，所述用于智能塔吊取放运动检测的传感物联网设备，还包括：设于悬挂所述吊钩的小车上的卷线器；

所述多个微型图像传感器102均通过线缆与所述控制器101连接，所述线缆通过所述卷线器进行收放。

具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器101连接，从而提高信号质量和稳定性，避免因信号问题导致安全事故。上述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行，提高智能塔吊的安全性。

此外，上述控制器101可以采用计算机主机、微控制器101、可编程逻辑控制器101PLC等实现，上述吊钩可以采用现有技术提供的任意自动吊钩实现，本申请实施例不做限定。

在上述的实施例中，提供了一种用于智能塔吊取放运动检测的传感物联网设备，与之相对应的，本申请还提供一种用于智能塔吊取放运动检测的方法。本申请实施例提供的用于智能塔吊取放运动检测的方法可以基于上述用于智能塔吊取放运动检测的传感物联网设备实现，请参考图3，其示出了本申请的一些实施方式所提供的一种用于智能塔吊取放运动检测的方法的流程图。由于该方法实施例基本相似于上述系统实施例，所以描述得比较简单，相关之处参见前述系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

如图3所示，一种用于智能塔吊取放运动检测的方法，可以由上述任意实施例提供的用于智能塔吊取放运动检测的传感物联网设备执行，其可以包括以下步骤：

步骤S101：所述多个微型图像传感器分别在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器。

步骤S102：所述控制器根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。

在本申请实施例的一些变更实施方式中，所述多个微型图像传感器中的至少一个设于所述吊钩的柄部朝向吊钩开口一侧，用于在所述吊装部进入所述吊钩钩内前采集所述吊装部的钩外影像信息；

所述控制器根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，包括：

所述控制器根据所述钩外影像信息检测所述吊装部在所述吊钩钩外的钩外相对位置信息。

在本申请实施例的一些变更实施方式中，设于所述钩体内侧的微型图像传感器用于在所述吊装部进入所述吊钩钩内后采集所述吊装部的钩内影像信息；

所述控制器根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，包括：

所述控制器用于根据所述钩内影像信息检测所述吊装部进入钩内后的钩内相对位置信息。

在本申请实施例的一些变更实施方式中，所述方法还包括：

在将所述待装卸货物吊起后，所述控制器还根据所述钩内相对位置信息检测所述待装卸货物是否存在脱钩危险。

在本申请实施例的一些变更实施方式中，所述待装卸货物的吊装部设有区别于其他部位的预设图案；

所述控制器根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，包括：

所述控制器通过在所述影像信息中检测所述预设图案识别所述吊装部；

所述控制器根据识别的所述吊装部的位置信息，确定所述吊装部与所述吊钩之间的相对位置信息。

在本申请实施例的一些变更实施方式中，所述微型图像传感器包括双目摄像头；

所述控制器根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，包括：

所述控制器具体采用双目摄像头测距算法计算所述吊装部与所述吊钩之间的相对位置信息。

本申请实施例提供的用于智能塔吊取放运动检测的方法，与本申请前述实施例提供的用于智能塔吊取放运动检测的传感物联网设备及方法出于相同的发明构思，具有相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的用于智能塔吊取放运动检测的传感物联网设备及方法对应的智能塔吊，该智能塔吊配置有前述任意实施方式所提供的用于智能塔吊取放运动检测的传感物联网设备，可以执行上述任意实施方式所提供的用于智能塔吊取放运动检测的方法。

本申请实施例提供的智能塔吊，与本申请前述实施例提供的用于智能塔吊取放运动检测的传感物联网设备及方法出于相同的发明构思，具有相同的有益效果。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于塔吊吊钩自动抓取过程的传感设备，来降低塔吊吊装安全事故，下面结合示例进行说明。

在一些实施方式中，所述用于塔吊吊钩自动抓取过程的传感设备，可以包括：控制器、自动吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构；其中，

所述自动吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接；

所述控制器在通过所述吊钩驱动机构控制所述自动吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述自动吊钩运动，并控制所述视觉传感器朝向所述自动吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号控制所述自动吊钩抓取货物。

其中，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述自动吊钩可以采用现有技术提供的任意自动吊钩实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有显示屏，以便于塔吊操控人员通过显示屏查看吊钩周围的实况画面，相应的，上述根据所述视觉传感信号控制所述自动吊钩抓取货物，可以是指通过设于操控台的显示屏播放该视觉传感信号，使塔吊操控人员准确了解吊钩周围情况，并操控自动吊钩自动挂取货物。

另外，上述控制器与视觉传感器、传感器驱动机构可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将视觉传感器、传感器驱动机构与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题导致安全事故。

通过为智能塔吊配置用于塔吊吊钩自动抓取过程的传感设备，可以通过设置控制器、自动吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构，使所述自动吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接，以及所述控制器在通过所述吊钩驱动机构控制所述自动吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述自动吊钩运动，并控制所述视觉传感器朝向所述自动吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号控制所述自动吊钩抓取货物，从而能够使得视觉传感器跟随自动吊钩运动而近距离采集视觉传感信号，相较于现有技术中安装变焦摄像机的方式，可以避免手动变焦影响塔吊操控人员操作或自动变焦失准致使画面模糊的问题，无需塔吊操控人员进行额外操作即可自动采集到高清、精准的视觉传感信号，使得塔吊操控人员能够根据该视觉传感信号观察到吊钩状况、周边环境和障碍物等情况，解决“隔山吊”等盲区安全隐患，确保盲区吊装安全，基于该视觉传感信号，还可进一步利用自动吊钩自动抓取货物，减少钩吊不准等问题，且无需司索工采用人工作业方式向吊钩上吊装货物，可减少司索工、指挥等工作人员的参与工作，从而进一步减少人工被货物误伤的几率，降低安全事故发生率。

在本申请实施例的一些变更实施方式中，所述吊钩驱动机构包括第一小车，所述传感器驱动机构包括第二小车，所述第一小车和所述第二小车均设于塔吊的起重臂上并沿起重臂移动。

具体的，在一些实施方式中，所述视觉传感器通过绳索滑轮组件吊装于所述第二小车上，并根据所述第二小车沿所述起重臂的移动而沿水平方向移动，以及根据所述绳索滑轮组件的收放动作而沿垂直方向移动。

其中，所述第一小车和所述第二小车可以共用一套变幅钢丝绳牵引移动，此种情况下，第一小车和第二小车需要保持固定距离，例如3米、5米等，此外，所述第一小车和所述第二小车也可以采用两套不同的变幅钢丝绳分别牵引移动，使得第一小车和第二小车之间的距离可以调节，以便于调节视觉传感器到自动吊钩的距离，获得较好的观察视野。

另外，所述第一小车和所述第二小车需要采用两套不同的起升钢丝绳分别牵引自动吊钩和视觉传感器升降，使得视觉传感器既可以与自动吊钩持平，也可以高于自动吊钩或者低于自动吊钩进行信号采集，以应用于各种工况而获得较佳的观察视野。

通过设置第二小车单独驱动视觉传感器，可以根据实际工况灵活调整视觉传感器与自动吊钩之间的跟随关系，例如，可以调整视觉传感器与自动吊钩之间沿变幅方向保持3米间隔，沿高度方向保持米间隔，或者，调整视觉传感器与自动吊钩之间沿变幅方向保持米间隔，沿高度方向保持平行(间隔为零)等，以获得较佳的观察视野。

其中，跟随关系确定后，控制器可以在控制自动吊钩运动时，自动控制视觉传感器根据上述跟随关系进行跟随运动，以保持相同的观察视野。另外，作业人员也可以根据实际需求自行调整上述跟随关系，本申请实施例并不限定其具体数值。

需要说明的是，本申请实施例中所涉及的跟随，是指视觉传感器与自动吊钩在运动时保持一定的距离和角度，以获得相同的观察视野，提高塔吊操控人员观察体验，避免视野变换而影响塔吊操控人员观察。

本申请实施例提供的视觉传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于第二小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在另一些变更实施方式中，所述塔吊设有变幅传感器和高度传感器，所述变幅传感器用于检测所述自动吊钩的变幅位置信息，所述高度传感器用于检测所述自动吊钩的高度位置信息；

所述控制器根据所述自动吊钩的所述变幅位置信息和所述高度位置信息控制所述视觉传感器跟随所述自动吊钩运动。

其中，上述变幅传感器和高度传感器可以采用现有技术提供的传感器实现，其可以使机械式传感器，也可以是红外线传感器或者激光传感器，其均可以实现本申请实施例的目的，本申请实施例不做限定。

上述变幅位置信息可以包括自动吊钩沿变幅方向(即起重臂水平方向)到标准节之间的水平距离，上述高度位置信息可以包括自动吊钩沿垂直方向到起重臂之间的垂直距离，根据上述变幅位置信息和高度位置信息，由于视觉传感器与自动吊钩一样也是通过小车和绳索驱动的，因此，根据上述自动吊钩的变幅位置信息和高度位置信息，结合预先确定的跟随关系，即可确定视觉传感器应处位置的变幅位置信息和高度位置信息，并据此控制视觉传感器移动到上述应处位置，实现与自动吊钩的跟随运动。

在控制视觉传感器跟随自动吊钩移动时，还需要控制视觉传感器的朝向(可以通过云台控制，将视觉传感器安装于云台上，实现朝向可调)，使其能够拍摄到自动吊钩所在区域，具体的，在一些实施方式中，所述控制器还根据所述自动吊钩的所述变幅位置信息和所述高度位置信息，和所述视觉传感器的变幅位置信息和高度位置信息，确定所述视觉传感器与所述自动吊钩之间的粗略相对位置关系，并根据所述粗略相对位置关系粗调所述视觉传感器转向所述自动吊钩所在区域。由于自动吊钩和视觉传感器的变幅位置信息和高度位置信息在跟随运动时已经获得，因此，通过本实施方式，可以根据已有的数据快速地粗调所述视觉传感器转向所述自动吊钩所在区域。

考虑到粗调后自动吊钩并不一定在视觉传感器视野中的较佳位置，而且视觉传感器在高空中可能会随着空气扰动而摆动而无法准确拍摄到预期画面，因此，在上述实施方式的基础上，在一些变更实施方式中，所述控制器在将所述视觉传感器粗调向所述自动吊钩所在区域后，还通过识别所述视觉传感器采集的视觉传感信号中的自动吊钩，确定所述视觉传感器与所述自动吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号。本实施方式，可以利用现有技术提供的图像识别技术识别视觉传感信号中的自动吊钩，进而确定视觉传感器与自动吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号，该预期可以是自动吊钩位于视觉传感信号的画面中间位置，或者自动吊钩与被吊货物整体位于视觉传感信号的画面中间位置，本申请实施例不做限定。通过本实施方式，可以在粗调的基础上进一步经过微调而才记得到符合预期的视觉传感信号，提高视觉传感信号精准度，以便于利用该视觉传感信号精准地控制自动吊钩动作。

在前述任意实施方式中，上述视觉传感器可以包括云台摄像机或者激光扫描器，其均可以采集得到精准的视觉传感信号，以帮助塔吊操控人员准确了解吊钩工况，并精准控制自动吊钩吊装货物。

容易理解的是，若视觉传感器重量较轻，在高空中会随着空气扰动而摆动，影响拍摄效果，因此，在一些变更实施方式中，还可以为所述视觉传感器配置姿态稳定控制器，以帮助视觉传感器在高空中稳定姿态，减少晃动，提高拍摄效果，进而有助于帮助塔吊操控人员准确了解吊钩工况，并精准控制自动吊钩吊装货物。

其中，上述姿态稳定控制器可以采用配重、飞轮和控制力矩陀螺中的至少一者实现，其可以采用其中一个实现，也可以采用其中的多个配合实现。其中，加装配重最易于实现且实施成本最低；若加装飞轮，则飞轮应当水平放置，其产生的角动量可以有助于保持视觉传感器的姿态稳定；此外，控制力矩陀螺的原理是当给一个陀螺垂直于其旋转轴的扭矩时,会产生一个垂直于旋转轴且垂直于扭距轴的进动力矩，利用该原理，通过安装控制力矩陀螺，也可以帮助视觉传感器保持姿态的稳定，该方式稳定姿态的效果最好。

考虑到，在吊装货物时，经常因为货物绑缚不紧、勾掉不准等原因，在起升过程中发生吊钩脱落、绳索脱落等问题，导致货物散落而砸伤司索工等地面工作人员，造成安全事故，因此，需要进一步检测塔吊起升异常以降低塔吊吊装安全事故。在上述任意实施方式的基础上，在一些变更实施方式中，上述用于塔吊吊钩自动抓取过程的传感设备，还可以包括：与所述控制器通信连接的姿态传感器；

所述姿态传感器固定设置于自动吊钩上，用于实时采集所述自动吊钩的姿态数据并发送给所述控制器；

所述控制器根据所述姿态数据确定所述自动吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述自动吊钩的起升状态是否异常。

其中，上述姿态传感器可以包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有与控制器连接的显示屏和/或音响，用来通过影像和/或语音方式播报自动吊钩的起升状态是否异常，以便于塔吊操控人员了解自动吊钩的起升状态是否异常。

另外，上述控制器与姿态传感器可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将姿态传感器与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现自动吊钩的起升状态异常，进而导致安全事故。

相较于现有技术，上述用于塔吊吊钩自动抓取过程的传感设备，通过进一步设置与所述控制器通信连接的姿态传感器，且所述姿态传感器固定设置于自动吊钩上，用于实时采集所述自动吊钩的姿态数据并发送给所述控制器，所述控制器根据所述姿态数据确定所述自动吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述自动吊钩的起升状态是否异常。由于在吊钩脱落、绳索脱落前，吊钩往往会产生较大倾角、或者大幅抖动等异常，因此，利用自动吊钩的姿态数据可以较为准确地判断塔吊起升状态是否异常，以在检测到异常时及时进行针对性处理，避免货物散落而砸伤工人，降低塔吊起升阶段因吊装货物散落而导致的安全事故发生率。

本申请实施例提供的姿态传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于悬挂所述自动吊钩的小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在本申请实施例的一些变更实施方式中，所述控制器存储有所述自动吊钩空载时所述姿态传感器采集的空载姿态数据，并在接收到所述自动吊钩负载时所述姿态传感器采集的负载姿态数据后，通过比较所述负载姿态数据和所述空载姿态数据，确定所述自动吊钩的倾斜信息和摆动信息。

上述空载姿态数据是在自动吊钩空载、且周围无风的静止状态下采集的用作对比的基础姿态数据，在自动吊钩挂取货物即负载后，通过比对负载姿态数据和空载姿态数据，即可获得自动吊钩的倾斜信息和摆动信息。

其中，上述倾斜信息是指所述自动吊钩以自身为参考转动而产生的倾斜角度等信息，上述摆动信息是指所述自动吊钩以悬挂该自动吊钩的小车为参考摆动而产生的摆动角度等信息，其中，根据自动吊钩在摆动过程中所经过的路径(圆上的一段弧线)，可以推算出圆的半径，进而根据弧线长度推算出摆动角度，根据该倾斜信息和摆动信息，即可判断、预测自动吊钩的状态是否异常。

具体的，所述控制器可以采用滑动时间窗口法，根据所述倾斜信息和所述摆动信息确定单位时间窗口的倾斜变化信息和摆动变化信息，并根据所述倾斜变化信息和摆动变化信息判断所述自动吊钩的起升状态是否异常。

其中，所述倾斜变化信息包括倾斜变化幅度和单位时间窗口末期的倾斜角度中的至少一项，所述摆动变化信息包括摆动变化幅度和单位时间窗口末期的摆动角度中的至少一项。

其中，上述倾斜变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义自动吊钩向脱钩方向倾斜的倾斜角度为正，反方向的倾斜角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

上述摆动变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义自动吊钩向脱钩方向摆动的摆动角度为正，反方向的摆动角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

考虑到只通过比较阈值判断是否存在起升异常，会存在误判的概率，为了提高判断准确度，在一些变更实施方式中，所述控制器可以将所述倾斜变化信息和摆动变化信息输入预先训练的第一神经网络模型，并根据所述第一神经网络模型判断所述自动吊钩的起升状态是否异常。

其中，上述第一神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息和摆动变化信息，以及是否存在异常的标签，通过训练，使得该第一神经网络模型可以根据输入的倾斜变化信息和摆动变化信息，输出是否存在异常的标签，接下来即可利用该第一神经网络模型判断所述自动吊钩的起升状态是否异常。

上述第一神经网络模型的输入数据包括倾斜变化信息和摆动变化信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用神经网络模型较为准确的判断所述自动吊钩的起升状态是否异常，相较于根据阈值判断的方式，精准度更高。

考虑到环境风力也会影响货物的吊装牢固度，若风向与脱钩方向相同，会增大货物脱钩的概率，且风速越大，脱钩概率越大，相反的，若风向与脱钩方向相反，会降低货物脱钩的概率，为了更加准确的判断所述自动吊钩的起升状态是否异常，在一些变更实施方式中，上述用于塔吊吊钩自动抓取过程的传感设备，还包括：设于所述塔吊上的风向传感器和风速传感器；

所述风向传感器和所述风速传感器均与所述控制器连接，分别用于采集所述自动吊钩周围的风向信息和风速信息，并将所述风向信息和所述风速信息发送给所述控制器；

所述控制器还用于根据所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息综合判断所述自动吊钩的起升状态是否异常。

其具体判断方式如前所述可以基于预设阈值综合判断自动吊钩的起升状态是否异常，也可以采用神经网路来判断自动吊钩的起升状态是否异常，例如，在一些实施方式中，所述控制器可以将所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息输入预先训练的第二神经网络模型，并根据所述第二神经网络模型判断所述自动吊钩的起升状态是否异常。

其中，上述第二神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息、摆动变化信息、风向信息和所述风速信息，以及是否存在异常的标签，通过训练，使得该第二神经网络模型可以根据输入的倾斜变化信息、摆动变化信息、风向信息和所述风速信息，输出是否存在异常的标签，接下来即可利用该第二神经网络模型判断所述自动吊钩的起升状态是否异常。

与上述第一神经网络模型类似的，第二神经网络模型的输入数据包括倾斜变化信息、摆动变化信息、风向信息和风速信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出也较为简单，因此，也可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用第二神经网络模型较为准确的判断所述自动吊钩的起升状态是否异常，由于考虑了风力对脱钩异常的影响，且利用了神经网络模型进行判断，具有较高的精准度，可以更加精准地判断自动吊钩的起升状态是否异常。

在上述任意实施方式的基础上，在另一些变更实施方式中，所述用于塔吊吊钩自动抓取过程的传感设备，还可以包括：设于所述自动吊钩上的警报装置；

所述警报装置与所述控制器连接，所述控制器在检测到所述自动吊钩起升状态异常时，通过所述警报装置广播异常警报信息。

其中，该警报装置可以包括蜂鸣器、音箱等语音警报装置，通过向周围广播异常警报信息，可以警告周围工人进行疏散，从而避免货物脱钩而伤及附近工人，降低事故损失。

此外，在吊起货物后，上述控制器还可以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常，例如，以视觉传感信号为云台摄像机拍摄的实时画面为例，通过图像识别，可以识别出吊钩和绳索，通过先后拍摄的画面中吊钩和绳索的相对位置和绳索的运动趋势，可以判断是否存在异常，例如，若绳索移动至吊钩出口处预设范围内，且有继续朝向脱钩方向运动的趋势，则判断有脱钩风险，即判断塔吊吊钩的起升状态异常；否则，可以判断无脱钩风险，即判断塔吊吊钩的起升状态无异常。其中，图像识别技术为现有技术中的成熟技术，本领域技术人员可以直接采用现有技术应用于本申请以实现本申请实施例的目的。

需要说明的是，若根据姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，则具体判断方式可以是：若采用姿态数据和视觉传感信号中的任意一项判断塔吊吊钩的起升状态存在异常，则整体上判断塔吊吊钩的起升状态存在异常，否则判断塔吊吊钩的起升状态无异常。从而全面、准确的利用姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，提高准确性。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于智能塔吊起升异常状态感知的传感物联网系统，来降低塔吊吊装安全事故，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊起升异常状态感知的传感物联网系统，可以包括：控制器和与所述控制器通信连接的姿态传感器；

所述姿态传感器固定设置于塔吊吊钩上，用于实时采集所述塔吊吊钩的姿态数据并发送给所述控制器；

所述控制器根据所述姿态数据确定所述塔吊吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述塔吊吊钩的起升状态是否异常。

其中，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述姿态传感器可以包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有与控制器连接的显示屏和/或音响，用来通过影像和/或语音方式播报塔吊吊钩的起升状态是否异常，以便于塔吊操控人员了解塔吊吊钩的起升状态是否异常。

另外，上述控制器与姿态传感器可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将姿态传感器与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现塔吊吊钩的起升状态异常，进而导致安全事故。

相较于现有技术，本申请实施例提供的用于智能塔吊起升异常状态感知的传感物联网系统，通过设置控制器和与所述控制器通信连接的姿态传感器，且所述姿态传感器固定设置于塔吊吊钩上，用于实时采集所述塔吊吊钩的姿态数据并发送给所述控制器，所述控制器根据所述姿态数据确定所述塔吊吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述塔吊吊钩的起升状态是否异常。由于在吊钩脱落、绳索脱落前，吊钩往往会产生较大倾角、或者大幅抖动等异常，因此，利用塔吊吊钩的姿态数据可以较为准确地判断塔吊起升状态是否异常，以在检测到异常时及时进行针对性处理，避免货物散落而砸伤工人，降低塔吊起升阶段因吊装货物散落而导致的安全事故发生率。

本申请实施例提供的姿态传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于悬挂所述塔吊吊钩的小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在本申请实施例的一些变更实施方式中，所述控制器存储有所述塔吊吊钩空载时所述姿态传感器采集的空载姿态数据，并在接收到所述塔吊吊钩负载时所述姿态传感器采集的负载姿态数据后，通过比较所述负载姿态数据和所述空载姿态数据，确定所述塔吊吊钩的倾斜信息和摆动信息。

上述空载姿态数据是在塔吊吊钩空载、且周围无风的静止状态下采集的用作对比的基础姿态数据，在塔吊吊钩挂取货物即负载后，通过比对负载姿态数据和空载姿态数据，即可获得塔吊吊钩的倾斜信息和摆动信息。

其中，上述倾斜信息是指所述塔吊吊钩以自身为参考转动而产生的倾斜角度等信息，上述摆动信息是指所述塔吊吊钩以悬挂该塔吊吊钩的小车为参考摆动而产生的摆动角度等信息，其中，根据塔吊吊钩在摆动过程中所经过的路径(圆上的一段弧线)，可以推算出圆的半径，进而根据弧线长度推算出摆动角度，根据该倾斜信息和摆动信息，即可判断、预测塔吊吊钩的状态是否异常。

具体的，所述控制器可以采用滑动时间窗口法，根据所述倾斜信息和所述摆动信息确定单位时间窗口的倾斜变化信息和摆动变化信息，并根据所述倾斜变化信息和摆动变化信息判断所述塔吊吊钩的起升状态是否异常。

其中，所述倾斜变化信息包括倾斜变化幅度和单位时间窗口末期的倾斜角度中的至少一项，所述摆动变化信息包括摆动变化幅度和单位时间窗口末期的摆动角度中的至少一项。

其中，上述倾斜变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义塔吊吊钩向脱钩方向倾斜的倾斜角度为正，反方向的倾斜角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

上述摆动变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义塔吊吊钩向脱钩方向摆动的摆动角度为正，反方向的摆动角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

考虑到只通过比较阈值判断是否存在起升异常，会存在误判的概率，为了提高判断准确度，在一些变更实施方式中，所述控制器可以将所述倾斜变化信息和摆动变化信息输入预先训练的第一神经网络模型，并根据所述第一神经网络模型判断所述塔吊吊钩的起升状态是否异常。

其中，上述第一神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息和摆动变化信息，以及是否存在异常的标签，通过训练，使得该第一神经网络模型可以根据输入的倾斜变化信息和摆动变化信息，输出是否存在异常的标签，接下来即可利用该第一神经网络模型判断所述塔吊吊钩的起升状态是否异常。

上述第一神经网络模型的输入数据包括倾斜变化信息和摆动变化信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用神经网络模型较为准确的判断所述塔吊吊钩的起升状态是否异常，相较于根据阈值判断的方式，精准度更高。

考虑到环境风力也会影响货物的吊装牢固度，若风向与脱钩方向相同，会增大货物脱钩的概率，且风速越大，脱钩概率越大，相反的，若风向与脱钩方向相反，会降低货物脱钩的概率，为了更加准确的判断所述塔吊吊钩的起升状态是否异常，在一些变更实施方式中，上述用于智能塔吊起升异常状态感知的传感物联网系统，还包括：设于所述塔吊上的风向传感器和风速传感器；

所述风向传感器和所述风速传感器均与所述控制器连接，分别用于采集所述塔吊吊钩周围的风向信息和风速信息，并将所述风向信息和所述风速信息发送给所述控制器；

所述控制器还用于根据所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息综合判断所述塔吊吊钩的起升状态是否异常。

其具体判断方式如前所述可以基于预设阈值综合判断塔吊吊钩的起升状态是否异常，也可以采用神经网路来判断塔吊吊钩的起升状态是否异常，例如，在一些实施方式中，所述控制器可以将所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息输入预先训练的第二神经网络模型，并根据所述第二神经网络模型判断所述塔吊吊钩的起升状态是否异常。

其中，上述第二神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息、摆动变化信息、风向信息和所述风速信息，以及是否存在异常的标签，通过训练，使得该第二神经网络模型可以根据输入的倾斜变化信息、摆动变化信息、风向信息和所述风速信息，输出是否存在异常的标签，接下来即可利用该第二神经网络模型判断所述塔吊吊钩的起升状态是否异常。

与上述第一神经网络模型类似的，第二神经网络模型的输入数据包括倾斜变化信息、摆动变化信息、风向信息和风速信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出也较为简单，因此，也可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用第二神经网络模型较为准确的判断所述塔吊吊钩的起升状态是否异常，由于考虑了风力对脱钩异常的影响，且利用了神经网络模型进行判断，具有较高的精准度，可以更加精准地判断塔吊吊钩的起升状态是否异常。

在上述任意实施方式的基础上，在另一些变更实施方式中，所述用于智能塔吊起升异常状态感知的传感物联网系统，还可以包括：设于所述塔吊吊钩上的警报装置；

所述警报装置与所述控制器连接，所述控制器在检测到所述塔吊吊钩起升状态异常时，通过所述警报装置广播异常警报信息。

其中，该警报装置可以包括蜂鸣器、音箱等语音警报装置，通过向周围广播异常警报信息，可以警告周围工人进行疏散，从而避免货物脱钩而伤及附近工人，降低事故损失。

在上述任意实施方式的基础上，在一些变更实施方式中，上述用于智能塔吊起升异常状态感知的传感物联网系统还可以包括：吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构；其中，

所述吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接；

所述控制器在通过所述吊钩驱动机构控制所述吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述吊钩运动，并控制所述视觉传感器朝向所述吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常。

另外，上述控制器与视觉传感器、传感器驱动机构可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，在一些实施方式中，优选的采用有线方式，利用线缆将视觉传感器、传感器驱动机构与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题导致感知错误。

相较于现有技术，本申请实施例提供的智能塔吊通过配置用于智能塔吊起升异常状态感知的传感物联网系统，可以通过进一步增设视觉传感器和传感器驱动机构，以及在通过所述吊钩驱动机构控制所述吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述吊钩运动，并控制所述视觉传感器朝向所述吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常，从而能够使得视觉传感器跟随吊钩运动而近距离采集视觉传感信号，无需塔吊操控人员进行额外操作即可自动采集到高清、精准的视觉传感信号，并根据视觉传感信号综合的、更加准确的判断塔吊吊钩的起升状态是否异常，从而进一步减少人工被货物误伤的几率，降低安全事故发生率。

在本申请实施例的一些变更实施方式中，所述吊钩驱动机构包括第一小车，所述传感器驱动机构包括第二小车，所述第一小车和所述第二小车均设于塔吊的起重臂上并沿起重臂移动。

具体的，在一些实施方式中，所述视觉传感器通过绳索滑轮组件吊装于所述第二小车上，并根据所述第二小车沿所述起重臂的移动而沿水平方向移动，以及根据所述绳索滑轮组件的收放动作而沿垂直方向移动。

其中，所述第一小车和所述第二小车可以共用一套变幅钢丝绳牵引移动，此种情况下，第一小车和第二小车需要保持固定距离，例如米、米等，此外，所述第一小车和所述第二小车也可以采用两套不同的变幅钢丝绳分别牵引移动，使得第一小车和第二小车之间的距离可以调节，以便于调节视觉传感器到吊钩的距离，获得较好的观察视野。

另外，所述第一小车和所述第二小车需要采用两套不同的起升钢丝绳分别牵引吊钩和视觉传感器升降，使得视觉传感器既可以与吊钩持平，也可以高于吊钩或者低于吊钩进行信号采集，以应用于各种工况而获得较佳的观察视野。

通过设置第二小车单独驱动视觉传感器，可以根据实际工况灵活调整视觉传感器与吊钩之间的跟随关系，例如，可以调整视觉传感器与吊钩之间沿变幅方向保持米间隔，沿高度方向保持米间隔，或者，调整视觉传感器与吊钩之间沿变幅方向保持米间隔，沿高度方向保持平行(间隔为零)等，以获得较佳的观察视野。

其中，跟随关系确定后，控制器可以在控制吊钩运动时，自动控制视觉传感器根据上述跟随关系进行跟随运动，以保持相同的观察视野。另外，作业人员也可以根据实际需求自行调整上述跟随关系，本申请实施例并不限定其具体数值。

需要说明的是，本申请实施例中所涉及的跟随，是指视觉传感器与吊钩在运动时保持一定的距离和角度，以获得相同的观察视野，便于通过图像对比和识别判断塔吊吊钩的起升状态是否异常。

例如，以视觉传感信号为云台摄像机拍摄的实时画面为例，通过图像识别，可以识别出吊钩和绳索，通过先后拍摄的画面中吊钩和绳索的相对位置和绳索的运动趋势，可以判断是否存在异常，例如，若绳索移动至吊钩出口处预设范围内，且有继续朝向脱钩方向运动的趋势，则判断有脱钩风险，即判断塔吊吊钩的起升状态异常；否则，可以判断无脱钩风险，即判断塔吊吊钩的起升状态无异常。其中，图像识别技术为现有技术中的成熟技术，本领域技术人员可以直接采用现有技术应用于本申请以实现本申请实施例的目的。

本申请实施例提供的视觉传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于第二小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在另一些变更实施方式中，所述塔吊设有变幅传感器和高度传感器，所述变幅传感器用于检测所述吊钩的变幅位置信息，所述高度传感器用于检测所述吊钩的高度位置信息；

所述控制器根据所述吊钩的所述变幅位置信息和所述高度位置信息控制所述视觉传感器跟随所述吊钩运动。

其中，上述变幅传感器和高度传感器可以采用现有技术提供的传感器实现，其可以使机械式传感器，也可以是红外线传感器或者激光传感器，其均可以实现本申请实施例的目的，本申请实施例不做限定。

上述变幅位置信息可以包括吊钩沿变幅方向(即起重臂水平方向)到标准节之间的水平距离，上述高度位置信息可以包括吊钩沿垂直方向到起重臂之间的垂直距离，根据上述变幅位置信息和高度位置信息，由于视觉传感器与吊钩一样也是通过小车和绳索驱动的，因此，根据上述吊钩的变幅位置信息和高度位置信息，结合预先确定的跟随关系，即可确定视觉传感器应处位置的变幅位置信息和高度位置信息，并据此控制视觉传感器移动到上述应处位置，实现与吊钩的跟随运动。

在控制视觉传感器跟随吊钩移动时，还需要控制视觉传感器的朝向(可以通过云台控制，将视觉传感器安装于云台上，实现朝向可调)，使其能够拍摄到吊钩所在区域，具体的，在一些实施方式中，所述控制器还根据所述吊钩的所述变幅位置信息和所述高度位置信息，和所述视觉传感器的变幅位置信息和高度位置信息，确定所述视觉传感器与所述吊钩之间的粗略相对位置关系，并根据所述粗略相对位置关系粗调所述视觉传感器转向所述吊钩所在区域。由于吊钩和视觉传感器的变幅位置信息和高度位置信息在跟随运动时已经获得，因此，通过本实施方式，可以根据已有的数据快速地粗调所述视觉传感器转向所述吊钩所在区域。

考虑到粗调后吊钩并不一定在视觉传感器视野中的较佳位置，而且视觉传感器在高空中可能会随着空气扰动而摆动而无法准确拍摄到预期画面，因此，在上述实施方式的基础上，在一些变更实施方式中，所述控制器在将所述视觉传感器粗调向所述吊钩所在区域后，还通过识别所述视觉传感器采集的视觉传感信号中的吊钩，确定所述视觉传感器与所述吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号。本实施方式，可以利用现有技术提供的图像识别技术识别视觉传感信号中的吊钩，进而确定视觉传感器与吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号，该预期可以是吊钩位于视觉传感信号的画面中间位置，或者吊钩与被吊货物整体位于视觉传感信号的画面中间位置，本申请实施例不做限定。通过本实施方式，可以在粗调的基础上进一步经过微调而才记得到符合预期的视觉传感信号，提高视觉传感信号精准度，以便于利用该视觉传感信号精准地判断所述塔吊吊钩的起升状态是否异常。

在前述任意实施方式中，上述视觉传感器可以包括云台摄像机或者激光扫描器，其均可以采集得到精准的视觉传感信号，以结合姿态数据判断塔吊吊钩的起升状态是否异常。

具体的，若根据姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，则具体判断方式可以是：若采用姿态数据和视觉传感信号中的任意一项判断塔吊吊钩的起升状态存在异常，则整体上判断塔吊吊钩的起升状态存在异常，否则判断塔吊吊钩的起升状态无异常。从而全面、准确的利用姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，提高准确性。

容易理解的是，若视觉传感器重量较轻，在高空中会随着空气扰动而摆动，影响拍摄效果，因此，在一些变更实施方式中，还可以为所述视觉传感器配置姿态稳定控制器，以帮助视觉传感器在高空中稳定姿态，减少晃动，提高拍摄效果，进而提高塔吊吊钩起升状态异常判断的准确性。

其中，上述姿态稳定控制器可以采用配重、飞轮和控制力矩陀螺中的至少一者实现，其可以采用其中一个实现，也可以采用其中的多个配合实现。其中，加装配重最易于实现且实施成本最低；若加装飞轮，则飞轮应当水平放置，其产生的角动量可以有助于保持视觉传感器的姿态稳定；此外，控制力矩陀螺的原理是当给一个陀螺垂直于其旋转轴的扭矩时,会产生一个垂直于旋转轴且垂直于扭距轴的进动力矩，利用该原理，通过安装控制力矩陀螺，也可以帮助视觉传感器保持姿态的稳定，该方式稳定姿态的效果最好。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于智能塔吊操控的三维增强现实视频控制装置，来实现对施工现场工况的全面监测和识别，无需塔吊司机进行高空作业就能根据该三维增强现实视频实现对智能塔吊的控制，减少工作人员参与，从而可以有效降低事故发生率和避免工作人员伤亡，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊操控的三维增强现实视频控制装置，可以包括：控制器、全局摄像机和多个局部摄像机；

所述全局摄像机和所述局部摄像机均与所述控制器连接；

所述全局摄像机朝下设于所述智能塔吊起重臂上，用于拍摄所述智能塔吊工作场景的全局影像并发送给所述控制器；

所述多个局部摄像机均匀布设于所述智能塔吊的吊钩的周侧，用于在所述吊钩周侧从不同方向拍摄局部影像，并将所述局部影像发送给所述控制器；

所述控制器根据所述全局影像和所述局部影像生成表征所述智能塔吊实时工作场景的三维增强现实视频，并根据所述三维增强现实视频控制所述智能塔吊运行。

相较于现有技术，本申请实施例提供的智能塔吊通过配置用于智能塔吊操控的三维增强现实视频控制装置，可以通过设置控制器、全局摄像机和多个局部摄像机；其中，所述全局摄像机和所述局部摄像机均与所述控制器连接；所述全局摄像机朝下设于所述智能塔吊起重臂上，用于拍摄所述智能塔吊工作场景的全局影像并发送给所述控制器；所述多个局部摄像机均匀布设于所述智能塔吊的吊钩的周侧，用于在所述吊钩周侧从不同方向拍摄局部影像，并将所述局部影像发送给所述控制器；所述控制器根据所述全局影像和所述局部影像生成表征所述智能塔吊实时工作场景的三维增强现实视频，并根据所述三维增强现实视频控制所述智能塔吊运行。从而能够利用全局摄像机和局部摄像机采集塔吊工作场景的实时影像，进而生成三维增强现实视频，实现对施工现场工况的全面监测和识别，无需塔吊司机进行高空作业就能根据该三维增强现实视频实现对智能塔吊的控制，减少工作人员参与，从而可以有效降低事故发生率和避免工作人员伤亡。

关于上述局部摄像机的安装方式，在本申请实施例的一些变更实施方式中，上述用于智能塔吊操控的三维增强现实视频控制装置，还可以包括：多分支支撑架；

所述多分支支撑架安装于所述吊钩的壳体上并呈伞状打开，所述多个局部摄像机安装于所述多分支支撑架的各个分支末端。

在一些变更实施方式中，所述多分支支撑架可以包括底部固定部、套管、多个分支和可沿所述套管上下移动的可调节部；

所述底部固定部安装于所述吊钩的壳体上，所述套管套装于所述吊钩的钢丝绳上；

每个所述分支包括支撑杆和拉杆，所述支撑杆的一端与所述底部固定部连接，另一端用于安装所述局部摄像机；

所述拉杆的一端与所述可调节部连接，另一端与所述支撑杆的中部连接。

通过设置上述多分支支撑架，可以将局部摄像机安装于吊钩周围，使局部摄像机能够伴随吊钩移动，获得稳定、清晰的拍摄画面，有助于生成精准的三维增强现实视频。

需要说明的是，以上仅为多分支支撑架的简单的示意性结构，在实际应用中，可以根据实际需求对上述多分支支撑架的结构进行变更以获得更好的实施效果，其均未脱离本实施方式的发明构思，都应当在本申请的保护范围之内。

在上述实施方式的基础上，在一些变更实施方式中，所述套管外表面设有外螺纹，所述可调节部包括设有内螺纹的齿轮轴承和驱动马达，所述外螺纹与所述内螺纹相匹配；

所述驱动马达通过齿轮与所述齿轮轴承啮合连接，并与所述控制器电连接，用于在所述控制器的控制下驱动所述齿轮轴承绕所述套管旋转以上下移动。

通过上述实施方式，可以实现可调节部的电动驱动，可调节部上下移动时会带动拉杆运动，进而带动局部摄像机上下移动以及靠近或远离吊钩，从而实现局部摄像机的电控调节，有助于塔吊操控人员结合实际场景方便、灵活的调节局部摄像机的位置以获得较为理想的拍摄效果，进而生成精准的三维增强现实视频。

此外，为了提高局部摄像机的易用性，在一些变更实施方式中，所述局部摄像机通过云台安装于所述多分支支撑架的各个分支末端，通过设置云台，可以更加灵活的控制局部摄像机采集所需的影像，一方面，可以在拍摄角度出现偏差时，通过云台控制局部摄像机纠正角度偏差，从而更加精准的采集所需影像，另一方面，可以控制局部摄像机进行巡航拍摄，采集周围更大范围内的影像，以便于进一步进行全场景的三维重建，提高智能化水平。

其中，对于上述局部摄像机的数量，考虑到多个局部摄像机环绕设置带来的平衡问题和遮挡问题，一般可以设置个以上的局部摄像机，考虑到数量过多会提高生成三维增强现实视频的系统负荷和实现成本，优选的，所述局部摄像机的数量为个或个，从而兼顾实施成本和实现效果，获得较高的投入产出比。

需要说明的是，本申请实施例采用了全局摄像机与局部摄像机相结合的方式来进行影像采集，其中，全局摄像机可以拍摄得到施工场景更为全面的全局影像，但由于其安装位置较高，会存在遮挡和拍摄画面中低处物体清晰度较差的不足，因此，通过引入环绕吊钩设置的局部摄像机，可以对遮挡处的画面进行采集，减少遮挡问题，且由于局部摄像机是随吊钩移动的，可以近距离采集到清晰度更高的画面，这样，通过全局摄像机与局部摄像机的配合，将全局影像与局部影像相融合，即可得到全面、清晰、准确的影像数据，从而确保生成的三维增强现实视频能够更加精准地还原施工场地的真实情况，有助于智能塔吊基于三维增强现实视频实现精准的作业，提高智能塔吊的智能化、自动化水平和作业精准度。

上述控制器与局部摄像机可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将局部摄像机与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现塔吊挂钩的起升状态异常，进而导致安全事故。在此基础上，上述用于智能塔吊操控的三维增强现实视频控制装置，还可以包括：设于悬挂所述吊钩的小车上的卷线器；所述多个局部摄像机通过线缆与所述控制器连接，所述线缆通过所述卷线器进行收放。通过该实施方式，可以利用卷线器保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

上述三位增强现实视频可以采用三维重建技术实现，在一些实施方式中，所述控制器具体根据所述全局影像和所述局部影像，通过三维重建生成表征所述智能塔吊实时工作场景的三维增强现实视频。

例如，所述控制器具体根据所述全局摄像机和所述局部摄像机的相机位置信息，以及所述全局影像和所述局部影像中各个像素点的像素位置信息，采用稠密重建算法确定每个所述像素点对应于世界坐标系中的三维点的位置信息，并根据所述三维点构成的三维点云确定所述智能塔吊实时工作场景的三维增强现实视频。基于多幅图像进行三维重建已是较为成熟的现有技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

此外，也可以采用建筑信息模型(Building Information Modeling，BIM)工具来基于上述全局影像和局部影像生成三维增强现实视频，其也可以实现本申请实施例的目的，也应在本申请的保护范围之内。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于物联网通信的智能塔吊物料定位辅助装置，来实现物料的辅助定位，进而实现物料的自动化取放作业，无需人工控制和参与即可实现自动钩吊，从而有效提高智能塔吊的自动化、智能化水平和作业效率，降低事故发生率和避免工作人员伤亡，下面结合示例进行说明。

在一些实施方式中，所述基于物联网通信的智能塔吊物料定位辅助装置，可以包括：控制器、射频信号发射器和多个射频信号接收器；

所述射频信号发射器在使用时安装于物料上，并向周围广播射频信号；

所述多个射频信号接收器分别设于智能塔吊上多个不同的位置，并均与所述控制器通信连接；

每个所述射频信号接收器均用于接收所述射频信号发射器广播的射频信号，并将所述射频信号及其到达时间发送给所述控制器；

所述控制器用于根据每个所述射频信号接收器所处的位置信息及其发送的射频信号的到达时间，采用到达时间差TDOA算法计算所述物料的定位信息。

相较于现有技术，本申请实施例提供的基于物联网通信的智能塔吊物料定位辅助装置，通过设置控制器、射频信号发射器和多个射频信号接收器，所述射频信号发射器在使用时安装于物料上，并向周围广播射频信号；所述多个射频信号接收器分别设于智能塔吊上多个不同的位置，并均与所述控制器通信连接，每个所述射频信号接收器均用于接收所述射频信号发射器广播的射频信号，并将所述射频信号及其到达时间发送给所述控制器，所述控制器用于根据每个所述射频信号接收器所处的位置信息及其发送的射频信号的到达时间，采用到达时间差TDOA算法计算所述物料的定位信息，从而能够实现对施工现场物料的定位，有助于实现吊钩的自动化取放作业，提高智能塔吊的自动化、智能化水平和作业效率，降低事故发生率和避免工作人员伤亡。

本申请实施例采用到达时间差(Time Difference of Arrival，TDOA)算法计算所述物料的定位信息，TDOA是一种利用时间差进行定位的方法，通过测量信号(例如射频信号)到达监测站(例如本实施例中的射频信号接收器)的时间，可以确定信号源(例如本实施例中的射频信号发射器)的距离。利用信号源到多个无线电监测站的距离(以无线电监测站为中心，距离为半径作圆)，就能确定信号的位置。通过比较信号到达多个监测站的时间差，就能作出以监测站为焦点、距离差为长轴的双曲线，双曲线的交点就是射频信号发射器所处的位置即物料的位置。由于TDOA算法已是当前较为成熟的定位算法，此处不再赘述，本领域技术人员可以结合现有技术灵活应用和变更应用以实现本申请实施例的目的，其均在本申请的保护范围之内。

需要说明的是，为了实现TDOA算法，多个射频信号接收器需要时钟同步，具体的，在一些变更实施方式中，所述多个射频信号接收器与所述控制器以有线方式连接，所述控制器按照预设的时间间隔向所述多个射频信号接收器发送时钟同步信号，以使所述多个射频信号接收器保持时钟同步。这样，无需与射频信号发射器进行时钟同步，利用TDOA算法根据射频信号的到达时间即可准确计算出射频信号发射器的位置即物料的定位信息。

考虑到施工现场往往有多个物料、多个智能塔吊，因此，如何使智能塔吊施工现场的多个物料中识别出需要当前智能塔吊吊装的物料，以及如何使物料被合适的智能塔吊所吊装是进一步需要解决的问题，为了解决上述问题，在本申请实施例的一些变更实施方式中，所述射频信号发射器发射的射频信号携带有智能塔吊标识信息；

所述控制器还用于从接收的所有射频信号中筛选出携带有当前智能塔吊的智能塔吊标识信息的射频信号，并根据筛选出的射频信号的到达时间计算出需要当前智能塔吊吊装的物料的定位信息，以从施工现场的多个物料中识别出需要当前智能塔吊吊装的物料。

例如，可以对各个智能塔吊进行区分性标识，例如采用代码、编号等作为智能塔吊标识信息，在作业时，用户将射频信号发射器放置或安装在物料上，通过射频信号发射器发射的射频信号携带智能塔吊标识信息，即可确保智能塔吊根据该智能塔吊标识信息筛选出该射频信号发射器的射频信号进而定位到该射频信号发射器，从而从施工现场的多个物料中识别出需要当前智能塔吊吊装的物料。

上述射频信号发射器可以制作成电子标签，通过贴附、夹持、绑定等方式安装于物料上。该射频信号发射器可以与智能塔吊进行预先绑定，也可以在施工时临时配对，例如，在一些变更实施方式中，所述射频信号发射器上设置有输入模块；

所述射频信号发射器还用于根据用户通过所述输入模块输入的智能塔吊标识生成智能塔吊标识信息。

上述输入模块可以采用键盘、触摸屏等实现，本申请实施例不做限定。通过本实施方式，工人可以在现场实时输入智能塔吊标识以选择合适的智能塔吊进行吊装，兼容性和灵活性更好。

另外，若现场有多个物料需要同一智能塔吊吊装，那么需要区分吊装次序，因此，在一些变更实施方式中，所述射频信号发射器发射的射频信号携带有吊装次序信息；

所述控制器还用于根据所述吊装次序信息确定多个需要当前智能塔吊吊装的物料的吊装次序，并根据所述吊装次序和所述需要当前智能塔吊吊装的物料的定位信息依次吊装物料。

其中，上述吊装次序信息可以包括用户通过射频信号发射器上的输入模块输入的序号信息，射频信号发射器的当前开机时间信息，或者所述射频信号的开始广播时间中的一项。

其中，若上述吊装次序信息是用户通过射频信号发射器上的输入模块输入的序号信息，则用户可以通过输入模块灵活的设置、调整各个物料的吊装顺序，具有方便快捷、灵活可调的优点。

若上述吊装次序信息是射频信号发射器的当前开机时间信息，或者所述射频信号的开始广播时间，则用户无需进行手动输入操作，只需要将射频信号发射器开机或触发广播，即可根据开机时间或者广播触发时间等时间信息自动生成相应的吊装次序信息，使用更加方便快捷。

需要说明的是，为了采用TDOA方法进行定位，所述射频信号接收器的数量至少为4个，其可以分布于智能塔吊的起重臂、塔身和吊钩上的多个位置。容易理解的是，通过测量和记录智能塔吊的回转角度、变幅信息和起升信息，结合射频信号接收器的具体安装位置，可以随时计算出射频信号接收器的实时位置信息(具体结合几何关系即可计算，此处不再赘述)，进而采用TDOA算法实现对物料的定位。

另外，所述射频信号发射器和所述射频信号接收器可以采用GPRS/4G无线通讯模块、2.4G无线通讯模块、WiFi无线通信模块等任意中远距离无线通信模块实现，考虑到塔吊高度较高，现场遮挡物较多，射频信号的通信距离需要尽量远且具有较强的穿透能力和抗干扰能力，因此，本申请实施例优选的采用433M无线模块实现所述射频信号发射器和所述射频信号接收器，由于433M无线模块信号强、传输距离长、理想传输距离在3公里左右，还有穿透、绕射能力强、传输过程衰减较小等优点，因此，可以良好的适用于智能塔吊的工作场景，从而获得较好的信号传输效果，提高本方案实施的稳定性和可靠性。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于塔吊维护保养的智能辅助机器人，来实现维护保养点的自动巡检，提高维护保养的及时性，同时能够拍摄人工维护保养视频并存证，以及自动生成维护保养记录，有助于在事故后进行追溯，此外，通过拍摄人工维护保养视频，可以激励维护保养人员认真、负责地进行维护保养，减少维护保养不到位的问题发生，从而整体上提高智能塔吊的智能化水平和安全性，下面结合示例进行说明。

在一些实施方式中，所述用于塔吊维护保养的智能辅助机器人，可以包括：控制装置、驱动装置和摄像装置；

所述驱动装置和所述摄像装置均与所述控制装置连接；

所述驱动装置用于带动所述智能辅助机器人沿智能塔吊上预设的检修路径移动；

所述控制装置用于根据预设的维护保养日程表控制所述驱动装置带动所述智能辅助机器人巡检维护保养点；

所述摄像装置用于在停留在需要人工维护保养的所述维护保养点时，拍摄人工维护保养视频并存证；

所述控制装置还用于在维护保养完成后，针对所述维护保养日程表上的各个维护保养点生成维护保养记录。

相较于现有技术，本申请实施例提供的用于塔吊维护保养的智能辅助机器人，通过设置控制装置、驱动装置和摄像装置，其中，所述驱动装置和所述摄像装置均与所述控制装置连接，所述驱动装置用于带动所述智能辅助机器人沿智能塔吊上预设的检修路径移动，所述控制装置用于根据预设的维护保养日程表控制所述驱动装置带动所述智能辅助机器人巡检维护保养点，所述摄像装置用于在停留在需要人工维护保养的所述维护保养点时，拍摄人工维护保养视频并存证，所述控制装置还用于在维护保养完成后，针对所述维护保养日程表上的各个维护保养点生成维护保养记录。从而能够利用智能辅助机器人进行维护保养点的自动巡检，提高维护保养的及时性，同时能够拍摄人工维护保养视频并存证，以及自动生成维护保养记录，有助于在事故后进行追溯，此外，通过拍摄人工维护保养视频，可以激励维护保养人员认真、负责地进行维护保养，减少维护保养不到位的问题发生，从而整体上提高智能塔吊的智能化水平和安全性。

其中，上述控制装置可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述摄像装置可以采用现有技术提供的任意摄像机实现，本申请实施例不做限定。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：与所述控制装置连接的电子标签阅读器；

所述维护保养点设置有电子标签，所述电子标签用于区分标识不同的维护保养点；

所述电子标签阅读器用于在所述智能辅助机器人的移动过程中检测电子标签，并在检测到电子标签时向所述控制装置发送所述电子标签的标签信息；

所述控制装置还用于根据所述标签信息识别所述维护保养点。

通过本实施方式，可以利用电子标签实现对维护保养点的标识，使得智能辅助机器人能够通过阅读该电子标签识别所述维护保养点，进而进行针对性的维护保养，以及完成巡检，同时避免遗漏维护保养点。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：与所述控制装置连接的显示装置；

所述控制装置还用于在停留在需要人工维护保养的所述维护保养点时，控制所述显示装置播放当前维护保养点的维护保养指导信息。

通过播放所述维护保养指导信息，可以指导维护保养人员正确、高效地完成维护保养作业，避免维护保养错误或维护保养不到位等问题的出现。

在本申请实施例的一些变更实施方式中，沿所述智能塔吊上预设的检修路径设置有钢链；

所述驱动装置包括与所述钢链耦合的齿轮结构，用于带动所述智能辅助机器人沿所述钢链移动。

由于对于智能塔吊而言，有大量的检修路径是需要攀爬的，因此，通过本实施方式，可以使智能辅助机器人能够沿所述检修路径攀爬而到达各个位置的维护保养点，确保本方案的安全、顺利实施。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：壳体；

所述控制装置、驱动装置和摄像装置均通过所述壳体固定安装；

所述壳体的外表面设置有滚轮和铷铁硼磁铁，所述汝铁硼磁铁用于将所述智能辅助机器人吸在智能塔吊上，所述滚轮用于与所述智能塔吊接触以使所述智能辅助机器人能够沿所述智能塔吊移动。

通过本实施方式，可以确保智能辅助机器人能够吸附在智能塔吊塔身上移动，避免智能辅助机器人在高空中随风摆动等情况的发生，提高作业稳定性和安全性。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：通信装置；

所述通信装置与所述控制装置连接；

所述控制装置还用于在巡检前通过所述通信装置向维护保养人员携带的终端发送本次巡检的维护保养日程表，以使所述维护保养人员根据所述维护保养日程表随所述智能辅助机器人巡检维护保养点。

通过本实施方式，可以及时有效地提醒维护保养人员进行维护保养，并通过发送维护保养日程表使维护保养人员了解维护保养内容，提高维护保养效率以及避免维护保养不及时情况的发生。

在本申请实施例的一些变更实施方式中，所述控制装置还用于在巡检期间，通过所述通信装置向所述智能塔吊的控制器发送表示正在进行维护保养的警示信息，以使所述控制器避免在维护保养期间进行施工作业。

通过本实施方式，可以在巡检期间避免智能塔吊施工作业，提高安全性，避免施工与维护保养同时进行而导致的安全事故发生。

在本申请实施例的一些变更实施方式中，所述控制装置还用于在停留在需要人工维护保养的所述维护保养点时，控制所述摄像装置采集维护保养人员的人脸图像，并根据所述人脸图像对所述维护保养人员进行身份识别和认证，并在认证失败后向所述维护保养人员播放表示认证失败的警示信息。

通过本实施方式，可以实现对维护保养人员的身份认证，避免维护保养人员顶替作业、非法人员(指不具备维护保养资格的人员)进行维护等情况导致的导致维护保养错误和不到位等问题，提高维护保养质量和到位率。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于图像分析的塔吊物料分类识别系统，来自动识别物料，进而针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展，下面结合示例进行说明。

在一些实施方式中，所述基于图像分析的塔吊物料分类识别系统，可以包括：

图像组获取模块，用于获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

属性信息确定模块，用于根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

物料类别匹配模块，用于根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

相较于现有技术，本申请实施例提供的基于图像分析的塔吊物料分类识别系统，通过获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像，根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息，根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息，由于塔吊所装卸的物料类别较为明确且特点鲜明，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

其中，本申请实施例提供的基于图像分析的塔吊物料分类识别系统可以由智能塔吊的控制器实现，由控制器实现对塔吊物料的自动分类识别，并进一步针对不同类别的物料自动选择合理的方式进行装卸，例如，选择合适的吊钩进行吊装，针对玻璃和钢材选择不同的吊装速度等，从而减少装卸事故的发生，促进塔吊无人化、智能化的发展。

在本申请实施例的一些变更实施方式中，所述属性信息确定模块，包括：

初始图像查询单元，用于根据采集所述物料图像的每台摄像机的姿态信息，从初始图像数据库中查询与所述姿态信息对应的初始图像，所述姿态信息包括所述摄像机的拍摄位置信息和拍摄角度信息，所述初始图像数据库中存储有每台所述摄像机对应于所述姿态信息采集的初始图像，所述初始图像是在所述物料进场前采集的；

图像比对单元，用于通过将所述物料图像组中的每幅物料图像，分别与采集所述物料图像的摄像机在相同姿态下预先采集的所述初始图像进行比对，识别出每幅物料图像中的物料主体；

属性信息确定单元，用于根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息。

在上述实施方式的基础上，对于形状信息和尺寸信息的提取，在本申请实施例的一些变更实施方式中，所述属性信息确定单元，包括：

坐标转换关系确定子单元，用于确定每台所述摄像机对应的像素坐标系与世界坐标系的坐标转换关系；

坐标转换子单元，用于根据所述坐标转换关系，将每幅物料图像中所述物料主体的像素坐标转换为在世界坐标系中的世界坐标；

形状尺寸确定子单元，用于根据所述世界坐标确定所述物料的形状信息和尺寸信息。

其中，确定摄像机的上述坐标转换关系，将像素坐标转换为世界坐标已是较为成熟的现有技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

在前述实施方式的基础上，对于纹理信息的提取，在本申请实施例的一些变更实施方式中，所述属性信息确定单元，包括：

纹理确定子单元，用于采用纹理识别算法识别每幅所述物料图像中的物料主体的纹理信息。

上述纹理识别算法可以采用现有技术提供的任意纹理特征提取算法实现，例如局部二值模式(Local Binary Patterns，LBP)算法，基于OpenCV的纹理识别算法等，都可以实现本申请实施例的目的，由于其均为现有成熟技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

实际应用中，塔吊常用来吊装的物料主要是钢筋、木楞、混凝土、钢管、玻璃等建筑施工用原材料，其形状、尺寸、纹理存在较大的差别，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

在本申请实施例的一些变更实施方式中，所述摄像机包括双目摄像机，所述双目摄像机采集的所述物料图像携带有景深信息；

所述属性信息确定模块，包括：

基于景深确定单元，用于根据所述物料图像组中每幅物料图像携带的景深信息，确定所述物料的属性信息。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于故障识别模型的智能塔吊维护管理系统，来根据智能塔吊日常的指令执行到位率来预测故障发生率，并在超过警戒值时输出对应的维护保养策略，进而在故障发生前随时地、针对性地对可能出现故障的部件进行维护保养，将故障消灭在萌芽状态，可以有效减少故障的发生，提高智能塔吊的智能化水平、自动化水平和安全性，下面结合示例进行说明。

在一些实施方式中，所述基于故障识别模型的智能塔吊维护管理系统，可以包括：

执行信息获取模块，用于获取智能塔吊控制器实时发出的控制指令对应的执行监测信息；

到位率计算模块，用于根据所述执行监测信息计算所述控制指令的指令执行到位率；

故障识别模块，用于将所述控制指令及其指令执行到位率输入预先训练的故障识别模型，并获得所述故障识别模型预测的故障发生率；

维护策略输出模块，用于若所述故障发生率大于预设警戒值，则查询所述控制指令对应的执行机构的维护保养策略并输出。

相较于现有技术，本申请实施例提供的基于故障识别模型的智能塔吊维护管理系统，通过获取智能塔吊控制器实时发出的控制指令对应的执行监测信息，然后根据所述执行监测信息计算所述控制指令的指令执行到位率，再将所述控制指令及其指令执行到位率输入预先训练的故障识别模型，并获得所述故障识别模型预测的故障发生率，若所述故障发生率大于预设警戒值，则查询所述控制指令对应的执行机构的维护保养策略并输出，由于大部分故障是积小成大而导致的，在故障发生前，往往会存在着细微的异常表现，例如指令执行不到位、指令执行到位率低等，因此，本方案能够根据智能塔吊日常的指令执行到位率来预测故障发生率，并在超过警戒值时输出对应的维护保养策略，进而在故障发生前随时地、针对性地对可能出现故障的部件进行维护保养，将故障消灭在萌芽状态，可以有效减少故障的发生，提高智能塔吊的智能化水平、自动化水平和安全性。

其中，本申请实施例查询到的维护保养策略可以输出到显示屏等显示设备，以便于塔吊操控人员根据该维护保养策略以人工方式进行保养，此外，查询到的维护保养策略也可以输出到维护保养机器人(用于塔吊维护保养的智能辅助机器人)，利用该维护保养机器人实现对智能塔吊的自动保养，实现智能塔吊的自动化、无人化、智能化维护保养，促进塔吊无人化、智能化的发展，上述方式均可以实现本申请实施例的目的，均应在本申请的保护范围之内。

上述执行监测信息包括从所述控制指令发出开始监测到的所述控制指令对应的执行机构的动作信息，所述动作信息包括动作幅度、动作时间和动作速度中的至少一项。上述动作信息都可以用来判断执行机构的指令执行情况，以及用来计算执行机构的指令执行到位率。上述执行机构包括起升机构、回转机构和变幅机构，智能塔吊上可以针对上述执行机构安装对应的传感器来监测其动作信息，例如，通过安装摄像机采用图像识别分析的方式监测其动作信息，又如，通过安装激光测距仪、加速度仪、陀螺仪等传感器来监测其动作信息，本申请实施例并不限定其具体实现方式，本领域技术人员可以采用现有技术提供的任意方式来实现上述动作信息的采集。

在采集到上述动作信息后，即可判断对应控制指令的指令执行到位率，在本申请实施例中，可以通过执行时长来计算指令执行到位率，在本申请实施例的一些变更实施方式中，所述到位率计算模块，包括：

执行时长计算单元，用于根据所述执行监测信息确定从所述控制指令下发开始到所述控制指令的执行情况符合预设到位条件的实际执行到位时长；

到位率计算单元，用于根据所述实际执行到位时长与所述控制指令对应的标准执行到位时长的比值，确定所述控制指令的指令执行到位率。

例如，控制指令是以1米/秒的速度起升吊钩，吊钩由静态加速到1米/秒的标准执行到位时长是2秒，如果实际执行到位时长4秒，那么，对应的指令执行到位率为2秒/4秒＝50％；又如，控制指令是控制变幅小车刹车，标准执行到位时长是0.5秒，如果实际执行到位时长0.5秒，那么，对应的指令执行到位率为0.5秒/0.5秒＝100％。以上均为示例性说明，本领域技术人员技术人员可以根据实际情况灵活设置上述标准执行到位时长的具体数值和上述指令执行到位率的具体计算方式，其均在本申请的保护范围之内。

在计算出指令执行到位率后，可以输入预先训练的故障识别模型以预测故障发生率，需要说明的是，在本申请实施例的一些变更实施方式中，所述基于故障识别模型的智能塔吊维护管理系统还包括：

历史信息获取模块，用于获取所述智能塔吊在故障发生前的所有历史控制指令及其对应的历史执行监测信息；

历史到位率计算模块，用于根据所述历史控制指令和所述历史执行监测信息，计算所述历史控制指令对应的历史执行到位率；

历史到位率排序模块，用于对所述历史执行到位率按照时间进行排序，得到历史执行到位率集合；

故障率赋值模块，用于对所述历史执行到位率集合中的各个所述历史执行到位率，根据距离故障发生的时间进行故障发生率赋值，其中，距离故障发生的时间越短，赋值的故障发生率越高；

学习样本生成模块，用于生成机器学习样本，其中，每条所述机器学习样本包括一个所述历史控制指令及其对应的历史执行监测信息和故障发生率；

模型训练模块，用于根据所述机器学习样本训练故障识别模型，得到预先训练的故障识别模型。

本实施方式通过采集大量的历史数据，来计算历史执行到位率(即历史的指令执行到位率)并按照控制指令的下发时间进行排序，然后，针对每一个实际发生的故障，通过故障检测来识别与该故障相关的执行机构和控制指令，然后根据距离故障发生的时间，对与该故障相关的控制指令对应的历史执行到位率进行故障发生率赋值，赋值的数值介于0与1之间，距离故障越近，赋值的数值越高，例如，距离故障一天内的历史执行到位率对应的故障发生率赋值为0.9，距离故障7天的历史执行到位率对应的故障发生率赋值为0.5等，本申请实施例并不限定其具体赋值方式，例如，还可以将从历史执行到位率低于100％开始至发生故障的期间记为故障隐患期，时长为L，某一控制指令对应的历史执行到位率到发生故障的时间间隔为a，那么，该历史执行到位率对应的故障发生率可以采用以下公式计算：

m₁＝1-a/L

上式中，m₁表示故障发生率，a表示控制指令对应的历史执行到位率到发生故障的时间间隔，L表示从历史执行到位率低于100％开始至发生故障的时间间隔。

此外，上述赋值还可以结合具体的历史执行到位率数值进行，例如，发生故障时的历史执行到位率为b，执行机构运行良好时的历史执行到位率为c，那么，某一历史执行到位率d对应的故障发生率可以采用以下公式计算：

上式中，m₂表示历史执行到位率d对应的故障发生率，b表示发生故障时的历史执行到位率，c表示执行机构运行良好时的历史执行到位率。

此外也可以总和上述时间因素和历史执行到位率数值因素而计算故障发生率，例如，可以根据上述m₁和m₂的乘积进一步确定故障发生率m，公式如下：

m＝m₁×m₂

上式中，m为总的故障发生率，m₁表示上述根据距离故障发生的时间进行赋值的故障发生率，m₂表示上述根据具体的历史执行到位率数值进行赋值的故障发生率，通过本实施方式，将二者相乘后得到的总的故障发生率变化幅度更大，能够更加显著的从数值上体现出故障发生率的差异，对故障的预测精准度更高，这样赋值后训练的故障识别模型灵敏度和准确性更高，有助于提高本方案整体的实施精准度。

另外，上述故障识别模型是指用于根据实际的指令执行到位率对故障发生率进行预测的模型，其可以根据历史数据生成的机器学习样本进行训练得到，本申请实施例并不限定该模型的具体实现方式，通过训练，使得该故障识别模型可以根据输入的控制指令代码及其指令执行到位率，输出对应的故障发生率。

上述故障识别模型的输入数据包括控制指令代码及其指令执行到位率，输出数据是故障发生率，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述故障识别模型以实现本申请实施例的目的，其均在本申请的保护范围之内。

在预测得到故障发生率后，即可进一步确定对应的维护保养策略，在本申请实施例的一些变更实施方式中，所述基于故障识别模型的智能塔吊维护管理系统还包括：

策略确定模块，用于针对所述控制器发送的各种控制指令，确定所述控制指令对应的执行机构及其对应的维护保养策略；

映射表生成模块，用于根据各种所述控制指令及其对应执行机构和维护保养策略生成维护保养策略映射表；

所述维护策略输出模块，包括：

映射表查询模块，用于从所述维护保养策略映射表中查询所述控制指令对应的执行机构和维护保养策略并输出。

通过本实施方式，可以预先针对各种情形设置对应的维护保养策略，并建立映射表进行存储，当检测到故障发生率大于预设警戒值时，即可从映射表中查询控制指令对应的执行机构和维护保养策略并输出，以便于针对该执行机构进行针对性的维护保养。

需要说明的是，上述维护保养策略可以有技术人员结合实际灵活设置，例如，控制变幅小车刹车的控制指令对应的故障发生率超过对应的警戒值，维护保养策略是针对小车的刹车系统进行维护保养；控制变幅小车启动的控制指令对应的故障发生率超过对应的警戒值，维护保养策略是针对小车的驱动系统进行维护保养；本申请实施例并不对上述维护保养策略的具体内容进行限定，当其用于本申请方案中时，其应在本申请的保护范围之内。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于三维物料形态模型仿真的塔吊吊具选择装置，来实现吊具选取的无人化、智能化和自动化，提高智能塔吊的智能化水平、自动化水平和安全性，下面结合示例进行说明。

在一些实施方式中，所述基于物联网通信的智能塔吊物料定位辅助装置，可以包括：

物料图像采集模块，用于获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括安装于智能塔吊不同位置的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

三维重建模块，用于根据所述物料图像组对所述物料进行三维重建，得到三维仿真物料；

吊具匹配模块，用于将备选的多个三维仿真吊具依次与所述三维仿真物料进行匹配，并选出匹配度最高的三维仿真吊具；

吊具选取模块，用于控制所述智能塔吊从吊具池中选取与所述三维仿真吊具对应的吊具。

相较于现有技术，本申请实施例提供的基于三维物料形态模型仿真的塔吊吊具选择装置，通过获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括安装于智能塔吊不同位置的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像，然后根据所述物料图像组对所述物料进行三维重建，得到三维仿真物料，再将备选的多个三维仿真吊具依次与所述三维仿真物料进行匹配，并选出匹配度最高的三维仿真吊具，最后控制所述智能塔吊从吊具池中选取与所述三维仿真吊具对应的吊具，本方案能够通过三维重建构建物料对应的三维仿真物料，并通过仿真匹配确定三维仿真吊具，然后即可直接地、针对性地从吊具池中选取合适的吊具对物料进行吊装，可以实现吊具选取的无人化、智能化和自动化，提高智能塔吊的智能化水平、自动化水平和安全性。

其中，本申请实施例提供的基于三维物料形态模型仿真的塔吊吊具选择方法可以由智能塔吊的控制器实现，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，本申请实施例不做限定。

本申请实施例中，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程，其可以通过先对相机进行标定,即计算出相机的像素坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息，例如，基于二维图像的三维重建过程示例如下(1)-(5)所示：

(1)图像获取：在进行图像处理之前，先要用摄像装置(例如摄像机)获取三维物体的二维图像(例如本申请的物料图像)。

(2)相机标定：通过相机标定来建立有效的成像模型，求解出相机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。

(3)特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。特征点提取算法可以包括但不限于：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法等。

(4)立体匹配：立体匹配是指根据所提取的特征来建立不同图像之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及相机机特性等诸多变化因素。

(5)三维重建：有了比较精确的匹配结果，结合相机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度、相机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能比较精确地实现三维重建。

以上示例性说明了基于二维图像的三维重建过程，本领域技术人员可以参考上述示例性说明，结合实际场景灵活变更实施以根据物料图像进行三维重建以得到三维仿真物料，进而实现本申请实施例的目的，下面结合示例进一步进行说明：

在本申请实施例的一些变更实施方式中，所述三维重建模块，包括：

摄像机位置确定单元，用于确定所述物料图像组中每幅物料图像对应的摄像机位置信息；

三维重建单元，用于根据每幅所述物料图像对应的摄像机位置信息，和所述物料在每幅所述物料图像中对应的像素点的位置信息进行三维重建，得到所述物料对应的三维仿真物料。

其中，根据摄像机的安装位置，以及智能塔吊的变幅、回转、起升信息，即可实时计算出摄像机位置信息，例如，摄像机可以包括安装于智能塔吊起重臂上的全局摄像机，其能够用于拍摄所述智能塔吊工作场景的全局影像，便于根据全局影像初步定位物料所在位置以确定物料图像，其位置信息可以根据塔吊的回转信息和安装位置来计算确定；又如，摄像机还可以包括安装于吊具附近的局部摄像机，该局部摄像机用于仅举例拍摄物料，得到清晰度较高、较为准确的物料图像，该局部摄像机的位置信息可以根据塔吊的回转信息、变幅信息、起升信息和安装位置来计算确定；上述摄像机位置信息的计算根据几何关系即可实现，此处不再赘述。

在上述实施方式的基础上，在一些变更实施方式中，所述三维重建单元，包括：

稠密重建子单元，用于根据每幅所述物料图像对应的摄像机位置信息，和所述物料在每幅所述物料图像中对应的像素点的位置信息，采用稠密重建算法确定每个所述像素点对应于世界坐标系中的三维点的位置信息，并根据所述三维点构成的三维点云确定所述物料对应的三维仿真物料。

其中，稠密重建(Multiple View Stereo，MVS)算法即多视图立体几何，目的是在相机位姿已知的前提下，逐个像素点地计算图像中每一个像素点对应的三维点，得到场景物体表面密集的三维点云。

通过上述实施方式，可以准确、快速地实现三维重建，有助于提高整体的标注准确度和标注效率。

在本申请实施例的一些变更实施方式中，所述吊具匹配模块，包括：

吊具匹配单元，用于在建筑信息模型BIM软件中，将备选的多个三维仿真吊具依次与所述三维仿真物料进行匹配，并根据吊具优先级和吊装部耦合程度确定匹配度，其中，不同吊具预先设定有不同的优先级，吊装部耦合程度根据形状和尺寸耦合信息确定；

吊具选取单元，用于根据所述匹配度，从所述多个三维仿真吊具中选出匹配度最高的三维仿真吊具。

在实施时，可以对应于吊具池中的各个吊具，在建筑信息模型(BuildingInformation Modeling，BIM)软件中，预先设置对应的三维仿真吊具，并针对各个三维仿真吊具设置属性信息和优先级信息，在生成三维仿真物料后，即可在BIM软件中将三维仿真吊具依次与三维仿真物料进行匹配，并进而确定各个三维仿真吊具的匹配度。

容易理解的是，不同的吊具可以设定不同的优先级，例如，吊钩的安全性较高，其优先级要大于吊钳、夹具、吊梁等，本领域技术人员技术人员可以根据实际需求灵活设置各个吊具的优先级，此处不做限定。

另外，吊装部(即吊具与物料的接触部)的耦合程度可以根据形状和尺寸耦合信息来确定，例如，圆形与圆形的耦合程度大于圆形与矩形的耦合程度，小尺寸吊具与大尺寸物料无法耦合即耦合程度为零等，本申请实施例并不限定其具体实施方式，本领域技术人员可以根据实际情况灵活设置上述耦合程度的计算方式，其均在本申请的保护范围之内。

通过上述方式，可以利用BIM软件自动为物料选择合适的三维仿真吊具，进而针对性的选取对应的吊具，具有较高的准确度和效率。

在本申请实施例的一些变更实施方式中，针对所述智能塔吊设置有吊具池，所述吊具池内设置有多个不同的吊具，每个吊具根据其对应的吊具标识置于所述吊具池内的预设位置；

所述吊具选取模块，包括：

吊具选取模块单元，用于根据选出的匹配度最高的所述三维仿真吊具的吊具标识，控制所述智能塔吊从所述吊具池中所述吊具标识对应的预设位置选取对应的吊具。

本实施方式，可以针对不同的吊具设置吊具标识，并将吊具设于吊具池内的指定位置，这样，在匹配确定三维仿真吊具后，即可根据吊具标识快速的选取对应的吊具，提高吊具选取准确性和效率。

需要说明的是，本申请实施例所涉及的吊具，包括但不限于吊钩、吊钳、吊梁、夹具、钢板吊具、起重吊具、钢锭吊具、立式卷钢吊具、C型吊具、圆钢吊具、电动卧卷吊具、集装箱吊具、轧辊吊具等。

需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (7)

1.一种用于智能塔吊取放运动检测的传感物联网设备，其特征在于，包括：控制器和与所述控制器连接的多个微型图像传感器；

所述多个微型图像传感器均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器设于所述吊钩的钩体内侧，所述多个微型图像传感器分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；

所述控制器用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物；

所述多个微型图像传感器中的至少一个设于所述吊钩的柄部朝向吊钩开口一侧，用于在所述吊装部进入所述吊钩钩内前采集所述吊装部的钩外影像信息；

所述控制器用于根据所述钩外影像信息检测所述吊装部在所述吊钩钩外的钩外相对位置信息，并根据所述钩外相对位置信息控制所述吊钩靠近所述吊装部；

设于所述钩体内侧的微型图像传感器用于在所述吊装部进入所述吊钩钩内后采集所述吊装部的钩内影像信息；

所述控制器用于根据所述钩内影像信息检测所述吊装部进入钩内后的钩内相对位置信息，并根据所述钩内相对位置信息控制所述吊钩勾住所述吊装部；

所述控制器还用于在将所述待装卸货物吊起后，根据所述钩内相对位置信息检测所述待装卸货物是否存在脱钩危险。

2.根据权利要求1所述的用于智能塔吊取放运动检测的传感物联网设备，其特征在于，所述微型图像传感器的信息采集端面设有透明保护罩，所述透明保护罩用于防护所述微型图像传感器被污染和/或被所述吊装部撞击损坏。

3.根据权利要求2所述的用于智能塔吊取放运动检测的传感物联网设备，其特征在于，所述吊钩上设置有多个凹槽，所述微型图像传感器嵌入所述凹槽内，且所述透明保护罩的外表面齐平或低于所述凹槽的上表面。

4.根据权利要求1所述的用于智能塔吊取放运动检测的传感物联网设备，其特征在于，所述待装卸货物的吊装部设有区别于其他部位的预设图案；

所述控制器用于通过在所述影像信息中检测所述预设图案识别所述吊装部。

5.根据权利要求1所述的用于智能塔吊取放运动检测的传感物联网设备，其特征在于，所述微型图像传感器包括双目摄像头，所述控制器具体用于采用双目摄像头测距算法计算所述吊装部与所述吊钩之间的相对位置信息。

6.一种用于智能塔吊取放运动检测的方法，其特征在于，用于权利要求1至5任一项所述的用于智能塔吊取放运动检测的传感物联网设备，所述方法包括：

所述多个微型图像传感器分别在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；

所述控制器根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。

7.一种智能塔吊，其特征在于，所述智能塔吊设置有权利要求1至5任一项所述的用于智能塔吊取放运动检测的传感物联网设备。

Images