CN114572845A - 用于智能塔吊工况检测的智能辅助机器人及其控制方法 - Google Patents

Abstract

本申请提供一种用于智能塔吊工况检测的智能辅助机器人及其控制方法。其中，所述用于智能塔吊工况检测的智能辅助机器人，包括：壳体、移动模块、控制模块、环境扫描模块和无线通信模块；所述环境扫描模块用于在所述智能塔吊施工前，随着所述移动模块的移动扫描所述智能塔吊周围的环境数据；所述控制模块用于根据所述环境数据确定表征当前是否适合施工的工况信息，并将所述工况信息发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。本申请方案能够使得智能塔吊了解施工现场的工况是否适合施工，确保在物料周围无人员的情况下再开始施工，避免施工时有人员在物料附近而给人员造成人身伤害。

Description

用于智能塔吊工况检测的智能辅助机器人及其控制方法

技术领域

本申请涉及智能塔吊技术领域，具体涉及一种用于智能塔吊工况检测的智能辅助机器人及其控制方法。

背景技术

随着建筑业的发展，建筑施工的机械化程度逐年提高，塔式起重机(简称塔吊)作为一种能够实现垂直和水平运输物料的机械，特别是因其起升高度高、起升重量大、工作幅度大等特点，在建筑业得到了广泛的应用。

随着塔吊安全事故的频繁发生，为了保护塔吊操作人员、司索工的人身安全，以及减少人为失误导致的安全事故，无人驾驶塔吊即智能塔吊成为新的研发方向。

另外，由于施工现场经常有人员进入，如果未对施工现场进行检查就贸然施工，有可能会危及施工现场人员的安全，因此，如何使智能塔吊了解施工现场的工况是否适合施工，成为当前亟待解决的问题。

发明内容

本申请的目的是提供一种用于智能塔吊工况检测的智能辅助机器人及其控制方法。

本申请第一方面提供一种用于智能塔吊工况检测的智能辅助机器人，包括：壳体、移动模块、控制模块、环境扫描模块和无线通信模块；其中，

所述壳体设于所述移动模块上，所述控制模块、所述环境扫描模块和所述无线通信模块均设于所述壳体上，所述移动模块、所述环境扫描模块和所述无线通信模块均与所述控制模块连接；

所述移动模块用于在所述控制模块的控制下带动所述智能辅助机器人在智能塔吊周围的地面上移动；

所述环境扫描模块与所述控制模块连接，用于在所述智能塔吊施工前，随着所述移动模块的移动，在所述控制模块的控制下扫描所述智能塔吊周围的环境数据，并将扫描得到的环境数据发送给所述控制模块；

所述控制模块用于根据所述环境数据确定表征当前是否适合施工的工况信息，并将所述工况信息通过所述无线通信模块发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。

本申请第二方面提供一种用于智能塔吊工况检测的智能辅助机器人的控制方法，用于本申请第一方面提供的用于智能塔吊工况检测的智能辅助机器人，所述方法包括：

控制模块控制所述移动模块带动所述智能辅助机器人在智能塔吊周围的地面上移动；

在所述智能塔吊施工前，随着所述移动模块的移动，所述控制模块控制所述环境扫描模块扫描所述智能塔吊周围的环境数据；

所述控制模块根据所述环境数据确定表征当前是否适合所述智能塔吊施工的工况信息，并将所述工况信息通过所述无线通信模块发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。

本申请第三方面提供一种智能塔吊，所述智能塔吊配置有本申请第一方面提供的用于智能塔吊工况检测的智能辅助机器人。

相较于现有技术，本申请提供的用于智能塔吊工况检测的智能辅助机器人及其控制方法，通过设置壳体、移动模块、控制模块、环境扫描模块和无线通信模块，其中，所述壳体设于所述移动模块上，所述控制模块、所述环境扫描模块和所述无线通信模块均设于所述壳体上，所述移动模块、所述环境扫描模块和所述无线通信模块均与所述控制模块连接，所述移动模块用于在所述控制模块的控制下带动所述智能辅助机器人在智能塔吊周围的地面上移动，所述环境扫描模块与所述控制模块连接，用于在所述智能塔吊施工前，随着所述移动模块的移动，在所述控制模块的控制下扫描所述智能塔吊周围的环境数据，并将扫描得到的环境数据发送给所述控制模块，所述控制模块用于根据所述环境数据确定表征当前是否适合施工的工况信息，并将所述工况信息通过所述无线通信模块发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。从而使得智能辅助机器人能够在施工前自动检测施工现场的物料和人员情况，并生成表示当前是否适合施工的工况信息发送给控制器，进而使所述控制器根据所述工况信息确定是否开始施工，即可以使得智能塔吊了解施工现场的工况是否适合施工，确保在物料周围无人员的情况下再开始施工，避免施工时有人员在物料附近而给人员造成人身伤害，整体上提高智能塔吊的智能化水平和安全性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请的一些实施方式所提供的一种用于智能塔吊工况检测的智能辅助机器人的结构示意图；

图2示出了本申请的一些实施方式所提供的一种智能塔吊的结构示意图；

图3示出了本申请的一些实施方式所提供的一种用于智能塔吊工况检测的智能辅助机器人的控制方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种用于智能塔吊工况检测的智能辅助机器人及其控制方法，下面结合实施例及附图进行示例性说明。

请参考图1，其示出了本申请的一些实施方式所提供的一种用于智能塔吊工况检测的智能辅助机器人的结构示意图，以下示例性说明可以结合图2进行理解，如图1所示，所述用于智能塔吊工况检测的智能辅助机器人，可以包括壳体101、移动模块102、控制模块103、环境扫描模块104和无线通信模块105；其中，

所述壳体101设于所述移动模块102上，所述控制模块103、所述环境扫描模块104和所述无线通信模块105均设于所述壳体101上，所述移动模块102、所述环境扫描模块104和所述无线通信模块105均与所述控制模块103连接；

所述移动模块102用于在所述控制模块103的控制下带动所述智能辅助机器人在智能塔吊周围的地面上移动；

所述环境扫描模块104与所述控制模块103连接，用于在所述智能塔吊施工前，随着所述移动模块102的移动，在所述控制模块103的控制下扫描所述智能塔吊周围的环境数据，并将扫描得到的环境数据发送给所述控制模块103；

所述控制模块103用于根据所述环境数据确定表征当前是否适合施工的工况信息，并将所述工况信息通过所述无线通信模块105发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。

相较于现有技术，本申请实施例提供的用于智能塔吊工况检测的智能辅助机器人，通过设置壳体101、移动模块102、控制模块103、环境扫描模块104和无线通信模块105，其中，所述壳体101设于所述移动模块102上，所述控制模块103、所述环境扫描模块104和所述无线通信模块105均设于所述壳体101上，所述移动模块102、所述环境扫描模块104和所述无线通信模块105均与所述控制模块103连接，所述移动模块102用于在所述控制模块103的控制下带动所述智能辅助机器人在智能塔吊周围的地面上移动，所述环境扫描模块104与所述控制模块103连接，用于在所述智能塔吊施工前，随着所述移动模块102的移动，在所述控制模块103的控制下扫描所述智能塔吊周围的环境数据，并将扫描得到的环境数据发送给所述控制模块103，所述控制模块103用于根据所述环境数据确定表征当前是否适合施工的工况信息，并将所述工况信息通过所述无线通信模块105发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。从而使得智能辅助机器人能够在施工前自动检测施工现场的物料和人员情况，并生成表示当前是否适合施工的工况信息发送给控制器，进而使所述控制器根据所述工况信息确定是否开始施工，即可以使得智能塔吊了解施工现场的工况是否适合施工，确保在物料周围无人员的情况下再开始施工，避免施工时有人员在物料附近而给人员造成人身伤害，整体上提高智能塔吊的智能化水平和安全性。

其中，上述控制模块103可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，本申请实施例不做限定。

上述环境扫描模块104可以采用现有技术提供的任意激光扫描器、双目摄像机和深度摄像机中的至少一者实现，例如，上述环境扫描模块104可以采用现有技术提供的任意激光扫描器、双目摄像机和深度摄像机中的任意一者实现，也可以采用其中任意两者或三者的组合实现，本申请实施例不做限定。

上述无线通信模块105可以采用LoRa无线通信模块105、433M无线模块等实现，由于LoRa无线通信模块105和433M无线模块信号强、传输距离长、理想传输距离在3公里左右，还有穿透、绕射能力强、传输过程衰减较小、易组网、成本低等优点，因此，可以良好的适用于智能塔吊的工作场景，从而获得较好的信号传输效果，提高本方案实施的稳定性和可靠性，本申请实施例不做限定。

在本申请实施例的一些变更实施方式中，所述控制模块103具体用于根据所述环境数据，采用与所述环境扫描模块104对应的同步定位与地图构建(SimultaneousLocalization And Mapping，SLAM)算法对周围环境进行同步建图，并根据构建的环境地图确定表征当前是否适合施工的工况信息。

同步定位与地图构建SLAM是指携带传感器的运动物体，在运动过程中实现自身定位，并以适当的方式对周围环境进行同步建图的过程，其可以看作是自身定位与构建地图两种技术的结合，是应用在机器人领域的较为成熟的算法。具体一点解释就是：一个移动式的机器人从一个完全未知的环境中的任意地点开始移动，在运动的过程中不断地使用传感器(例如上述环境扫描模块104)来观测周围的环境特征，以此进行自身位姿的定位，即机器人的位置和角度，与此同时，再根据机器人与环境的相对位姿信息，来不停的更新和构建周围环境的“增量式地图”，帮助移动式机器人构建一个生成周围三维环境数据的感知系统，从而实现移动机器人的自主移动和环境感知。

目前，SLAM已是机器人领域较为成熟的技术，本领域技术人员可以采用现有技术提供的任意SLAM算法直接或变更实施来实现本申请实施例的目的，本申请不做限定。

考虑到，对于不同环境扫描模块104采集的不同数据，需要采用不同的SLAM算法，因此，本申请实施例可以根据实际采用的环境扫描模块104，采用与所述环境扫描模块104对应的SLAM算法对周围环境进行同步建图，例如，若环境扫描模块104采用激光扫描器，那么需要采用与激光扫描器对应的基于激光点云数据的SLAM算法对周围环境进行同步建图；若环境扫描模块104采用双目摄像机，那么需要采用与双目摄像机对应的基于双目视觉图像的SLAM算法对周围环境进行同步建图；若环境扫描模块104采用深度摄像机，那么需要采用与深度摄像机对应的基于深度图像的SLAM算法对周围环境进行同步建图；若环境扫描模块104采用激光扫描器、双目摄像机和深度摄像机中的多个实现，那么需要采用对应的融合SLAM算法对周围环境进行同步建图；以上均为现有技术中的成熟技术手段，本领域技术人员可以采用现有技术提供的任意SLAM算法直接或变更实施来实现本申请实施例的目的，此处不再赘述。

通过上述实施方式，可以采用SLAM算法实现周围环境地图的实时构建，从而准确的确定当前是否适合施工的工况信息。

在上述实施方式的基础上，在一些变更实施方式中，所述控制模块103具体用于在构建的环境地图中识别物料和人员，并在识别到物料且物料周围预设范围内无人员的情况下生成表示当前适合施工的工况信息，否则生成表示当前不适合施工的工况信息。

其中，上述物料是指需要智能塔吊吊装的物料，例如钢筋、木楞、混凝土、钢管、玻璃等建筑施工用原材料，若在施工现场识别到上述物料，则具备基础的施工条件，此外，为了保护地面工作人员的人身安全，还需要识别上述物料周围是否有人员，若周围预设范围内无人员，则适合施工，若有人员，则不适合施工。上述预设范围可以根据实际需要灵活设定，例如3米、5米等，本申请实施例不做限定。

通过本实施方式，可以在识别到物料且物料周围预设范围内无人员的情况下生成表示当前适合施工的工况信息并发送给控制器，避免控制器在不合适的工况下施工而导致的安全问题。

在上述实施方式的基础上，在一些变更实施方式中，上述物料上设有物料标识图案；

所述环境扫描模块104包括双目摄像机或深度摄像机，所述环境数据包括图像数据；

所述控制模块103具体用于通过在所述图像数据中检测所述物料标识图案识别所述物料。

其中，上述物料标识图案需要采用能够区分于周围环境的图案实现，其可以采用喷枪喷涂于物料表面，也可以以贴纸的形式贴附于物料表面，或者将该预设图案设于标识板上，再将该标识板通过夹具夹持在物料上，本申请实施例并不限定其具体实施方式，上述方式及其结合均可实现本申请实施例的目的，都应在本申请的保护范围之内。

由于上述物料标识图案区别于周围环境，因此，在上述图像数据中，通过图案匹配识别即可检测出上述物料标识图案，从而在上述图像数据中识别出物料。基于图案的图像识别技术已是当前较为成熟的技术，因此此处不再赘述，本领域技术人员可以采用现有技术公开的任意基于图案的图像识别技术来实现本申请实施例的目的，其均应在本申请的保护范围之内。

通过本实施方式，可以利用物料标识图案实现对物料的区分性标识，有助于提高智能辅助机器人识别物料的准确率和效率。

另外，针对不同的物料，可以设置与该物料对应的、不同的物料标识图案，以使得智能辅助机器人可以根据该物料标识图案来识别物料的类别，以进一步帮助控制器进行更加准确的决策，例如，施工现场有多种物料时，控制器可以根据识别的物料的类别来确定各种物料的吊装优先级等，提高施工合理性和自动施工效率。

此外，上述物料的识别还可以采用其他实施方式实现，例如，在一些变更实施方式中，所述物料上设有用于标识所述物料的电子标签；

所述智能辅助机器人还包括：与所述控制模块103连接的电子标签阅读器；

所述电子标签阅读器用于在所述智能辅助机器人的移动过程中检测所述电子标签，并在检测到所述电子标签时向所述控制模块103发送所述电子标签的标签信息；

所述控制模块103具体用于根据所述标签信息识别所述物料。

通过本实施方式，可以采用电子标签的方式对物料进行标识，电子标签可以携带更多的物料信息，例如类别、数量、重量、吊装优先级等信息，可以使控制器更加合理的规划施工计划并进行合理施工，提高智能塔吊的智能化和自动化水平。

对于人员的识别，在一些变更实施方式中，上述所述控制模块103具体用于利用人物识别算法在所述图像数据中检测人员，并在所述环境地图中确定所述物料和所述人员的位置，以及确定所述物料周围预设范围内是否有人员。

基于图像的人物识别算法已是当前较为成熟的技术，因此此处不再赘述，本领域技术人员可以采用现有技术公开的任意基于图像的人物识别算法来实现本申请实施例的目的，其均应在本申请的保护范围之内。

在检测到物料和人员后，可以在构建的环境地图中标识出上述物料和人员的位置，并计算上述物料和人员之间的距离，进而确定所述物料周围预设范围内是否有人员。

通过本实施方式，可以较为准确的识别出物料和人员并确定二者之间的距离，以准确判断物料周围预设范围内是否有人员，进而确定当前是否适合施工，提高施工的安全性。

对于上述移动模块102，可以采用现有技术提供的任意轮式移动机构、足式移动机构或履带式移动机构实现。对于移动式机器人来说，轮式移动机构是应用最多的一种结构，在平坦地面上，轮式移动的方式是最优越的，能保证高效的移动速率，对于较为复杂的地面，可以采用履带式移动机构获得更好的穿过性能和稳定性，对于高低不平起伏较大的地面，可以采用足式移动机构实现。本领域技术人员可以针对不同施工环境，采用合适的移动模块102来实现本申请实施例的目的，本申请并不限定上述移动模块102的具体实现方式。

在上述的实施例中，提供了一种用于智能塔吊工况检测的智能辅助机器人，与之相对应的，本申请还提供一种用于智能塔吊工况检测的智能辅助机器人的控制方法。本申请实施例提供的用于智能塔吊工况检测的智能辅助机器人的控制方法可以基于上述用于智能塔吊工况检测的智能辅助机器人实现，请参考图3，其示出了本申请的一些实施方式所提供的一种用于智能塔吊工况检测的智能辅助机器人的控制方法的流程图。由于该方法实施例基本相似于上述系统实施例，所以描述得比较简单，相关之处参见前述系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

如图3所示，一种用于智能塔吊工况检测的智能辅助机器人的控制方法，可以由上述任意实施例提供的用于智能塔吊工况检测的智能辅助机器人执行，其可以包括以下步骤：

步骤S101：控制模块控制所述移动模块带动所述智能辅助机器人在智能塔吊周围的地面上移动。

步骤S102：在所述智能塔吊施工前，随着所述移动模块的移动，所述控制模块控制所述环境扫描模块扫描所述智能塔吊周围的环境数据。

步骤S103：所述控制模块根据所述环境数据确定表征当前是否适合所述智能塔吊施工的工况信息，并将所述工况信息通过所述无线通信模块发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。

在本申请实施例的一些变更实施方式中，所述控制模块根据所述环境数据确定表征当前是否适合所述智能塔吊施工的工况信息，包括：

所述控制模块根据所述环境数据，采用与所述环境扫描模块对应的同步定位与地图构建SLAM算法对周围环境进行同步建图，并根据构建的环境地图确定表征当前是否适合施工的工况信息。

在本申请实施例的一些变更实施方式中，所述根据构建的环境地图确定表征当前是否适合施工的工况信息，包括：

所述控制模块在构建的环境地图中识别物料和人员，并在识别到物料且物料周围预设范围内无人员的情况下生成表示当前适合施工的工况信息，否则生成表示当前不适合施工的工况信息。

在本申请实施例的一些变更实施方式中，所述物料上设有物料标识图案；

所述环境扫描模块包括双目摄像机或深度摄像机，所述环境数据包括图像数据；

所述控制模块在构建的环境地图中识别物料，包括：

所述控制模块通过在所述图像数据中检测所述物料标识图案识别所述物料。

在本申请实施例的一些变更实施方式中，所述控制模块在构建的环境地图中识别人员，包括：

所述控制模块利用人物识别算法在所述图像数据中检测人员，并在所述环境地图中确定所述物料和所述人员的位置，以及确定所述物料周围预设范围内是否有人员。

在本申请实施例的一些变更实施方式中，所述物料上设有用于标识所述物料的电子标签；

所述智能辅助机器人还包括：与所述控制模块连接的电子标签阅读器；

所述方法还包括：所述电子标签阅读器在所述智能辅助机器人的移动过程中检测所述电子标签，并在检测到所述电子标签时向所述控制模块发送所述电子标签的标签信息；

所述控制模块在构建的环境地图中识别物料，包括：

所述控制模块根据所述标签信息识别所述物料。

在本申请实施例的一些变更实施方式中，所述环境扫描模块包括：激光扫描器、双目摄像机和深度摄像机中的至少一者。

在本申请实施例的一些变更实施方式中，所述移动模块包括：轮式移动机构、足式移动机构或履带式移动机构。

本申请实施例提供的用于智能塔吊工况检测的智能辅助机器人的控制方法，与本申请前述实施例提供的用于智能塔吊工况检测的智能辅助机器人及其控制方法出于相同的发明构思，具有相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的用于智能塔吊工况检测的智能辅助机器人及其控制方法对应的智能塔吊，可参考图2进行理解，该智能塔吊配置有前述任意实施方式所提供的用于智能塔吊工况检测的智能辅助机器人，可以执行上述任意实施方式所提供的用于智能塔吊工况检测的智能辅助机器人的控制方法以使智能塔吊了解施工现场的工况是否适合施工。

本申请实施例提供的智能塔吊，与本申请前述实施例提供的用于智能塔吊工况检测的智能辅助机器人及其控制方法出于相同的发明构思，具有相同的有益效果。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于塔吊吊钩自动抓取过程的传感设备，来降低塔吊吊装安全事故，下面结合示例进行说明。

在一些实施方式中，所述用于塔吊吊钩自动抓取过程的传感设备，可以包括：控制器、自动吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构；其中，

所述自动吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接；

所述控制器在通过所述吊钩驱动机构控制所述自动吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述自动吊钩运动，并控制所述视觉传感器朝向所述自动吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号控制所述自动吊钩抓取货物。

其中，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述自动吊钩可以采用现有技术提供的任意自动吊钩实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有显示屏，以便于塔吊操控人员通过显示屏查看吊钩周围的实况画面，相应的，上述根据所述视觉传感信号控制所述自动吊钩抓取货物，可以是指通过设于操控台的显示屏播放该视觉传感信号，使塔吊操控人员准确了解吊钩周围情况，并操控自动吊钩自动挂取货物。

另外，上述控制器与视觉传感器、传感器驱动机构可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将视觉传感器、传感器驱动机构与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题导致安全事故。

通过为智能塔吊配置用于塔吊吊钩自动抓取过程的传感设备，可以通过设置控制器、自动吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构，使所述自动吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接，以及所述控制器在通过所述吊钩驱动机构控制所述自动吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述自动吊钩运动，并控制所述视觉传感器朝向所述自动吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号控制所述自动吊钩抓取货物，从而能够使得视觉传感器跟随自动吊钩运动而近距离采集视觉传感信号，相较于现有技术中安装变焦摄像机的方式，可以避免手动变焦影响塔吊操控人员操作或自动变焦失准致使画面模糊的问题，无需塔吊操控人员进行额外操作即可自动采集到高清、精准的视觉传感信号，使得塔吊操控人员能够根据该视觉传感信号观察到吊钩状况、周边环境和障碍物等情况，解决“隔山吊”等盲区安全隐患，确保盲区吊装安全，基于该视觉传感信号，还可进一步利用自动吊钩自动抓取货物，减少钩吊不准等问题，且无需司索工采用人工作业方式向吊钩上吊装货物，可减少司索工、指挥等工作人员的参与工作，从而进一步减少人工被货物误伤的几率，降低安全事故发生率。

在本申请实施例的一些变更实施方式中，所述吊钩驱动机构包括第一小车，所述传感器驱动机构包括第二小车，所述第一小车和所述第二小车均设于塔吊的起重臂上并沿起重臂移动。

具体的，在一些实施方式中，所述视觉传感器通过绳索滑轮组件吊装于所述第二小车上，并根据所述第二小车沿所述起重臂的移动而沿水平方向移动，以及根据所述绳索滑轮组件的收放动作而沿垂直方向移动。

其中，所述第一小车和所述第二小车可以共用一套变幅钢丝绳牵引移动，此种情况下，第一小车和第二小车需要保持固定距离，例如3米、5米等，此外，所述第一小车和所述第二小车也可以采用两套不同的变幅钢丝绳分别牵引移动，使得第一小车和第二小车之间的距离可以调节，以便于调节视觉传感器到自动吊钩的距离，获得较好的观察视野。

另外，所述第一小车和所述第二小车需要采用两套不同的起升钢丝绳分别牵引自动吊钩和视觉传感器升降，使得视觉传感器既可以与自动吊钩持平，也可以高于自动吊钩或者低于自动吊钩进行信号采集，以应用于各种工况而获得较佳的观察视野。

通过设置第二小车单独驱动视觉传感器，可以根据实际工况灵活调整视觉传感器与自动吊钩之间的跟随关系，例如，可以调整视觉传感器与自动吊钩之间沿变幅方向保持3米间隔，沿高度方向保持米间隔，或者，调整视觉传感器与自动吊钩之间沿变幅方向保持米间隔，沿高度方向保持平行(间隔为零)等，以获得较佳的观察视野。

其中，跟随关系确定后，控制器可以在控制自动吊钩运动时，自动控制视觉传感器根据上述跟随关系进行跟随运动，以保持相同的观察视野。另外，作业人员也可以根据实际需求自行调整上述跟随关系，本申请实施例并不限定其具体数值。

需要说明的是，本申请实施例中所涉及的跟随，是指视觉传感器与自动吊钩在运动时保持一定的距离和角度，以获得相同的观察视野，提高塔吊操控人员观察体验，避免视野变换而影响塔吊操控人员观察。

本申请实施例提供的视觉传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于第二小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在另一些变更实施方式中，所述塔吊设有变幅传感器和高度传感器，所述变幅传感器用于检测所述自动吊钩的变幅位置信息，所述高度传感器用于检测所述自动吊钩的高度位置信息；

所述控制器根据所述自动吊钩的所述变幅位置信息和所述高度位置信息控制所述视觉传感器跟随所述自动吊钩运动。

其中，上述变幅传感器和高度传感器可以采用现有技术提供的传感器实现，其可以使机械式传感器，也可以是红外线传感器或者激光传感器，其均可以实现本申请实施例的目的，本申请实施例不做限定。

上述变幅位置信息可以包括自动吊钩沿变幅方向(即起重臂水平方向)到标准节之间的水平距离，上述高度位置信息可以包括自动吊钩沿垂直方向到起重臂之间的垂直距离，根据上述变幅位置信息和高度位置信息，由于视觉传感器与自动吊钩一样也是通过小车和绳索驱动的，因此，根据上述自动吊钩的变幅位置信息和高度位置信息，结合预先确定的跟随关系，即可确定视觉传感器应处位置的变幅位置信息和高度位置信息，并据此控制视觉传感器移动到上述应处位置，实现与自动吊钩的跟随运动。

在控制视觉传感器跟随自动吊钩移动时，还需要控制视觉传感器的朝向(可以通过云台控制，将视觉传感器安装于云台上，实现朝向可调)，使其能够拍摄到自动吊钩所在区域，具体的，在一些实施方式中，所述控制器还根据所述自动吊钩的所述变幅位置信息和所述高度位置信息，和所述视觉传感器的变幅位置信息和高度位置信息，确定所述视觉传感器与所述自动吊钩之间的粗略相对位置关系，并根据所述粗略相对位置关系粗调所述视觉传感器转向所述自动吊钩所在区域。由于自动吊钩和视觉传感器的变幅位置信息和高度位置信息在跟随运动时已经获得，因此，通过本实施方式，可以根据已有的数据快速地粗调所述视觉传感器转向所述自动吊钩所在区域。

考虑到粗调后自动吊钩并不一定在视觉传感器视野中的较佳位置，而且视觉传感器在高空中可能会随着空气扰动而摆动而无法准确拍摄到预期画面，因此，在上述实施方式的基础上，在一些变更实施方式中，所述控制器在将所述视觉传感器粗调向所述自动吊钩所在区域后，还通过识别所述视觉传感器采集的视觉传感信号中的自动吊钩，确定所述视觉传感器与所述自动吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号。本实施方式，可以利用现有技术提供的图像识别技术识别视觉传感信号中的自动吊钩，进而确定视觉传感器与自动吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号，该预期可以是自动吊钩位于视觉传感信号的画面中间位置，或者自动吊钩与被吊货物整体位于视觉传感信号的画面中间位置，本申请实施例不做限定。通过本实施方式，可以在粗调的基础上进一步经过微调而才记得到符合预期的视觉传感信号，提高视觉传感信号精准度，以便于利用该视觉传感信号精准地控制自动吊钩动作。

在前述任意实施方式中，上述视觉传感器可以包括云台摄像机或者激光扫描器，其均可以采集得到精准的视觉传感信号，以帮助塔吊操控人员准确了解吊钩工况，并精准控制自动吊钩吊装货物。

容易理解的是，若视觉传感器重量较轻，在高空中会随着空气扰动而摆动，影响拍摄效果，因此，在一些变更实施方式中，还可以为所述视觉传感器配置姿态稳定控制器，以帮助视觉传感器在高空中稳定姿态，减少晃动，提高拍摄效果，进而有助于帮助塔吊操控人员准确了解吊钩工况，并精准控制自动吊钩吊装货物。

其中，上述姿态稳定控制器可以采用配重、飞轮和控制力矩陀螺中的至少一者实现，其可以采用其中一个实现，也可以采用其中的多个配合实现。其中，加装配重最易于实现且实施成本最低；若加装飞轮，则飞轮应当水平放置，其产生的角动量可以有助于保持视觉传感器的姿态稳定；此外，控制力矩陀螺的原理是当给一个陀螺垂直于其旋转轴的扭矩时,会产生一个垂直于旋转轴且垂直于扭距轴的进动力矩，利用该原理，通过安装控制力矩陀螺，也可以帮助视觉传感器保持姿态的稳定，该方式稳定姿态的效果最好。

考虑到，在吊装货物时，经常因为货物绑缚不紧、勾掉不准等原因，在起升过程中发生吊钩脱落、绳索脱落等问题，导致货物散落而砸伤司索工等地面工作人员，造成安全事故，因此，需要进一步检测塔吊起升异常以降低塔吊吊装安全事故。在上述任意实施方式的基础上，在一些变更实施方式中，上述用于塔吊吊钩自动抓取过程的传感设备，还可以包括：与所述控制器通信连接的姿态传感器；

所述姿态传感器固定设置于自动吊钩上，用于实时采集所述自动吊钩的姿态数据并发送给所述控制器；

所述控制器根据所述姿态数据确定所述自动吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述自动吊钩的起升状态是否异常。

其中，上述姿态传感器可以包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有与控制器连接的显示屏和/或音响，用来通过影像和/或语音方式播报自动吊钩的起升状态是否异常，以便于塔吊操控人员了解自动吊钩的起升状态是否异常。

另外，上述控制器与姿态传感器可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将姿态传感器与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现自动吊钩的起升状态异常，进而导致安全事故。

相较于现有技术，上述用于塔吊吊钩自动抓取过程的传感设备，通过进一步设置与所述控制器通信连接的姿态传感器，且所述姿态传感器固定设置于自动吊钩上，用于实时采集所述自动吊钩的姿态数据并发送给所述控制器，所述控制器根据所述姿态数据确定所述自动吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述自动吊钩的起升状态是否异常。由于在吊钩脱落、绳索脱落前，吊钩往往会产生较大倾角、或者大幅抖动等异常，因此，利用自动吊钩的姿态数据可以较为准确地判断塔吊起升状态是否异常，以在检测到异常时及时进行针对性处理，避免货物散落而砸伤工人，降低塔吊起升阶段因吊装货物散落而导致的安全事故发生率。

本申请实施例提供的姿态传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于悬挂所述自动吊钩的小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在本申请实施例的一些变更实施方式中，所述控制器存储有所述自动吊钩空载时所述姿态传感器采集的空载姿态数据，并在接收到所述自动吊钩负载时所述姿态传感器采集的负载姿态数据后，通过比较所述负载姿态数据和所述空载姿态数据，确定所述自动吊钩的倾斜信息和摆动信息。

上述空载姿态数据是在自动吊钩空载、且周围无风的静止状态下采集的用作对比的基础姿态数据，在自动吊钩挂取货物即负载后，通过比对负载姿态数据和空载姿态数据，即可获得自动吊钩的倾斜信息和摆动信息。

其中，上述倾斜信息是指所述自动吊钩以自身为参考转动而产生的倾斜角度等信息，上述摆动信息是指所述自动吊钩以悬挂该自动吊钩的小车为参考摆动而产生的摆动角度等信息，其中，根据自动吊钩在摆动过程中所经过的路径(圆上的一段弧线)，可以推算出圆的半径，进而根据弧线长度推算出摆动角度，根据该倾斜信息和摆动信息，即可判断、预测自动吊钩的状态是否异常。

具体的，所述控制器可以采用滑动时间窗口法，根据所述倾斜信息和所述摆动信息确定单位时间窗口的倾斜变化信息和摆动变化信息，并根据所述倾斜变化信息和摆动变化信息判断所述自动吊钩的起升状态是否异常。

其中，所述倾斜变化信息包括倾斜变化幅度和单位时间窗口末期的倾斜角度中的至少一项，所述摆动变化信息包括摆动变化幅度和单位时间窗口末期的摆动角度中的至少一项。

其中，上述倾斜变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义自动吊钩向脱钩方向倾斜的倾斜角度为正，反方向的倾斜角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

上述摆动变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义自动吊钩向脱钩方向摆动的摆动角度为正，反方向的摆动角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

考虑到只通过比较阈值判断是否存在起升异常，会存在误判的概率，为了提高判断准确度，在一些变更实施方式中，所述控制器可以将所述倾斜变化信息和摆动变化信息输入预先训练的第一神经网络模型，并根据所述第一神经网络模型判断所述自动吊钩的起升状态是否异常。

其中，上述第一神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息和摆动变化信息，以及是否存在异常的标签，通过训练，使得该第一神经网络模型可以根据输入的倾斜变化信息和摆动变化信息，输出是否存在异常的标签，接下来即可利用该第一神经网络模型判断所述自动吊钩的起升状态是否异常。

上述第一神经网络模型的输入数据包括倾斜变化信息和摆动变化信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用神经网络模型较为准确的判断所述自动吊钩的起升状态是否异常，相较于根据阈值判断的方式，精准度更高。

考虑到环境风力也会影响货物的吊装牢固度，若风向与脱钩方向相同，会增大货物脱钩的概率，且风速越大，脱钩概率越大，相反的，若风向与脱钩方向相反，会降低货物脱钩的概率，为了更加准确的判断所述自动吊钩的起升状态是否异常，在一些变更实施方式中，上述用于塔吊吊钩自动抓取过程的传感设备，还包括：设于所述塔吊上的风向传感器和风速传感器；

所述风向传感器和所述风速传感器均与所述控制器连接，分别用于采集所述自动吊钩周围的风向信息和风速信息，并将所述风向信息和所述风速信息发送给所述控制器；

所述控制器还用于根据所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息综合判断所述自动吊钩的起升状态是否异常。

其具体判断方式如前所述可以基于预设阈值综合判断自动吊钩的起升状态是否异常，也可以采用神经网路来判断自动吊钩的起升状态是否异常，例如，在一些实施方式中，所述控制器可以将所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息输入预先训练的第二神经网络模型，并根据所述第二神经网络模型判断所述自动吊钩的起升状态是否异常。

其中，上述第二神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息、摆动变化信息、风向信息和所述风速信息，以及是否存在异常的标签，通过训练，使得该第二神经网络模型可以根据输入的倾斜变化信息、摆动变化信息、风向信息和所述风速信息，输出是否存在异常的标签，接下来即可利用该第二神经网络模型判断所述自动吊钩的起升状态是否异常。

与上述第一神经网络模型类似的，第二神经网络模型的输入数据包括倾斜变化信息、摆动变化信息、风向信息和风速信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出也较为简单，因此，也可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用第二神经网络模型较为准确的判断所述自动吊钩的起升状态是否异常，由于考虑了风力对脱钩异常的影响，且利用了神经网络模型进行判断，具有较高的精准度，可以更加精准地判断自动吊钩的起升状态是否异常。

在上述任意实施方式的基础上，在另一些变更实施方式中，所述用于塔吊吊钩自动抓取过程的传感设备，还可以包括：设于所述自动吊钩上的警报装置；

所述警报装置与所述控制器连接，所述控制器在检测到所述自动吊钩起升状态异常时，通过所述警报装置广播异常警报信息。

其中，该警报装置可以包括蜂鸣器、音箱等语音警报装置，通过向周围广播异常警报信息，可以警告周围工人进行疏散，从而避免货物脱钩而伤及附近工人，降低事故损失。

此外，在吊起货物后，上述控制器还可以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常，例如，以视觉传感信号为云台摄像机拍摄的实时画面为例，通过图像识别，可以识别出吊钩和绳索，通过先后拍摄的画面中吊钩和绳索的相对位置和绳索的运动趋势，可以判断是否存在异常，例如，若绳索移动至吊钩出口处预设范围内，且有继续朝向脱钩方向运动的趋势，则判断有脱钩风险，即判断塔吊吊钩的起升状态异常；否则，可以判断无脱钩风险，即判断塔吊吊钩的起升状态无异常。其中，图像识别技术为现有技术中的成熟技术，本领域技术人员可以直接采用现有技术应用于本申请以实现本申请实施例的目的。

需要说明的是，若根据姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，则具体判断方式可以是：若采用姿态数据和视觉传感信号中的任意一项判断塔吊吊钩的起升状态存在异常，则整体上判断塔吊吊钩的起升状态存在异常，否则判断塔吊吊钩的起升状态无异常。从而全面、准确的利用姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，提高准确性。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于智能塔吊起升异常状态感知的传感物联网系统，来降低塔吊吊装安全事故，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊起升异常状态感知的传感物联网系统，可以包括：控制器和与所述控制器通信连接的姿态传感器；

所述姿态传感器固定设置于塔吊吊钩上，用于实时采集所述塔吊吊钩的姿态数据并发送给所述控制器；

所述控制器根据所述姿态数据确定所述塔吊吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述塔吊吊钩的起升状态是否异常。

其中，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述姿态传感器可以包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有与控制器连接的显示屏和/或音响，用来通过影像和/或语音方式播报塔吊吊钩的起升状态是否异常，以便于塔吊操控人员了解塔吊吊钩的起升状态是否异常。

另外，上述控制器与姿态传感器可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将姿态传感器与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现塔吊吊钩的起升状态异常，进而导致安全事故。

相较于现有技术，本申请实施例提供的用于智能塔吊起升异常状态感知的传感物联网系统，通过设置控制器和与所述控制器通信连接的姿态传感器，且所述姿态传感器固定设置于塔吊吊钩上，用于实时采集所述塔吊吊钩的姿态数据并发送给所述控制器，所述控制器根据所述姿态数据确定所述塔吊吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述塔吊吊钩的起升状态是否异常。由于在吊钩脱落、绳索脱落前，吊钩往往会产生较大倾角、或者大幅抖动等异常，因此，利用塔吊吊钩的姿态数据可以较为准确地判断塔吊起升状态是否异常，以在检测到异常时及时进行针对性处理，避免货物散落而砸伤工人，降低塔吊起升阶段因吊装货物散落而导致的安全事故发生率。

本申请实施例提供的姿态传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于悬挂所述塔吊吊钩的小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在本申请实施例的一些变更实施方式中，所述控制器存储有所述塔吊吊钩空载时所述姿态传感器采集的空载姿态数据，并在接收到所述塔吊吊钩负载时所述姿态传感器采集的负载姿态数据后，通过比较所述负载姿态数据和所述空载姿态数据，确定所述塔吊吊钩的倾斜信息和摆动信息。

上述空载姿态数据是在塔吊吊钩空载、且周围无风的静止状态下采集的用作对比的基础姿态数据，在塔吊吊钩挂取货物即负载后，通过比对负载姿态数据和空载姿态数据，即可获得塔吊吊钩的倾斜信息和摆动信息。

其中，上述倾斜信息是指所述塔吊吊钩以自身为参考转动而产生的倾斜角度等信息，上述摆动信息是指所述塔吊吊钩以悬挂该塔吊吊钩的小车为参考摆动而产生的摆动角度等信息，其中，根据塔吊吊钩在摆动过程中所经过的路径(圆上的一段弧线)，可以推算出圆的半径，进而根据弧线长度推算出摆动角度，根据该倾斜信息和摆动信息，即可判断、预测塔吊吊钩的状态是否异常。

具体的，所述控制器可以采用滑动时间窗口法，根据所述倾斜信息和所述摆动信息确定单位时间窗口的倾斜变化信息和摆动变化信息，并根据所述倾斜变化信息和摆动变化信息判断所述塔吊吊钩的起升状态是否异常。

其中，所述倾斜变化信息包括倾斜变化幅度和单位时间窗口末期的倾斜角度中的至少一项，所述摆动变化信息包括摆动变化幅度和单位时间窗口末期的摆动角度中的至少一项。

其中，上述倾斜变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义塔吊吊钩向脱钩方向倾斜的倾斜角度为正，反方向的倾斜角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

上述摆动变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义塔吊吊钩向脱钩方向摆动的摆动角度为正，反方向的摆动角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

考虑到只通过比较阈值判断是否存在起升异常，会存在误判的概率，为了提高判断准确度，在一些变更实施方式中，所述控制器可以将所述倾斜变化信息和摆动变化信息输入预先训练的第一神经网络模型，并根据所述第一神经网络模型判断所述塔吊吊钩的起升状态是否异常。

其中，上述第一神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息和摆动变化信息，以及是否存在异常的标签，通过训练，使得该第一神经网络模型可以根据输入的倾斜变化信息和摆动变化信息，输出是否存在异常的标签，接下来即可利用该第一神经网络模型判断所述塔吊吊钩的起升状态是否异常。

上述第一神经网络模型的输入数据包括倾斜变化信息和摆动变化信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用神经网络模型较为准确的判断所述塔吊吊钩的起升状态是否异常，相较于根据阈值判断的方式，精准度更高。

考虑到环境风力也会影响货物的吊装牢固度，若风向与脱钩方向相同，会增大货物脱钩的概率，且风速越大，脱钩概率越大，相反的，若风向与脱钩方向相反，会降低货物脱钩的概率，为了更加准确的判断所述塔吊吊钩的起升状态是否异常，在一些变更实施方式中，上述用于智能塔吊起升异常状态感知的传感物联网系统，还包括：设于所述塔吊上的风向传感器和风速传感器；

所述风向传感器和所述风速传感器均与所述控制器连接，分别用于采集所述塔吊吊钩周围的风向信息和风速信息，并将所述风向信息和所述风速信息发送给所述控制器；

所述控制器还用于根据所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息综合判断所述塔吊吊钩的起升状态是否异常。

其具体判断方式如前所述可以基于预设阈值综合判断塔吊吊钩的起升状态是否异常，也可以采用神经网路来判断塔吊吊钩的起升状态是否异常，例如，在一些实施方式中，所述控制器可以将所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息输入预先训练的第二神经网络模型，并根据所述第二神经网络模型判断所述塔吊吊钩的起升状态是否异常。

其中，上述第二神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息、摆动变化信息、风向信息和所述风速信息，以及是否存在异常的标签，通过训练，使得该第二神经网络模型可以根据输入的倾斜变化信息、摆动变化信息、风向信息和所述风速信息，输出是否存在异常的标签，接下来即可利用该第二神经网络模型判断所述塔吊吊钩的起升状态是否异常。

与上述第一神经网络模型类似的，第二神经网络模型的输入数据包括倾斜变化信息、摆动变化信息、风向信息和风速信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出也较为简单，因此，也可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用第二神经网络模型较为准确的判断所述塔吊吊钩的起升状态是否异常，由于考虑了风力对脱钩异常的影响，且利用了神经网络模型进行判断，具有较高的精准度，可以更加精准地判断塔吊吊钩的起升状态是否异常。

在上述任意实施方式的基础上，在另一些变更实施方式中，所述用于智能塔吊起升异常状态感知的传感物联网系统，还可以包括：设于所述塔吊吊钩上的警报装置；

所述警报装置与所述控制器连接，所述控制器在检测到所述塔吊吊钩起升状态异常时，通过所述警报装置广播异常警报信息。

其中，该警报装置可以包括蜂鸣器、音箱等语音警报装置，通过向周围广播异常警报信息，可以警告周围工人进行疏散，从而避免货物脱钩而伤及附近工人，降低事故损失。

在上述任意实施方式的基础上，在一些变更实施方式中，上述用于智能塔吊起升异常状态感知的传感物联网系统还可以包括：吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构；其中，

所述吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接；

所述控制器在通过所述吊钩驱动机构控制所述吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述吊钩运动，并控制所述视觉传感器朝向所述吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常。

另外，上述控制器与视觉传感器、传感器驱动机构可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，在一些实施方式中，优选的采用有线方式，利用线缆将视觉传感器、传感器驱动机构与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题导致感知错误。

相较于现有技术，本申请实施例提供的智能塔吊通过配置用于智能塔吊起升异常状态感知的传感物联网系统，可以通过进一步增设视觉传感器和传感器驱动机构，以及在通过所述吊钩驱动机构控制所述吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述吊钩运动，并控制所述视觉传感器朝向所述吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常，从而能够使得视觉传感器跟随吊钩运动而近距离采集视觉传感信号，无需塔吊操控人员进行额外操作即可自动采集到高清、精准的视觉传感信号，并根据视觉传感信号综合的、更加准确的判断塔吊吊钩的起升状态是否异常，从而进一步减少人工被货物误伤的几率，降低安全事故发生率。

在本申请实施例的一些变更实施方式中，所述吊钩驱动机构包括第一小车，所述传感器驱动机构包括第二小车，所述第一小车和所述第二小车均设于塔吊的起重臂上并沿起重臂移动。

具体的，在一些实施方式中，所述视觉传感器通过绳索滑轮组件吊装于所述第二小车上，并根据所述第二小车沿所述起重臂的移动而沿水平方向移动，以及根据所述绳索滑轮组件的收放动作而沿垂直方向移动。

其中，所述第一小车和所述第二小车可以共用一套变幅钢丝绳牵引移动，此种情况下，第一小车和第二小车需要保持固定距离，例如米、米等，此外，所述第一小车和所述第二小车也可以采用两套不同的变幅钢丝绳分别牵引移动，使得第一小车和第二小车之间的距离可以调节，以便于调节视觉传感器到吊钩的距离，获得较好的观察视野。

另外，所述第一小车和所述第二小车需要采用两套不同的起升钢丝绳分别牵引吊钩和视觉传感器升降，使得视觉传感器既可以与吊钩持平，也可以高于吊钩或者低于吊钩进行信号采集，以应用于各种工况而获得较佳的观察视野。

通过设置第二小车单独驱动视觉传感器，可以根据实际工况灵活调整视觉传感器与吊钩之间的跟随关系，例如，可以调整视觉传感器与吊钩之间沿变幅方向保持米间隔，沿高度方向保持米间隔，或者，调整视觉传感器与吊钩之间沿变幅方向保持米间隔，沿高度方向保持平行(间隔为零)等，以获得较佳的观察视野。

其中，跟随关系确定后，控制器可以在控制吊钩运动时，自动控制视觉传感器根据上述跟随关系进行跟随运动，以保持相同的观察视野。另外，作业人员也可以根据实际需求自行调整上述跟随关系，本申请实施例并不限定其具体数值。

需要说明的是，本申请实施例中所涉及的跟随，是指视觉传感器与吊钩在运动时保持一定的距离和角度，以获得相同的观察视野，便于通过图像对比和识别判断塔吊吊钩的起升状态是否异常。

例如，以视觉传感信号为云台摄像机拍摄的实时画面为例，通过图像识别，可以识别出吊钩和绳索，通过先后拍摄的画面中吊钩和绳索的相对位置和绳索的运动趋势，可以判断是否存在异常，例如，若绳索移动至吊钩出口处预设范围内，且有继续朝向脱钩方向运动的趋势，则判断有脱钩风险，即判断塔吊吊钩的起升状态异常；否则，可以判断无脱钩风险，即判断塔吊吊钩的起升状态无异常。其中，图像识别技术为现有技术中的成熟技术，本领域技术人员可以直接采用现有技术应用于本申请以实现本申请实施例的目的。

本申请实施例提供的视觉传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于第二小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在另一些变更实施方式中，所述塔吊设有变幅传感器和高度传感器，所述变幅传感器用于检测所述吊钩的变幅位置信息，所述高度传感器用于检测所述吊钩的高度位置信息；

所述控制器根据所述吊钩的所述变幅位置信息和所述高度位置信息控制所述视觉传感器跟随所述吊钩运动。

其中，上述变幅传感器和高度传感器可以采用现有技术提供的传感器实现，其可以使机械式传感器，也可以是红外线传感器或者激光传感器，其均可以实现本申请实施例的目的，本申请实施例不做限定。

上述变幅位置信息可以包括吊钩沿变幅方向(即起重臂水平方向)到标准节之间的水平距离，上述高度位置信息可以包括吊钩沿垂直方向到起重臂之间的垂直距离，根据上述变幅位置信息和高度位置信息，由于视觉传感器与吊钩一样也是通过小车和绳索驱动的，因此，根据上述吊钩的变幅位置信息和高度位置信息，结合预先确定的跟随关系，即可确定视觉传感器应处位置的变幅位置信息和高度位置信息，并据此控制视觉传感器移动到上述应处位置，实现与吊钩的跟随运动。

在控制视觉传感器跟随吊钩移动时，还需要控制视觉传感器的朝向(可以通过云台控制，将视觉传感器安装于云台上，实现朝向可调)，使其能够拍摄到吊钩所在区域，具体的，在一些实施方式中，所述控制器还根据所述吊钩的所述变幅位置信息和所述高度位置信息，和所述视觉传感器的变幅位置信息和高度位置信息，确定所述视觉传感器与所述吊钩之间的粗略相对位置关系，并根据所述粗略相对位置关系粗调所述视觉传感器转向所述吊钩所在区域。由于吊钩和视觉传感器的变幅位置信息和高度位置信息在跟随运动时已经获得，因此，通过本实施方式，可以根据已有的数据快速地粗调所述视觉传感器转向所述吊钩所在区域。

考虑到粗调后吊钩并不一定在视觉传感器视野中的较佳位置，而且视觉传感器在高空中可能会随着空气扰动而摆动而无法准确拍摄到预期画面，因此，在上述实施方式的基础上，在一些变更实施方式中，所述控制器在将所述视觉传感器粗调向所述吊钩所在区域后，还通过识别所述视觉传感器采集的视觉传感信号中的吊钩，确定所述视觉传感器与所述吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号。本实施方式，可以利用现有技术提供的图像识别技术识别视觉传感信号中的吊钩，进而确定视觉传感器与吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号，该预期可以是吊钩位于视觉传感信号的画面中间位置，或者吊钩与被吊货物整体位于视觉传感信号的画面中间位置，本申请实施例不做限定。通过本实施方式，可以在粗调的基础上进一步经过微调而才记得到符合预期的视觉传感信号，提高视觉传感信号精准度，以便于利用该视觉传感信号精准地判断所述塔吊吊钩的起升状态是否异常。

在前述任意实施方式中，上述视觉传感器可以包括云台摄像机或者激光扫描器，其均可以采集得到精准的视觉传感信号，以结合姿态数据判断塔吊吊钩的起升状态是否异常。

具体的，若根据姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，则具体判断方式可以是：若采用姿态数据和视觉传感信号中的任意一项判断塔吊吊钩的起升状态存在异常，则整体上判断塔吊吊钩的起升状态存在异常，否则判断塔吊吊钩的起升状态无异常。从而全面、准确的利用姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，提高准确性。

容易理解的是，若视觉传感器重量较轻，在高空中会随着空气扰动而摆动，影响拍摄效果，因此，在一些变更实施方式中，还可以为所述视觉传感器配置姿态稳定控制器，以帮助视觉传感器在高空中稳定姿态，减少晃动，提高拍摄效果，进而提高塔吊吊钩起升状态异常判断的准确性。

其中，上述姿态稳定控制器可以采用配重、飞轮和控制力矩陀螺中的至少一者实现，其可以采用其中一个实现，也可以采用其中的多个配合实现。其中，加装配重最易于实现且实施成本最低；若加装飞轮，则飞轮应当水平放置，其产生的角动量可以有助于保持视觉传感器的姿态稳定；此外，控制力矩陀螺的原理是当给一个陀螺垂直于其旋转轴的扭矩时,会产生一个垂直于旋转轴且垂直于扭距轴的进动力矩，利用该原理，通过安装控制力矩陀螺，也可以帮助视觉传感器保持姿态的稳定，该方式稳定姿态的效果最好。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于智能塔吊操控的三维增强现实视频控制装置，来实现对施工现场工况的全面监测和识别，无需塔吊司机进行高空作业就能根据该三维增强现实视频实现对智能塔吊的控制，减少工作人员参与，从而可以有效降低事故发生率和避免工作人员伤亡，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊操控的三维增强现实视频控制装置，可以包括：控制器、全局摄像机和多个局部摄像机；

所述全局摄像机和所述局部摄像机均与所述控制器连接；

所述全局摄像机朝下设于所述智能塔吊起重臂上，用于拍摄所述智能塔吊工作场景的全局影像并发送给所述控制器；

所述多个局部摄像机均匀布设于所述智能塔吊的吊钩的周侧，用于在所述吊钩周侧从不同方向拍摄局部影像，并将所述局部影像发送给所述控制器；

所述控制器根据所述全局影像和所述局部影像生成表征所述智能塔吊实时工作场景的三维增强现实视频，并根据所述三维增强现实视频控制所述智能塔吊运行。

相较于现有技术，本申请实施例提供的智能塔吊通过配置用于智能塔吊操控的三维增强现实视频控制装置，可以通过设置控制器、全局摄像机和多个局部摄像机；其中，所述全局摄像机和所述局部摄像机均与所述控制器连接；所述全局摄像机朝下设于所述智能塔吊起重臂上，用于拍摄所述智能塔吊工作场景的全局影像并发送给所述控制器；所述多个局部摄像机均匀布设于所述智能塔吊的吊钩的周侧，用于在所述吊钩周侧从不同方向拍摄局部影像，并将所述局部影像发送给所述控制器；所述控制器根据所述全局影像和所述局部影像生成表征所述智能塔吊实时工作场景的三维增强现实视频，并根据所述三维增强现实视频控制所述智能塔吊运行。从而能够利用全局摄像机和局部摄像机采集塔吊工作场景的实时影像，进而生成三维增强现实视频，实现对施工现场工况的全面监测和识别，无需塔吊司机进行高空作业就能根据该三维增强现实视频实现对智能塔吊的控制，减少工作人员参与，从而可以有效降低事故发生率和避免工作人员伤亡。

关于上述局部摄像机的安装方式，在本申请实施例的一些变更实施方式中，上述用于智能塔吊操控的三维增强现实视频控制装置，还可以包括：多分支支撑架；

所述多分支支撑架安装于所述吊钩的壳体上并呈伞状打开，所述多个局部摄像机安装于所述多分支支撑架的各个分支末端。

在一些变更实施方式中，所述多分支支撑架可以包括底部固定部、套管、多个分支和可沿所述套管上下移动的可调节部；

所述底部固定部安装于所述吊钩的壳体上，所述套管套装于所述吊钩的钢丝绳上；

每个所述分支包括支撑杆和拉杆，所述支撑杆的一端与所述底部固定部连接，另一端用于安装所述局部摄像机；

所述拉杆的一端与所述可调节部连接，另一端与所述支撑杆的中部连接。

通过设置上述多分支支撑架，可以将局部摄像机安装于吊钩周围，使局部摄像机能够伴随吊钩移动，获得稳定、清晰的拍摄画面，有助于生成精准的三维增强现实视频。

需要说明的是，以上仅为多分支支撑架的简单的示意性结构，在实际应用中，可以根据实际需求对上述多分支支撑架的结构进行变更以获得更好的实施效果，其均未脱离本实施方式的发明构思，都应当在本申请的保护范围之内。

在上述实施方式的基础上，在一些变更实施方式中，所述套管外表面设有外螺纹，所述可调节部包括设有内螺纹的齿轮轴承和驱动马达，所述外螺纹与所述内螺纹相匹配；

所述驱动马达通过齿轮与所述齿轮轴承啮合连接，并与所述控制器电连接，用于在所述控制器的控制下驱动所述齿轮轴承绕所述套管旋转以上下移动。

通过上述实施方式，可以实现可调节部的电动驱动，可调节部上下移动时会带动拉杆运动，进而带动局部摄像机上下移动以及靠近或远离吊钩，从而实现局部摄像机的电控调节，有助于塔吊操控人员结合实际场景方便、灵活的调节局部摄像机的位置以获得较为理想的拍摄效果，进而生成精准的三维增强现实视频。

此外，为了提高局部摄像机的易用性，在一些变更实施方式中，所述局部摄像机通过云台安装于所述多分支支撑架的各个分支末端，通过设置云台，可以更加灵活的控制局部摄像机采集所需的影像，一方面，可以在拍摄角度出现偏差时，通过云台控制局部摄像机纠正角度偏差，从而更加精准的采集所需影像，另一方面，可以控制局部摄像机进行巡航拍摄，采集周围更大范围内的影像，以便于进一步进行全场景的三维重建，提高智能化水平。

其中，对于上述局部摄像机的数量，考虑到多个局部摄像机环绕设置带来的平衡问题和遮挡问题，一般可以设置个以上的局部摄像机，考虑到数量过多会提高生成三维增强现实视频的系统负荷和实现成本，优选的，所述局部摄像机的数量为个或个，从而兼顾实施成本和实现效果，获得较高的投入产出比。

需要说明的是，本申请实施例采用了全局摄像机与局部摄像机相结合的方式来进行影像采集，其中，全局摄像机可以拍摄得到施工场景更为全面的全局影像，但由于其安装位置较高，会存在遮挡和拍摄画面中低处物体清晰度较差的不足，因此，通过引入环绕吊钩设置的局部摄像机，可以对遮挡处的画面进行采集，减少遮挡问题，且由于局部摄像机是随吊钩移动的，可以近距离采集到清晰度更高的画面，这样，通过全局摄像机与局部摄像机的配合，将全局影像与局部影像相融合，即可得到全面、清晰、准确的影像数据，从而确保生成的三维增强现实视频能够更加精准地还原施工场地的真实情况，有助于智能塔吊基于三维增强现实视频实现精准的作业，提高智能塔吊的智能化、自动化水平和作业精准度。

上述控制器与局部摄像机可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将局部摄像机与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现塔吊挂钩的起升状态异常，进而导致安全事故。在此基础上，上述用于智能塔吊操控的三维增强现实视频控制装置，还可以包括：设于悬挂所述吊钩的小车上的卷线器；所述多个局部摄像机通过线缆与所述控制器连接，所述线缆通过所述卷线器进行收放。通过该实施方式，可以利用卷线器保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

上述三位增强现实视频可以采用三维重建技术实现，在一些实施方式中，所述控制器具体根据所述全局影像和所述局部影像，通过三维重建生成表征所述智能塔吊实时工作场景的三维增强现实视频。

例如，所述控制器具体根据所述全局摄像机和所述局部摄像机的相机位置信息，以及所述全局影像和所述局部影像中各个像素点的像素位置信息，采用稠密重建算法确定每个所述像素点对应于世界坐标系中的三维点的位置信息，并根据所述三维点构成的三维点云确定所述智能塔吊实时工作场景的三维增强现实视频。基于多幅图像进行三维重建已是较为成熟的现有技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

此外，也可以采用建筑信息模型(Building Information Modeling，BIM)工具来基于上述全局影像和局部影像生成三维增强现实视频，其也可以实现本申请实施例的目的，也应在本申请的保护范围之内。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于智能塔吊取放运动检测的传感物联网设备，来实现对吊钩和货物的自动检测和相对位置计算，进而实现吊钩的自动化取放作业，无需人工控制和参与即可实现自动钩吊，从而有效提高智能塔吊的自动化、智能化水平，降低事故发生率和避免工作人员伤亡，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊取放运动检测的传感物联网设备，可以包括：控制器和与所述控制器连接的多个微型图像传感器；

所述多个微型图像传感器均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器设于所述吊钩的钩体内侧，所述多个微型图像传感器分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；

所述控制器用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。

相较于现有技术，本申请实施例提供的智能塔吊，通过配置上述用于智能塔吊取放运动检测的传感物联网设备，可以通过设置控制器和与所述控制器连接的多个微型图像传感器；所述多个微型图像传感器均设于所述智能塔吊的吊钩上，其中至少一个所述微型图像传感器设于所述吊钩的钩体内侧，所述多个微型图像传感器分别用于在所述吊钩的不同位置采集待装卸货物的吊装部的影像信息，并将所述影像信息发送给所述控制器；所述控制器用于根据所述影像信息检测所述吊装部与所述吊钩之间的相对位置信息，并根据所述相对位置信息控制所述吊钩运动以取放所述待装卸货物。从而能够实现对吊钩和货物的自动检测和相对位置计算，有助于实现吊钩的自动化取放作业，提高智能塔吊的自动化、智能化水平，降低事故发生率和避免工作人员伤亡。

其中，上述相对位置信息包括相对方向、相对距离、相对角度等至少一种信息，本申请实施例并不限定其具体内容，本领域技术人员可以结合实际需求灵活选择使用。

在本申请实施例的一些变更实施方式中，所述多个微型图像传感器中的至少一个设于所述吊钩的柄部朝向吊钩开口一侧，用于在所述吊装部进入所述吊钩钩内前采集所述吊装部的钩外影像信息；所述控制器用于根据所述钩外影像信息检测所述吊装部在所述吊钩钩外的钩外相对位置信息，并根据所述钩外相对位置信息控制所述吊钩靠近所述吊装部。

通过本实施方式，可以通过设置在钩外的微型图像传感器来采集钩外影像信息，进而利用该钩外影像信息确定吊装部在所述吊钩钩外的钩外相对位置信息，从而可以确保控制器能够控制所述吊钩准确运动到吊装部所在位置，无需人工控制和参与即可实现自动钩吊。

在本申请实施例的一些变更实施方式中，设于所述钩体内侧的微型图像传感器用于在所述吊装部进入所述吊钩钩内后采集所述吊装部的钩内影像信息；

所述控制器用于根据所述钩内影像信息检测所述吊装部进入钩内后的钩内相对位置信息，并根据所述钩内相对位置信息控制所述吊钩勾住所述吊装部。

通过本实施方式，可以通过设置在钩内的微型图像传感器来采集钩内影像信息，进而利用该钩内影像信息确定吊装部在所述吊钩钩内的钩内相对位置信息，从而可以确保控制器能够控制所述吊钩微调，使吊装部准确落到吊钩钩内，无需人工控制和参与即可实现自动钩吊。

例如，可以在吊钩上设置4个微型图像传感器，其中微型图像传感器A和B设于钩外，用于采集钩外影像信息，微型图像传感器C和D设于钩内，用于采集钩内影像信息，从而实现对吊钩内外工况的全面监测。

在本申请实施例的一些变更实施方式中，所述控制器还用于在将所述待装卸货物吊起后，根据所述钩内相对位置信息检测所述待装卸货物是否存在脱钩危险。结合上述示例，利用吊钩钩内顶端朝下设置的微型图像传感器C采集的钩内影像信息，可以准确判断吊装部是否位于安全区域(例如钩底预设范围内为安全区域)，如果位于安全区域内，可以进行起吊，如果位于安全区域内，则说明存在脱钩危险，需要重新调整吊钩的位置，直至确保安全后再进行起吊。

在本申请实施例的一些变更实施方式中，所述微型图像传感器的信息采集端面设有透明保护罩，所述透明保护罩用于防护所述微型图像传感器被污染和/或被所述吊装部撞击损坏。所述透明保护罩可以采用玻璃或透明亚克力实现，本申请示例并不限定其具体材质。考虑到工地环境较为恶劣，粉尘较多，且吊装时吊钩容易与吊装部发生碰撞，通过本实施方式，可以有效防护所述微型图像传感器被粉尘、雨水等污染，以及有效防护所述微型图像传感器被所述吊装部撞击损坏。

考虑到撞击力度较大时，玻璃或者亚克力等透明保护罩有可能被撞碎进而损坏微型图像传感器，因此，在本申请实施例的一些变更实施方式中，所述吊钩上设置有多个凹槽，所述微型图像传感器嵌入所述凹槽内，且所述透明保护罩的外表面齐平或低于所述凹槽的上表面。通过将微型图像传感器及透明保护罩嵌入凹槽内，即使吊装部与吊钩发生撞击，撞击产生的冲击力也是由吊钩本体承受，而不会损坏微型图像传感器，从而可以有效提高微型图像传感器的使用寿命。

在上述任意实施方式的基础上，在一些变更实施方式中，上述待装卸货物的吊装部设有区别于其他部位的预设图案；

所述控制器用于通过在所述影像信息中检测所述预设图案识别所述吊装部。

其中，上述预设图案可以采用喷枪喷涂于吊装部，也可以以贴纸的形式贴附于吊装部，或者将该预设图案设于标识板上，再将该标识板通过夹具夹持在吊装部，本申请实施例并不限定其具体实施方式，上述方式及其结合均可实现本申请实施例的目的，都应在本申请的保护范围之内。

由于该预设图案区别于其他部位，因此，在上述影像信息中，通过图案匹配识别即可检测出上述预设图案，从而在影像信息中识别出吊装部。基于图案的图像识别技术已是当前较为成熟的技术，因此此处不再赘述，本领域技术人员可以采用现有技术公开的任意基于图案的图像识别技术来实现本申请实施例的目的，其均应在本申请的保护范围之内。

通过本实施方式，可以利用预设图案实现对吊装部的区分性标识，有助于提高控制器识别吊装部的准确率和效率，进而提高智能塔吊的智能化水平和安全性。

另外，由于本申请实施例的目的之一在于识别吊装部与吊钩之间的相对位置信息，为了获得深度信息进而确定三维空间的相对位置信息，在一些实施方式中，上述微型图像传感器包括双目摄像头，所述控制器具体用于采用双目摄像头测距算法计算所述吊装部与所述吊钩之间的相对位置信息。

其中，基于双目摄像头的测距算法已是当前较为成熟的技术，因此此处不再赘述，本领域技术人员可以采用现有技术公开的任意双目摄像头测距算法来实现本申请实施例的目的，其均应在本申请的保护范围之内。

通过本实施方式，可以利用双目摄像头及其对应的测距算法准确计算出吊装部与吊钩之间的相对位置信息，进而精准地控制吊钩运动以实现自动取放，可以有效提高吊钩取放运动的精准性和效率。

需要说明的是，上述微型图像传感器可以采用CCD传感器实现，也可以采用CMOS传感器实现，其均可以实现本申请实施例的目的，此处不做限定。

另外，考虑到微型图像传感器嵌入凹槽的情况下，无线通信信号会受到吊钩主体金属结构的屏蔽而无法有效传输，因此，为了提高智能塔吊的安全性，在一些实施方式中，所述用于智能塔吊取放运动检测的传感物联网设备，还包括：设于悬挂所述吊钩的小车上的卷线器；

所述多个微型图像传感器均通过线缆与所述控制器连接，所述线缆通过所述卷线器进行收放。

具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题导致安全事故。上述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行，提高智能塔吊的安全性。

此外，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述吊钩可以采用现有技术提供的任意自动吊钩实现，本申请实施例不做限定。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于物联网通信的智能塔吊物料定位辅助装置，来实现物料的辅助定位，进而实现物料的自动化取放作业，无需人工控制和参与即可实现自动钩吊，从而有效提高智能塔吊的自动化、智能化水平和作业效率，降低事故发生率和避免工作人员伤亡，下面结合示例进行说明。

在一些实施方式中，所述基于物联网通信的智能塔吊物料定位辅助装置，可以包括：控制器、射频信号发射器和多个射频信号接收器；

所述射频信号发射器在使用时安装于物料上，并向周围广播射频信号；

所述多个射频信号接收器分别设于智能塔吊上多个不同的位置，并均与所述控制器通信连接；

每个所述射频信号接收器均用于接收所述射频信号发射器广播的射频信号，并将所述射频信号及其到达时间发送给所述控制器；

所述控制器用于根据每个所述射频信号接收器所处的位置信息及其发送的射频信号的到达时间，采用到达时间差TDOA算法计算所述物料的定位信息。

相较于现有技术，本申请实施例提供的基于物联网通信的智能塔吊物料定位辅助装置，通过设置控制器、射频信号发射器和多个射频信号接收器，所述射频信号发射器在使用时安装于物料上，并向周围广播射频信号；所述多个射频信号接收器分别设于智能塔吊上多个不同的位置，并均与所述控制器通信连接，每个所述射频信号接收器均用于接收所述射频信号发射器广播的射频信号，并将所述射频信号及其到达时间发送给所述控制器，所述控制器用于根据每个所述射频信号接收器所处的位置信息及其发送的射频信号的到达时间，采用到达时间差TDOA算法计算所述物料的定位信息，从而能够实现对施工现场物料的定位，有助于实现吊钩的自动化取放作业，提高智能塔吊的自动化、智能化水平和作业效率，降低事故发生率和避免工作人员伤亡。

本申请实施例采用到达时间差(Time Difference of Arrival，TDOA)算法计算所述物料的定位信息，TDOA是一种利用时间差进行定位的方法，通过测量信号(例如射频信号)到达监测站(例如本实施例中的射频信号接收器)的时间，可以确定信号源(例如本实施例中的射频信号发射器)的距离。利用信号源到多个无线电监测站的距离(以无线电监测站为中心，距离为半径作圆)，就能确定信号的位置。通过比较信号到达多个监测站的时间差，就能作出以监测站为焦点、距离差为长轴的双曲线，双曲线的交点就是射频信号发射器所处的位置即物料的位置。由于TDOA算法已是当前较为成熟的定位算法，此处不再赘述，本领域技术人员可以结合现有技术灵活应用和变更应用以实现本申请实施例的目的，其均在本申请的保护范围之内。

需要说明的是，为了实现TDOA算法，多个射频信号接收器需要时钟同步，具体的，在一些变更实施方式中，所述多个射频信号接收器与所述控制器以有线方式连接，所述控制器按照预设的时间间隔向所述多个射频信号接收器发送时钟同步信号，以使所述多个射频信号接收器保持时钟同步。这样，无需与射频信号发射器进行时钟同步，利用TDOA算法根据射频信号的到达时间即可准确计算出射频信号发射器的位置即物料的定位信息。

考虑到施工现场往往有多个物料、多个智能塔吊，因此，如何使智能塔吊施工现场的多个物料中识别出需要当前智能塔吊吊装的物料，以及如何使物料被合适的智能塔吊所吊装是进一步需要解决的问题，为了解决上述问题，在本申请实施例的一些变更实施方式中，所述射频信号发射器发射的射频信号携带有智能塔吊标识信息；

所述控制器还用于从接收的所有射频信号中筛选出携带有当前智能塔吊的智能塔吊标识信息的射频信号，并根据筛选出的射频信号的到达时间计算出需要当前智能塔吊吊装的物料的定位信息，以从施工现场的多个物料中识别出需要当前智能塔吊吊装的物料。

例如，可以对各个智能塔吊进行区分性标识，例如采用代码、编号等作为智能塔吊标识信息，在作业时，用户将射频信号发射器放置或安装在物料上，通过射频信号发射器发射的射频信号携带智能塔吊标识信息，即可确保智能塔吊根据该智能塔吊标识信息筛选出该射频信号发射器的射频信号进而定位到该射频信号发射器，从而从施工现场的多个物料中识别出需要当前智能塔吊吊装的物料。

上述射频信号发射器可以制作成电子标签，通过贴附、夹持、绑定等方式安装于物料上。该射频信号发射器可以与智能塔吊进行预先绑定，也可以在施工时临时配对，例如，在一些变更实施方式中，所述射频信号发射器上设置有输入模块；

所述射频信号发射器还用于根据用户通过所述输入模块输入的智能塔吊标识生成智能塔吊标识信息。

上述输入模块可以采用键盘、触摸屏等实现，本申请实施例不做限定。通过本实施方式，工人可以在现场实时输入智能塔吊标识以选择合适的智能塔吊进行吊装，兼容性和灵活性更好。

另外，若现场有多个物料需要同一智能塔吊吊装，那么需要区分吊装次序，因此，在一些变更实施方式中，所述射频信号发射器发射的射频信号携带有吊装次序信息；

所述控制器还用于根据所述吊装次序信息确定多个需要当前智能塔吊吊装的物料的吊装次序，并根据所述吊装次序和所述需要当前智能塔吊吊装的物料的定位信息依次吊装物料。

其中，上述吊装次序信息可以包括用户通过射频信号发射器上的输入模块输入的序号信息，射频信号发射器的当前开机时间信息，或者所述射频信号的开始广播时间中的一项。

其中，若上述吊装次序信息是用户通过射频信号发射器上的输入模块输入的序号信息，则用户可以通过输入模块灵活的设置、调整各个物料的吊装顺序，具有方便快捷、灵活可调的优点。

若上述吊装次序信息是射频信号发射器的当前开机时间信息，或者所述射频信号的开始广播时间，则用户无需进行手动输入操作，只需要将射频信号发射器开机或触发广播，即可根据开机时间或者广播触发时间等时间信息自动生成相应的吊装次序信息，使用更加方便快捷。

需要说明的是，为了采用TDOA方法进行定位，所述射频信号接收器的数量至少为4个，其可以分布于智能塔吊的起重臂、塔身和吊钩上的多个位置。容易理解的是，通过测量和记录智能塔吊的回转角度、变幅信息和起升信息，结合射频信号接收器的具体安装位置，可以随时计算出射频信号接收器的实时位置信息(具体结合几何关系即可计算，此处不再赘述)，进而采用TDOA算法实现对物料的定位。

另外，所述射频信号发射器和所述射频信号接收器可以采用GPRS/4G无线通讯模块、2.4G无线通讯模块、WiFi无线通信模块等任意中远距离无线通信模块实现，考虑到塔吊高度较高，现场遮挡物较多，射频信号的通信距离需要尽量远且具有较强的穿透能力和抗干扰能力，因此，本申请实施例优选的采用433M无线模块实现所述射频信号发射器和所述射频信号接收器，由于433M无线模块信号强、传输距离长、理想传输距离在3公里左右，还有穿透、绕射能力强、传输过程衰减较小等优点，因此，可以良好的适用于智能塔吊的工作场景，从而获得较好的信号传输效果，提高本方案实施的稳定性和可靠性。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于图像分析的塔吊物料分类识别系统，来自动识别物料，进而针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展，下面结合示例进行说明。

在一些实施方式中，所述基于图像分析的塔吊物料分类识别系统，可以包括：

图像组获取模块，用于获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

属性信息确定模块，用于根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

物料类别匹配模块，用于根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

相较于现有技术，本申请实施例提供的基于图像分析的塔吊物料分类识别系统，通过获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像，根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息，根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息，由于塔吊所装卸的物料类别较为明确且特点鲜明，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

其中，本申请实施例提供的基于图像分析的塔吊物料分类识别系统可以由智能塔吊的控制器实现，由控制器实现对塔吊物料的自动分类识别，并进一步针对不同类别的物料自动选择合理的方式进行装卸，例如，选择合适的吊钩进行吊装，针对玻璃和钢材选择不同的吊装速度等，从而减少装卸事故的发生，促进塔吊无人化、智能化的发展。

在本申请实施例的一些变更实施方式中，所述属性信息确定模块，包括：

初始图像查询单元，用于根据采集所述物料图像的每台摄像机的姿态信息，从初始图像数据库中查询与所述姿态信息对应的初始图像，所述姿态信息包括所述摄像机的拍摄位置信息和拍摄角度信息，所述初始图像数据库中存储有每台所述摄像机对应于所述姿态信息采集的初始图像，所述初始图像是在所述物料进场前采集的；

图像比对单元，用于通过将所述物料图像组中的每幅物料图像，分别与采集所述物料图像的摄像机在相同姿态下预先采集的所述初始图像进行比对，识别出每幅物料图像中的物料主体；

属性信息确定单元，用于根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息。

在上述实施方式的基础上，对于形状信息和尺寸信息的提取，在本申请实施例的一些变更实施方式中，所述属性信息确定单元，包括：

坐标转换关系确定子单元，用于确定每台所述摄像机对应的像素坐标系与世界坐标系的坐标转换关系；

坐标转换子单元，用于根据所述坐标转换关系，将每幅物料图像中所述物料主体的像素坐标转换为在世界坐标系中的世界坐标；

形状尺寸确定子单元，用于根据所述世界坐标确定所述物料的形状信息和尺寸信息。

其中，确定摄像机的上述坐标转换关系，将像素坐标转换为世界坐标已是较为成熟的现有技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

在前述实施方式的基础上，对于纹理信息的提取，在本申请实施例的一些变更实施方式中，所述属性信息确定单元，包括：

纹理确定子单元，用于采用纹理识别算法识别每幅所述物料图像中的物料主体的纹理信息。

上述纹理识别算法可以采用现有技术提供的任意纹理特征提取算法实现，例如局部二值模式(Local Binary Patterns，LBP)算法，基于OpenCV的纹理识别算法等，都可以实现本申请实施例的目的，由于其均为现有成熟技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

实际应用中，塔吊常用来吊装的物料主要是钢筋、木楞、混凝土、钢管、玻璃等建筑施工用原材料，其形状、尺寸、纹理存在较大的差别，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

在本申请实施例的一些变更实施方式中，所述摄像机包括双目摄像机，所述双目摄像机采集的所述物料图像携带有景深信息；

所述属性信息确定模块，包括：

基于景深确定单元，用于根据所述物料图像组中每幅物料图像携带的景深信息，确定所述物料的属性信息。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于故障识别模型的智能塔吊维护管理系统，来根据智能塔吊日常的指令执行到位率来预测故障发生率，并在超过警戒值时输出对应的工况检测策略，进而在故障发生前随时地、针对性地对可能出现故障的部件进行工况检测，将故障消灭在萌芽状态，可以有效减少故障的发生，提高智能塔吊的智能化水平、自动化水平和安全性，下面结合示例进行说明。

在一些实施方式中，所述基于故障识别模型的智能塔吊维护管理系统，可以包括：

执行信息获取模块，用于获取智能塔吊控制器实时发出的控制指令对应的执行监测信息；

到位率计算模块，用于根据所述执行监测信息计算所述控制指令的指令执行到位率；

故障识别模块，用于将所述控制指令及其指令执行到位率输入预先训练的故障识别模型，并获得所述故障识别模型预测的故障发生率；

维护策略输出模块，用于若所述故障发生率大于预设警戒值，则查询所述控制指令对应的执行机构的工况检测策略并输出。

相较于现有技术，本申请实施例提供的基于故障识别模型的智能塔吊维护管理系统，通过获取智能塔吊控制器实时发出的控制指令对应的执行监测信息，然后根据所述执行监测信息计算所述控制指令的指令执行到位率，再将所述控制指令及其指令执行到位率输入预先训练的故障识别模型，并获得所述故障识别模型预测的故障发生率，若所述故障发生率大于预设警戒值，则查询所述控制指令对应的执行机构的工况检测策略并输出，由于大部分故障是积小成大而导致的，在故障发生前，往往会存在着细微的异常表现，例如指令执行不到位、指令执行到位率低等，因此，本方案能够根据智能塔吊日常的指令执行到位率来预测故障发生率，并在超过警戒值时输出对应的工况检测策略，进而在故障发生前随时地、针对性地对可能出现故障的部件进行工况检测，将故障消灭在萌芽状态，可以有效减少故障的发生，提高智能塔吊的智能化水平、自动化水平和安全性。

其中，本申请实施例查询到的工况检测策略可以输出到显示屏等显示设备，以便于塔吊操控人员根据该工况检测策略以人工方式进行保养，此外，查询到的工况检测策略也可以输出到工况检测机器人(用于智能塔吊工况检测的智能辅助机器人)，利用该工况检测机器人实现对智能塔吊的自动保养，实现智能塔吊的自动化、无人化、智能化工况检测，促进塔吊无人化、智能化的发展，上述方式均可以实现本申请实施例的目的，均应在本申请的保护范围之内。

上述执行监测信息包括从所述控制指令发出开始监测到的所述控制指令对应的执行机构的动作信息，所述动作信息包括动作幅度、动作时间和动作速度中的至少一项。上述动作信息都可以用来判断执行机构的指令执行情况，以及用来计算执行机构的指令执行到位率。上述执行机构包括起升机构、回转机构和变幅机构，智能塔吊上可以针对上述执行机构安装对应的传感器来监测其动作信息，例如，通过安装摄像机采用图像识别分析的方式监测其动作信息，又如，通过安装激光测距仪、加速度仪、陀螺仪等传感器来监测其动作信息，本申请实施例并不限定其具体实现方式，本领域技术人员可以采用现有技术提供的任意方式来实现上述动作信息的采集。

在采集到上述动作信息后，即可判断对应控制指令的指令执行到位率，在本申请实施例中，可以通过执行时长来计算指令执行到位率，在本申请实施例的一些变更实施方式中，所述到位率计算模块，包括：

执行时长计算单元，用于根据所述执行监测信息确定从所述控制指令下发开始到所述控制指令的执行情况符合预设到位条件的实际执行到位时长；

到位率计算单元，用于根据所述实际执行到位时长与所述控制指令对应的标准执行到位时长的比值，确定所述控制指令的指令执行到位率。

例如，控制指令是以1米/秒的速度起升吊钩，吊钩由静态加速到1米/秒的标准执行到位时长是2秒，如果实际执行到位时长4秒，那么，对应的指令执行到位率为2秒/4秒＝50％；又如，控制指令是控制变幅小车刹车，标准执行到位时长是0.5秒，如果实际执行到位时长0.5秒，那么，对应的指令执行到位率为0.5秒/0.5秒＝100％。以上均为示例性说明，本领域技术人员技术人员可以根据实际情况灵活设置上述标准执行到位时长的具体数值和上述指令执行到位率的具体计算方式，其均在本申请的保护范围之内。

在计算出指令执行到位率后，可以输入预先训练的故障识别模型以预测故障发生率，需要说明的是，在本申请实施例的一些变更实施方式中，所述基于故障识别模型的智能塔吊维护管理系统还包括：

历史信息获取模块，用于获取所述智能塔吊在故障发生前的所有历史控制指令及其对应的历史执行监测信息；

历史到位率计算模块，用于根据所述历史控制指令和所述历史执行监测信息，计算所述历史控制指令对应的历史执行到位率；

历史到位率排序模块，用于对所述历史执行到位率按照时间进行排序，得到历史执行到位率集合；

故障率赋值模块，用于对所述历史执行到位率集合中的各个所述历史执行到位率，根据距离故障发生的时间进行故障发生率赋值，其中，距离故障发生的时间越短，赋值的故障发生率越高；

学习样本生成模块，用于生成机器学习样本，其中，每条所述机器学习样本包括一个所述历史控制指令及其对应的历史执行监测信息和故障发生率；

模型训练模块，用于根据所述机器学习样本训练故障识别模型，得到预先训练的故障识别模型。

本实施方式通过采集大量的历史数据，来计算历史执行到位率(即历史的指令执行到位率)并按照控制指令的下发时间进行排序，然后，针对每一个实际发生的故障，通过故障检测来识别与该故障相关的执行机构和控制指令，然后根据距离故障发生的时间，对与该故障相关的控制指令对应的历史执行到位率进行故障发生率赋值，赋值的数值介于0与1之间，距离故障越近，赋值的数值越高，例如，距离故障一天内的历史执行到位率对应的故障发生率赋值为0.9，距离故障7天的历史执行到位率对应的故障发生率赋值为0.5等，本申请实施例并不限定其具体赋值方式，例如，还可以将从历史执行到位率低于100％开始至发生故障的期间记为故障隐患期，时长为L，某一控制指令对应的历史执行到位率到发生故障的时间间隔为a，那么，该历史执行到位率对应的故障发生率可以采用以下公式计算：

m₁＝1-a/L

上式中，m₁表示故障发生率，a表示控制指令对应的历史执行到位率到发生故障的时间间隔，L表示从历史执行到位率低于100％开始至发生故障的时间间隔。

此外，上述赋值还可以结合具体的历史执行到位率数值进行，例如，发生故障时的历史执行到位率为b，执行机构运行良好时的历史执行到位率为c，那么，某一历史执行到位率d对应的故障发生率可以采用以下公式计算：

上式中，m₂表示历史执行到位率d对应的故障发生率，b表示发生故障时的历史执行到位率，c表示执行机构运行良好时的历史执行到位率。

此外也可以总和上述时间因素和历史执行到位率数值因素而计算故障发生率，例如，可以根据上述m₁和m₂的乘积进一步确定故障发生率m，公式如下：

m＝m₁×m₂

上式中，m为总的故障发生率，m₁表示上述根据距离故障发生的时间进行赋值的故障发生率，m₂表示上述根据具体的历史执行到位率数值进行赋值的故障发生率，通过本实施方式，将二者相乘后得到的总的故障发生率变化幅度更大，能够更加显著的从数值上体现出故障发生率的差异，对故障的预测精准度更高，这样赋值后训练的故障识别模型灵敏度和准确性更高，有助于提高本方案整体的实施精准度。

另外，上述故障识别模型是指用于根据实际的指令执行到位率对故障发生率进行预测的模型，其可以根据历史数据生成的机器学习样本进行训练得到，本申请实施例并不限定该模型的具体实现方式，通过训练，使得该故障识别模型可以根据输入的控制指令代码及其指令执行到位率，输出对应的故障发生率。

上述故障识别模型的输入数据包括控制指令代码及其指令执行到位率，输出数据是故障发生率，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述故障识别模型以实现本申请实施例的目的，其均在本申请的保护范围之内。

在预测得到故障发生率后，即可进一步确定对应的工况检测策略，在本申请实施例的一些变更实施方式中，所述基于故障识别模型的智能塔吊维护管理系统还包括：

策略确定模块，用于针对所述控制器发送的各种控制指令，确定所述控制指令对应的执行机构及其对应的工况检测策略；

映射表生成模块，用于根据各种所述控制指令及其对应执行机构和工况检测策略生成工况检测策略映射表；

所述维护策略输出模块，包括：

映射表查询模块，用于从所述工况检测策略映射表中查询所述控制指令对应的执行机构和工况检测策略并输出。

通过本实施方式，可以预先针对各种情形设置对应的工况检测策略，并建立映射表进行存储，当检测到故障发生率大于预设警戒值时，即可从映射表中查询控制指令对应的执行机构和工况检测策略并输出，以便于针对该执行机构进行针对性的工况检测。

需要说明的是，上述工况检测策略可以有技术人员结合实际灵活设置，例如，控制变幅小车刹车的控制指令对应的故障发生率超过对应的警戒值，工况检测策略是针对小车的刹车系统进行工况检测；控制变幅小车启动的控制指令对应的故障发生率超过对应的警戒值，工况检测策略是针对小车的驱动系统进行工况检测；本申请实施例并不对上述工况检测策略的具体内容进行限定，当其用于本申请方案中时，其应在本申请的保护范围之内。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述基于三维物料形态模型仿真的塔吊吊具选择装置，来实现吊具选取的无人化、智能化和自动化，提高智能塔吊的智能化水平、自动化水平和安全性，下面结合示例进行说明。

在一些实施方式中，所述基于物联网通信的智能塔吊物料定位辅助装置，可以包括：

物料图像采集模块，用于获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括安装于智能塔吊不同位置的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

三维重建模块，用于根据所述物料图像组对所述物料进行三维重建，得到三维仿真物料；

吊具匹配模块，用于将备选的多个三维仿真吊具依次与所述三维仿真物料进行匹配，并选出匹配度最高的三维仿真吊具；

吊具选取模块，用于控制所述智能塔吊从吊具池中选取与所述三维仿真吊具对应的吊具。

相较于现有技术，本申请实施例提供的基于三维物料形态模型仿真的塔吊吊具选择装置，通过获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括安装于智能塔吊不同位置的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像，然后根据所述物料图像组对所述物料进行三维重建，得到三维仿真物料，再将备选的多个三维仿真吊具依次与所述三维仿真物料进行匹配，并选出匹配度最高的三维仿真吊具，最后控制所述智能塔吊从吊具池中选取与所述三维仿真吊具对应的吊具，本方案能够通过三维重建构建物料对应的三维仿真物料，并通过仿真匹配确定三维仿真吊具，然后即可直接地、针对性地从吊具池中选取合适的吊具对物料进行吊装，可以实现吊具选取的无人化、智能化和自动化，提高智能塔吊的智能化水平、自动化水平和安全性。

其中，本申请实施例提供的基于三维物料形态模型仿真的塔吊吊具选择方法可以由智能塔吊的控制器实现，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，本申请实施例不做限定。

本申请实施例中，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程，其可以通过先对相机进行标定,即计算出相机的像素坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息，例如，基于二维图像的三维重建过程示例如下(1)-(5)所示：

(1)图像获取：在进行图像处理之前，先要用摄像装置(例如摄像机)获取三维物体的二维图像(例如本申请的物料图像)。

(2)相机标定：通过相机标定来建立有效的成像模型，求解出相机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。

(3)特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。特征点提取算法可以包括但不限于：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法等。

(4)立体匹配：立体匹配是指根据所提取的特征来建立不同图像之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及相机机特性等诸多变化因素。

(5)三维重建：有了比较精确的匹配结果，结合相机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度、相机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能比较精确地实现三维重建。

以上示例性说明了基于二维图像的三维重建过程，本领域技术人员可以参考上述示例性说明，结合实际场景灵活变更实施以根据物料图像进行三维重建以得到三维仿真物料，进而实现本申请实施例的目的，下面结合示例进一步进行说明：

在本申请实施例的一些变更实施方式中，所述三维重建模块，包括：

摄像机位置确定单元，用于确定所述物料图像组中每幅物料图像对应的摄像机位置信息；

三维重建单元，用于根据每幅所述物料图像对应的摄像机位置信息，和所述物料在每幅所述物料图像中对应的像素点的位置信息进行三维重建，得到所述物料对应的三维仿真物料。

其中，根据摄像机的安装位置，以及智能塔吊的变幅、回转、起升信息，即可实时计算出摄像机位置信息，例如，摄像机可以包括安装于智能塔吊起重臂上的全局摄像机，其能够用于拍摄所述智能塔吊工作场景的全局影像，便于根据全局影像初步定位物料所在位置以确定物料图像，其位置信息可以根据塔吊的回转信息和安装位置来计算确定；又如，摄像机还可以包括安装于吊具附近的局部摄像机，该局部摄像机用于仅举例拍摄物料，得到清晰度较高、较为准确的物料图像，该局部摄像机的位置信息可以根据塔吊的回转信息、变幅信息、起升信息和安装位置来计算确定；上述摄像机位置信息的计算根据几何关系即可实现，此处不再赘述。

在上述实施方式的基础上，在一些变更实施方式中，所述三维重建单元，包括：

稠密重建子单元，用于根据每幅所述物料图像对应的摄像机位置信息，和所述物料在每幅所述物料图像中对应的像素点的位置信息，采用稠密重建算法确定每个所述像素点对应于世界坐标系中的三维点的位置信息，并根据所述三维点构成的三维点云确定所述物料对应的三维仿真物料。

其中，稠密重建(Multiple View Stereo，MVS)算法即多视图立体几何，目的是在相机位姿已知的前提下，逐个像素点地计算图像中每一个像素点对应的三维点，得到场景物体表面密集的三维点云。

通过上述实施方式，可以准确、快速地实现三维重建，有助于提高整体的标注准确度和标注效率。

在本申请实施例的一些变更实施方式中，所述吊具匹配模块，包括：

吊具匹配单元，用于在建筑信息模型BIM软件中，将备选的多个三维仿真吊具依次与所述三维仿真物料进行匹配，并根据吊具优先级和吊装部耦合程度确定匹配度，其中，不同吊具预先设定有不同的优先级，吊装部耦合程度根据形状和尺寸耦合信息确定；

吊具选取单元，用于根据所述匹配度，从所述多个三维仿真吊具中选出匹配度最高的三维仿真吊具。

在实施时，可以对应于吊具池中的各个吊具，在建筑信息模型(BuildingInformation Modeling，BIM)软件中，预先设置对应的三维仿真吊具，并针对各个三维仿真吊具设置属性信息和优先级信息，在生成三维仿真物料后，即可在BIM软件中将三维仿真吊具依次与三维仿真物料进行匹配，并进而确定各个三维仿真吊具的匹配度。

容易理解的是，不同的吊具可以设定不同的优先级，例如，吊钩的安全性较高，其优先级要大于吊钳、夹具、吊梁等，本领域技术人员技术人员可以根据实际需求灵活设置各个吊具的优先级，此处不做限定。

另外，吊装部(即吊具与物料的接触部)的耦合程度可以根据形状和尺寸耦合信息来确定，例如，圆形与圆形的耦合程度大于圆形与矩形的耦合程度，小尺寸吊具与大尺寸物料无法耦合即耦合程度为零等，本申请实施例并不限定其具体实施方式，本领域技术人员可以根据实际情况灵活设置上述耦合程度的计算方式，其均在本申请的保护范围之内。

通过上述方式，可以利用BIM软件自动为物料选择合适的三维仿真吊具，进而针对性的选取对应的吊具，具有较高的准确度和效率。

在本申请实施例的一些变更实施方式中，针对所述智能塔吊设置有吊具池，所述吊具池内设置有多个不同的吊具，每个吊具根据其对应的吊具标识置于所述吊具池内的预设位置；

所述吊具选取模块，包括：

吊具选取模块单元，用于根据选出的匹配度最高的所述三维仿真吊具的吊具标识，控制所述智能塔吊从所述吊具池中所述吊具标识对应的预设位置选取对应的吊具。

本实施方式，可以针对不同的吊具设置吊具标识，并将吊具设于吊具池内的指定位置，这样，在匹配确定三维仿真吊具后，即可根据吊具标识快速的选取对应的吊具，提高吊具选取准确性和效率。

需要说明的是，本申请实施例所涉及的吊具，包括但不限于吊钩、吊钳、吊梁、夹具、钢板吊具、起重吊具、钢锭吊具、立式卷钢吊具、C型吊具、圆钢吊具、电动卧卷吊具、集装箱吊具、轧辊吊具等。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于塔吊维护保养的智能辅助机器人，来实现维护保养点的自动巡检，提高维护保养的及时性，同时能够拍摄人工维护保养视频并存证，以及自动生成维护保养记录，有助于在事故后进行追溯，此外，通过拍摄人工维护保养视频，可以激励维护保养人员认真、负责地进行维护保养，减少维护保养不到位的问题发生，从而整体上提高智能塔吊的智能化水平和安全性，下面结合示例进行说明。

在一些实施方式中，所述用于塔吊维护保养的智能辅助机器人，可以包括：控制装置、驱动装置和摄像装置；

所述驱动装置和所述摄像装置均与所述控制装置连接；

所述驱动装置用于带动所述智能辅助机器人沿智能塔吊上预设的检修路径移动；

所述控制装置用于根据预设的维护保养日程表控制所述驱动装置带动所述智能辅助机器人巡检维护保养点；

所述摄像装置用于在停留在需要人工维护保养的所述维护保养点时，拍摄人工维护保养视频并存证；

所述控制装置还用于在维护保养完成后，针对所述维护保养日程表上的各个维护保养点生成维护保养记录。

相较于现有技术，本申请实施例提供的用于塔吊维护保养的智能辅助机器人，通过设置控制装置、驱动装置和摄像装置，其中，所述驱动装置和所述摄像装置均与所述控制装置连接，所述驱动装置用于带动所述智能辅助机器人沿智能塔吊上预设的检修路径移动，所述控制装置用于根据预设的维护保养日程表控制所述驱动装置带动所述智能辅助机器人巡检维护保养点，所述摄像装置用于在停留在需要人工维护保养的所述维护保养点时，拍摄人工维护保养视频并存证，所述控制装置还用于在维护保养完成后，针对所述维护保养日程表上的各个维护保养点生成维护保养记录。从而能够利用智能辅助机器人进行维护保养点的自动巡检，提高维护保养的及时性，同时能够拍摄人工维护保养视频并存证，以及自动生成维护保养记录，有助于在事故后进行追溯，此外，通过拍摄人工维护保养视频，可以激励维护保养人员认真、负责地进行维护保养，减少维护保养不到位的问题发生，从而整体上提高智能塔吊的智能化水平和安全性。

其中，上述控制装置可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述摄像装置可以采用现有技术提供的任意摄像机实现，本申请实施例不做限定。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：与所述控制装置连接的电子标签阅读器；

所述维护保养点设置有电子标签，所述电子标签用于区分标识不同的维护保养点；

所述电子标签阅读器用于在所述智能辅助机器人的移动过程中检测电子标签，并在检测到电子标签时向所述控制装置发送所述电子标签的标签信息；

所述控制装置还用于根据所述标签信息识别所述维护保养点。

通过本实施方式，可以利用电子标签实现对维护保养点的标识，使得智能辅助机器人能够通过阅读该电子标签识别所述维护保养点，进而进行针对性的维护保养，以及完成巡检，同时避免遗漏维护保养点。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：与所述控制装置连接的显示装置；

所述控制装置还用于在停留在需要人工维护保养的所述维护保养点时，控制所述显示装置播放当前维护保养点的维护保养指导信息。

通过播放所述维护保养指导信息，可以指导维护保养人员正确、高效地完成维护保养作业，避免维护保养错误或维护保养不到位等问题的出现。

在本申请实施例的一些变更实施方式中，沿所述智能塔吊上预设的检修路径设置有钢链；

所述驱动装置包括与所述钢链耦合的齿轮结构，用于带动所述智能辅助机器人沿所述钢链移动。

由于对于智能塔吊而言，有大量的检修路径是需要攀爬的，因此，通过本实施方式，可以使智能辅助机器人能够沿所述检修路径攀爬而到达各个位置的维护保养点，确保本方案的安全、顺利实施。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：壳体；

所述控制装置、驱动装置和摄像装置均通过所述壳体固定安装；

所述壳体的外表面设置有滚轮和铷铁硼磁铁，所述汝铁硼磁铁用于将所述智能辅助机器人吸在智能塔吊上，所述滚轮用于与所述智能塔吊接触以使所述智能辅助机器人能够沿所述智能塔吊移动。

通过本实施方式，可以确保智能辅助机器人能够吸附在智能塔吊塔身上移动，避免智能辅助机器人在高空中随风摆动等情况的发生，提高作业稳定性和安全性。

在本申请实施例的一些变更实施方式中，所述用于塔吊维护保养的智能辅助机器人，还包括：通信装置；

所述通信装置与所述控制装置连接；

所述控制装置还用于在巡检前通过所述通信装置向维护保养人员携带的终端发送本次巡检的维护保养日程表，以使所述维护保养人员根据所述维护保养日程表随所述智能辅助机器人巡检维护保养点。

通过本实施方式，可以及时有效地提醒维护保养人员进行维护保养，并通过发送维护保养日程表使维护保养人员了解维护保养内容，提高维护保养效率以及避免维护保养不及时情况的发生。

在本申请实施例的一些变更实施方式中，所述控制装置还用于在巡检期间，通过所述通信装置向所述智能塔吊的控制器发送表示正在进行维护保养的警示信息，以使所述控制器避免在维护保养期间进行施工作业。

通过本实施方式，可以在巡检期间避免智能塔吊施工作业，提高安全性，避免施工与维护保养同时进行而导致的安全事故发生。

在本申请实施例的一些变更实施方式中，所述控制装置还用于在停留在需要人工维护保养的所述维护保养点时，控制所述摄像装置采集维护保养人员的人脸图像，并根据所述人脸图像对所述维护保养人员进行身份识别和认证，并在认证失败后向所述维护保养人员播放表示认证失败的警示信息。

通过本实施方式，可以实现对维护保养人员的身份认证，避免维护保养人员顶替作业、非法人员(指不具备维护保养资格的人员)进行维护等情况导致的导致维护保养错误和不到位等问题，提高维护保养质量和到位率。

此外，为了进一步完善上述智能塔吊的智能化水平和安全性，所述智能塔吊还可以通过配置下述智能塔吊吊臂状况物联网传感监测系统，来监测吊臂的运动状态是否异常，实现对吊臂异常状态的自动化诊断，提高智能塔吊的自动化水平、智能化水平和安全性，下面结合示例进行说明。

在一些实施方式中，所述智能塔吊吊臂状况物联网传感监测系统，可以包括：控制器和与所述控制器通信连接的惯性传感器，所述惯性传感器包括加速度计和陀螺仪；

所述惯性传感器固定设置于所述智能塔吊的小车上，用于实时采集所述小车的惯性运动数据并发送给所述控制器，所述小车设于所述智能塔吊的吊臂上并沿所述吊臂移动，所述惯性运动数据包括加速度数据和角速度数据；

所述控制器用于根据所述惯性运动数据确定所述智能塔吊惯性的动作信息，并通过比较所述惯性的动作信息和所述智能塔吊的驱动机构反馈的动作信息判断所述吊臂的运动状态是否异常，其中，所述动作信息包括回转动作信息和/或变幅动作信息。

相较于现有技术，本申请实施例提供的智能塔吊吊臂状况物联网传感监测系统，通过设置控制器和与所述控制器通信连接的惯性传感器，所述惯性传感器包括加速度计和陀螺仪，所述惯性传感器固定设置于所述智能塔吊的小车上，用于实时采集所述小车的惯性运动数据并发送给所述控制器，所述小车设于所述智能塔吊的吊臂上并沿所述吊臂移动，所述惯性运动数据包括加速度数据和角速度数据，所述控制器用于根据所述惯性运动数据确定所述智能塔吊惯性的动作信息，并通过比较所述惯性的动作信息和所述智能塔吊的驱动机构反馈的动作信息判断所述吊臂的运动状态是否异常，其中，所述动作信息包括回转动作信息和/或变幅动作信息，从而能够采集吊臂上小车的惯性运动数据，并据此计算得到惯性的动作信息，然后与驱动机构反馈的动作信息进行比较而判断吊臂的运动状态是否异常，实现对吊臂异常状态的自动化诊断，提高智能塔吊的自动化和智能化水平。

其中，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述惯性传感器可以采用加速度计和陀螺仪实现，本申请实施例不做限定，上述吊臂是指起重臂。

上述控制器和所述惯性传感器可以采用有线方式连接，也可以采用无线方式连接，当采用无线方式连接时，所述控制器和所述惯性传感器可以采用LoRa无线通信模块进行或433M无线模块进行通信连接，由于LoRa无线通信模块和433M无线模块信号强、传输距离长、理想传输距离在3公里左右，还有穿透、绕射能力强、传输过程衰减较小、易组网、成本低等优点，因此，可以良好的适用于智能塔吊的工作场景，从而获得较好的信号传输效果，提高本方案实施的稳定性、可靠性和组网灵活性，本申请实施例不做限定。

上述驱动机构反馈的动作信息是控制器从所述驱动机构获取的，所述驱动机构包括变幅驱动机构和/或回转驱动机构，在一些实施方式中，所述驱动机构包括变频电机和编码器；

所述变频电机和所述编码器互相连接，且均与所述控制器连接；

所述变频电机用于在所述控制器的控制下驱动所述智能塔吊的动作机构运动；

所述编码器用于测量所述变频电机输出的动作信息，并将测量的所述动作信息反馈给所述控制器。

相应的，所述变频电机包括变幅变频电机和回转变频电机，所述编码器包括变幅编码器和回转编码器，所述变幅编码器用于测量变幅机构的变幅位置、变幅速度等动作信息，所述回转编码器用于测量回转机构的回转角度、回转速度等动作信息。

本实施方式中，利用变频电机可以实现对动作机构(包括回转机构和/或变幅机构)动作的精准控制，采用编码器可以实现对变频电机输出的精准测量，获得输出的动作信息。

在一些变更实施方式中，所述驱动机构包括回转驱动机构，所述驱动机构包括变幅驱动机构，所述动作信息包括变幅动作信息，所述变幅动作信息包括所述小车的变幅距离和/或变幅速度。

在一些变更实施方式中，所述驱动机构包括回转驱动机构，所述动作信息包括回转动作信息，所述回转动作信息包括所述吊臂的回转角度和/或回转速度。

在一些变更实施方式中，所述控制器具体用于计算所述惯性的动作信息与所述反馈的动作信息的相似度，并在所述相似度小于预设阈值的情况下判断所述吊臂的运动状态异常。

其中，上述预设阈值可以根据实际需求灵活设置，本申请实施例不做限定。

在上述实施方式的基础上，在一些变更实施方式中，若所述动作信息有多项，则所述控制器具体用于计算每项动作信息的相似度，并在任一项的相似度小于预设阈值的情况下判断所述吊臂的运动状态异常。

例如，若上述动作信息包括变幅距离、变幅速度、回转角度和回转速度四项，则分别计算每一项惯性值与反馈值的相似度，其中任一项相似度小于预设阈值即可判断所述吊臂的运动状态异常。

上述惯性运动数据包括加速度计采集的加速度数据和陀螺仪采集的角速度数据，通过对上述加速度数据根据时间进行积分，即可得到速度数据，通过对速度数据再次积分，即可得到位移数据，通过对角速度数据进行积分，即可得到角度转动数据，从而惯性的动作信息。

在一些实施方式中，可以采用惯性导航算法计算上述动作信息，相应的，所述控制器具体用于根据所述惯性运动数据通过惯性导航算法计算所述智能塔吊惯性的动作信息。

其中，惯性导航算法是现有技术中较为成熟的技术手段，其在进行积分的过程中还会根据地球自转等因素对计算数据进行补偿，从而得到较为准确的计算结果，本领域对其具体实施方式不做限定，本领域技术人员可以采用现有技术提供的任意惯性导航算法直接或变更实施以实现本申请实施例的目的，其均在本申请的保护范围之内。

在本申请实施例的一些变更实施方式中，所述控制器还用于在所述智能塔吊空载时，控制所述小车从所述吊臂的初始端移动至末端，并根据移动过程中所述惯性传感器产生的惯性运动数据确定所述小车的运动轨迹，以及根据所述运动轨迹确定所述吊臂是否发生形变异常。

其中，上述初始端是指吊臂靠近塔身的一端，末端是指吊臂远离塔身的一端，根据移动过程中采集的惯性运动数据，可以采用惯性导航算法计算每个时刻小车的位置，进而确定小车的运动轨迹，运动轨迹连接成线段，该线段的弯曲情况即可准确反映吊臂的形变情况，因此可以用于计算吊臂的形变率等形变信息，然后利用该形变率等形变信息是否符合预设形变标准来判断所述吊臂是否发生形变异常。

通过本实施方式，还可以检测吊臂的形变异常，从而全面的诊断吊臂的状态，以便于及时发现异常，避免吊臂异常时工作而产生安全事故。

此外，为了进一步完善上述智能塔吊的智能化水平和安全性，所述智能塔吊还可以通过配置下述用于智能塔吊远程控制的状态数据监控传输系统，来实现对智能塔吊的远程监控，提高智能塔吊的自动化和智能化水平，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊远程控制的状态数据监控传输系统，可以包括：控制器、LoRa无线通信模块和远程监控终端；

所述控制器与所述LoRa无线通信模块连接，所述LoRa无线通信模块与所述远程监控终端采用无线通信方式连接；

所述控制器用于采集所述智能塔吊的状态数据，并通过所述LoRa无线通信模块将所述状态数据发送给所述远程监控终端；

所述远程监控终端用于向用户展示所述智能塔吊的状态数据。

其中，LoRa是指远距离无线电(Long Range Radio)，是一种基于扩频技术的超远距离无线传输方案，其信号强、传输距离长、理想传输距离在3公里左右，还有穿透、绕射能力强、传输过程衰减较小、易组网、成本低等优点，因此，可以良好的适用于智能塔吊的工作场景，从而获得较好的信号传输效果，提高本方案实施的稳定性和可靠性，本申请实施例不做限定。

相较于现有技术，本申请实施例提供的用于智能塔吊远程控制的状态数据监控传输系统，通过控制器、LoRa无线通信模块和远程监控终端，所述控制器与所述LoRa无线通信模块连接，所述LoRa无线通信模块与所述远程监控终端采用无线通信方式连接，所述控制器用于采集所述智能塔吊的状态数据，并通过所述LoRa无线通信模块将所述状态数据发送给所述远程监控终端，所述远程监控终端用于向用户展示所述智能塔吊的状态数据，从而能够实现对智能塔吊的远程监控，由于LoRa无线通信具有传输距离远、抗干扰能力强、穿透和绕射能力强等特点，比较适合复杂的塔吊施工场景，从而获得较好的数据传输效果，提高远程监控的实时性和稳定性，进而提高智能塔吊的自动化和智能化水平。

在本申请实施例的一些变更实施方式中，所述LoRa无线通信模块的工作频段采用470-510MHz频段。470-510MHz频段是在建筑楼宇、住宅小区及村庄等小范围内组网应用的免费频段，可以降低实施成本，且该频段的信号波长较长，具有较好的穿透和绕射性能，从而获得较好的信号传输效果。

在本申请实施例的一些变更实施方式中，所述用于智能塔吊远程控制的状态数据监控传输系统还包括：LoRa网关；

所述LoRa网关设于所述LoRa无线通信模块和所述远程监控终端之间；

多个智能塔吊的LoRa无线通信模块通过所述LoRa网关与所述远程监控终端连接。

需要说明的是，LoRa是一种物理层的调制技术，可将其用于不同的协议中，比如LoRaWAN协议、CLAA网络协议、LoRa私有网络协议、LoRa数据透传。在实施时，LoRa无线通信模块和LoRa网关之间采用LoRa无线通信连接，而LoRa网关与远程监控终端可以采用蜂窝网络连接，从而获得更远的监控范围，使用户在更远的距离对智能塔吊进行监控。

且通过将多个智能塔吊的LoRa无线通信模块通过所述LoRa网关与所述远程监控终端连接，可以实现一台远程监控终端对多个智能塔吊的远程监控，实现集中化监控管理，使用户全面了解施工现场的状况。

在一些实施方式中，所述状态数据包括所述智能塔吊的闲置状态数据、变幅动作数据、回转动作数据和起升动作数据，从而使用户了解智能塔吊的实时运行状态。

在上述实施方式的基础上，在一些变更实施方式中，所述状态数据还包括所述智能塔吊每次吊装的物料的类别和重量；

所述远程监控终端还用于根据所述状态数据统计每台智能塔吊预设时间段内的工作量信息，并向用户展示所述工作量信息，其中，所述工作量信息包括在所述预设时间段内已吊装完成的物料的类别和重量。

通过本实施方式，还可以实现对智能塔吊工作量的远程监控，使用户更加全面的了解施工情况，更好地管理施工进度。

其中，对于上述物料类别信息的采集，在上述实施方式的基础上，在一些变更实施方式中，所述智能塔吊设有与所述控制器连接的摄像机群组，所述摄像机群组用于采集所述智能塔吊所吊装的物料的物料图像组，并将所述物料图像组发送给所述控制器，其中，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

所述控制器还用于根据所述物料图像组确定所述物料的属性信息，并根据所述物料的属性信息从塔吊物料数据库中匹配得到所述物料的类别，其中，所述属性信息包括形状信息、尺寸信息和纹理信息，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

由于塔吊所装卸的物料类别较为明确且特点鲜明，塔吊常用来吊装的物料主要是钢筋、木楞、混凝土、钢管、玻璃等建筑施工用原材料，其形状、尺寸、纹理存在较大的差别，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别。通过上述实施方式，可以准确的识别物料的类别，便于用户通过远程监控终端了解智能塔吊所吊装的物料的类别，以进行合理的管控。

在一些变更实施方式中，所述根据所述物料图像组确定所述物料的属性信息，包括：

根据采集所述物料图像的每台摄像机的姿态信息，从初始图像数据库中查询与所述姿态信息对应的初始图像，所述姿态信息包括所述摄像机的拍摄位置信息和拍摄角度信息，所述初始图像数据库中存储有每台所述摄像机对应于所述姿态信息采集的初始图像，所述初始图像是在所述物料进场前采集的；

通过将所述物料图像组中的每幅物料图像，分别与采集所述物料图像的摄像机在相同姿态下预先采集的所述初始图像进行比对，识别出每幅物料图像中的物料主体；

根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息。

在上述实施方式的基础上，对于形状信息和尺寸信息的提取，在一些变更实施方式中，所述根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息，包括：

确定每台所述摄像机对应的像素坐标系与世界坐标系的坐标转换关系；

根据所述坐标转换关系，将每幅物料图像中所述物料主体的像素坐标转换为在世界坐标系中的世界坐标；

根据所述世界坐标确定所述物料的形状信息和尺寸信息。

其中，确定摄像机的上述坐标转换关系，将像素坐标转换为世界坐标已是较为成熟的现有技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

在前述实施方式的基础上，对于纹理信息的提取，在一些变更实施方式中，所述根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息，包括：

采用纹理识别算法识别每幅所述物料图像中的物料主体的纹理信息。

上述纹理识别算法可以采用现有技术提供的任意纹理特征提取算法实现，例如局部二值模式(Local Binary Patterns，LBP)算法，基于OpenCV的纹理识别算法等，都可以实现本申请实施例的目的，由于其均为现有成熟技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

对于上述物料重量信息的采集，在上述实施方式的基础上，在一些变更实施方式中，所述智能塔吊的导向滑轮机构设有力传感器；

所述力传感器用于采集实时的力传感数据，并将所述力传感数据发送给所述控制器；

所述控制器还用于根据所述力传感数据计算所述智能塔吊所吊装的物料的重量。

其中，上述力传感器可以采用销轴力传感器实现，利用力传感数据计算所述智能塔吊所吊装的物料的重量是本领域较为成熟的技术方案，此处不再赘述，本领域技术人员可借鉴现有技术实现本申请实施例的目的。

通过本实施方式，可以实现对物料重量的测量，便于用户通过远程监控终端了解智能塔吊所吊装的物料的重量，以进行合理的管控。

在本申请实施例的一些变更实施方式中，所述远程监控终端具体用于根据所述智能塔吊的属性信息和所述状态数据，在建筑信息模型BIM软件中构建实时的仿真模拟场景，并通过显示器显示所述仿真模拟场景，以使用户通过观看所述仿真模拟场景了解所述智能塔吊的工作状态，其中，所述属性信息包括所述智能塔吊的位置信息、高度信息和规格型号信息。

建筑信息模型(Building Information Modeling，BIM)软件是建筑学、工程学及土木工程的图形工具。BIM的核心是通过建立虚拟的建筑工程三维模型，利用数字化技术，为这个模型提供完整的、与实际情况一致的建筑工程信息库。该信息库不仅包含描述建筑物构件的几何信息、专业属性及状态信息，还包含了非构件对象(如空间、运动行为)的状态信息。借助这个包含建筑工程信息的三维模型，大大提高了建筑工程的信息集成化程度，从而为建筑工程项目的相关利益方提供了一个工程信息交换和共享的平台。

本实施方式，可以利用BIM构建施工现场智能塔吊的仿真模拟场景，以便于用户更加直观、快速地了解智能塔吊的工作状态。

需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种用于智能塔吊工况检测的智能辅助机器人，其特征在于，包括：壳体、移动模块、控制模块、环境扫描模块和无线通信模块；其中，

所述壳体设于所述移动模块上，所述控制模块、所述环境扫描模块和所述无线通信模块均设于所述壳体上，所述移动模块、所述环境扫描模块和所述无线通信模块均与所述控制模块连接；

所述移动模块用于在所述控制模块的控制下带动所述智能辅助机器人在智能塔吊周围的地面上移动；

所述环境扫描模块与所述控制模块连接，用于在所述智能塔吊施工前，随着所述移动模块的移动，在所述控制模块的控制下扫描所述智能塔吊周围的环境数据，并将扫描得到的环境数据发送给所述控制模块；

所述控制模块用于根据所述环境数据确定表征当前是否适合施工的工况信息，并将所述工况信息通过所述无线通信模块发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。

2.根据权利要求1所述的用于智能塔吊工况检测的智能辅助机器人，其特征在于，所述环境扫描模块包括：激光扫描器、双目摄像机和深度摄像机中的至少一者。

3.根据权利要求1所述的用于智能塔吊工况检测的智能辅助机器人，其特征在于，所述控制模块具体用于根据所述环境数据，采用与所述环境扫描模块对应的同步定位与地图构建SLAM算法对周围环境进行同步建图，并根据构建的环境地图确定表征当前是否适合施工的工况信息。

4.根据权利要求3所述的用于智能塔吊工况检测的智能辅助机器人，其特征在于，所述控制模块具体用于在构建的环境地图中识别物料和人员，并在识别到物料且物料周围预设范围内无人员的情况下生成表示当前适合施工的工况信息，否则生成表示当前不适合施工的工况信息。

5.根据权利要求4所述的用于智能塔吊工况检测的智能辅助机器人，其特征在于，所述物料上设有物料标识图案；

所述环境扫描模块包括双目摄像机或深度摄像机，所述环境数据包括图像数据；

所述控制模块具体用于通过在所述图像数据中检测所述物料标识图案识别所述物料。

6.根据权利要求5所述的用于智能塔吊工况检测的智能辅助机器人，其特征在于，所述控制模块具体用于利用人物识别算法在所述图像数据中检测人员，并在所述环境地图中确定所述物料和所述人员的位置，以及确定所述物料周围预设范围内是否有人员。

7.根据权利要求4所述的用于智能塔吊工况检测的智能辅助机器人，其特征在于，所述物料上设有用于标识所述物料的电子标签；

所述智能辅助机器人还包括：与所述控制模块连接的电子标签阅读器；

所述电子标签阅读器用于在所述智能辅助机器人的移动过程中检测所述电子标签，并在检测到所述电子标签时向所述控制模块发送所述电子标签的标签信息；

所述控制模块具体用于根据所述标签信息识别所述物料。

8.根据权利要求1所述的用于智能塔吊工况检测的智能辅助机器人，其特征在于，所述移动模块包括：轮式移动机构、足式移动机构或履带式移动机构。

9.一种用于智能塔吊工况检测的智能辅助机器人的控制方法，其特征在于，用于权利要求1至8任一项所述的用于智能塔吊工况检测的智能辅助机器人，所述方法包括：

控制模块控制所述移动模块带动所述智能辅助机器人在智能塔吊周围的地面上移动；

在所述智能塔吊施工前，随着所述移动模块的移动，所述控制模块控制所述环境扫描模块扫描所述智能塔吊周围的环境数据；

所述控制模块根据所述环境数据确定表征当前是否适合所述智能塔吊施工的工况信息，并将所述工况信息通过所述无线通信模块发送给所述智能塔吊的控制器，以使所述控制器根据所述工况信息确定是否开始施工。

10.一种智能塔吊，其特征在于，所述智能塔吊配置有权利要求1-8任一项所述的用于智能塔吊工况检测的智能辅助机器人。

Images