CN114612852A - 一种起重机的卷扬倍率识别方法、识别系统及起重机 - Google Patents

Abstract

本申请涉及工程机械领域，具体涉及一种起重机的卷扬倍率识别方法、识别系统及起重机。此起重机的卷扬倍率识别方法包括部署倍率识别深度学习模型；获取起重机的目标图像，将起重机的目标图像传输至倍率识别深度学习模型；获取倍率识别深度学习模型的全部单次输出的倍率结果；根据全部单次输出结果，获取起重机的目标识别倍率。此方法基于深度学习视觉算法对起重机的目标图像进行处理分析，实现卷扬倍率的识别，同时利用深度学习应对复杂多变的开放式场景，适应性更高，能够解决更加复杂的问题，改善了起重机的实际卷扬倍率难以识别的问题，利用此识别的实际卷扬倍率即可得知系统设置倍率是否安全，降低起重机作业过程的操作风险。

Description

一种起重机的卷扬倍率识别方法、识别系统及起重机

技术领域

本申请涉及工程机械领域，具体涉及一种起重机的卷扬倍率识别方法、识别系统及起重机。

背景技术

随着起重机自动化程度提高，越来越多安全保护由起重机上的软件系统实现。软件系统依赖传感器数据和部分手工设置的工况参数工作，但是，当手工设置的参数与装置实际情况不符时，车上软件系统提供的安全保护措施可能会失效，造成安全风险。因此，如何准确检测起重机实际参数反馈至软件系统是解决此问题的关键。

目前，针对起重机的卷扬倍率参数的检测，一般有三种方式：通过在轮槽及固定连接点处传感器检测的方式；通过力矩计算的方式；通过传统图像处理的方式，但这些方式各自存在有一定局限，暂未得到广泛应用。

发明内容

有鉴于此，本申请提供了一种起重机的卷扬倍率识别方法、识别系统及起重机，解决或改善了现有技术中起重机卷扬倍率参数的实际检测识别较为困难的技术问题。

根据本申请的一个方面，本申请提供了一种起重机的卷扬倍率识别方法，此起重机的卷扬倍率识别方法包括：部署倍率识别深度学习模型；获取起重机的目标图像，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型；获取所述倍率识别深度学习模型的全部单次输出的倍率结果；根据全部所述单次输出的倍率结果，获取所述起重机的目标识别倍率。

在一种可能的实现方式中，所述部署倍率识别深度学习模型，包括：获取臂头摄像装置采集的图像；对所述图像进行标注，生成训练数据集；搭建初始深度学习模型；根据所述训练数据集对所述初始深度学习模型进行训练，生成训练深度学习模型；对所述训练深度学习模型进行裁剪，生成所述倍率识别深度学习模型。

在一种可能的实现方式中，所述根据所述训练数据集对所述初始深度学习模型进行训练，生成训练深度学习模型，包括：当所述训练数据集包括模糊数据时，标注所述模糊数据的倍率上限值与倍率下限值；根据所述倍率上限值与所述倍率下限值的差值，生成模糊权重；根据所述模糊数据、所述模糊权重以及多标签分类的损失函数，对所述初始深度学习模型进行训练，生成训练深度学习模型。

在一种可能的实现方式中，所述根据所述训练数据集对所述初始深度学习模型进行训练，还包括：根据所述训练数据集，对所述初始深度学习模型进行多任务训练；其中，所述多任务包括图像分类任务、目标检测任务以及语义分割任务；所述对所述训练深度学习模型进行裁剪，生成所述倍率识别深度学习模型，包括：对所述训练深度学习模型中的骨干网络以及图像分类分支进行裁剪，作为所述倍率识别深度学习模型；或对所述训练深度学习模型中的骨干网络以及目标检测分支进行裁剪，作为所述倍率识别深度学习模型。

在一种可能的实现方式中，所述图像分类任务的标注数据为所述图像中的主钩倍率类别；所述目标检测任务的所述标注数据为所述图像中的所述主钩的边界框及倍率类别、所述副钩的边界框及倍率类别；所述语义分割任务的所述标注数据为所述图像中的钢丝绳、轮槽以及固定连接点的区域。

在一种可能的实现方式中，所述获取起重机的目标图像，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型，包括：获取所述起重机的主臂角度和/或主臂长度的时序变化特征数据；当所述主臂角度和/或所述主臂长度的所述时序变化特征数据满足预设进入条件时，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型。

在一种可能的实现方式中，所述获取起重机的目标图像，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型，还包括：当所述主臂角度和/或主臂长度的所述时序变化特征数据满足预设退出条件时，停止获取所述起重机的目标图像。

根据本申请的第二个方面，本申请还提供了一种起重机的卷扬倍率识别系统，此起重机的卷扬倍率识别系统包括：边缘计算设备，所述边缘计算设备部署了倍率识别深度学习模型；臂头摄像装置，所述臂头摄像装置设置在起重机的臂头，所述臂头摄像装置与所述边缘计算设备通信连接，所述臂头摄像装置将采集的图像数据传输至所述边缘计算设备。

在一种可能的实现方式中，所述边缘计算设备包括神经网络处理器或图形处理器。

根据本申请的第三个方面，本申请还提供了一种起重机，此起重机包括上述起重机的卷扬倍率识别系统。

本申请提供了一种起重机的卷扬倍率识别方法、识别系统及起重机，此起重机的卷扬倍率识别方法包括：部署倍率识别深度学习模型；获取起重机的目标图像，将起重机的目标图像传输至倍率识别深度学习模型；获取倍率识别深度学习模型的全部单次输出的倍率结果；根据全部单次输出结果，获取起重机的目标识别倍率。此方法基于深度学习视觉算法，结合起重机的目标图像，进行卷扬倍率的识别，同时利用深度学习应对复杂多变的开放式场景，适应性更高，能够解决更加复杂的问题，改善了起重机的实际卷扬倍率难以识别的问题，利用此识别的实际卷扬倍率即可得知系统设置倍率是否安全，降低起重机作业过程的操作风险。

附图说明

图1所示为本申请一实施例提供的起重机的卷扬倍率识别方法的流程示意图。

图2所示为本申请另一实施例提供的起重机的卷扬倍率识别方法中部署倍率识别深度学习模型方法的流程示意图。

图3所示为本申请另一实施例提供的起重机的卷扬倍率识别方法中深度学习模型训练方法的流程示意图。

图4所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。

图5所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。

图6所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。

图7所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。

图8所示为本申请另一实施例提供的起重机的卷扬倍率识别系统以及起重机的工作原理图。

图9所示为本申请一实施例提供的电子设备的结构示意图。

附图标记说明：100、卷扬倍率识别系统；101、边缘计算设备；102、臂头摄像装置；103、显示屏；600、电子设备；601、处理器；602、存储器；603、输入装置；604、输出装置。

具体实施方式

本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后、顶、底……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

另外，在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

申请概述

目前，针对起重机的实际卷扬倍率参数的检测，有三种较为常见的方式，包括在固定连接点处设置传感器检测、利用力矩计算以及通过传统图像处理的方式。但上述方式目前存在以下问题：

(1)设置传感器的方式：传感器布置在靠近滑轮轮槽的位置，在起重机进行吊钩的安装时，钢丝绳从轮槽穿过，容易磕碰损坏传感器。

(2)利用力矩计算的方式：受限于摩擦力、测量精度等原因，大都需要在有吊重物或吊钩上升的阶段才能较好识别，适用条件要求高。

(3)传统图像分析的方式：臂头摄像头采集到的图像是一个复杂多变的开放式场景，图像中吊钩与钢丝绳形态自由，并且只占图像一小部分区域，其他区域是多变的工作场景，要从中识别吊钩与钢丝绳是一个复杂问题，传统方式很难设计有效的图像特征进行识别，识别效率低。

因此，本申请提供了一种起重机的卷扬倍率识别方法、识别系统及起重机，其中，起重机的卷扬倍率识别方法包括：部署倍率识别深度学习模型；获取起重机的目标图像，将起重机的目标图像传输至倍率识别深度学习模型；获取倍率识别深度学习模型的全部单次输出的倍率结果；根据全部单次输出的倍率结果，获取起重机的目标识别倍率。此方法基于深度学习视觉算法，对起重机的目标图像进行处理计算，实现卷扬倍率的识别，同时利用深度学习应对复杂多变的开放式场景，适应性更高，能够解决更加复杂的问题，改善了起重机的实际卷扬倍率难以识别的问题，利用此识别的实际卷扬倍率即可得知系统设置倍率是否安全，降低起重机作业过程的操作风险。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1所示为本申请一实施例提供的起重机的卷扬倍率识别方法的流程示意图。如图1所示，这种起重机的卷扬倍率识别方法可应用于边缘计算设备，具体包括如下步骤：

步骤100：部署倍率识别深度学习模型。

倍率指起重机的实际倍率，即起重机钢丝绳滑轮组省力或者增速倍率，能够根据定滑轮组和动滑轮组之间的钢丝绳股数来确定；深度学习是一类模式分析方法的统称，主要涉及三类方法：基于卷积运算的神经网络系统，即卷积神经网络(CNN)，基于多层神经元的自编码神经网络，包括自编码(Auto encoder)以及稀疏编码两类(Sparse Coding)，以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)，通过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务。将倍率识别深度学习模型部署于起重机，可使得起重机得以应用此模型进行自身状态图像的识别，从而得出起重机的实际倍率，提高了倍率识别的准确性。

步骤200：获取起重机的目标图像，将起重机的目标图像传输至倍率识别深度学习模型。

起重机的目标图像指安装于起重机的臂头摄像装置所采集的待识别图像，该图像中包括起重机的吊钩，将该图像传输至倍率识别深度学习模型可使得倍率识别深度学习模型对图像进行分析计算，最终输出识别倍率。

步骤300：获取倍率识别深度学习模型的全部单次输出的倍率结果。

单次输出的倍率结果为倍率识别深度学习模型根据一个样本目标图像计算的出的倍率结果，包括倍率值以及每种倍率值的置信度；由于倍率识别深度学习模型在起重机重新安装吊钩并更换倍率期间会持续地获取臂头图像，因此倍率识别深度学习模型也会多次对接收到的图像进行计算，得出多组输出结果，结合全部输出的倍率结果，可分析得出最终的倍率结果，提高最终识别倍率的准确性。

步骤400：根据全部单次输出的倍率结果，获取起重机的目标识别倍率。

目标识别倍率即根据倍率识别深度学习模型的全部单次输出的倍率结果，分析计算得出的最终倍率。利用目标识别倍率，操作人员或起重机的控制系统可判断当前系统设置倍率与实际识别出的倍率是否一致或起重机是否存在作业风险等，如有风险，及时停机调整，以提高起重机作业过程的安全性。

在一种可能的实现方式中，图2所示为本申请另一实施例提供的起重机的卷扬倍率识别方法中部署倍率识别深度学习模型方法的流程示意图。如图2所示，步骤100进一步可以包括如下步骤：

步骤110：获取臂头摄像装置采集的图像。

臂头摄像装置即安装于起重机主臂的臂头处的摄像装置，可以为摄像头等，其可以采集主臂当前的图像信息，并将此图像传输至系统，使系统利用此图像对深度学习模型进行训练。

步骤120：对图像进行标注，生成训练数据集。

训练数据集即对图像进行标注后形成的用于对深度学习模型训练的样本数据。对臂头摄像装置采集的目标图像进行人工标注，可形成可靠有效的样本数据。

步骤130：搭建初始深度学习模型。

初始深度学习模型即未经训练的深度学习模型。

步骤140：根据训练数据集对初始深度学习模型进行训练，生成训练深度学习模型。

训练深度学习模型即训练后未经裁剪、转换以及量化的深度学习模型。利用上述训练数据集对深度学习模型进行训练，可以使得该模型具有一定的分析学习能力，能够在后续的应用中识别臂头处的图像数据，并进行倍率的识别结果输出。

步骤150：对训练深度学习模型进行裁剪，生成倍率识别深度学习模型。

裁剪后的训练深度学习模型即为起重机中应用于倍率识别的倍率识别深度学习模型，此深度学习模型去除了不必要的分支结构，减少了计算量，有助于提升计算速率。

具体的，图3所示为本申请另一实施例提供的起重机的卷扬倍率识别方法中深度学习模型训练方法的流程示意图。如图3所示，步骤140具体还可以包括如下步骤：

步骤1401：当训练数据集包括模糊数据时，标注模糊数据的倍率上限值与倍率下限值。

模糊数据指的是臂头摄像装置在图像采集过程，所采集到的部分存在遮挡后不完全在视野中的图像，此类图像虽然不是最优图像，但实际应用过程难免会存在类似情况，因此在深度模型的训练过程，应用此类数据对深度模型进行训练，可以提高最终裁剪后的倍率识别深度学习模型的适用性。模糊样本数据虽然无法准确得出识别倍率值，但可确定可能的倍率上限值和倍率下限值，标注出每个模糊样本数据的倍率上限值与倍率下限值，可以利用这两个确定的边界值对初始深度学习模型进行训练。

步骤1402：根据倍率上限值与倍率下限值的差值，生成模糊权重。

模糊权重用于进行类别损失函数的计算，将倍率上限值以及倍率下限值代入公式一，计算生成模糊权重，公式一如下：

其中，w为模糊权重，r_max为倍率上限值，r_min为倍率下限值。

根据公式一可知，倍率上限值和倍率下限值的差距越大，即倍率可能存在的范围越大，权重越小，当上下限相等时，权重为1。

步骤1403：根据模糊数据、模糊权重以及多标签分类的损失函数，对初始深度学习模型进行训练，生成训练深度学习模型。

多标签分类的损失函数乘以模糊权重即可得出计算误差，即公式二：

L_cls＝-w*∑_i[y_ilog(p_i)+(1-y_i)log(1-p_i)] (公式二)

其中，L_cls为误差损失，y_i为类别真值。

此外，训练中，根据标注的倍率上下限，将在上下限及之间的处理为类别为1，其余处理为类别为0的向量，作为类别的真值，即如公式三所示：

在另一种可能的实现方式中，如图3所示，步骤140还可以包括如下步骤：

步骤1411：根据训练数据集，对初始深度学习模型进行多任务训练。

多任务训练包括图像分类任务训练、目标检测任务训练以及语义分割任务训练。多任务学习的深度学习模型，其训练阶段的结构由在一个共用的骨干网络上附加图像分类、目标检测、语义分割三种不同任务分支的网络结构组成。利用上述网络结构对深度学习模型进行多任务训练，可以降低深度学习模型的训练难度同时提高模型性能。

需要说明的是，步骤1401至步骤1403为利用模糊样本数据对初始深度学习模型进行对应训练，而步骤1411是对初始深度学习模型进行多任务的训练，两种训练方式相互独立，可以同时进行也可以分别进行，具体实施方式应视具体的应用场景而定，图3仅为其中一种方式的举例附图，并非对此作出的进一步限定。

在一种可能的实现方式中，步骤150可以包括步骤1501：

步骤1501：对训练深度学习模型中的骨干网络以及图像分类分支进行裁剪，作为倍率识别深度学习模型。

或者：

步骤1502：对训练深度学习模型中的骨干网络以及目标检测分支进行裁剪，作为倍率识别深度学习模型

裁剪后的训练深度学习模型即为起重机中应用于倍率识别的倍率识别深度学习模型，此深度学习模型去除了不必要的分支结构，减少了计算量，有助于提升计算速率。

具体的，图像分类任务的标注数据为图像中的主钩倍率类别；目标检测任务的标注数据为图像中的主钩的边界框及倍率类别、副钩的边界框及倍率类别；语义分割任务的标注数据为图像中的钢丝绳、轮槽以及固定连接点的区域。此外，在模型训练完成后，将骨干网络加图像分类分支裁剪出来或将骨干网络加目标检测分支裁剪出来，作为倍率识别深度学习模型部署到起重机中即可。其中，带有图像分类分支的倍率识别深度学习模型更适用于单吊钩的起重机，如具有主钩和副钩，最终输出主钩的识别倍率；带有目标检测分支的倍率识别深度学习模型可适用于多吊钩的起重机，可输出多个吊钩的识别倍率。因此，起重机具体部署何种深度学习模型，应视起重机的类型而定，本申请不对此作出进一步限定。

在一种可能的实现方式中，图4所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。如图4所示，此起重机的卷扬倍率识别方法中，步骤200还可以包括如下步骤：

步骤210：获取起重机的主臂角度和/或主臂长度的时序变化特征数据。

时序变化特征数据是指起重机的主臂角度、主臂长度随时间变化的一组数据，每个数据对应该时间段内的某个时间点，获取时序变化特征数据可以得知起重器主臂在这一时间段内的变化情况。

步骤211：当主臂角度和/或主臂长度的时序变化特征数据满足预设进入条件时，将起重机的目标图像传输至倍率识别深度学习模型。

预设进入条件是系统中预先设置的条件，此条件用于使得系统将起重机的目标图像传输至倍率识别深度学习模型，并使得倍率识别深度学习模型开始对实际倍率进行识别。由于起重机在重新安装吊钩更换倍率后，臂头摄像装置在倍率更换完成的初期阶段所采集的图像可能会存在部分无效或不具代表性的图像，因此设置预设进入条件后，可使得系统舍弃这部分图像，减少深度学习模型的计算量，同时降低了无效图像对倍率识别结果准确性的影响。

具体的，如图4所示，在步骤211后，步骤210还可以包括如下步骤：

步骤212：当主臂角度和/或主臂长度的时序变化特征数据满足预设退出条件时，停止获取起重机的目标图像。

预设退出条件同理预设进入条件，为系统预设的停止获取目标图像的退出条件。当臂头摄像装置获取到的主臂角度以及主臂长度的时序变化特征满足预设退出条件，说明当前图像已经足够用于进行倍率的识别或在此时间窗口外的图像已不具有代表性，继续获取使得倍率识别深度模型继续计算会加大计算量同时对提高倍率识别的准确性起不到有益作用。应当理解，在停止继续获取起重机的目标图像后，系统也不再对倍率识别深度学习模型进行图像的传输，此时倍率识别深度学习模型也停止计算的执行。

需要说明的是，预设进入条件应视具体的应用场景以及起重机的类型而定，如可以设置主臂角度大于5度后进入等；预设退出条件同理预设进入条件，也应视起重机的具体类型而定，如可以设置为主臂角度大于65度并此后持续大于65度超过一定时长等，本申请不对此预设进入条件的具体内容作出限定。

可选的，图5所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。如图5所示，在步骤300中，倍率识别深度学习模型的单次输出的倍率结果包括输出倍率以及输出倍率的置信度，因此，步骤400进一步可以包括如下步骤：

步骤410：根据全部单次输出的倍率结果，逐一获取输出倍率的置信度平均值。

输出倍率即倍率识别深度学习模型单次输出的倍率值，置信度展现的是这个输出标签的真实值有一定概率落在测量结果的周围的程度，置信度给出的是被测量参数测量值的可信程度范围。对倍率识别深度学习模型每次输出的结果进行统计，同时计算出每个倍率值的置信度平均值，以更加客观地获取目标识别倍率。

步骤420：将置信度平均值大于预设值的输出倍率，作为目标识别倍率。

经过步骤410的计算，可以得到此次计算中，每种倍率的平均置信度，选择置信度平均值大于预设值的输出倍率作为目标识别倍率是更加可靠的且相对准确的。此处的预设值为一个预设数值，由于倍率识别深度学习模型的机器分析过程不同于人工分析，因此并非只有置信度平均值最大的输出倍率可信，因此可以预设一个预设值，当置信度平均值大于此预设值时，认为此输出倍率均具有一定的参考价值。

在另一种可能的实现方式中，如图5所示，此起重机的卷扬倍率识别方法中，在步骤400后，进一步还可以包括如下步骤：

步骤510：获取系统设置倍率。

系统设置倍率为起重机的控制系统为起重机设置的倍率，此系统设置倍率大于或等于实际识别倍率时，起重机作业过程的风险程度较低，为进行系统设置倍率和实际识别倍率间的比较，需要对其进行获取。

步骤520：判断系统设置倍率与目标识别倍率是否一致，当系统设置倍率与目标识别倍率不一致时，生成提示信息或警报信息。

由上述内容可知，当系统设置倍率与起重机的实际倍率不一致时，尤其是系统设置倍率大于实际倍率，起重机的作业过程存在一定风险，因此将系统识别倍率与目标识别倍率进行比较，并在发现两者不一致的情况下进行提示或警报，以提醒工作人员尽快处理，降低起重机发生安全事故的概率。

具体的，图6所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。如图6所示，步骤520进一步可以包括如下步骤：

步骤5201：判断系统设置倍率与目标识别倍率是否一致，当系统设置倍率小于目标识别倍率时，生成提示信息。

当系统设置倍率小于目标识别倍率时，起重机作业的风险较低，因此对操作者进行提示即可。

或者：

步骤5202：判断系统设置倍率与目标识别倍率是否一致，当系统设置倍率大于目标识别倍率时，生成警报信息。

但是当系统设置倍率大于目标识别倍率时，起重机的作业风险提升，需要尽快处理，因此生成警报信息。

可选的，图7所示为本申请另一实施例提供的起重机的卷扬倍率识别方法的流程示意图。如图7所示，在步骤520后，此起重机的卷扬倍率识别方法还可以包括如下步骤：

步骤530：将提示信息或警报信息传输至起重机的显示屏。

将提示信息或警报信息传输至起重机的显示屏可以使得操作者更加直观地判断是否需要对起重机的当前倍率进行进一步调整，以进一步有效地保障起重机的作业安全。

根据本申请的第二个方面，本申请还提供了一种起重机的卷扬倍率识别系统。

图8所示为本申请另一实施例提供的起重机的卷扬倍率识别系统以及起重机的工作原理图。如图8所示，此起重机的卷扬倍率识别系统100具体包括边缘计算设备101以及臂头摄像装置102，其中，边缘计算设备101部署了上述倍率识别深度学习模型，臂头摄像装置102与边缘计算设备101通过CAN总线通信连接，臂头摄像装置102将拍摄的图像数据传输至边缘计算设备101，使得边缘计算设备101得以利用倍率识别深度学习模型对图像数据进行分析计算，并输出计算结果。

本申请提供的这种起重机的卷扬倍率识别系统100包括边缘计算设备101以及臂头摄像装置102，边缘计算设备101部署了上述倍率识别深度学习模型，臂头摄像装置102与边缘计算设备101通信连接，臂头摄像装置102将采集的图像数据传输至边缘计算设备101。此系统可以部署倍率识别深度学习模型；获取起重机的目标图像，将起重机的目标图像传输至倍率识别深度学习模型；获取倍率识别深度学习模型的全部单次输出的倍率结果；根据全部单次输出结果，获取起重机的目标识别倍率。此方法基于深度学习视觉算法，结合起重机的状态图像数据，进行卷扬倍率的识别，同时利用深度学习应对复杂多变的开放式场景，适应性更高，能够解决更加复杂的问题，改善了起重机的实际卷扬倍率难以识别的问题，利用此识别的实际卷扬倍率即可得知系统设置倍率是否安全，降低起重机作业过程的操作风险。

在一种可能的实现方式中，边缘计算设备101为带有GPU(Graphics ProcessingUnit，图形处理器)、NPU(Neural Processing Unit，神经网络处理器)或其他深度学习专用芯片的边缘计算设备，如此使得边缘计算设备得以进行倍率识别深度学习模型的部署。

根据本申请的第三个方面，本申请还提供了一种起重机，这种起重机包括上述实施例中的起重机的卷扬倍率识别系统100。如图8所示，此起重机由于包括边缘计算设备101以及臂头摄像装置102，边缘计算设备101部署了上述倍率识别深度学习模型，摄像装置与边缘计算设备101通信连接，摄像装置将拍摄的图像数据传输至边缘计算设备101。此系统可以部署倍率识别深度学习模型；获取起重机的目标图像，将起重机的目标图像传输至倍率识别深度学习模型；获取倍率识别深度学习模型的全部单次输出的倍率结果；根据全部单次输出结果，获取起重机的目标识别倍率。此方法基于深度学习视觉算法，结合起重机的状态图像数据，进行卷扬倍率的识别，同时利用深度学习应对复杂多变的开放式场景，适应性更高，能够解决更加复杂的问题，改善了起重机的实际卷扬倍率难以识别的问题，利用此识别的实际卷扬倍率即可得知系统设置倍率是否安全，降低起重机作业过程的操作风险。

此外，此起重机还可以包括显示屏103，边缘计算设备101通过CAN总线与显示屏103通信连接，以将其生成的提示信息以及警告信息传输至显示屏103，便于操作者观察。

下面，参考图9来描述根据本申请实施例的电子设备。图9所示为本申请一实施例提供的电子设备的结构示意图。

如图9所示，电子设备600包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或信息执行能力的其他形式的处理单元，并且可以控制电子设备600中的其他组件以执行期望的功能。

存储器601可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序信息，处理器601可以运行所述程序信息，以实现上文所述的本申请的各个实施例的起重机的卷扬倍率识别方法或者其他期望的功能。

在一个示例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置603可以包括例如键盘、鼠标等等。

该输出装置604可以向外部输出各种信息。该输出装置604可以包括例如显示器、通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备600中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序信息，所述计算机程序信息在被处理器运行时使得所述处理器执行本说明书中描述的根据本申请各种实施例的起重机的卷扬倍率识别方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序信息，所述计算机程序信息在被处理器运行时使得所述处理器执行本说明书根据本申请各种实施例的起重机的卷扬倍率识别方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。

以上所述仅为本申请创造的较佳实施例而已，并不用以限制本申请创造，凡在本申请创造的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请创造的保护范围之内。

Claims (10)

1.一种起重机的卷扬倍率识别方法，其特征在于，包括：

部署倍率识别深度学习模型；

获取起重机的目标图像，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型；

获取所述倍率识别深度学习模型的全部单次输出的倍率结果；

根据全部所述单次输出的倍率结果，获取所述起重机的目标识别倍率。

2.根据权利要求1所述的起重机的卷扬倍率识别方法，其特征在于，所述部署倍率识别深度学习模型，包括：

获取臂头摄像装置采集的图像；

对所述图像进行标注，生成训练数据集；

搭建初始深度学习模型；

根据所述训练数据集对所述初始深度学习模型进行训练，生成训练深度学习模型；

对所述训练深度学习模型进行裁剪，生成所述倍率识别深度学习模型。

3.根据权利要求2所述的起重机的卷扬倍率识别方法，其特征在于，所述根据所述训练数据集对所述初始深度学习模型进行训练，生成训练深度学习模型，包括：

当所述训练数据集包括模糊数据时，标注所述模糊数据的倍率上限值与倍率下限值；

根据所述倍率上限值与所述倍率下限值的差值，生成模糊权重；

根据所述模糊数据、所述模糊权重以及多标签分类的损失函数，对所述初始深度学习模型进行训练，生成训练深度学习模型。

4.根据权利要求2所述的起重机的卷扬倍率识别方法，其特征在于，所述根据所述训练数据集对所述初始深度学习模型进行训练，还包括：

根据所述训练数据集，对所述初始深度学习模型进行多任务训练；

其中，所述多任务包括图像分类任务、目标检测任务以及语义分割任务；

所述对所述训练深度学习模型进行裁剪，生成所述倍率识别深度学习模型，包括：

对所述训练深度学习模型中的骨干网络以及图像分类分支进行裁剪，作为所述倍率识别深度学习模型；或

对所述训练深度学习模型中的所述骨干网络以及目标检测分支进行裁剪，作为所述倍率识别深度学习模型。

5.根据权利要求4所述的起重机的卷扬倍率识别方法，其特征在于，所述图像分类任务的标注数据包括所述图像中的主钩倍率类别；

所述目标检测任务的所述标注数据包括所述图像中的所述主钩的边界框及倍率类别、所述副钩的边界框及倍率类别；

所述语义分割任务的所述标注数据包括所述图像中的钢丝绳、轮槽以及固定连接点的区域。

6.根据权利要求1所述的起重机的卷扬倍率识别方法，其特征在于，所述获取起重机的目标图像，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型，包括：

获取所述起重机的主臂角度和/或主臂长度的时序变化特征数据；

当所述主臂角度和/或所述主臂长度的所述时序变化特征数据满足预设进入条件时，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型。

7.根据权利要求6所述的起重机的卷扬倍率识别方法，其特征在于，所述获取起重机的目标图像，将所述起重机的所述目标图像传输至所述倍率识别深度学习模型，还包括：

当所述主臂角度和/或主臂长度的所述时序变化特征数据满足预设退出条件时，停止获取所述起重机的目标图像。

8.根据权利要求1所述的起重机的卷扬倍率识别方法，其特征在于，所述单次输出结果包括输出倍率以及所述输出倍率的置信度，所述根据全部所述单次输出的倍率结果，获取所述起重机的目标识别倍率，包括：

根据全部所述单次输出的倍率结果，逐一获取所述输出倍率的置信度平均值；

将所述置信度平均值大于预设值的所述输出倍率，作为所述目标识别倍率。

9.一种起重机的卷扬倍率识别系统，其特征在于，包括：

边缘计算设备(101)，所述边缘计算设备(101)部署了倍率识别深度学习模型；

臂头摄像装置(102)，所述臂头摄像装置(102)设置在起重机的臂头，所述臂头摄像装置(102)与所述边缘计算设备(101)通信连接，所述臂头摄像装置(102)将采集的图像数据传输至所述边缘计算设备(101)。

10.一种起重机，其特征在于，包括权力要求9所述的起重机的卷扬倍率识别系统(100)。

Images