CN113911916B - 用于智能塔吊的吊钩物料结合定位控制方法和系统 - Google Patents

Abstract

本申请实施例提供一种用于智能塔吊的吊钩物料结合定位控制方法和系统。该方法包括：实时接收图像传感器采集的多项待吊装物料的图像，并对图像进行分割，获得多个相应的单项待吊装物料的图像；将多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型；实时获取位置传感器数据，根据位置传感器数据计算每个吊钩到每项物料的空间位置关系；接受并解析吊装任务，根据吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序。本申请能够高效匹配吊钩和物料，在多个吊钩同时执行吊装任务时进行合理吊钩物料结合定位。

Description

用于智能塔吊的吊钩物料结合定位控制方法和系统

技术领域

本申请涉及智能塔吊技术领域，尤其涉及一种用于智能塔吊的吊钩物料结合定位控制方法和系统。

背景技术

目前的塔吊，基本都是人员在塔吊上的中控室进行操控。对于塔吊行业来说，目前的发展方向是无人塔吊、智能塔吊，那么在产业升级的过程中会遇到很多的技术问题。

目前的远程控制塔吊，在多个塔吊同时进行吊装的过程中，同一块物料场内可能含有多种物料，而每个塔吊都需要选择不同的物料进行吊装，目前只能通过人工选取物料和对应的吊钩进行控制。

发明内容

有鉴于此，本申请的目的在于提出一种用于智能塔吊的吊钩物料结合定位控制方法和系统，本申请能够针对性的解决现有的塔吊作业自动化的问题。

基于上述目的，本申请提出了一种用于智能塔吊的吊钩物料结合定位控制方法，包括：

在多个塔吊同时吊装物料集合中的多项待吊装物料时，在每个塔吊吊钩上均设置图像传感器和位置传感器，在每项待吊装物料上均设置位置传感器；

实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像；

将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型；

实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系；

接受并解析吊装任务，根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据所述吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序。

进一步地，所述变幅小车用于控制吊钩的升降高度和横向位置。

进一步地，所述实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像，包括：

每个图像传感器单独拍摄一张所述物料集合的图像；

对于每张所述物料集合的图像，去除图像中的噪音，对图像进行平滑操作；根据平滑后图像的灰度级像素个数，得到平滑后图像前景与背景灰度的两个最大值，基于两个最大值的对应灰度进行图像增强，用以增强图像的前景与背景的对比度；

根据图像中前景与背景灰度的期望，进行阈值分割；

对阈值分割后的二值图像进行局部区域填充与被包围区域填充；

提取填充后图像的边缘，使用最小外接矩形框出图像中的物料区域，对最小外接矩形的物料区域进行分割，分割出图中含有物料区域的子图像，获得多个相应的单项待吊装物料的图像。

进一步地，所述局部区域填充分为纵向局部填充和横向局部填充；所述纵向局部填充：设黑色为前景，白色为背景，如果同一列两个黑点之间的像素全部是白色且两点间的像素长度不大于预设填充阈值，则填充为黑色；所述横向填充：设黑色为前景，白色为背景，如果同一行两个黑点之间的像素全部是白色且两点之间的距离不大于预设填充阈值长度的区域，则填充为黑色。

进一步地，所述将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型，包括：

将所述多个相应的单项待吊装物料的图像进行相空间重构，进行奇异值分解得到奇异矩阵及左右两个投影矩阵，对上述两个投影矩阵分别进行再次矩阵重构，再次通过奇异值分解提取物料时间信息和空间信息的代数特征，构造混合特征向量作为物料的特征表征；

运用RBF神经网络分类器，将已知的物料样本通过提取物料的特征表征，生成训练集，作为神经网络的输入，完成物料分类识别的网络训练；

对待识别的物料图像，输入到RBF神经网络，利用网络参数训练的结果完成识别分类判断。

进一步地，所述实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系，包括：

实时接收所有所述位置传感器的数据；

根据每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，计算每个所述吊钩相对于每项待吊装物料的相对位置空间坐标；

根据每个所述吊钩相对于每项待吊装物料的相对位置空间坐标，确认每个所述吊钩相对于每项待吊装物料的距离和方向，作为每个吊钩到每项物料的空间位置关系。

进一步地，所述接受并解析吊装任务，根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据所述吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序，包括：

接受并解析吊装任务；所述吊装任务包括每个吊钩的标签及其要吊装的物料类型及数量；

根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，为每个吊钩选取符合其要吊装的物料类型的至少一项待吊装物料；

当一个吊钩匹配的待吊装物料为多项时，获取该吊钩到每项匹配待吊装物料的空间距离并进行排序；

选择距离该吊钩空间距离最近的一项匹配物料，作为最终的目标吊装物料；

根据所述吊钩和目标吊装物料的空间位置关系规划该吊钩到该目标吊装物料的吊装路径；

当多个吊钩的吊装路径出现交叉时，根据吊装任务的紧迫程度和每个吊钩的工作状态统筹优化所有吊钩的吊装顺序。

基于上述目的，本申请还提出了一种用于智能塔吊的吊钩物料结合定位控制系统，包括：

传感器模块，用于在多个塔吊同时吊装物料集合中的多项待吊装物料时，在每个塔吊吊钩上均设置图像传感器和位置传感器，在每项待吊装物料上均设置位置传感器；

图像分割模块，用于实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像；

物料分类模块，用于将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型；

空间位置计算模块，用于实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系；

匹配规划模块，用于接受并解析吊装任务，根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据所述吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序。

总的来说，本申请的优势及给用户带来的体验在于：

本申请能够根据物料图像确定物料的材料类型，进一步根据吊装任务自动化、高效匹配吊钩和物料；在多个吊钩同时执行吊装任务时，能够根据吊装任务是否重叠进行合理吊钩物料结合定位控制，提高了任务执行效率，解决了任务执行时的潜在风险。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1示出本申请的系统架构原理示意图。

图2示出根据本申请实施例的用于智能塔吊的吊钩物料结合定位控制方法的流程图。

图3示出根据本申请实施例的用于智能塔吊的吊钩物料结合定位控制系统的构成图。

图4示出了本申请一实施例所提供的一种电子设备的结构示意图；

图5示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出本申请的系统架构原理示意图。本申请的实施例中，如图1左边部分所示为施工场地，在每个塔吊吊钩上均设置位置传感器和图像传感器。各个传感器的数据实时采集并通过有线或无线方式发送给物联网后台。围绕物料场四周有四个塔吊，物料场内有四项物料：物料1、物料2、物料3、物料4。这四项物料可能是相同的材料类型，也可能是不同的材料类型，例如钢筋、预制板、木板、塑料等；这四项物料的数量可能是相同的，也可能是不同的。

本发明实施例中，物联网平台可以采用具有通信能力的服务器，也可为智能手机、智能手表等具有计算能力和收发信号能力的终端设备。

图2示出根据本申请实施例的用于智能塔吊的吊钩物料结合定位控制方法的流程图。如图2所示，该用于智能塔吊的吊钩物料结合定位控制方法包括：

步骤101：在多个塔吊同时吊装物料集合中的多项待吊装物料时，在每个塔吊吊钩上均设置图像传感器和位置传感器，在每项待吊装物料上均设置位置传感器。变幅小车用于控制吊钩的升降高度和横向位置。

本发明实施例中，上述位置传感器为纳米传感器，纳米传感器为尺寸为纳米级～毫米级的传感器，为使其尺寸足够小，纳米传感器可以仅包含位置反馈的功能，而不包括其他功能。

上述纳米传感器可为直径为1毫米的原形电子芯片，该电子芯片仅具备位置反馈功能，电子芯片启动后，开始向终端设备反馈位置信息。终端设备接收到位置信息后，根据获取到的多个位置信息确定每个传感器的分布位置。

步骤102：实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像，包括：

每个图像传感器单独拍摄一张所述物料集合的图像；

对于每张所述物料集合的图像，去除图像中的噪音，对图像进行平滑操作；根据平滑后图像的灰度级像素个数，得到平滑后图像前景与背景灰度的两个最大值，基于两个最大值的对应灰度进行图像增强，用以增强图像的前景与背景的对比度；

根据图像中前景与背景灰度的期望，进行阈值分割；

对阈值分割后的二值图像进行局部区域填充与被包围区域填充；

提取填充后图像的边缘，使用最小外接矩形框出图像中的物料区域，对最小外接矩形的物料区域进行分割，分割出图中含有物料区域的子图像，获得多个相应的单项待吊装物料的图像。

例如，吊钩的图像传感器可以采用摄像头，以预设时间间隔拍摄物料场的图像，图像内包括四项物料的图像，然后对拍摄的照片进行上述分割过程的图像分割，就可以分割得到四个小图片，每个图片内都包括一项物料。

其中，局部区域填充分为纵向局部填充和横向局部填充；所述纵向局部填充：设黑色为前景，白色为背景，如果同一列两个黑点之间的像素全部是白色且两点间的像素长度不大于预设填充阈值，则填充为黑色；所述横向填充：设黑色为前景，白色为背景，如果同一行两个黑点之间的像素全部是白色且两点之间的距离不大于预设填充阈值长度的区域，则填充为黑色。

步骤103：将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型，包括：

将所述多个相应的单项待吊装物料的图像进行相空间重构，进行奇异值分解得到奇异矩阵及左右两个投影矩阵，对上述两个投影矩阵分别进行再次矩阵重构，再次通过奇异值分解提取物料时间信息和空间信息的代数特征，构造混合特征向量作为物料的特征表征；

运用RBF神经网络分类器，将已知的物料样本通过提取物料的特征表征，生成训练集，作为神经网络的输入，完成物料分类识别的网络训练；

对待识别的物料图像，输入到RBF神经网络，利用网络参数训练的结果完成识别分类判断。

例如，通过上面的分类算法，把图1所示的物料1、物料2、物料3、物料4分别识别分类，得到类型分别为钢板、预制板、木板、钢板。

优选的，本申请可以进一步通过摄像头对某项物料的侧面进行拍照，通过分析其高度或进一步进行图像分割，来得出这项物料的数量，并根据其高度或数量以及材料类型，进一步估计其重量，以用于后续的吊装任务解析及规划之中。

步骤104：实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系，包括：

实时接收所有所述位置传感器的数据；

根据每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，计算每个所述吊钩相对于每项待吊装物料的相对位置空间坐标；

根据每个所述吊钩相对于每项待吊装物料的相对位置空间坐标，确认每个所述吊钩相对于每项待吊装物料的距离和方向，作为每个吊钩到每项物料的空间位置关系。

例如，吊钩1相对于物料1(以物料1上的位置传感器的位置为坐标原点)的空间位置坐标为(X1，Y1，Z1)，相对于物料2(以物料2上的位置传感器的位置为坐标原点)的空间位置坐标为(X2，Y2，Z2)，相对于物料3(以物料3上的位置传感器的位置为坐标原点)的空间位置坐标为(X3，Y3，Z3)，相对于物料4(以物料4上的位置传感器的位置为坐标原点)的空间位置坐标为(X4，Y4，Z4)。根据简单的立体几何关系，即可得到吊钩1到物料1、2、3、4的距离和方向。

步骤105：接受并解析吊装任务，根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据所述吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序，包括：

接受并解析吊装任务；所述吊装任务包括每个吊钩的标签及其要吊装的物料类型及数量；

根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，为每个吊钩选取符合其要吊装的物料类型的至少一项待吊装物料；

当一个吊钩匹配的待吊装物料为多项时，获取该吊钩到每项匹配待吊装物料的空间距离并进行排序；

选择距离该吊钩空间距离最近的一项匹配物料，作为最终的目标吊装物料；

根据所述吊钩和目标吊装物料的空间位置关系规划该吊钩到该目标吊装物料的吊装路径；

当多个吊钩的吊装路径出现交叉时，根据吊装任务的紧迫程度和每个吊钩的工作状态统筹优化所有吊钩的吊装顺序。

例如，经过解析吊装任务，吊钩1要吊取预制板，那么经过上面的图像分析和匹配，可以知道只有物料2中是预制板。根据吊钩1就选择物料2进行结合，并执行相应吊装任务。

又例如，经过解析吊装任务，吊钩1要吊取钢板，那么经过上面的图像分析和匹配，可以知道物料1和物料4中都是钢板。在分析物料1和物料4和吊钩1之间的距离关系，可以得到物料1距离吊钩1更近，那么根据就近原则吊钩1就选择物料1进行结合，并执行相应吊装任务。

再例如，如果图1左上角的吊钩1要吊取右下角的物料4，而与此同时，右下角的吊钩4要吊取左上角的物料1时，就会出现吊装路径的重合，如果同时执行的话，会导致两个塔吊碰撞，而引起安全事故。在这时，通过合理安排重叠吊钩的吊装时间，执行分时段吊装，就可以避免这类安全事故的发生。

再例如，如果各个吊钩的吊装路线之间不重合，例如左上角的吊钩1要吊取左上角的物料1，右上角的吊钩2要吊取右上角的物料2，左下角的吊钩3要吊取左下角的物料3，右下角的吊钩4要吊取右下角的物料4，就可以将这些吊装任务同时执行，在单位时间内完成最多的吊装任务，从而提高吊装效率。

更优选的，例如如果吊钩1要吊取的钢板数量超过了物料1的钢板数量，则规划时，先行吊装物料1，等物料1的钢板使用完毕后，继续吊装物料4中的钢板。

本申请能够根据物料图像确定物料的材料类型，进一步根据吊装任务自动化、高效匹配吊钩和物料；在多个吊钩同时执行吊装任务时，能够根据吊装任务是否重叠进行合理吊钩物料结合定位控制，提高了任务执行效率，解决了任务执行时的潜在风险。

申请实施例提供了一种用于智能塔吊的吊钩物料结合定位控制系统，该系统用于执行上述实施例所述的用于智能塔吊的吊钩物料结合定位控制方法，如图3所示，该系统包括：

传感器模块501，用于在多个塔吊同时吊装物料集合中的多项待吊装物料时，在每个塔吊吊钩上均设置图像传感器和位置传感器，在每项待吊装物料上均设置位置传感器；

图像分割模块502，用于实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像；

物料分类模块503，用于将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型；

空间位置计算模块504，用于实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系；

匹配规划模块505，用于接受并解析吊装任务，根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据所述吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序。

本申请的上述实施例提供的用于智能塔吊的吊钩物料结合定位控制系统与本申请实施例提供的用于智能塔吊的吊钩物料结合定位控制方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的用于智能塔吊的吊钩物料结合定位控制方法对应的电子设备，以执行上用于智能塔吊的吊钩物料结合定位控制方法。本申请实施例不做限定。

请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的用于智能塔吊的吊钩物料结合定位控制方法。

其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述用于智能塔吊的吊钩物料结合定位控制方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的用于智能塔吊的吊钩物料结合定位控制方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的用于智能塔吊的吊钩物料结合定位控制方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的用于智能塔吊的吊钩物料结合定位控制方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的用于智能塔吊的吊钩物料结合定位控制方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种用于智能塔吊的吊钩物料结合定位控制方法，其特征在于，包括：

在多个塔吊同时吊装物料集合中的多项待吊装物料时，在每个塔吊吊钩上均设置图像传感器和位置传感器，在每项待吊装物料上均设置位置传感器；

实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像；

将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型；

实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系；

接受并解析吊装任务，根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据所述吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序，包括：接受并解析吊装任务；所述吊装任务包括每个吊钩的标签及其要吊装的物料类型及数量；根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，为每个吊钩选取符合其要吊装的物料类型的至少一项待吊装物料；当一个吊钩匹配的待吊装物料为多项时，获取该吊钩到每项匹配待吊装物料的空间距离并进行排序；选择距离该吊钩空间距离最近的一项匹配物料，作为最终的目标吊装物料；根据所述吊钩和目标吊装物料的空间位置关系规划该吊钩到该目标吊装物料的吊装路径；当多个吊钩的吊装路径出现交叉时，根据吊装任务的紧迫程度和每个吊钩的工作状态统筹优化所有吊钩的吊装顺序。

2.根据权利要求1所述的方法，其特征在于，

所述塔吊包括变幅小车，所述变幅小车用于控制吊钩的升降高度和横向位置。

3.根据权利要求2所述的方法，其特征在于，

所述实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像，包括：

每个图像传感器单独拍摄一张所述物料集合的图像；

对于每张所述物料集合的图像，去除图像中的噪音，对图像进行平滑操作；根据平滑后图像的灰度级像素个数，得到平滑后图像前景与背景灰度的两个最大值，基于两个最大值的对应灰度进行图像增强，用以增强图像的前景与背景的对比度；

根据图像中前景与背景灰度的期望，进行阈值分割；

对阈值分割后的二值图像进行局部区域填充与被包围区域填充；

提取填充后图像的边缘，使用最小外接矩形框出图像中的物料区域，对最小外接矩形的物料区域进行分割，分割出图中含有物料区域的子图像，获得多个相应的单项待吊装物料的图像。

4.根据权利要求3所述的方法，其特征在于，

所述局部区域填充分为纵向局部填充和横向局部填充；所述纵向局部填充：设黑色为前景，白色为背景，如果同一列两个黑点之间的像素全部是白色且两点间的像素长度不大于预设填充阈值，则填充为黑色；所述横向局部填充：设黑色为前景，白色为背景，如果同一行两个黑点之间的像素全部是白色且两点之间的距离不大于预设填充阈值长度的区域，则填充为黑色。

5.根据权利要求3所述的方法，其特征在于，

所述将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型，包括：

将所述多个相应的单项待吊装物料的图像进行相空间重构，进行奇异值分解得到奇异矩阵及左右两个投影矩阵，对上述两个投影矩阵分别进行再次矩阵重构，再次通过奇异值分解提取物料时间信息和空间信息的代数特征，构造混合特征向量作为物料的特征表征；

运用RBF神经网络分类器，将已知的物料样本通过提取物料的特征表征，生成训练集，作为神经网络的输入，完成物料分类识别的网络训练；

对待识别的物料图像，输入到RBF神经网络，利用网络参数训练的结果完成识别分类判断。

6.如权利要求4或5所述的方法，其特征在于，

所述实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系，包括：

实时接收所有所述位置传感器的数据；

根据每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，计算每个所述吊钩相对于每项待吊装物料的相对位置空间坐标；

根据每个所述吊钩相对于每项待吊装物料的相对位置空间坐标，确认每个所述吊钩相对于每项待吊装物料的距离和方向，作为每个吊钩到每项物料的空间位置关系。

7.一种用于智能塔吊的吊钩物料结合定位控制系统，其特征在于，包括：

传感器模块，用于在多个塔吊同时吊装物料集合中的多项待吊装物料时，在每个塔吊吊钩上均设置图像传感器和位置传感器，在每项待吊装物料上均设置位置传感器；

图像分割模块，用于实时接收所述图像传感器采集的多项待吊装物料的图像，并对所述图像进行分割，获得多个相应的单项待吊装物料的图像；

物料分类模块，用于将所述多个相应的单项待吊装物料的图像输入物料分类神经网络进行分类，得到每项待吊装物料的材料类型；

空间位置计算模块，用于实时获取每个所述吊钩的位置传感器数据和每项待吊装物料的位置传感器数据，根据所述位置传感器数据计算每个吊钩到每项物料的空间位置关系；

匹配规划模块，用于接受并解析吊装任务，根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，选择距离每个吊钩最近的匹配物料，根据所述吊钩和匹配物料的空间位置关系规划每个吊钩到物料的吊装路径和吊装顺序，包括：接受并解析吊装任务；所述吊装任务包括每个吊钩的标签及其要吊装的物料类型及数量；根据所述吊装任务匹配每个吊钩和物料集合中的多项待吊装物料，为每个吊钩选取符合其要吊装的物料类型的至少一项待吊装物料；当一个吊钩匹配的待吊装物料为多项时，获取该吊钩到每项匹配待吊装物料的空间距离并进行排序；选择距离该吊钩空间距离最近的一项匹配物料，作为最终的目标吊装物料；根据所述吊钩和目标吊装物料的空间位置关系规划该吊钩到该目标吊装物料的吊装路径；当多个吊钩的吊装路径出现交叉时，根据吊装任务的紧迫程度和每个吊钩的工作状态统筹优化所有吊钩的吊装顺序。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。

Images