CN110422767B

CN110422767B - 对吊具定位的方法、装置及系统

Info

Publication number: CN110422767B
Application number: CN201910570543.XA
Authority: CN
Inventors: 梁柱健; 王君雄; 唐修俊
Original assignee: Sany Marine Heavy Industry Co Ltd
Current assignee: Sany Marine Heavy Industry Co Ltd
Priority date: 2019-06-27
Filing date: 2019-06-27
Publication date: 2020-09-29
Anticipated expiration: 2039-06-27
Also published as: CN110422767A

Abstract

本发明涉及人工智能技术领域，具体涉及一种对吊具定位的方法、装置及系统，该系统包括可移动承载架、控制车以及吊具，该控制车在可移动承载架上移动，控制车通过多根绳索连接吊具，以使吊具可相对于控制车上下移动，控制车朝向吊具的一侧还安装有至少一个激光扫描仪。在实际应用时，在吊具上升到一定高度时，该激光扫描仪将对吊具采集多个待测试点云数据，并发送至控制车。进而控制车将该待测试点云数据输入事先训练完毕的卷积神经网络得到对应的目标位置预测模型，并依据目标位置预测模型对应的历史点云数据与待测试点云数据计算出当前吊具的偏移量，以可依据该偏移量调整吊具的位置，完成吊具的精确定位。

Description

对吊具定位的方法、装置及系统

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种对吊具定位的方法、装置及系统。

背景技术

目前很多自动化码头都需要通过准确获取吊具的位置进行自动抓放箱，可见，对吊具的定位显得尤为重要。现目前主要是采用视频识别或激光识别的方式来识别吊具的位置，其容易受连接吊具的防摇钢丝绳等干扰物的影响，无法精确识别吊具的位置，进而影响抓放箱的效率。

发明内容

本发明的目的在于提供一种对吊具定位的方法，以精确确定吊具的位置。

本发明的另一目的在于提供一种对吊具定位的装置，以精确确定吊具的位置。

本发明的另一目的在于提供一种对吊具定位的系统，以精确确定吊具的位置。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种对吊具定位的方法，所述方法包括：获取待测试点云数据，所述待测试点云数据为吊具在预定高度下被采集到的点云数据；将所述待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，所述卷积神经网络事先训练得到吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系；依据所述目标位置预测模型对应的历史点云数据与所述待测试点云数据计算出当前吊具的偏移量。

第二方面，本发明实施例还提供了一种对吊具定位的装置，所述装置包括：收发模块，用于获取待测试点云数据，所述待测试点云数据为吊具在预定高度下被采集到的点云数据；处理模块，用于将所述待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，所述卷积神经网络事先训练得到所述吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系；依据所述目标位置预测模型对应的历史点云数据与所述待测试点云数据计算当前吊具的偏移量。

第三方面，本发明实施例还提供了一种对吊具定位的系统，所述系统包括可移动承载架、控制车以及吊具，所述控制车在所述可移动承载架上移动，所述控制车通过多根绳索连接所述吊具，以使所述吊具可相对于所述控制车上下移动，所述控制车朝向所述吊具一侧安装有至少一个激光扫描仪，所述至少一个激光扫描仪用于在预定高度下对所述吊具采集多个待测试点云数据，并将所述待测试点云数据发送至控制车；所述控制车用于将所述待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，所述卷积神经网络事先训练得到所述吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系；依据所述目标位置预测模型对应的历史点云数据与所述待测试点云数据计算出当前吊具的偏移量，并依据所述偏移量调整所述吊具的位置。

本发明实施例提供的一种对吊具定位的方法、装置及系统，该系统包括可移动承载架、控制车以及吊具，该控制车在可移动承载架上移动，控制车通过多根绳索连接吊具，以使吊具可相对于控制车上下移动，控制车朝向吊具的一侧还安装有至少一个激光扫描仪。在实际应用时，在吊具上升到一定高度时，该激光扫描仪将对吊具采集多个待测试点云数据，并发送至控制车。进而控制车将该待测试点云数据输入事先训练完毕的卷积神经网络得到对应的目标位置预测模型，并依据目标位置预测模型对应的历史点云数据与待测试点云数据计算出当前吊具的偏移量，以可依据该偏移量调整吊具的位置，完成吊具的精确定位。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种对吊具定位的系统的结构示意图。

图2示出了本发明实施例提供的一种对吊具定位的方法的流程示意图。

图3示出了本发明实施例提供的一种训练得到的模型示意图。

图4示出了本发明实施例提供的一种吊具的位置预测模型示意图。

图5示出了本发明实施例提供的一种模型匹配示意图。

图6示出了本发明实施例提供的一种对吊具定位的装置的功能模块示意图。

图示：100-对吊具定位的系统；110-可移动承载架；120-控制车；130-吊具；140-绳索；150-集装箱；300-对吊具定位的装置；310-收发模块；320-处理模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，是本发明实施例提供的一种对吊具定位的系统100的结构示意图，该系统包括可移动承载架110、控制车120以及吊具130，该可移动承载架110的两侧底端分别设置有多个滑轮，以通过滑轮变换可移动承载架110的位置，使得可移动承载架110可放置于不同的地方。该控制车120可在可移动承载架110的上端进行滑动，该控制车120还通过多根绳索140与吊具130连接，使得吊具130可相对于控制车120上下滑动，控制车120也可水平移动，同步控制吊具130上下移动以将堆放在吊具130下放的集装箱150吊起并移动。

此外，为了实现对吊具130的精确定位以对集装箱150进行精确抓取，本发明实施例还在控制车120朝向吊具130的一侧设置有至少一个激光扫描仪(图中未示出)。该激光扫描仪用于在吊具130处于不同高度下，对吊具采集多个待测试点云数据，并将测试得到的点云数据发送至控制车120。进而控制车120将该待测试的点云数据输入事先训练完毕的卷积神经网络得到对应的目标位置预测模型，该目标位置预测模型表征当前吊具的位置，再将该目标位置预测模型对应的历史点云数据与待测试的点云数据计算得出吊具的偏移量，从而可以依据该偏移量调整吊具130的位置，以便于精准吊起集装箱150。

容易理解的，本发明实施例提供的对吊具定位的系统100可用于对集装箱150进行吊起及移动，也可以对其他大型货物进行吊起及移动，如大宗商品或包裹等。

请参照图2，是本发明实施例提供的一种对吊具定位的方法的流程示意图，该方法应用于控制车120，该方法包括：

S210，获取待测试点云数据，该待测试点云数据为吊具在预定高度下被采集到的点云数据。

具体为，当吊具130被控制车120通过绳索吊起至预定高度时，该控制车120将控制安装的至少一个激光扫描仪同步对吊具130采集得到多个待测试点云数据。该预定高度为控制车120随机控制吊具130停止时，吊具130当前停止的高度，当吊具130停止或停止前一段时间(如10秒)，该控制车120即控制至少一个激光扫描仪对吊具130采集多个待测试点云数据。

S220，将待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，该卷积神经网络事先训练得到吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系。

具体为，由于该卷积神经网络已经事先训练过，则直接将待测试点云数据输入卷积神经网络即可得到目标位置预测模型，该目标位置预测模型表征位置信息。

该对卷积神经网络的训练方式为：

首先，获取吊具处于不同高度下的历史点云数据。

具体为，如该可移动承载架110的起升高度为20米，则分别在吊具130在高度2米、4米、6米…20米处控制多个激光扫描仪采集多个历史点云数据，进而将在不同高度下采集得到的历史点云数据汇总即可得到总的历史点云数据。此外，可将该历史点云数据转换为深度图像，通过深度值表征不同高度处的历史点云数据，也可以不转换，直接以历史点云数据进行后续处理。

其次，对历史点云数据进行归一化处理。

依次通过对输入的多个历史点云数据求取均值、方差后对历史点云数据进行归一化处理。其中，对历史点云数据求取均值的方式为：

其中m为历史点云数据的个数，x为历史点云数据，β为多个历史点云数据的均值。进而基于均值再对历史点云数据求取方差，其对历史点云数据求取方差的方式为：

其中θ为多个历史点云数据的方差。最后再依据得到的均值以及方差，对历史点云数据进行归一化处理，其归一化处理的方式为：

其中x′_k为对历史点云数据归一化的结果，ε是一个常量。

最后，将处理后的历史点云数据分别经由至少一层卷积层和池化层交替处理，并通过全连接层分类输出不同历史点云数据对应的位置预测模型。

具体为，将经过归一化处理后的历史点云数据输入卷积层进行卷积处理，其处理方式为：

其中

分别表示卷积核和卷积层的偏移量；

表示卷积运算符，

分别表示第l层和第l-1层的特征图，函数f(x)表示非线性激活函数。进一步地，激活函数采用Relu(rectified linear unit，ReLU)，当是正数值，其值不变，当是负数值时，其值变为0；其表达式为：ReLU＝max(x，0)。

此外，本发明实施例以设置两层卷积层进行卷积处理进行举例说明，且卷积层和池化层交替设置，在经过卷积层提取特征后，再通过池化层压缩数据，防止数据过拟合，但也可以设置多层卷积层和池化层对数据进行处理。

在发明实施例中，第一层卷积层先采用膨胀算子，求局部最大值，其可以填充历史点云数据的细小的空洞，同时平滑历史点云数据的边界，其表达式如下：

第二层卷积层采用腐蚀算子，求局部最小值，其可以消除历史点云数据上细小的噪声，其表达式如下：

进而每层经过卷积层的训练后，都将经过池化层，由池化层对历史点云数据进行压缩，减少数据过拟合。其对历史点云数据进行池化的计算方式为：

最后将经过卷积层和池化层处理的历史点云数据输入至全连接层，由全连接层对处理后的历史点云数据进行分类得到不同点云数据对应的位置预测模型。换言之，将得到不同高度下的点云数据对应的位置预测模型，该位置预测模型为吊具的位置信息。其全连接层对历史点云数据的处理方式为：

其中，w^l、x^l表示全连接层的权重和偏移量。

进一步地，为了保证输出的不同高度下的位置预测模型的准确性，还将对得到的位置预测模型进行验证，验证通过后的位置预测模型才可用于对吊具130的位置确定。其验证方式为：将同一高度下对应的完全正确的位置模型与通过卷积神经网络训练得出的位置预测模型进行比较，若两者之间相似度高，则认定经过卷积神经网络训练输出的位置预测模型是准确的，则在实际确定吊具的位置时，可基于卷积神经网络进行确定。其将完全正确的位置模型与位置预测模型进行比较的方式为：

H(p，q)＝-∑p(x)log q(x)

其中，p为完全正确的位置模型，q为位置预测模型，H为两者是之间的交叉熵，其表征两个模型之间的相似度，H越小，则p和q越相似。

S230，依据目标位置预测模型对应的历史点云数据与待测试点云数据计算出当前吊具的偏移量。

具体为，当确定待测试点云数据对应的目标位置预测模型之后，可依据该目标位置预测模型对应的历史点云数据与待测试点云数据计算出当前吊具130的偏移量，以便于依据该偏移量调整吊具130的位置。即将历史点云数据与待测点云数据一一对应计算出平移量或旋转量等作为当前吊具130的偏移量。

进一步地，为了验证偏移量是否计算准确，可对计算得到的偏移量进行验证，即依据位置预测模型对应的历史点云数据、待测试点云数据以及偏移量按照最小二乘法计算出差值，依据该差值判定偏移量是否准确。其对偏移量进行验证的方式为：

其中，x_i，y_i为待测试点云数据，x_i‘，y_i‘为历史点云数据，T表示偏移量，MinSum为两个数据之间的差值，若该差值小于阈值，则认定偏移量计算无误，则可确定依据该偏移量调节吊具130的位置，以保证对集装箱150的操作。

由此可见，本发明实施例提供的一种对吊具定位的方法，其通过激光扫描仪实时采集吊具的点云数据，并依据该点云数据输入已经训练完毕的卷积神经网络中，预测出吊具的准确位置。其相对于通过视频识别的方式，更为准确，不容易受环境因素的影响。

下面以实际应用场景对本方案进一步解释说明：

请参照图3，是本发明实施例提供的一种训练得到的模型示意图，该图中为大量的历史点云数据经过卷积神经网络训练后输出的位置预测模型，请参照图4，是本发明实施例提供的一种吊具的位置预测模型示意图，其为将待测试点云数据输入训练完毕的卷积神经网络后输出的位置预测模型，请参照图5，是本发明实施例提供的一种模型匹配示意图，其为将位置预测模型与经过卷积神经网络训练后输出的位置预测模型的匹配示意图，其可确定出当前吊具130的偏移量，以便于调整吊具130的位置，保证货物的安全移动。

请参照图6，是本发明实施例提供的一种对吊具定位的装置300的功能模块示意图，该装置包括收发模块310以及处理模块320。

收发模块310，用于获取待测试点云数据，该待测试点云数据为吊具在预定高度下被采集到的点云数据。

在本发明实施例中，S210可以由收发模块310执行。

处理模块320，用于将待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，该卷积神经网络事先训练得到吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系；依据目标位置预测模型对应的历史点云数据与待测试点云数据计算当前吊具的偏移量。

在本发明实施例中，S220和S230可以由处理模块320执行。

由于在对吊具定位的方法部分已经详细描述，在此不再赘述。

综上所述，本发明实施例提供的一种对吊具定位的方法、装置及系统，该系统包括可移动承载架、控制车以及吊具，该控制车在可移动承载架上移动，控制车通过多根绳索连接吊具，以使吊具可相对于控制车上下移动，控制车朝向吊具的一侧还安装有至少一个激光扫描仪。在实际应用时，在吊具上升到一定高度时，该激光扫描仪将对吊具采集多个待测试点云数据，并发送至控制车。进而控制车将该待测试点云数据输入事先训练完毕的卷积神经网络得到对应的目标位置预测模型，并依据目标位置预测模型对应的历史点云数据与待测试点云数据计算出当前吊具的偏移量，以可依据该偏移量调整吊具的位置，完成吊具的精确定位。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种对吊具定位的方法，其特征在于，所述方法包括：

获取待测试点云数据，所述待测试点云数据为吊具在预定高度下被采集到的点云数据；

将所述待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，所述卷积神经网络事先训练得到所述吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系，其中，所述目标位置预测模型为基于所述待测试点云数据与被采集到的历史点云数据与位置预测模型的对应关系确定的；

依据所述目标位置预测模型对应的历史点云数据与所述待测试点云数据计算出当前吊具的偏移量。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

依据所述位置预测模型对应的历史点云数据、所述待测试点云数据以及所述偏移量按照最小二乘法计算得出差值；

若所述差值小于阈值，则确定所述偏移量无误。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

依据所述偏移量调整所述吊具的位置。

4.如权利要求1所述的方法，其特征在于，通过历史点云数据对卷积神经网络进行训练的方法为：

获取吊具处于不同高度下的历史点云数据；

对所述历史点云数据进行归一化处理；

将处理后的所述历史点云数据分别经由至少一层卷积层和池化层交替处理，并通过全连接层分类输出不同所述历史点云数据对应的位置预测模型，所述卷积层和池化层以及全连接层均分布于所述卷积神经网络中。

5.一种对吊具定位的装置，其特征在于，所述装置包括：

收发模块，用于获取待测试点云数据，所述待测试点云数据为吊具在预定高度下被采集到的点云数据；

处理模块，用于将所述待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，所述卷积神经网络事先训练得到所述吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系；依据所述目标位置预测模型对应的历史点云数据与所述待测试点云数据计算当前吊具的偏移量，其中，所述目标位置预测模型为基于所述待测试点云数据与被采集到的历史点云数据与位置预测模型的对应关系确定的。

6.如权利要求5所述的装置，其特征在于，所述处理模块还用于：

依据所述位置预测模型对应的历史点云数据、待测试点云数据以及偏移量按照最小二乘法计算得出差值；

若所述差值小于阈值，则确定所述偏移量无误。

7.如权利要求5或6所述的装置，其特征在于，所述处理模块还用于：

依据所述偏移量调整所述吊具的位置。

8.如权利要求5所述的装置，其特征在于，所述处理模块还用于：

获取吊具处于不同高度下的历史点云数据；

对所述历史点云数据进行归一化处理；

9.一种对吊具定位的系统，其特征在于，所述系统包括可移动承载架、控制车以及吊具，所述控制车在所述可移动承载架上移动，所述控制车通过多根绳索连接所述吊具，以使所述吊具可相对于所述控制车上下移动，所述控制车朝向所述吊具一侧安装有至少一个激光扫描仪，

所述至少一个激光扫描仪用于在预定高度下对所述吊具采集多个待测试点云数据，并将所述待测试点云数据发送至控制车；

所述控制车用于将所述待测试点云数据输入卷积神经网络得到对应预定高度的待测试点云数据的目标位置预测模型，所述卷积神经网络事先训练得到所述吊具在不同高度下被采集到的历史点云数据与位置预测模型的对应关系；依据所述目标位置预测模型对应的历史点云数据与所述待测试点云数据计算出当前吊具的偏移量，并依据所述偏移量调整所述吊具的位置，其中，所述目标位置预测模型为基于所述待测试点云数据与被采集到的历史点云数据与位置预测模型的对应关系确定的。

10.如权利要求9所述的系统，其特征在于，所述控制车还用于依据所述位置预测模型对应的历史点云数据、待测试点云数据以及偏移量按照最小二乘法计算得出差值；若所述差值小于阈值，则确定所述偏移量无误。