CN113534279B - 一种通用挂钩智能入钩检测方法 - Google Patents

Abstract

本发明涉及一种通用挂钩智能入钩检测方法，该方法包括：获取一维转动转台产生的转台位置数据和激光扫描仪产生的激光测距数据，其中，所述一维转动转台和所述激光扫描仪协同扫描通用挂钩的所在区域；根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据；根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩。本发明基于激光扫描仪和一维转动转台的三维建模方式，辅以图像识别算法，完成目标的三维点云、关键点位识别等多波段信息深度融合，动态完成挂钩入钩全流程检测及判断。

Description

一种通用挂钩智能入钩检测方法

技术领域

本发明涉及工业智能检测技术领域，尤其涉及一种通用挂钩智能入钩检测方法。

背景技术

随着中国经济的不断发展、对重工业现场作业效率要求也越来越高，相关自动化设备的使用越来越得到重视。在重工业现场，例如炼钢工艺流程中，对钢水的转运是通过天车挂钩吊运钢包的方式来实现的，其中钢包内承载着液态高温钢水，吊运过程中一旦出现问题，后果不堪设想，因此，挂钩入钩与否的安全检测至关重要。类似这种工业现场，传统的检测方式是通过吊车操作工，与一个或多个点位的指车工相互协调配合来确保挂钩的正常入钩过程，这种方式虽然具有较高的安全系数，但对人员的安全意识以及规范等要求严格，无法达到本质安全要求。

现有技术中，基于视觉系统的图像识别技术检测方案，也存在以下客观问题：对图像识别算法要求较高，一般无法达到100%准确度要求；对相机的安装位置有较大限制，一旦对应位置缺少施工条件或者安装位置发生变动，图像识别算法将无法工作；对光照要求较高，夜间工作时弱光照对识别算法有较大影响，甚至无法工作。因此，如何利用综合传感器系统对工业场景下的通用挂钩进行智能监测是亟待解决的问题。

发明内容

有鉴于此，有必要提供一种通用挂钩智能入钩检测方法，用以克服现有技术中对工业场景下的通用挂钩的检测不够智能高效的问题。

本发明提供一种通用挂钩智能入钩检测方法，包括：

获取一维转动转台产生的转台位置数据和激光扫描仪产生的激光测距数据，其中，所述一维转动转台和所述激光扫描仪协同扫描通用挂钩的所在区域；

根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据；

根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩。

进一步地，所述根据所述转台位置数据和所述激光测距数据，确定所述通用挂钩的三维点云数据包括：

将所述激光测距数据进行滤波处理，确定修正激光测距序列；

根据所述修正激光测距序列和所述转台位置数据，拟合与所述激光测距数据中的时间匹配的转台拟合数据序列；

根据所述修正激光测距序列和所述转台拟合数据序列，融合为所述三维点云数据。

进一步地，所述激光测距数据包括激光位置数据序列和对应的激光时间序列，所述将所述激光测距数据进行滤波处理，确定修正激光测距序列包括：

根据所述激光位置数据序列中的激光位置元素，建立对应的三次拟合曲线函数；

根据所述三次拟合曲线函数和所述激光位置元素，构建最小二乘误差方程式；

根据所述最小二乘误差方程式的求解，确定多个修正激光元素，构成所述修正激光测距序列。

进一步地，所述转台位置数据包括转台时间序列，所述根据所述修正激光测距序列和所述转台位置数据，拟合与所述激光测距数据中的时间匹配的转台拟合数据序列包括：

针对所述激光时间序列中的每个激光时间元素，在所述转台时间序列中，确定与所述每个激光时间元素间隔最近的两个转台时间元素；

根据所述每个激光时间元素与对应的所述两个转台时间元素，确定对应的转台拟合元素，其中，每个所述转台拟合元素构建成所述转台拟合数据序列。

进一步地，所述三维点云数据通过如下公式表示：

其中，

表示所述三维点云数据，

表示所述修正激光测距序列第i行第j列的修正激光元素，

表示所述修正激光测距序列中对应的具体角度数值，

表示所述转台拟合数据序列中第j个的转台拟合元素，其中，i、j、m和n表示整数，

。

进一步地，所述根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩包括：

采用三线性插值算法，将所述三维点云数据拟合出对应的空间均匀点阵；

根据所述空间均匀点阵，识别其中的关键点信息；

根据所述关键点信息，实时判断所述通用挂钩是否入钩。

进一步地，所述关键点信息包括吊耳边缘关键点、挂钩边缘关键点、上部分关键点、下部分关键点和实际起吊轴关键点，所述根据所述空间均匀点阵，识别其中的关键点信息包括：

当所述通用挂钩的底端宽度大于对应的吊耳的宽度，识别对应的所述吊耳边缘关键点和所述挂钩边缘关键点；

当所述通用挂钩的底端宽度小于或等于对应的吊耳的宽度，识别所述通用挂钩的所述上部分关键点，并基于所述上部分关键点推算出被所述吊耳遮挡住对应的所述下部分关键点，同时识别所述吊耳内部的所述实际起吊轴关键点。

进一步地，所述根据所述关键点信息，实时判断所述通用挂钩是否入钩包括：

当单台激光扫描仪进行扫描且处于单挂钩工况时，若获取的扫描参数满足第一扫描条件且所述关键点信息满足预设关键点条件，则判断为入钩；

当单台激光扫描仪进行扫描且处于双挂钩工况时，若获取的所述扫描参数满足第二扫描条件且所述关键点信息满足所述预设关键点条件，则判断为入钩；

当多台激光扫描仪进行扫描且处于双挂钩工况时，若获取的所述扫描参数满足第三扫描条件且所述关键点信息满足所述预设关键点条件，则判断为入钩。

进一步地，所述扫描参数包括第一角度、第一覆盖率、第二覆盖率和第三覆盖率，所述第一角度为所述激光扫描仪与所述通用挂钩径向之间的角度，所述第一覆盖率为在所述通用挂钩横截面方向上所述通用挂钩和所述吊耳的点云数据重叠度，所述第二覆盖率为在所述通用挂钩纵截面方向上所述通用挂钩和所述吊耳的点云数据重叠度，所述第三覆盖率为在所述通用挂钩高度方向上所述通用挂钩和所述吊耳的点云数据重叠度，其中：

所述第一扫描条件包括：所述第一角度在第一预设范围内、所述第一覆盖率大于第一覆盖阈值且所述第三覆盖率大于第三覆盖阈值；

所述第二扫描条件包括：所述第一角度在第二预设范围内、所述第二覆盖率大于第二覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；

所述第三扫描条件包括：所述第一角度在所述第一预设范围内、所述第二覆盖率大于所述第一覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；或所述第一角度在第二预设范围内、所述第二覆盖率大于所述第二覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；

所述预设关键点条件包括：所述吊耳边缘关键点位于所述挂钩边缘关键点的内部；或所述实际起吊轴关键点位于所述上部分关键点和所述下部分关键构成的内部。

进一步地，所述根据所述关键点信息，实时判断所述通用挂钩是否入钩还包括：

当检测到所述通用挂钩的点云数据竖直向上移动时，判断所述通用挂钩离开，则返回至所述根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据的步骤。

与现有技术相比，本发明的有益效果包括：首先，对转台位置数据和激光测距数据进行有效的获取；然后，结合转台位置数据和激光测距数据，对通用挂钩的所在区域进行扫描，确定整个区域对应的三维点云数据；最后，基于所在区域的三维点云数据，进行关键点的识别，结合点云图像中的关键点信息，判断通用挂钩是否入钩，以此达到实时高效的监测。综上，本发明针对传统人工检测和图像识别检测算法存在的固有问题，本发明考虑通用挂钩智能识别入钩检测系统及流程算法，实现对挂钩及入钩区域的实时3D建模及关键点位的图像识别判断，搭配通用入钩检测算法实现挂钩入位全流程检测，满足24小时全天候无人值守高可靠性自动入钩检测。

附图说明

图1为本发明提供的通用挂钩智能入钩检测方法的应用系统一实施例的场景示意图；

图2为本发明提供的通用挂钩智能入钩检测方法一实施例的流程示意图；

图3为本发明提供的图2中步骤S1之前的步骤一实施例的流程示意图；

图4为本发明提供的图2中步骤S2一实施例的流程示意图；

图5为本发明提供的图4中步骤S21一实施例的流程示意图；

图6为本发明提供的图4中步骤S22生成采样参数组一实施例的流程示意图；

图7为本发明提供的图2中步骤S3一实施例的流程示意图；

图8为本发明提供的图7中步骤S32一实施例的流程示意图；

图9为本发明提供的挂钩下端宽度大于吊耳宽度一实施例的工况示意图；

图10为本发明提供的挂钩下端宽度小于或等于吊耳宽度一实施例的工况示意图；

图11为本发明提供的图7中步骤S33一实施例的流程示意图；

图12为本发明提供的通用挂钩三维结构一实施例的结构示意图；

图13为本发明提供的单激光扫描仪与单挂钩的相对位置一实施例的关系示意图；

图14为本发明提供的单激光扫描仪与双挂钩的相对位置一实施例的关系示意图；

图15为本发明提供的双激光扫描仪与挂钩的相对位置一实施例的关系示意图；

图16为本发明提供的通用挂钩智能入钩检测装置一实施例的结构示意图；

图17为本发明提供的通用挂钩智能入钩检测系统一实施例的原理示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明的描述中，提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，所描述的实施例可以与其它实施例相结合。

本发明提供了一种通用挂钩智能入钩检测方法及装置，基于激光扫描仪和一维转动转台的三维建模方式，辅以图像识别算法，完成目标的距离点云、关键点位识别等多波段信息深度融合，为进一步提高挂钩入钩检测的实时性和智能性提供了新思路。以下分别进行详细说明：

本发明实施例提供了一种通用挂钩智能入钩检测方法的应用系统，图1为本发明提供的通用挂钩智能入钩检测方法的应用系统一实施例的场景示意图，该系统可以包括服务器100，服务器100中集成有通用挂钩智能入钩检测装置，如图1中的服务器。

本发明实施例中服务器100主要用于：

获取一维转动转台产生的转台位置数据和激光扫描仪产生的激光测距数据，其中，所述一维转动转台和所述激光扫描仪协同扫描通用挂钩的所在区域；

根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据；

根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩。

本发明实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。

可以理解的是，本发明实施例中所使用的终端200可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑（Personal Digital Assistant，PDA）、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定终端200的类型。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本发明方案一种应用场景，并不构成对本发明方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，例如图1中仅示出2个终端，可以理解的，该通用挂钩智能入钩检测方法的应用系统还可以包括一个或多个其他终端，具体此处不作限定。

另外，如图1所示，该通用挂钩智能入钩检测方法的应用系统还可以包括存储器200，用于存储数据，如转台位置数据、激光测距数据、三维点云数据和关键点信息等。

需要说明的是，图1所示的通用挂钩智能入钩检测方法的应用系统的场景示意图仅仅是一个示例，本发明实施例描述的通用挂钩智能入钩检测方法的应用系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着通用挂钩智能入钩检测方法的应用系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

本发明实施例提供了一种通用挂钩智能入钩检测方法，结合图2来看，图2为本发明提供的通用挂钩智能入钩检测方法一实施例的流程示意图，包括步骤S1至步骤S3，其中：

在步骤S1中，获取一维转动转台产生的转台位置数据和激光扫描仪产生的激光测距数据，其中，所述一维转动转台和所述激光扫描仪协同扫描通用挂钩的所在区域；

在步骤S2中，根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据；

在步骤S3中，根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩。

在本发明实施例中，首先，对转台位置数据和激光测距数据进行有效的获取；然后，结合转台位置数据和激光测距数据，对通用挂钩的所在区域进行扫描，确定整个区域对应的三维点云数据；最后，基于所在区域的三维点云数据，进行关键点的识别，结合点云图像中的关键点信息，判断通用挂钩是否入钩，以此达到实时高效的监测。

作为优选的实施例，结合图3来看，图3为本发明提供的图2中步骤S1之前的步骤一实施例的流程示意图，在步骤S1之前还包括步骤S001至步骤S002，其中：

在步骤S001中，连接一维转动转台及激光扫描仪，设备自检及工作状态激活；

在步骤S002中，设置NTP对时服务，将一维转动转台及激光扫描仪作为NTP对时的客户端，以服务器端固定IP地址为作为标准对时时间基准。

在本发明实施例中，对一维转动转台及激光扫描仪进行有效的NTP对时服务，保证时间的匹配。

作为优选的实施例，结合图4来看，图4为本发明提供的图2中步骤S2一实施例的流程示意图，步骤S2具体包括步骤S21至步骤S23，其中：

在步骤S21中，将所述激光测距数据进行滤波处理，确定修正激光测距序列；

在步骤S22中，根据所述修正激光测距序列和所述转台位置数据，拟合与所述激光测距数据中的时间匹配的转台拟合数据序列；

在步骤S23中，根据所述修正激光测距序列和所述转台拟合数据序列，融合为所述三维点云数据。

在本发明实施例中，对激光测距数据进行滤波处理，去除其中的噪声，保证数据准确性。

作为优选的实施例，结合图5来看，图5为本发明提供的图4中步骤S21一实施例的流程示意图，所述激光测距数据包括激光位置数据序列和对应的激光时间序列，步骤S21具体包括步骤S211至步骤S213，其中：

在步骤S211中，根据所述激光位置数据序列中的激光位置元素，建立对应的三次拟合曲线函数；

在步骤S212中，根据所述三次拟合曲线函数和所述激光位置元素，构建最小二乘误差方程式；

在步骤S213中，根据所述最小二乘误差方程式的求解，确定多个修正激光元素，构成所述修正激光测距序列。

在本发明实施例中，利用三次拟合曲线函数和最小二乘法，有效对原始的激光测距数据进行修正。

在本发明一个具体的实施例中，实时接收并缓存最近

时间内的转台位置数据序列

以及对应时间数据序列T1，以及相同时间内的激光扫描仪位置数据序列P2和对应时间序列T2，其中，激光扫描仪位置数据序列P2中原始数据集合元素为di，每个di对应一个anglei，针对激光扫描仪位置数据序列P2，基于最小二乘模型对数据序列P2做滤波处理的具体流程如下：

第一步，建立三次拟合曲线函数，通过如下公式表示：

第二步，建立最小二乘误差方程式，通过如下公式表示：

其中，

；

；

；

；

第三步，按最小二乘法则解求

，最终滤波之后的修正激光测距序列

中修正数据集合为

，其中的修正激光元素表示为：

作为优选的实施例，结合图6来看，图6为本发明提供的图4中步骤S22生成采样参数组一实施例的流程示意图，所述转台位置数据包括转台时间序列，步骤S22具体包括步骤S221至步骤S222，其中：

在步骤S221中，针对所述激光时间序列中的每个激光时间元素，在所述转台时间序列中，确定与所述每个激光时间元素间隔最近的两个转台时间元素；

在步骤S222中，根据所述每个激光时间元素与对应的所述两个转台时间元素，确定对应的转台拟合元素，其中，每个所述转台拟合元素构建成所述转台拟合数据序列。

在本发明实施例中，利用激光时间序列中的激光时间元素，确定与激光时间元素间隔最近的转台时间元素，确定对应的转台拟合元素，有效构成转台拟合数据序列。

在本发明一个具体的实施例中，基于滤波后的激光扫描仪位置数据序列

、对应的时间序列

，以及转台位置数据序列

、对应时间数据序列

，采用线性差值算法，拟合出时间序列

中每个元素所对应的转台位置序列

，找出时间序列

中每一个元素

最相近的两个转台时间

和

,则转台位置序列

中每一个转台拟合元素的计算公式，通过如下公式表示：

作为优选的实施例，所述三维点云数据通过如下公式表示：

其中，

表示所述三维点云数据，

表示所述修正激光测距序列第i行第j列的修正激光元素，

表示所述修正激光测距序列中对应的具体角度数值，

表示所述转台拟合数据序列中第j个的转台拟合元素，其中，i、j、m和n表示整数，

。

在本发明实施例中，利用修正激光测距序列和转台拟合数据序列，有效生成对应的三维点云数据。

作为优选的实施例，结合图7来看，图7为本发明提供的图2中步骤S3一实施例的流程示意图，步骤S3具体包括步骤S31至步骤S33，其中：

在步骤S31中，采用三线性插值算法，将所述三维点云数据拟合出对应的空间均匀点阵；

在步骤S32中，根据所述空间均匀点阵，识别其中的关键点信息；

在步骤S33中，根据所述关键点信息，实时判断所述通用挂钩是否入钩。

在本发明实施例中，利用三维点云数据进行均匀处理后，识别其中的关键点信息，以此进行准确的入钩判断。

作为优选的实施例，步骤S31具体包括：

针对上述三维空间坐标序列

，采用三线性插值算法拟合出空间均匀点阵

，即得到实时三维模型D：

其中，一次线性插值公式为：

，其中，

为一次线性插值比例项，x0、x1为已知坐标点；在此，记一次线性插值计算方法为

，下式中，tx、ty和tz皆为一次线性插值比例项，

、

、

、

、

、

、

和

为需要插值的已知坐标点，可以为相邻的坐标点；

则三线性插值算法流程如下：

最终，得到均匀三维点位模型

，重复步骤S2以实时更新数据

以及均匀三维点位模型

。

作为优选的实施例，结合图8来看，图8为本发明提供的图7中步骤S32一实施例的流程示意图，步骤S32具体包括步骤S321至步骤S322，其中：

在步骤S321中，当所述通用挂钩的底端宽度大于对应的吊耳的宽度，识别对应的所述吊耳边缘关键点和所述挂钩边缘关键点；

在步骤S322中，当所述通用挂钩的底端宽度小于或等于对应的吊耳的宽度，识别所述通用挂钩的所述上部分关键点，并基于所述上部分关键点推算出被所述吊耳遮挡住对应的所述下部分关键点，同时识别所述吊耳内部的所述实际起吊轴关键点。

在本发明实施例中，针对不同的情况，进行多种关键点的识别，便于针对不同情况进行入钩判断。

需要说明的是，基于挂钩、吊耳的实时图像，提取目标边缘及关键点位信息，此时分为两种现实工况：

第一，结合图9来看，图9为本发明提供的挂钩下端宽度大于吊耳宽度一实施例的工况示意图，当挂钩下端宽度大于吊耳宽度时，此时，吊耳边缘关键点位坐标位于挂钩边缘关键点位坐标内部，则作为挂钩入钩的必要条件之一，记为条件Fac1（属于预设关键点条件之一），否则未入钩；

第一，结合图10来看，图10为本发明提供的挂钩下端宽度小于或等于吊耳宽度一实施例的工况示意图，当挂钩下端宽度小于或等于吊耳宽度时，此时，须事先读取挂钩和吊耳的三维模型文件（通常包括.stp、.obj、.dxf文件格式等），根据识别出的挂钩上部分的关键点位坐标以及对应的挂钩模型数据，推算出挂钩下部分关键点位坐标（被吊耳遮挡住的地方）；同时根据吊耳关键点位坐标以及对应的吊耳模型数据，推算出吊耳内部实际起吊轴（图10中的圆形区域）关键点位信息。同样的，此时，当吊轴关键点位坐标位于挂钩边缘关键点位坐标内部，则作为挂钩入钩的必要条件之一，记为条件Fac2（属于预设关键点条件之一），否则未入钩。

作为优选的实施例，结合图11来看，图11为本发明提供的图7中步骤S33一实施例的流程示意图，步骤S33具体包括步骤S331至步骤S333，其中：

在步骤S331中，当单台激光扫描仪进行扫描且处于单挂钩工况时，若获取的扫描参数满足第一扫描条件且所述关键点信息满足预设关键点条件，则判断为入钩；

在步骤S332中，当单台激光扫描仪进行扫描且处于双挂钩工况时，若获取的所述扫描参数满足第二扫描条件且所述关键点信息满足所述预设关键点条件，则判断为入钩；

在步骤S333中，当多台激光扫描仪进行扫描且处于双挂钩工况时，若获取的所述扫描参数满足第三扫描条件且所述关键点信息满足所述预设关键点条件，则判断为入钩。

在本发明实施例中，基于不同的扫描工况，进行不同扫描条件的设置，便于实现扫描监测的准确性。

作为优选的实施例，所述扫描参数包括第一角度、第一覆盖率、第二覆盖率和第三覆盖率，所述第一角度为所述激光扫描仪与所述通用挂钩径向之间的角度，所述第一覆盖率为在所述通用挂钩横截面方向上所述通用挂钩和所述吊耳的点云数据重叠度，所述第二覆盖率为在所述通用挂钩纵截面方向上所述通用挂钩和所述吊耳的点云数据重叠度，所述第三覆盖率为在所述通用挂钩高度方向上所述通用挂钩和所述吊耳的点云数据重叠度，其中：

所述第一扫描条件包括：所述第一角度在第一预设范围内、所述第一覆盖率大于第一覆盖阈值且所述第三覆盖率大于第三覆盖阈值；

所述第二扫描条件包括：所述第一角度在第二预设范围内、所述第二覆盖率大于第二覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；

所述第三扫描条件包括：所述第一角度在所述第一预设范围内、所述第二覆盖率大于所述第一覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；或所述第一角度在第二预设范围内、所述第二覆盖率大于所述第二覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；

所述预设关键点条件包括：所述吊耳边缘关键点位于所述挂钩边缘关键点的内部；或所述实际起吊轴关键点位于所述上部分关键点和所述下部分关键构成的内部。

在本发明实施例中，针对不同的工况，设置对应有效的扫描条件，以对不同情况下的挂钩入钩进行高效实时的识别。

在本发明一个具体的实施例中，挂钩入钩智能识别及检测具体如下：

第一，提取挂钩核心模型参数（结合图12来看，图12为本发明提供的通用挂钩三维结构一实施例的结构示意图）并对吊耳进行模型数据的融合比对，来实现入钩检测过程。

第二，受现场施工及其他条件限制，智能识别及检测算法分为四种工作状态，可根据不同工况进行动态选择并实时载入，分别为：

第一种，单台激光扫描仪识别中的单挂钩工况，结合图13来看，图13为本发明提供的单激光扫描仪与单挂钩的相对位置一实施例的关系示意图，分为以下两种：

（1）单台激光扫描仪识别中的单挂钩工况，提取挂钩三维模型

与挂钩未入钩时的吊耳三维模型

；当激光扫描仪与挂钩径向之间的角度

，在挂钩横截面方向（即图12所示的t）

与

的点云数据重叠度

大于一定阈值（需要根据挂钩具体尺寸来定，通常可以取80%），同时在挂钩高度方向（即图12所示的h）

完全被

覆盖，且满足上述条件Fac1或上述条件Fac2，则完成入钩；

（2）单台激光扫描仪识别中的单挂钩工况，当激光扫描仪与挂钩径向之间的角度

（即图13中的θ2），在挂钩纵截面方向（即图12所示的d）

与

的点云数据重叠度

大于一定阈值（通常取90%），同时在挂钩高度方向（即图12所示的h）

完全被

覆盖，且满足上述条件Fac1或上述条件Fac2，则完成入钩；

第二种，单台激光扫描仪识别中的双挂钩工况，结合图14来看，图14为本发明提供的单激光扫描仪与双挂钩的相对位置一实施例的关系示意图，其中，S为双挂钩之间的距离，L为单激光扫描仪与双挂钩之间的垂直距离，具体为以下情况：

（3）提取双挂钩三维模型

和

以及挂钩未入钩时的吊耳三维模型

和

，在挂钩横截面方向（即图12所示的t）

与

以及

与

的点云数据重叠度

同时大于一定阈值（需要根据挂钩具体尺寸来定，通常可以取80%），同时在挂钩高度方向（即图12所示的h）

完全被

覆盖同时

完全被

覆盖，且满足上述条件Fac1或上述条件Fac2，则完成入钩；

第三种，多台激光扫描仪识别中的多挂钩工况，结合图15来看，图15为本发明提供的双激光扫描仪与挂钩的相对位置一实施例的关系示意图，分为以下两种：

（4）提取双挂钩三维模型

和

以及挂钩未入钩时的吊耳三维模型

和

；当激光扫描仪与挂钩径向之间的角度

，在挂钩横截面方向（即图12所示的t）

与

以及

与

的点云数据重叠度

大于一定阈值（需要根据挂钩具体尺寸来定，通常可以取80%），同时在挂钩高度方向（即图12所示的h）

完全被

覆盖同时

完全被

覆盖，且满足上述条件Fac1或上述条件Fac2，则完成入钩；

（5）当激光扫描仪与挂钩径向之间的角度

（即图15中的θ2），在挂钩纵截面方向（即图12所示的d）

与

以及

与

的点云数据重叠度

大于一定阈值（通常取90%），同时在挂钩高度方向（即图12所示的h）

完全被

覆盖同时

完全被

覆盖，且满足上述条件Fac1或上述条件Fac2，则完成入钩。

作为优选的实施例，上述步骤S33还包括：

当检测到所述通用挂钩的点云数据竖直向上移动时，判断所述通用挂钩离开，则返回至所述根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据的步骤。

在本发明实施例中，当挂钩入钩且开始竖直向上运行，则证明挂钩成功离开，返回至上述的步骤S2，保证对下一个的通用挂钩进行识别，实现流程的循环性。

在本发明一个具体的实施例中，上述方法整体主要包括以下步骤：

第一步，系统初始化，连接外设，完成对一维转动转台和激光测距仪的初始化操作，同时完成基于以太网协议的NTP对时；

第二步，接收处理一维转动转台位置数据

和激光测距仪的数据

，并以标准时间序列为基准，对原始数据进行对时、滤波等预处理；

第三步，挂钩、吊耳处实时三维模型的快速建立及刷新；

第四步，基于图像识别的挂钩、吊耳关键点位提取及判断；

第五步，根据挂钩、吊耳三维模型相对关系，以及图像关键点位的外形包络包含关系，对挂钩入钩的全流程进行状态监测及入钩的智能判断；

第六步，根据三维模型关键点位判断挂钩入钩后是否有离开动作，重复第二步至第六步。

本发明实施例还提供了一种通用挂钩智能入钩检测装置，结合图16来看，图16为本发明提供的通用挂钩智能入钩检测装置一实施例的结构示意图，通用挂钩智能入钩检测装置1600包括：

获取单元1601，用于获取一维转动转台产生的转台位置数据和激光扫描仪产生的激光测距数据，其中，所述一维转动转台和所述激光扫描仪协同扫描通用挂钩的所在区域；

处理单元1602，用于根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据；

判断单元1603，用于根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩。

通用挂钩智能入钩检测装置的各个单元的更具体实现方式可以参见对于本通用挂钩智能入钩检测方法的描述，且具有与之相似的有益效果，在此不再赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上所述的通用挂钩智能入钩检测方法。

一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

本发明实施例还提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上所述的通用挂钩智能入钩检测方法。

根据本发明上述实施例提供的计算机可读存储介质和计算设备，可以参照根据本发明实现如上所述的通用挂钩智能入钩检测方法具体描述的内容实现，并具有与如上所述的通用挂钩智能入钩检测方法类似的有益效果，在此不再赘述。

本发明实施例还提供了一种通用挂钩智能入钩检测系统，结合图17来看，图17为本发明提供的通用挂钩智能入钩检测系统一实施例的原理示意图，上述通用挂钩智能入钩检测系统包括如上所述的计算设备001（可以为主控制器）、一维转动转台002、激光扫描仪003，其中，所述计算设备用于实现如上所述的通用挂钩智能入钩检测方法。需要说明的是，所述计算设备具体实现NTP对时、滤波、内插算法、建模、检测算法等。

本发明公开了一种通用挂钩智能入钩检测方法，首先，对转台位置数据和激光测距数据进行有效的获取；然后，结合转台位置数据和激光测距数据，对通用挂钩的所在区域进行扫描，确定整个区域对应的三维点云数据；最后，基于所在区域的三维点云数据，进行关键点的识别，结合点云图像中的关键点信息，判断通用挂钩是否入钩，以此达到实时高效的监测。

本发明技术方案，针对传统人工检测和图像识别检测算法存在的固有问题，本发明考虑通用挂钩智能识别入钩检测系统及流程算法，实现对挂钩及入钩区域的实时3D建模及关键点位的图像识别判断，搭配通用入钩检测算法实现挂钩入位全流程检测，满足24小时全天候无人值守高可靠性自动入钩检测。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种通用挂钩智能入钩检测方法，其特征在于，包括：

获取一维转动转台产生的转台位置数据和激光扫描仪产生的激光测距数据，其中，所述一维转动转台和所述激光扫描仪协同扫描通用挂钩的所在区域；

根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据；

根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩；

其中，所述根据所述三维点云数据进行关键点识别，实时判断所述通用挂钩是否入钩包括：

采用三线性插值算法，将所述三维点云数据拟合出对应的空间均匀点阵；

根据所述空间均匀点阵，识别其中的关键点信息；

根据所述关键点信息，实时判断所述通用挂钩是否入钩；

其中，所述关键点信息包括吊耳边缘关键点、挂钩边缘关键点、上部分关键点、下部分关键点和实际起吊轴关键点，所述根据所述空间均匀点阵，识别其中的关键点信息包括：

当所述通用挂钩的底端宽度大于对应的吊耳的宽度，识别对应的所述吊耳边缘关键点和所述挂钩边缘关键点；

当所述通用挂钩的底端宽度小于或等于对应的吊耳的宽度，识别所述通用挂钩的所述上部分关键点，并基于所述上部分关键点推算出被所述吊耳遮挡住对应的所述下部分关键点，同时识别所述吊耳内部的所述实际起吊轴关键点；

其中，所述根据所述关键点信息，实时判断所述通用挂钩是否入钩包括：

当单台激光扫描仪进行扫描且处于单挂钩工况时，若获取的扫描参数满足第一扫描条件且所述关键点信息满足预设关键点条件，则判断为入钩；

当单台激光扫描仪进行扫描且处于双挂钩工况时，若获取的所述扫描参数满足第二扫描条件且所述关键点信息满足所述预设关键点条件，则判断为入钩；

当多台激光扫描仪进行扫描且处于双挂钩工况时，若获取的所述扫描参数满足第三扫描条件且所述关键点信息满足所述预设关键点条件，则判断为入钩；

其中，所述扫描参数包括第一角度、第一覆盖率、第二覆盖率和第三覆盖率，所述第一角度为所述激光扫描仪与所述通用挂钩径向之间的角度，所述第一覆盖率为在所述通用挂钩横截面方向上所述通用挂钩和所述吊耳的点云数据重叠度，所述第二覆盖率为在所述通用挂钩纵截面方向上所述通用挂钩和所述吊耳的点云数据重叠度，所述第三覆盖率为在所述通用挂钩高度方向上所述通用挂钩和所述吊耳的点云数据重叠度，其中：

所述第一扫描条件包括：所述第一角度在第一预设范围内、所述第一覆盖率大于第一覆盖阈值且所述第三覆盖率大于第三覆盖阈值；

所述第二扫描条件包括：所述第一角度在第二预设范围内、所述第二覆盖率大于第二覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；

所述第三扫描条件包括：所述第一角度在所述第一预设范围内、所述第二覆盖率大于所述第一覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；或所述第一角度在第二预设范围内、所述第二覆盖率大于所述第二覆盖阈值且所述第三覆盖率大于所述第三覆盖阈值；

所述预设关键点条件包括：所述吊耳边缘关键点位于所述挂钩边缘关键点的内部；或所述实际起吊轴关键点位于所述上部分关键点和所述下部分关键构成的内部。

2.根据权利要求1所述的通用挂钩智能入钩检测方法，其特征在于，所述根据所述转台位置数据和所述激光测距数据，确定所述通用挂钩的三维点云数据包括：

将所述激光测距数据进行滤波处理，确定修正激光测距序列；

根据所述修正激光测距序列和所述转台位置数据，拟合与所述激光测距数据中的时间匹配的转台拟合数据序列；

根据所述修正激光测距序列和所述转台拟合数据序列，融合为所述三维点云数据。

3.根据权利要求2所述的通用挂钩智能入钩检测方法，其特征在于，所述激光测距数据包括激光位置数据序列和对应的激光时间序列，所述将所述激光测距数据进行滤波处理，确定修正激光测距序列包括：

根据所述激光位置数据序列中的激光位置元素，建立对应的三次拟合曲线函数；

根据所述三次拟合曲线函数和所述激光位置元素，构建最小二乘误差方程式；

根据所述最小二乘误差方程式的求解，确定多个修正激光元素，构成所述修正激光测距序列。

4.根据权利要求3所述的通用挂钩智能入钩检测方法，其特征在于，所述转台位置数据包括转台时间序列，所述根据所述修正激光测距序列和所述转台位置数据，拟合与所述激光测距数据中的时间匹配的转台拟合数据序列包括：

针对所述激光时间序列中的每个激光时间元素，在所述转台时间序列中，确定与所述每个激光时间元素间隔最近的两个转台时间元素；

根据所述每个激光时间元素与对应的所述两个转台时间元素，确定对应的转台拟合元素，其中，每个所述转台拟合元素构建成所述转台拟合数据序列。

5.根据权利要求4所述的通用挂钩智能入钩检测方法，其特征在于，所述三维点云数据通过如下公式表示：

其中，C_(m，n)(X，Y，Z）表示所述三维点云数据，

表示所述修正激光测距序列第i行第j列的修正激光元素，

表示所述修正激光测距序列中对应的具体角度数值，

表示所述转台拟合数据序列中第j个的转台拟合元素，其中，i、j、m和n表示整数，i＝0，1，...，m，j＝0，1，...，n。

6.根据权利要求1所述的通用挂钩智能入钩检测方法，其特征在于，所述根据所述关键点信息，实时判断所述通用挂钩是否入钩还包括：

当检测到所述通用挂钩的点云数据竖直向上移动时，判断所述通用挂钩离开，则返回至所述根据所述转台位置数据和所述激光测距数据，确定所述所在区域的三维点云数据的步骤。

Images