CN114758333A - 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统 - Google Patents
一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统 Download PDFInfo
- Publication number
- CN114758333A CN114758333A CN202011600150.8A CN202011600150A CN114758333A CN 114758333 A CN114758333 A CN 114758333A CN 202011600150 A CN202011600150 A CN 202011600150A CN 114758333 A CN114758333 A CN 114758333A
- Authority
- CN
- China
- Prior art keywords
- ladle
- hook
- point cloud
- trunnion
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 36
- 239000010959 steel Substances 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000005266 casting Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 9
- 229910052742 iron Inorganic materials 0.000 description 8
- 241001125879 Gobio Species 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009749 continuous casting Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000009628 steelmaking Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C15/00—Safety gear
- B66C15/06—Arrangements or use of warning devices
- B66C15/065—Arrangements or use of warning devices electrical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统，所述方法包括接收激光雷达采集的点云数据；接收摄像机采集的图像数据；对点云数据进行预处理，去除杂点和噪声，得到预处理后的点云数据；根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据，建立钢包和挂钩的三维模型；将融合后点云数据输入预先训练好的钢包脱挂钩识别模型，实时获取挂钩和耳轴的位置；根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警。本发明提出的方法识别率高，配置简便，减少安全隐患，具有很好的推广价值。
Description
技术领域
本发明涉及铸造起重机安全领域，具体涉及一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统。
背景技术
钢包是指盛钢水的容器，用钢制成，内砌耐火砖，钢水由底部的口流出，进行浇铸。也叫“钢水包”。钢包用于炼钢厂、铸造厂在平炉、电炉或转炉前承接钢水、进行浇注作业，结构形式有塞杆式及滑动水口式两种。目前各大炼钢厂钢包卧置时，由铸造起重机行车吊运钢包，实行高炉铁水的承接、铁水运输、预处理、炼钢连铸等环节的作业，钢包的安全对于钢铁厂来说意义重大，因为钢包重量较大，并且装载高温溶液，一旦出现故事危害极大，所以在铸造起重机行车进行吊运时主要通过多人反复观察验证，是目前实现行车智能化改造中相对较难得环节，并且由于涉及的人工较多，成本也高。
发明内容
本发明的目的在于克服现有技术缺陷，提出了一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统。
为了实现上述目的，本发明提出了一种铸造起重机行车吊运钢包脱挂钩的识别方法，所述方法包括：
接收激光雷达采集的点云数据；
接收摄像机采集的图像数据；
对点云数据进行预处理，去除杂点和噪声，得到预处理后的点云数据；
根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据，建立钢包和挂钩的三维模型；
将融合后点云数据输入预先训练好的钢包脱挂钩识别模型，实时获取挂钩和耳轴的位置；
根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警。
作为上述方法的一种改进，所述激光雷达和摄像机各两套，分为两组，每组包括一套激光雷达和一套摄像机，在钢包耳轴的两侧分别安装一组，并且每组中的激光雷达采集的范围兼顾耳轴与直径平行方向视角以及耳轴和直径垂直方向视角。
作为上述方法的一种改进，所述摄像机为USB摄像机、RJ45网口摄像机或CSI摄像机。
作为上述方法的一种改进，所述根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据；具体包括：
对预处理后的点云数据和图像数据进行精确配准，得到融合后点云数据；
采用分割算法，将融合后点云数据进行点云分割聚类，得到多个点云区域；
先进行局部配准，然后将局部配准融合成整个，进行全局点云配准；
对配准后的全局点云进行三角网格化和网格渲染，进行三维重建，得到钢包和挂钩的三维模型。
作为上述方法的一种改进，所述钢包脱挂钩识别模型的输入为融合后点云数据，输出为挂钩和耳轴的位置，具体处理过程为：通过采用对象分割、特征提取和位置检测，完成对输入的融合后点云数据关于挂钩和钢包对象的实例分割、中心轴线和耳轴特征提取，进而得到挂钩和耳轴的位置。
作为上述方法的一种改进，所述根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警；具体为：
根据挂钩和耳轴的位置，分别计算挂钩在x轴方向上和耳轴的距离Δx、挂钩在y轴方向上和耳轴的距离Δy和挂钩在z轴方向上和耳轴的距离Δz；
进行判断，如果Δx>m或Δy>m或Δz>m，m为阈值，则启动预警。
作为上述方法的一种改进，所述方法还包括对钢包脱挂钩识别模型进行训练的步骤；具体包括：
建立包含钢包和挂钩的点云数据的数据集；
对点云数据进行预处理，去除杂点和噪声；
对预处理后的数据集进行标注；
利用标注后的数据集对钢包脱挂钩识别模型进行训练，得到训练好的钢包脱挂钩识别模型。
一种铸造起重机行车吊运钢包脱挂钩的识别系统，所述系统包括：激光雷达、摄像机、接收模块、预处理模块、三维重建模块、挂钩和耳轴位置获取模块、识别模块以及钢包脱挂钩识别模型，其中，
所述激光雷达和摄像机各两套，分为两组，每组包括一套激光雷达和一套摄像机，在钢包耳轴的两侧分别安装一组，并且每组中的激光雷达采集的范围兼顾耳轴与直径平行方向视角以及耳轴和直径垂直方向视角；
所述摄像机为USB摄像机、RJ45网口摄像机或CSI摄像机；
所述接收模块，用于接收激光雷达采集的点云数据，用于接收摄像机采集的图像数据；
所述预处理模块，用于对点云数据进行预处理，去除杂点和噪声，得到预处理后的点云数据；
所述三维重建模块，用于根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据，建立钢包和挂钩的三维模型；
所述挂钩和耳轴位置获取模块，用于将融合后点云数据输入预先训练好的钢包脱挂钩识别模型，实时获取挂钩和耳轴的位置；
所述识别模块，用于根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警。
作为上述系统的一种改进，所述三维重建模块的具体实现过程为：
对预处理后的点云数据和图像数据进行精确配准，得到融合后点云数据；
采用分割算法，将融合后点云数据进行点云分割聚类，得到多个点云区域；
先进行局部配准，然后将局部配准融合成整个，进行全局点云配准；
对配准后的全局点云进行三角网格化和网格渲染，进行三维重建，得到钢包和挂钩的三维模型。
作为上述系统的一种改进，所述识别模块的具体实现过程为：
根据挂钩和耳轴的位置，分别计算挂钩在x轴方向上和耳轴的距离Δx、挂钩在y轴方向上和耳轴的距离Δy和挂钩在z轴方向上和耳轴的距离Δz；
进行判断，如果Δx>m或Δy>m或Δz>m，m为阈值，则启动预警。
与现有技术相比，本发明的优势在于：
1、本发明提出的铸造起重机行车吊运铁包钢包脱挂钩识别方法检测速度快，识别率高，配置简便，减少安全隐患；
2、本发明提出的系统可以直观清晰的展示钢包脱钩、挂钩的全过程，通过三维建模技术呈现钢包和挂钩的立体影像，可以观察到人眼无法观察到的被遮挡的地方，避免视觉误差导致的错误判断；通过计算挂钩在x轴、y轴、z轴方向上和耳轴的距离，根据阈值判断，检测速度快，识别率高；
3、本发明提出的系统配置简便，具有很好的推广价值。
附图说明
图1是本发明实施例1的铸造起重机行车吊运钢包的安装示意图；
图2是本发明实施例1的铸造起重机行车吊运钢包脱挂钩的识别方法流程示意图；
附图标记
1、挂钩 2、耳轴
3、激光雷达和摄像机 4、钢包
具体实施方式
本发明的方法主要进行实时钢包和挂钩的三维重建，检测挂钩的运行状态功能通过定位挂钩和耳轴的位置，计算挂钩在x轴、y轴、z轴方向上离耳轴的距离，当距离达到阈值时，挂钩有脱钩的危险，及时预警。
工作原理：
1、前端高清摄像机录制现场视频并上传至后端服务器；
2、服务器实时分析点云数据，通过三维重建算法完成钢包和挂钩的三维模型的建立；
3、进行目标检测，识别钢包和挂钩，并计算挂钩在x轴、y轴、z轴方向上离耳轴的距离；
4、当出现距离超过阈值时，说明挂钩没有挂上；发起脱钩危险警告，反之显示操作处于正常状态。当出现距离超过阈值时，说明脱钩没有及时完成，启动报警器进行报警鸣响。
铸造起重机行车吊运铁包钢包脱挂钩识别系统运行稳定，维护方便，只需将电脑控制端与数据采集装置相连接，电脑控制端将自动抓取摄像机拍摄的视频流，击系统界面中的启动按钮，即可进行三维铁包/钢包、挂钩的三维重建，并实时呈现在系统界面上。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示，为铸造起重机行车吊运钢包的安装示意图。激光雷达和摄像机各两套，分为两组，每组包括激光雷达和摄像机3，在钢包4的耳轴2的两侧分别安装一组。其中摄像机可以选用USB摄像机、RJ45网口摄像机或CSI摄像机，USB摄像机能够兼顾工业相机的可靠和科学相机的精准。
对安装激光雷达设备的选点要求较高，并且施工难度较大，考虑到安装的简易性，并且支持在远程调整云台的姿态，在不同采集视角以覆盖多种情况下的挂钩和耳轴部分，因此设计两个数据采集装置，分别立于钢包4的耳轴2的两侧，并且稍微往前置，使得每个数据采集装置均可以兼顾耳轴2与直径平行方向视角和耳轴和直径垂直方向视角。挂钩1是否脱挂钩由以下方法进行识别。
如图2所示，本发明的实施例1提供了一种铸造起重机行车吊运钢包脱挂钩的识别方法。
1、自动化数据采集
接收激光雷达采集的点云数据；接收摄像机采集的图像数据。
末端数据采集机构电气化设计可自动控制快速完成数据采集任务,不需要人工操作。自动化控制采集数据可以实现实时高效采集数据,图像信息将传送到后端。
2、三维重建
通过激光雷达利用TOF原理，采用相位法实现测距，激光雷达发出经调制的近红外光，遇物体后反射，传感器通过计算调制红外光的发射、反射后产生的相位差，来换算与被测目标物体之间的距离，以产生深度信息。由于激光扫描获取的数据中常常伴有杂点或噪声，影响了后续的处理，因此为了获取完整的模型，需要对点云数据进行一定的预处理(滤波去噪、数据精简、数据插补)，从挂钩左右两个激光雷达采集的点云数据进行自动配准，完成钢包/铁包、挂钩的三维重建。
具体包括以下子步骤：
1)获取稠密点云
3D信息采集使用移动激光扫描系统和工业摄像机，移动激光扫描系统主要由激光扫描仪和惯性导航系统组成，通过TOF方法用于测量点的三维坐标和激光反射强度；工业摄像机用于测量点的三维坐标和颜色信息。根据移动激光扫描系统和数码摄像机采集的数据可以得到点云数据，包括三维坐标、激光反射强度、颜色信息。事实上点云文件中的三维坐标指的是本地坐标系中的坐标
2)云数据预处理
由于激光扫描获取的数据中常常伴有杂点或噪声，影响了后续的处理，因此为了获取完整的模型，需要对点云数据进行一定的预处理，常用的方法有滤波去噪、数据精简、数据插补等。
3)分割
分割是指将整个点云聚类为多个点云，每个点云对应独立的物体对象。分割算法大体上是先选定一个点，利用kd树计算以该点为中心的球，球内的点都属于该物体，球的半径设为一个阈值，之后遍历该物体的其他点都这么处理，最终会将点云分割成一个一个的物体。
4)三角网格化
三角网格参数化可归结为这样一个问题：给定一个由空间点集组成的三角网格和一个二维参数域。通常为平面或者球面。求一个参数域上的点到网格上的点的一一映射。使得参数域上的网格与原网格拓扑结构同构，并保证参数与上的三角形步重叠的同时谋求某种与原始网格之间几何变量的变形的最小化。
5)网格渲染
网格渲染主要为纹理映射，就是工业摄像机拍摄所得的RGB图像望信息与三角网格化后的网格上粘贴。
3、钢包挂钩的识别
根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警；具体为：
根据挂钩和耳轴的位置，分别计算挂钩在x轴方向上和耳轴的距离Δx、挂钩在y轴方向上和耳轴的距离Δy和挂钩在z轴方向上和耳轴的距离Δz；
进行判断，如果Δx>m或Δy>m或Δz>m，m为阈值，则启动预警。
钢包脱挂钩识别模型的输入为融合后点云数据，输出为挂钩和耳轴的位置，具体处理过程为：通过采用对象分割、特征提取和位置检测，完成对输入的融合后点云数据关于挂钩和钢包对象的实例分割、中心轴线和耳轴特征提取，进而得到挂钩和耳轴的位置。
对钢包脱挂钩识别模型进行训练的步骤；具体包括：
建立包含钢包和挂钩的点云数据的数据集；
对点云数据进行预处理，去除杂点和噪声；
对预处理后的数据集进行标注；
利用标注后的数据集对钢包脱挂钩识别模型进行训练，得到训练好的钢包脱挂钩识别模型。
(1)对采集的点云数据中的铁包/钢包、挂钩的点进行标注
(2)构建钢包脱挂钩识别模型模型
(3)将测量点云与标准托挂钩三维点云进局部匹配
(4)将局部匹配的点云进行融合，完成整体匹配
(5)测试最优模型，该模型可以完成点云数据中识别出铁包/钢包、挂钩的三维模型
实施例2
基于上述方法，本发明的实施例2提出了一种铸造起重机行车吊运钢包脱挂钩的识别系统。包括：激光雷达、摄像机、接收模块、预处理模块、三维重建模块、挂钩和耳轴位置获取模块、识别模块以及钢包脱挂钩识别模型，其中，
所述激光雷达和摄像机各两套，分为两组，每组包括一套激光雷达和一套摄像机，在钢包耳轴的两侧分别安装一组，并且每组中的激光雷达采集的范围兼顾耳轴与直径平行方向视角以及耳轴和直径垂直方向视角；
所述摄像机为USB摄像机、RJ45网口摄像机或CSI摄像机；
所述接收模块，用于接收激光雷达采集的点云数据，用于接收摄像机采集的图像数据；
所述预处理模块，用于对点云数据进行预处理，去除杂点和噪声，得到预处理后的点云数据；
所述三维重建模块，用于根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据，建立钢包和挂钩的三维模型；
所述挂钩和耳轴位置获取模块，用于将融合后点云数据输入预先训练好的钢包脱挂钩识别模型，实时获取挂钩和耳轴的位置；
所述识别模块，用于根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警。
本发明通过深入研究对钢包/铁包、挂钩的三维重建以及对钢包/铁包、挂钩识别算法，计算出挂钩在x轴、y轴、z轴方向上离耳轴的距离，以此判断脱钩挂钩、挂钩是否安全，避免视觉误差导致的错误判断，造成安全事故。吊钩和吊耳的挂钩和脱钩都需要人工干预，但热处理炉周围环境恶劣，随着企业安全意识的提高，更需要人工智能技支持，替代或监控高危险工作。
本系统采用轻量模型，识别速度快，准确率高，配置简便，提高厂区安全性，减少人力监管成本，实现高效监管，对于杜绝生产隐患、降低成本，具有重要意义。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种铸造起重机行车吊运钢包脱挂钩的识别方法，所述方法包括：
接收激光雷达采集的点云数据；
接收摄像机采集的图像数据；
对点云数据进行预处理，去除杂点和噪声，得到预处理后的点云数据；
根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据，建立钢包和挂钩的三维模型；
将融合后点云数据输入预先训练好的钢包脱挂钩识别模型，实时获取挂钩和耳轴的位置；
根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警。
2.根据权利要求1所述的铸造起重机行车吊运钢包脱挂钩的识别方法，其特征在于，所述激光雷达和摄像机各两套，分为两组，每组包括一套激光雷达和一套摄像机，在钢包耳轴的两侧分别安装一组，并且每组中的激光雷达采集的范围兼顾耳轴与直径平行方向视角以及耳轴和直径垂直方向视角。
3.根据权利要求2所述的铸造起重机行车吊运钢包脱挂钩的识别方法，其特征在于，所述摄像机为USB摄像机、RJ45网口摄像机或CSI摄像机。
4.根据权利要求1所述的铸造起重机行车吊运钢包脱挂钩的识别方法，其特征在于，所述根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据；具体包括：
对预处理后的点云数据和图像数据进行精确配准，得到融合后点云数据；
采用分割算法，将融合后点云数据进行点云分割聚类，得到多个点云区域；
先进行局部配准，然后将局部配准融合成整个，进行全局点云配准；
对配准后的全局点云进行三角网格化和网格渲染，进行三维重建，得到钢包和挂钩的三维模型。
5.根据权利要求4所述的铸造起重机行车吊运钢包脱挂钩的识别方法，其特征在于，所述钢包脱挂钩识别模型的输入为融合后点云数据，输出为挂钩和耳轴的位置，具体处理过程为：通过采用对象分割、特征提取和位置检测，完成对输入的融合后点云数据关于挂钩和钢包对象的实例分割、中心轴线和耳轴特征提取，进而得到挂钩和耳轴的位置。
6.根据权利要求5所述的铸造起重机行车吊运钢包脱挂钩的识别方法，其特征在于，所述根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警；具体为：
根据挂钩和耳轴的位置，分别计算挂钩在x轴方向上和耳轴的距离Δx、挂钩在y轴方向上和耳轴的距离Δy和挂钩在z轴方向上和耳轴的距离Δz；
进行判断，如果Δx>m或Δy>m或Δz>m，m为阈值，则启动预警。
7.根据权利要求5所述的铸造起重机行车吊运钢包脱挂钩的识别方法，其特征在于，所述方法还包括对钢包脱挂钩识别模型进行训练的步骤；具体包括：
建立包含钢包和挂钩的点云数据的数据集；
对点云数据进行预处理，去除杂点和噪声；
对预处理后的数据集进行标注；
利用标注后的数据集对钢包脱挂钩识别模型进行训练，得到训练好的钢包脱挂钩识别模型。
8.一种铸造起重机行车吊运钢包脱挂钩的识别系统，其特征在于，所述系统包括：激光雷达、摄像机、接收模块、预处理模块、三维重建模块、挂钩和耳轴位置获取模块、识别模块以及钢包脱挂钩识别模型，其中，
所述激光雷达和摄像机各两套，分为两组，每组包括一套激光雷达和一套摄像机，在钢包耳轴的两侧分别安装一组，并且每组中的激光雷达采集的范围兼顾耳轴与直径平行方向视角以及耳轴和直径垂直方向视角；
所述摄像机为USB摄像机、RJ45网口摄像机或CSI摄像机；
所述接收模块，用于接收激光雷达采集的点云数据，用于接收摄像机采集的图像数据；
所述预处理模块，用于对点云数据进行预处理，去除杂点和噪声，得到预处理后的点云数据；
所述三维重建模块，用于根据预处理后的点云数据和图像数据，进行三维重建，得到融合后点云数据，建立钢包和挂钩的三维模型；
所述挂钩和耳轴位置获取模块，用于将融合后点云数据输入预先训练好的钢包脱挂钩识别模型，实时获取挂钩和耳轴的位置；
所述识别模块，用于根据挂钩和耳轴的位置，计算得到挂钩和耳轴的距离，进而判断挂钩是否在进行挂钩和脱钩的操作，如果距离超过阈值，则启动预警。
9.根据权利要求8所述的铸造起重机行车吊运钢包脱挂钩的识别系统，其特征在于，所述三维重建模块的具体实现过程为：
对预处理后的点云数据和图像数据进行精确配准，得到融合后点云数据；
采用分割算法，将融合后点云数据进行点云分割聚类，得到多个点云区域；
先进行局部配准，然后将局部配准融合成整个，进行全局点云配准；
对配准后的全局点云进行三角网格化和网格渲染，进行三维重建，得到钢包和挂钩的三维模型。
10.根据权利要求8所述的铸造起重机行车吊运钢包脱挂钩的识别系统，其特征在于，所述识别模块的具体实现过程为：
根据挂钩和耳轴的位置，分别计算挂钩在x轴方向上和耳轴的距离Δx、挂钩在y轴方向上和耳轴的距离Δy和挂钩在z轴方向上和耳轴的距离Δz；
进行判断，如果Δx>m或Δy>m或Δz>m，m为阈值，则启动预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011600150.8A CN114758333B (zh) | 2020-12-29 | 2020-12-29 | 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011600150.8A CN114758333B (zh) | 2020-12-29 | 2020-12-29 | 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114758333A true CN114758333A (zh) | 2022-07-15 |
| CN114758333B CN114758333B (zh) | 2024-02-13 |
Family
ID=82324661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011600150.8A Active CN114758333B (zh) | 2020-12-29 | 2020-12-29 | 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114758333B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935229A (zh) * | 2023-09-12 | 2023-10-24 | 山东博昂信息科技有限公司 | 一种钢包挂钩入钩状态识别方法及系统 |
| CN117218123A (zh) * | 2023-11-09 | 2023-12-12 | 上海擎刚智能科技有限公司 | 一种基于点云的冷轧带钢飞丝设备故障检测方法及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101581575A (zh) * | 2009-06-19 | 2009-11-18 | 南昌航空大学 | 基于激光和摄像机数据融合的三维重建方法 |
| CN102945565A (zh) * | 2012-10-18 | 2013-02-27 | 深圳大学 | 一种物体的三维真实感重建方法、系统及电子设备 |
| CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
| CN108394816A (zh) * | 2018-03-19 | 2018-08-14 | 沈阳建筑大学 | 一种全方位起吊塔式起重机的监控系统 |
| CN108862019A (zh) * | 2017-05-16 | 2018-11-23 | 上海梅山钢铁股份有限公司 | 板钩及其快速起吊方法 |
| CN110008843A (zh) * | 2019-03-11 | 2019-07-12 | 武汉环宇智行科技有限公司 | 基于点云和影像数据的车辆目标联合认知方法和系统 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| CN110567422A (zh) * | 2019-06-25 | 2019-12-13 | 江苏省特种设备安全监督检验研究院 | 一种起重机吊钩扭转角自动检测方法 |
| KR102065975B1 (ko) * | 2019-11-04 | 2020-01-14 | 주식회사 영신 | 라이다를 이용한 중장비 안전관리 시스템 |
| CN110902570A (zh) * | 2019-11-25 | 2020-03-24 | 上海驭矩信息科技有限公司 | 一种用于集装箱装卸作业的动态测量方法及系统 |
| CN111144315A (zh) * | 2019-12-27 | 2020-05-12 | 北京三快在线科技有限公司 | 目标检测方法、装置、电子设备和可读存储介质 |
| JP2020093890A (ja) * | 2018-12-12 | 2020-06-18 | 株式会社神鋼エンジニアリング＆メンテナンス | クレーン作業監視システム、クレーン作業監視方法、危険状態判定装置、及びプログラム |
| CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
| CN111943029A (zh) * | 2020-08-19 | 2020-11-17 | 微特技术有限公司 | 一种基于深度学习的吊钩和钢包吊耳匹配方法 |
| CN112017228A (zh) * | 2019-05-31 | 2020-12-01 | 华为技术有限公司 | 一种对物体三维重建的方法及相关设备 |
| CN112027918A (zh) * | 2020-09-04 | 2020-12-04 | 上海驭矩信息科技有限公司 | 一种基于机器视觉的集卡防吊起检测方法 |
-
2020
- 2020-12-29 CN CN202011600150.8A patent/CN114758333B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101581575A (zh) * | 2009-06-19 | 2009-11-18 | 南昌航空大学 | 基于激光和摄像机数据融合的三维重建方法 |
| CN102945565A (zh) * | 2012-10-18 | 2013-02-27 | 深圳大学 | 一种物体的三维真实感重建方法、系统及电子设备 |
| CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
| CN108862019A (zh) * | 2017-05-16 | 2018-11-23 | 上海梅山钢铁股份有限公司 | 板钩及其快速起吊方法 |
| CN108394816A (zh) * | 2018-03-19 | 2018-08-14 | 沈阳建筑大学 | 一种全方位起吊塔式起重机的监控系统 |
| JP2020093890A (ja) * | 2018-12-12 | 2020-06-18 | 株式会社神鋼エンジニアリング＆メンテナンス | クレーン作業監視システム、クレーン作業監視方法、危険状態判定装置、及びプログラム |
| CN110008843A (zh) * | 2019-03-11 | 2019-07-12 | 武汉环宇智行科技有限公司 | 基于点云和影像数据的车辆目标联合认知方法和系统 |
| CN112017228A (zh) * | 2019-05-31 | 2020-12-01 | 华为技术有限公司 | 一种对物体三维重建的方法及相关设备 |
| CN110567422A (zh) * | 2019-06-25 | 2019-12-13 | 江苏省特种设备安全监督检验研究院 | 一种起重机吊钩扭转角自动检测方法 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| KR102065975B1 (ko) * | 2019-11-04 | 2020-01-14 | 주식회사 영신 | 라이다를 이용한 중장비 안전관리 시스템 |
| CN110902570A (zh) * | 2019-11-25 | 2020-03-24 | 上海驭矩信息科技有限公司 | 一种用于集装箱装卸作业的动态测量方法及系统 |
| CN111144315A (zh) * | 2019-12-27 | 2020-05-12 | 北京三快在线科技有限公司 | 目标检测方法、装置、电子设备和可读存储介质 |
| CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
| CN111943029A (zh) * | 2020-08-19 | 2020-11-17 | 微特技术有限公司 | 一种基于深度学习的吊钩和钢包吊耳匹配方法 |
| CN112027918A (zh) * | 2020-09-04 | 2020-12-04 | 上海驭矩信息科技有限公司 | 一种基于机器视觉的集卡防吊起检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHANG CHENG: "Improving crane safety by agent-based dynamic motion planning using UWB real-time location system", 《CONCORDIA》, vol. 2011 * |
| 吴良成: "基于开口度和扭转角的吊钩形变检测算法", 《计算机与现代化》, vol. 2018, no. 7 * |
| 李哲威: "基于近景摄影测量的桥式起重机变形检测系统研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, vol. 2020, no. 1, pages 029 - 310 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935229A (zh) * | 2023-09-12 | 2023-10-24 | 山东博昂信息科技有限公司 | 一种钢包挂钩入钩状态识别方法及系统 |
| CN117218123A (zh) * | 2023-11-09 | 2023-12-12 | 上海擎刚智能科技有限公司 | 一种基于点云的冷轧带钢飞丝设备故障检测方法及系统 |
| CN117218123B (zh) * | 2023-11-09 | 2024-02-02 | 上海擎刚智能科技有限公司 | 一种基于点云的冷轧带钢飞丝设备故障检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114758333B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114758333B (zh) | 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统 | |
| CN110253570A (zh) | 基于视觉的工业机械臂人机安全系统 | |
| CN107428515A (zh) | 用于定位夹持部件的方法、负载操纵装置、计算机程序和计算机程序产品 | |
| CN207209795U (zh) | 基于机器视觉的钢包起吊控制装置 | |
| CN114604761A (zh) | 实现智能塔吊辅助的操控安全性警示系统及方法 | |
| CN114408748A (zh) | 用于智能塔吊远程控制的状态数据监控传输系统及方法 | |
| CN114132842A (zh) | 集装箱门式起重机堆场作业状态实时监测系统及监测方法 | |
| CN114348887B (zh) | 基于塔吊回转动作模型的智能监控预警系统及方法 | |
| CN114604766A (zh) | 用于智能塔吊的物料堆码空间图像识别分析方法和装置 | |
| CN114604763A (zh) | 用于智能塔吊吊钩导向的电磁定位装置及方法 | |
| CN116605772B (zh) | 一种基于多集成系统的塔吊碰撞预警方法 | |
| CN114604773B (zh) | 用于智能塔吊的安全性警示辅助系统及方法 | |
| CN115752462A (zh) | 楼宇内重点巡检目标巡检方法、系统、电子设备和介质 | |
| CN114604768B (zh) | 基于故障识别模型的智能塔吊维护管理方法及系统 | |
| CN111879308A (zh) | 一种基于位姿感知技术的智能塔机安全监控系统及实现方法 | |
| CN115432572A (zh) | 一种龙门吊及其吊具的吊装路径规划方法 | |
| CN109405804B (zh) | 作业辅助方法及系统 | |
| CN114604772A (zh) | 用于任务时态模型的智能塔吊集群协同控制方法及系统 | |
| CN111170184A (zh) | 一种塔式起重机的实时监测预警系统及方法 | |
| CN114604787A (zh) | 用于无人驾驶智能塔吊的物料自动特征识别方法和装置 | |
| CN111942426A (zh) | 一种基于热红外的铁水运输机车车轴测温方法 | |
| CN114560396B (zh) | 用于智能塔吊取放运动检测的传感物联网设备及方法 | |
| CN114572845B (zh) | 用于智能塔吊工况检测的智能辅助机器人及其控制方法 | |
| CN115215221A (zh) | 塔式起重机及其控制方法、控制装置和控制器 | |
| CN114604756A (zh) | 用于智能塔吊运行数据的云端信息系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |