CN112562018B - 一种吊点跟随定位方法及系统 - Google Patents

一种吊点跟随定位方法及系统 Download PDF

Info

Publication number
CN112562018B
CN112562018B CN202011447382.4A CN202011447382A CN112562018B CN 112562018 B CN112562018 B CN 112562018B CN 202011447382 A CN202011447382 A CN 202011447382A CN 112562018 B CN112562018 B CN 112562018B
Authority
CN
China
Prior art keywords
image
point
lifting
straight line
lifting rope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011447382.4A
Other languages
English (en)
Other versions
CN112562018A (zh
Inventor
朱海荣
何军强
金丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hopechart Iot Technology Co ltd
Original Assignee
Hangzhou Hopechart Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hopechart Iot Technology Co ltd filed Critical Hangzhou Hopechart Iot Technology Co ltd
Priority to CN202011447382.4A priority Critical patent/CN112562018B/zh
Publication of CN112562018A publication Critical patent/CN112562018A/zh
Application granted granted Critical
Publication of CN112562018B publication Critical patent/CN112562018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种吊点跟随定位方法及系统，包括：获取最高起吊位置的实时俯视图像；基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；由所述吊绳精确位置获得最佳吊点视频图像。本发明通过控制图像采集装置的光学焦距，自动查找图像中吊点位置，并实时跟踪，并采用图像处理实时检测吊绳位置，以及深度学习目标检测实时检测吊点位置，具有速度快、精度高、控制平滑稳定和成本低的特点。

Description

一种吊点跟随定位方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种吊点跟随定位方法及系统。
背景技术
随着起吊设备发展改进，起重能力越来越大，作业半径、高度越来越大，作业环境越来越复杂，起吊物离驾驶员视野越来越远，甚至完全脱离视野范围，操作安全系数明显降低，传统的手势、对讲机等信息传递不能准确有效描述起重环境。
而现有起吊操作依靠驾驶员的有限视觉和工作人员的辅助配合完成，或者有限的视频图像监控，不能清晰展现吊点图像。
发明内容
本发明提供一种吊点跟随定位方法及系统，用以解决现有技术中存在的缺陷。
第一方面，本发明提供一种吊点跟随定位方法，包括：
获取最高起吊位置的实时俯视图像；
基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；
基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；
由所述吊绳精确位置获得最佳吊点视频图像。
进一步，所述获取最高起吊位置的实时俯视图像，具体包括：
在吊车吊臂顶端位置安装可调焦距的图像采集装置，所述图像采集装置通过重力对中垂直阻尼减振支架固定，获取并校准所述实时俯视图像，使所述吊点和吊绳的延长线经过所述实时俯视图像的中心点。
进一步，所述基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像，具体包括：
获取吊绳直线段的边缘位置特征、边缘粗细特征、颜色特征、斜率特征和吊点关系特征；
将所述实时俯视图像转换为灰度图像，基于所述颜色特征，将所述灰度图像转换为二值化图像；
对所述二值化图像采用所述累计概率霍夫变换直线检测算法进行直线段检测，得到初始直线段集合；
对所述初始直线段集合进行过滤，得到所述吊绳初始位置图像。
进一步，所述对所述初始直线段集合进行过滤，得到所述吊绳初始位置图像，具体包括：
将直线之间小于预设夹角且直线间距离小于预设间距的直线进行合并；
基于所述边缘位置特征，将起点和终点都在所述实时俯视图像中间的直线进行过滤；
沿所述二值化图像中根据霍夫变换得到的直线上的点垂直方向上的两边进行查找，将小于预设宽度的直线点设置为良好点，若没有找到直线点则设置为坏点，将等于所述预设宽度的直线点定义为所述坏点；
获取良好点占直线比例、连续良好点占直线比例、良好点占图像宽比例、连续良好点占图像宽比例作为直线置信值；
根据所述直线置信值进行排序，将排在预设直线置信值之前的直线组作为所述吊绳初始位置图像。
进一步，所述基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置，具体包括：
获取所述吊点图像素材，并人工标注所述吊点的位置；
获取所述预设深度学习目标检测模型，对所述吊绳初始位置图像进行缩放变换、水平镜像变换和垂直镜像变换，训练得到权重文件；
将所述权重文件放入吊车操作侧的嵌入式主机，由所述嵌入式主机进行CPU推理或者进行GPU及NPU硬件加速推理；
调节所述图像采集装置的光学焦距，将所述实时俯视图像进行放大，获取所述吊点的位置和所述吊绳的初步位置，基于所述吊点关系特征确认得到所述吊绳精确位置。
进一步，所述由所述吊绳精确位置获得最佳吊点视频图像，具体包括：
将所述嵌入式主机与所述图像采集装置连接后输出模拟视频信号，由视频采集芯片将所述模拟视频信号转换为数字图像，获取吊点包围框；
根据所述吊点包围框的大小得到吊点图像可视范围，通过调节所述图像采集装置的光学焦距获得所述最佳吊点视频图像。
进一步，所述由所述吊绳精确位置获得最佳吊点视频图像，之后还包括：
操作者通过连接嵌入式主机的外设，手动控制图像采集装置的光学焦距进行图像调节以获取所需图像；
由所述嵌入式主机存储图像和操作视频记录。
第二方面，本发明还提供一种吊点跟随定位系统，包括：
获取模块，用于获取最高起吊位置的实时俯视图像；
第一处理模块，用于基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；
第二处理模块，用于基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；
第三处理模块，用于由所述吊绳精确位置获得最佳吊点视频图像。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述吊点跟随定位方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述吊点跟随定位方法的步骤。
本发明提供的吊点跟随定位方法及系统，通过控制图像采集装置的光学焦距，自动查找图像中吊点位置，并实时跟踪，并采用图像处理实时检测吊绳位置，以及深度学习目标检测实时检测吊点位置，具有速度快、精度高、控制平滑稳定和成本低的特点。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的吊点跟随定位方法的流程示意图；
图2是本发明提供的吊车吊点结构示意图；
图3是本发明提供的信号流程示意图；
图4是本发明提供的吊点跟随定位系统的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术中存在的问题，本发明提供的吊点跟随定位方法，能很好的提供驾驶员起吊环境图像，明显提高作业安全。
图1是本发明提供的吊点跟随定位方法的流程示意图，如图1所示，包括：
S1，获取最高起吊位置的实时俯视图像；
S2，基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；
S3，基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；
S4，由所述吊绳精确位置获得最佳吊点视频图像。
具体地，本发明是通过图像采集装置获取起吊最高位置垂直于地面的俯视图像，通过传统图像处理检测吊绳在图像中的位置，通过深度学习目标检测实时检测吊点位置，通过控制所述的图像采集装置的光学焦距，结合吊绳位置和吊点位置调整图像，获取清晰合理的吊点图像，并把图像展示给驾驶员。
本发明通过控制图像采集装置的光学焦距，自动查找图像中吊点位置，并实时跟踪，并采用图像处理实时检测吊绳位置，以及深度学习目标检测实时检测吊点位置，具有速度快、精度高、控制平滑稳定和成本低的特点。
基于上述实施例，该方法中步骤S1具体包括：
在吊车吊臂顶端位置安装可调焦距的图像采集装置，所述图像采集装置通过重力对中垂直阻尼减振支架固定，获取并校准所述实时俯视图像，使所述吊点和吊绳的延长线经过所述实时俯视图像的中心点。
具体地，如图2所示，在吊车吊臂最顶端的位置安装图像采集装置，用于获取从取物装置上极限位置垂直于地面平行于吊绳的实时俯视图像，支持多倍可调可控光学变焦，用于调整吊点图像的大小，支持重力自动对中垂直阻尼减振支架，减少空气扰动、吊臂角度调整、机械振动等带来的图像抖动；该图像采集装置安装在吊臂取物装置上极限位置，通过重力自动对中垂直阻尼减振支架固定，并校准图像，使吊点和吊绳的延长线过图像中心点，使图像放大后吊点仍在图像内。
本发明所采用的可变焦距的图像采集装置，能实时捕捉和吊点相关的图像，较好的适应动态的吊车工作场景。
基于上述任一实施例，该方法中步骤S2具体包括：
获取吊绳直线段的边缘位置特征、边缘粗细特征、颜色特征、斜率特征和吊点关系特征；
将所述实时俯视图像转换为灰度图像，基于所述颜色特征，将所述灰度图像转换为二值化图像；
对所述二值化图像采用所述累计概率霍夫变换直线检测算法进行直线段检测，得到初始直线段集合；
对所述初始直线段集合进行过滤，得到所述吊绳初始位置图像。
其中，所述对所述初始直线段集合进行过滤，得到所述吊绳初始位置图像，具体包括：
将直线之间小于预设夹角且直线间距离小于预设间距的直线进行合并；
基于所述边缘位置特征，将起点和终点都在所述实时俯视图像中间的直线进行过滤；
沿所述二值化图像中根据霍夫变换得到的直线上的点垂直方向上的两边进行查找，将小于预设宽度的直线点设置为良好点，若没有找到直线点则设置为坏点，将等于所述预设宽度的直线点定义为所述坏点；
获取良好点占直线比例、连续良好点占直线比例、良好点占图像宽比例、连续良好点占图像宽比例作为直线置信值；
根据所述直线置信值进行排序，将排在预设直线置信值之前的直线组作为所述吊绳初始位置图像。
具体地，对于获取的实时俯视图像，进一步检测其中的吊绳图像主要采用累计概率霍夫变换直线检测，首先是获取图像中的吊绳图像特征集合，包括如下五个特征：
(1)边缘位置特征：吊绳直线段一端在图像边缘；
(2)边缘粗细特征：吊绳直线段图像边缘一端较粗，往另一端变细；
(3)颜色特征：吊绳涂机油为黑色；
(4)斜率特征：吊绳直线段随图像放大缩小斜率不变、粗细不变并且直线位置线性变化；
(5)吊点关系特征：吊绳直线过吊点位置。
先将图像转换到灰度图，根据吊绳特征(3)，选取吊绳颜色附近颜色进行二值化得到二值化图像，二值化图像采用累计概率霍夫变换直线检测，得到较多的直线段。
再将直线段做进一步过滤，从以下几个维度进行过滤：
(1)将直线间夹角较小并且直线间距离较小的直线合并；
(2)根据吊绳特征(1)，过滤掉直线段起点和终点都在图像中间的直线；
(3)二值化图像上根据霍夫变换得到的直线上的点垂直方向上向两边查找一定宽度，如找到小于宽度的直线点，定义为良好点，如没有找到直线点，定义为坏点，如找到等于宽度的直线点，定义为坏点。
然后按良好点占直线比例、连续良好点占直线比例、良好点占图像宽比例、连续良好点占图像宽比例作为直线的置信值，按直线置信值排序，得到数量较少而且吊绳直线排在较前的直线组，即吊绳初始位置图像。
基于上述任一实施例，该方法中步骤S3具体包括：
获取所述吊点图像素材，并人工标注所述吊点的位置；
获取所述预设深度学习目标检测模型，对所述吊绳初始位置图像进行缩放变换、水平镜像变换和垂直镜像变换，训练得到权重文件；
将所述权重文件放入吊车操作侧的嵌入式主机，由所述嵌入式主机进行CPU推理或者进行GPU及NPU硬件加速推理；
调节所述图像采集装置的光学焦距，将所述实时俯视图像进行放大，获取所述吊点的位置和所述吊绳的初步位置，基于所述吊点关系特征确认得到所述吊绳精确位置。
具体地，本发明采用常用的深度学习目标检测模型，例如SSD(Single ShotMultiBox Detector，单发多目标检测器)、YOLOv3、 YOLOv4(You only look once单发目标检测系统)目标检测模型，并采集吊点图像素材，并人工标注吊点的位置，图像进行缩放、水平镜像和垂直镜像提高检测的鲁棒性，训练得到的权重文件放入所述的嵌入式主机，可以进行CPU推理或者使用GPU、NPU硬件加速推理。
进一步地，调节的图像采集装置的光学焦距，使图像放大，并在图像中检测吊点位置和吊绳的可疑位置，找到吊点位置后，便可根据吊绳特征(5)确认吊绳的位置，便可根据吊绳的历史位置确认吊绳位置和焦距的关系，以便后续快速找到吊绳.
基于上述任一实施例，该方法中步骤S4具体包括：
将所述嵌入式主机与所述图像采集装置连接后输出模拟视频信号，由视频采集芯片将所述模拟视频信号转换为数字图像，获取吊点包围框；
根据所述吊点包围框的大小得到吊点图像可视范围，通过调节所述图像采集装置的光学焦距获得所述最佳吊点视频图像。
具体地，与图像采集装置相连接的是嵌入式主机，嵌入式主机用于图像处理、深度学习推理、图像采集装置的控制、报警输出和图像输出；通过视频采集芯片，将模拟信号转换到数字图像，经过所述的吊绳检测和吊点检测得到吊点包围框，根据包围框的大小判断吊点图像的可视范围，进而调节所述的图像采集装置的光学焦距，获取最佳的吊点视频图像，所述的嵌入式主机将图像显示到所述的显示装置上；显示装置用于显示吊点图像和报警信息，整体的信号流向参见图3。
基于上述任一实施例，该方法步骤S4之后还包括：
操作者通过连接嵌入式主机的外设，手动控制图像采集装置的光学焦距进行图像调节以获取所需图像；
由所述嵌入式主机存储图像和操作视频记录。
具体地，嵌入式主机可以连接鼠标、键盘等外设，驾驶员可以手动控制所述的图像采集装置的光学焦距获得需要的图像，此外，嵌入式主机还可以存储视频图像，提供操作的视频记录。
下面对本发明提供的吊点跟随定位系统进行描述，下文描述的吊点跟随定位系统与上文描述的吊点跟随定方法可相互对应参照。
图4是本发明提供的吊点跟随定位系统的结构示意图，如图4所示，包括：获取模块41、第一处理模块42、第二处理模块43和第三处理模块44；其中：
获取模块41用于获取最高起吊位置的实时俯视图像；第一处理模块42用于基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；第二处理模块43用于基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；第三处理模块 44用于由所述吊绳精确位置获得最佳吊点视频图像。
本发明通过控制图像采集装置的光学焦距，自动查找图像中吊点位置，并实时跟踪，并采用图像处理实时检测吊绳位置，以及深度学习目标检测实时检测吊点位置，具有速度快、精度高、控制平滑稳定和成本低的特点。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口 (CommunicationsInterface)520、存储器(memory)530和通信总线 540，其中，处理器510，通信接口520，存储器530通过通信总线 540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行吊点跟随定方法，该方法包括：获取最高起吊位置的实时俯视图像；基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；由所述吊绳精确位置获得最佳吊点视频图像。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的吊点跟随定方法，该方法包括：获取最高起吊位置的实时俯视图像；基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；由所述吊绳精确位置获得最佳吊点视频图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的吊点跟随定方法，该方法包括：获取最高起吊位置的实时俯视图像；基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置图像；基于吊点图像素材，采用预设深度学习目标检测模型对所述吊绳初始位置图像进行预设变换，得到吊绳精确位置；由所述吊绳精确位置获得最佳吊点视频图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种吊点跟随定位方法，其特征在于，包括：
获取最高起吊位置的实时俯视图像；
基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置；
采用预设深度学习目标检测模型得到吊点位置；
基于吊点关系特征、所述吊点位置以及所述吊绳初始位置，确定吊绳精确位置；
所述吊点关系特征为：吊绳直线过吊点位置；
由所述吊绳精确位置获得最佳吊点视频图像；
所述基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置，具体包括：
获取吊绳直线段的边缘位置特征、边缘粗细特征、颜色特征、斜率特征和吊点关系特征；
将所述实时俯视图像转换为灰度图像，基于所述颜色特征，将所述灰度图像转换为二值化图像；
对所述二值化图像采用所述累计概率霍夫变换直线检测算法进行直线段检测，得到初始直线段集合；
对所述初始直线段集合进行过滤，得到所述吊绳初始位置；
其中，所述边缘位置特征为：吊绳直线段一端在图像边缘；
所述吊绳直线段的边缘粗细特征为：吊绳直线段图像边缘一端较粗，往另一端变细；
所述吊绳直线段的斜率特征为：吊绳直线段随图像放大缩小斜率不变且直线位置线性变化；
所述对所述初始直线段集合进行过滤，得到所述吊绳初始位置，具体包括：
将直线之间小于预设夹角且直线间距离小于预设间距的直线进行合并；
基于所述边缘位置特征，将起点和终点都在所述实时俯视图像中间的直线进行过滤；
沿所述二值化图像中根据霍夫变换得到的直线上的点垂直方向上的两边进行查找，将小于预设宽度的直线点设置为良好点，若没有找到直线点则设置为坏点，将等于所述预设宽度的直线点定义为所述坏点；
获取良好点占直线比例、连续良好点占直线比例、良好点占图像宽比例、连续良好点占图像宽比例作为直线置信值；根据所述直线置信值进行排序，将排在预设直线置信值之前的直线组作为所述吊绳初始位置；
所述采用预设深度学习目标检测模型得到吊点位置，基于所述吊点关系特征、所述吊点位置以及所述吊绳初始位置，确定所述吊绳精确位置具体包括：
获取吊点图像素材，并人工标注所述吊点的位置；
获取所述预设深度学习目标检测模型，对所述吊点图像素材进行缩放变换、水平镜像变换和垂直镜像变换，训练得到权重文件；
将所述权重文件放入吊车操作侧的嵌入式主机，由所述嵌入式主机进行CPU推理或者进行GPU及NPU硬件加速推理；
调节图像采集装置的光学焦距，将所述实时俯视图像进行放大，获取所述吊点的位置和所述吊绳的初始位置，基于所述吊点关系特征确认得到所述吊绳精确位置；
所述由所述吊绳精确位置获得最佳吊点视频图像，具体包括：
将所述嵌入式主机与所述图像采集装置连接后输出模拟视频信号，由视频采集芯片将所述模拟视频信号转换为数字图像，根据所述吊点位置和所述吊绳精确位置，获取吊点包围框；
根据所述吊点包围框的大小得到吊点图像可视范围，通过调节所述图像采集装置的光学焦距获得所述最佳吊点视频图像。
2.根据权利要求1所述的吊点跟随定位方法，其特征在于，所述获取最高起吊位置的实时俯视图像，具体包括：
在吊车吊臂顶端位置安装可调焦距的图像采集装置，所述图像采集装置通过重力对中垂直阻尼减振支架固定，获取并校准所述实时俯视图像，使所述吊点和吊绳的延长线经过所述实时俯视图像的中心点。
3.根据权利要求1所述的吊点跟随定位方法，其特征在于，所述由所述吊绳精确位置获得最佳吊点视频图像，之后还包括：
操作者通过连接嵌入式主机的外设，手动控制图像采集装置的光学焦距进行图像调节以获取所需图像；
由所述嵌入式主机存储图像和操作视频记录。
4.一种吊点跟随定位系统，其特征在于，包括：
获取模块，用于获取最高起吊位置的实时俯视图像；
第一处理模块，用于基于吊绳图像特征集合，采用累计概率霍夫变换直线检测算法获得所述实时俯视图像中的吊绳初始位置；
第二处理模块，采用预设深度学习目标检测模型得到吊点位置；
基于吊点关系特征、所述吊点位置以及所述吊绳初始位置，确定吊绳精确位置；
所述吊点关系特征为：吊绳直线过吊点位置；
第三处理模块，用于由所述吊绳精确位置获得最佳吊点视频图像；
所述第一处理模块具体用于：
获取吊绳直线段的边缘位置特征、边缘粗细特征、颜色特征、斜率特征和吊点关系特征；
将所述实时俯视图像转换为灰度图像，基于所述颜色特征，将所述灰度图像转换为二值化图像；
对所述二值化图像采用所述累计概率霍夫变换直线检测算法进行直线段检测，得到初始直线段集合；
对所述初始直线段集合进行过滤，得到所述吊绳初始位置；
其中，所述边缘位置特征为：吊绳直线段一端在图像边缘；
所述吊绳直线段的边缘粗细特征为：吊绳直线段图像边缘一端较粗，往另一端变细；
所述吊绳直线段的斜率特征为：吊绳直线段随图像放大缩小斜率不变且直线位置线性变化；
所述对所述初始直线段集合进行过滤，得到所述吊绳初始位置，具体包括：
将直线之间小于预设夹角且直线间距离小于预设间距的直线进行合并；
基于所述边缘位置特征，将起点和终点都在所述实时俯视图像中间的直线进行过滤；
沿所述二值化图像中根据霍夫变换得到的直线上的点垂直方向上的两边进行查找，将小于预设宽度的直线点设置为良好点，若没有找到直线点则设置为坏点，将等于所述预设宽度的直线点定义为所述坏点；
获取良好点占直线比例、连续良好点占直线比例、良好点占图像宽比例、连续良好点占图像宽比例作为直线置信值；
根据所述直线置信值进行排序，将排在预设直线置信值之前的直线组作为所述吊绳初始位置；
所述第二处理模块具体用于：
获取吊点图像素材，并人工标注所述吊点的位置；
获取所述预设深度学习目标检测模型，对所述吊点图像素材进行缩放变换、水平镜像变换和垂直镜像变换，训练得到权重文件；
将所述权重文件放入吊车操作侧的嵌入式主机，由所述嵌入式主机进行CPU推理或者进行GPU及NPU硬件加速推理；
调节图像采集装置的光学焦距，将所述实时俯视图像进行放大，获取所述吊点的位置和所述吊绳的初始位置，基于所述吊点关系特征确认得到所述吊绳精确位置；
所述第三处理模块具体用于：
将所述嵌入式主机与所述图像采集装置连接后输出模拟视频信号，由视频采集芯片将所述模拟视频信号转换为数字图像，根据所述吊点位置和所述吊绳精确位置，获取吊点包围框；
根据所述吊点包围框的大小得到吊点图像可视范围，通过调节所述图像采集装置的光学焦距获得所述最佳吊点视频图像。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述吊点跟随定位方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述吊点跟随定位方法的步骤。
CN202011447382.4A 2020-12-09 2020-12-09 一种吊点跟随定位方法及系统 Active CN112562018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011447382.4A CN112562018B (zh) 2020-12-09 2020-12-09 一种吊点跟随定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011447382.4A CN112562018B (zh) 2020-12-09 2020-12-09 一种吊点跟随定位方法及系统

Publications (2)

Publication Number Publication Date
CN112562018A CN112562018A (zh) 2021-03-26
CN112562018B true CN112562018B (zh) 2023-08-11

Family

ID=75061282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011447382.4A Active CN112562018B (zh) 2020-12-09 2020-12-09 一种吊点跟随定位方法及系统

Country Status (1)

Country Link
CN (1) CN112562018B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452655B (zh) * 2023-04-18 2023-11-21 深圳市凌壹科技有限公司 一种应用于mpis工控主板的贴合定位方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072332A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种自动跟踪活动目标进行拍摄的方法
JP2008116346A (ja) * 2006-11-06 2008-05-22 Tadano Ltd クレーンの吊り荷用フックブロック自動追尾装置
CN101816292A (zh) * 2010-05-07 2010-09-01 李汉忠 一种牡蛎脱绳机
CN101973489A (zh) * 2010-09-29 2011-02-16 上海海事大学 带有图像传感器的双起升桥吊控制系统及控制方法
CN207347027U (zh) * 2017-10-24 2018-05-11 清华大学合肥公共安全研究院 一种基于物联网感知预警的智能安全塔吊
CN108024426A (zh) * 2016-11-04 2018-05-11 沃恩工业有限公司 用于牵引工具的绞车及其照明控制系统和方法
CN108491851A (zh) * 2018-01-29 2018-09-04 江苏大学 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法
JP6737368B1 (ja) * 2019-03-20 2020-08-05 株式会社タダノ クレーン

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202012012116U1 (de) * 2012-12-17 2014-03-19 Liebherr-Components Biberach Gmbh Turmdrehkran

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116346A (ja) * 2006-11-06 2008-05-22 Tadano Ltd クレーンの吊り荷用フックブロック自動追尾装置
CN101072332A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种自动跟踪活动目标进行拍摄的方法
CN101816292A (zh) * 2010-05-07 2010-09-01 李汉忠 一种牡蛎脱绳机
CN101973489A (zh) * 2010-09-29 2011-02-16 上海海事大学 带有图像传感器的双起升桥吊控制系统及控制方法
CN108024426A (zh) * 2016-11-04 2018-05-11 沃恩工业有限公司 用于牵引工具的绞车及其照明控制系统和方法
CN207347027U (zh) * 2017-10-24 2018-05-11 清华大学合肥公共安全研究院 一种基于物联网感知预警的智能安全塔吊
CN108491851A (zh) * 2018-01-29 2018-09-04 江苏大学 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法
JP6737368B1 (ja) * 2019-03-20 2020-08-05 株式会社タダノ クレーン

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能网联汽车多源信息集成平台技术研究;何军强;《科技创新导报》;20181231;全文 *

Also Published As

Publication number Publication date
CN112562018A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN108759973B (zh) 一种水位测量方法
EP2533009A2 (en) System and method for measuring a distance to an object
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CN110956180B (zh) 配重重量的检测方法与系统、获取方法与系统及起重机
CN112562018B (zh) 一种吊点跟随定位方法及系统
CN110619328A (zh) 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN110322428B (zh) 检测隧道病害的方法、装置及电子设备
CN110717924A (zh) 船舶水尺标线识别方法、装置、计算机设备和存储介质
CN108230412A (zh) 一种红外图像压缩方法及装置
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
CN112749735B (zh) 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
CN114758333B (zh) 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN113936060A (zh) 一种在复杂背景下的吊车负载摆角测量方法
CN112711255A (zh) 移动机器人避障方法、控制设备及存储介质
CN102609699A (zh) 一种激光扫描铸件工件号的识别装置和方法
CN114972350B (zh) 模具异常检测方法、装置、设备及存储介质
CN114772467A (zh) 基于图像识别的塔机顶升过程中垂直度监测系统及方法
CN109879170A (zh) 一种起重机吊臂旁弯位移实时检测系统
CN116402784A (zh) 基于机器视觉的辅助对中方法、系统、设备及存储介质
CN113739721B (zh) 一种地铁车站钢管柱垂直度智能校准方法及系统
CN112991342B (zh) 基于水位尺图像的水位线检测方法、装置与系统
CN110533698B (zh) 一种基于视觉检测的基坑施工桩检测控制方法
CN112801072A (zh) 一种基于计算机视觉的电梯非平层开门故障识别装置及方法
CN112580517A (zh) 集卡车头防砸保护系统及方法、计算机存储介质、龙门吊
CN116777796B (zh) 全自动摄像精准pcba电路板物料检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant