CN116385485B - 一种长条形塔吊吊物的视频跟踪方法及系统 - Google Patents

一种长条形塔吊吊物的视频跟踪方法及系统 Download PDF

Info

Publication number
CN116385485B
CN116385485B CN202310280772.4A CN202310280772A CN116385485B CN 116385485 B CN116385485 B CN 116385485B CN 202310280772 A CN202310280772 A CN 202310280772A CN 116385485 B CN116385485 B CN 116385485B
Authority
CN
China
Prior art keywords
suspended object
tower crane
image
strip
image area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310280772.4A
Other languages
English (en)
Other versions
CN116385485A (zh
Inventor
安民洙
米文忠
葛晓东
姜贺
庞山东
黄瑜盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Light Speed Intelligent Equipment Co ltd
Tenghui Technology Building Intelligence Shenzhen Co ltd
Original Assignee
Guangdong Light Speed Intelligent Equipment Co ltd
Tenghui Technology Building Intelligence Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Light Speed Intelligent Equipment Co ltd, Tenghui Technology Building Intelligence Shenzhen Co ltd filed Critical Guangdong Light Speed Intelligent Equipment Co ltd
Priority to CN202310280772.4A priority Critical patent/CN116385485B/zh
Publication of CN116385485A publication Critical patent/CN116385485A/zh
Application granted granted Critical
Publication of CN116385485B publication Critical patent/CN116385485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种长条形塔吊吊物的视频跟踪方法及系统，获取拍摄的连续帧图像，连续帧图像被配置为从塔吊小车下方垂直向地面拍摄的包括吊钩和吊物的在时间轴上成序列的连续多帧图像；选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域；针对每一后续帧图像，根据塔吊运行信息，预测出搜索吊物图像区域；在搜索吊物图像区域中提取目标直线段，重新选定中心图像区域，估计出吊物方向，识别吊物属性，在每一后续帧图像跟踪吊物轨迹。本视频跟踪方法所需硬件成本低，利用长条形吊物本身所含的方向信息，简化计算分析过程，利用帧间运动的连续性，预测后续帧图像的搜索吊物图像区域，大幅压缩吊物目标跟踪所需的计算量，适合大规模推广。

Description

一种长条形塔吊吊物的视频跟踪方法及系统
技术领域
本发明属于图像跟踪技术领域，尤其涉及一种长条形塔吊吊物的视频跟踪方法及系统。
背景技术
在智能塔吊的自动驾驶领域中，塔吊吊物的运行状态是必须要进行监控的关键要素之一。而在所有的吊物中，尤以如钢筋、脚手架、钢管等长条形物体在吊运过程中的稳定性最差，此类长条形吊物随着塔吊的运行容易发生旋转，对塔吊运行过程中的吊物视频跟踪和监控造成很大困难。
现有的基于相机的吊物跟踪监控主要由基于深度学习的目标检测来完成，但是由于长条形吊物容易发生旋转，朝向不固定，因此必须训练具有多角度检测能力的神经网络，将不同朝向的物体看做是不同的类别，所以当长条形吊物有可能发生180度旋转时，则需要在神经网络中训练识别180个类别，计算量会非常大，识别效率很慢。如果吊物的首尾两端形状有区别，此时需要识别的类别会更多，大幅提高计算量。这种方式在推理分析阶段所需的计算量会很大，对处理器的能力要求较高，在功耗和成本方面都不适合大规模推广。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提供一种长条形塔吊吊物的视频跟踪方法及系统，主要用于解决现有技术中在对长条形吊物进行视频跟踪时存在的神经网络模型构建复杂、计算量大、响应效率慢、成本高等问题。
为了实现上述目的，第一方面，本发明提供一种长条形塔吊吊物的视频跟踪方法，包括以下步骤：
S10、获取拍摄的连续帧图像，所述连续帧图像被配置为从塔吊小车下方垂直向地面拍摄的包括吊钩和吊物的在时间轴上成序列的连续多帧图像；
S20、选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域；
S30、针对每一后续帧图像，根据塔吊运行信息，预测出搜索吊物图像区域；
S40、在搜索吊物图像区域中提取目标直线段，重新选定中心图像区域，估计出吊物方向，识别吊物属性，在每一后续帧图像跟踪吊物轨迹。
在一些实施例中，在步骤S30中，包括：
所述塔吊运行信息包括塔吊小车的行驶速度及其方向、大臂的旋转速度及其方向、吊钩的类型及升降高度、小车下方相机焦距数据；
所述搜索吊物图像区域包括位置参数和尺寸参数，所述位置参数被配置为由塔吊小车和大臂的位置决定，所述尺寸参数被配置为由吊钩高度和相机焦距数据决定。
在一些实施例中，在步骤S30中，在根据塔吊运行信息预测出搜索吊物图像区域的过程中，包括：
获取塔吊小车的行驶速度、大臂的旋转速度；
若行驶速度和旋转速度保持不变，保持搜索吊物图像区域不变；
若行驶速度或旋转速度增加，将搜索吊物图像区域的位置参数向运动的反方向作位置补偿；
若行驶速度或旋转速度减小，将搜索吊物图像区域的位置参数向运动的同方向作位置补偿。
在一些实施例中，在步骤S40中，包括：
在搜索吊物图像区域中，基于LSD算法提取目标直线段；
其中，所述目标直线段的长度大于第一阈值，且在所述目标直线段的第一范围内存在其他长度大于第一阈值的直线段。
在一些实施例中，在步骤S40中，重新选定中心图像区域，估计出吊物方向，包括：
以搜索吊物图像区域的中心点作为中心图像区域的中心点，并向X方向双向延伸第一距离、向Y方向双向延伸第二距离，形成中心图像区域，所述中心图像区域至少涵盖所述目标直线段的一部分区域；
在所述中心图像区域中，将与所述目标直线段重合的像素设置为1，其余不重合的像素设置为0，对所述中心图像区域进行二维PCA计算；
以数值为1的像素点作为数据点，计算每个数据点在X、Y坐标系中的坐标值x`和y`，分别以坐标值x`和y`计算获得一个数据向量，得到坐标值的协方差矩阵，对协方差矩阵进行对角化分解，得到特征值和特征向量；
判断两个特征值的差值是否小于第二阈值，若是，判断吊物为非长条形，停止跟踪；
判断两个特征值的差值是否大于第三阈值，若是，判断吊物为长条形，并将较大特征值对应的特征向量作为长条形吊物的方向。
在一些实施例中，在步骤S40中，根据长条形吊物的方向，使用标准的MobileNetV3卷积神经网络，通过标注不同长条形状物体作为训练数据，通过训练构建长条形吊物的分类神经网络，对长条形吊物进行分类打分，获得吊物属性。
在一些实施例中，在步骤S40中，在通过标注不同长条形状物体作为训练数据，通过训练构建长条形吊物的分类神经网络时：
将首尾相同的长条形状物体的两端分别作上第一记号，以此作为训练数据训练分类神经网络；
将首尾不相同的长条形状物体的两端分别作上第二记号和第三记号，以此作为训练数据训练分类神经网络；
在识别吊物属性时，通过识别长条形吊物两端的记号，得到吊物属性。
在一些实施例中，在步骤S40之后还包括S50：
当根据二维PCA计算得到的长条形吊物方向，在搜索吊物图像区域中通过分类神经网络得到的分类识别结果置信度低于第四阈值时，重新进入步骤S20。
在一些实施例中，在步骤S20中，选定起始帧图像后，将起始帧图像输入预训练的Rotation-Yolo网络进行吊物检测，得到吊物检测框的四个顶点坐标，识别出长条形吊物的区域。
第二方面，本发明提供一种应用于上述长条形塔吊吊物的视频跟踪方法的系统，包括：
相机，用于从塔吊小车下方垂直向地面拍摄包括吊钩和吊物的在时间轴上成序列的连续多帧图像；
全局检测模块，用于获取拍摄的连续帧图像，选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域；
搜索区域预测模块，用于针对每一后续帧图像，根据塔吊运行信息，预测出搜索吊物图像区域；
吊物跟踪模块，用于在搜索吊物图像区域中提取目标直线段，重新选定中心图像区域，估计出吊物方向，识别吊物属性，在每一后续帧图像跟踪吊物轨迹。
相比现有技术，本发明的有益效果至少包括：
只利用塔吊小车下方的相机垂直拍摄吊钩及吊物，在连续帧图像中先选取起始帧图像，全局检测识别出长条形吊物的区域，再在后续帧图像中依据塔吊运行信息预测出搜索吊物图像区域，并进行吊物方向估计，识别吊物属性，这种视频跟踪方式所需要的硬件成本低，利用长条形吊物本身所含有的方向信息，简化计算分析过程，还利用帧间运动的连续性，预测后续帧图像的搜索吊物图像区域，大幅压缩吊物目标跟踪所需的计算量，适合大规模推广。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是一种实施例下一种长条形塔吊吊物的视频跟踪方法的流程示意图。
图2是一种实施例中相机与塔吊系统的部署位置关系示意图。
图3是另一种实施例下一种长条形塔吊吊物的视频跟踪方法的流程示意图。
图4是一种实施例下一种长条形塔吊吊物的视频跟踪系统的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
参照图1至2，第一方面，本发明提供一种长条形塔吊吊物的视频跟踪方法，包括以下步骤：
S10、获取拍摄的连续帧图像，连续帧图像被配置为从塔吊小车下方垂直向地面拍摄的包括吊钩和吊物的在时间轴上成序列的连续多帧图像；
S20、选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域；
S30、针对每一后续帧图像，根据塔吊运行信息，预测出搜索吊物图像区域；
S40、在搜索吊物图像区域中提取目标直线段，重新选定中心图像区域，估计出吊物方向，识别吊物属性，在每一后续帧图像跟踪吊物轨迹。
需要说明的是，结合图2，本方法需要依赖安装在塔吊小车下方的相机，此相机垂直照向地面，而且此相机位于吊钩的正上方，相机、吊钩、吊物基本处于同一直线上，当吊臂、小车、吊钩在移动时，相机、吊钩、吊物也基本处于同一直线，保证了相机的拍摄视角统一。
在获得连续帧图像后，按照时间轴的顺序，选定起始帧图像，将起始帧图像输入预训练的Rotation-Yolo网络进行吊物检测，得到吊物检测框的四个顶点坐标，识别出长条形吊物的区域。由于Rotation Yolo网络是基于Yolo实现的旋转目标检测，主要实现方式是通过在原始Yolo结构上加上角度分类loss，达到可以检测旋转目标，因此Rotation Yolo网络输出的坐标是带旋转的矩阵，带旋转的矩阵可以尽可能真实的匹配吊物位置，减少由于倾斜造成的影响，使得目标框尽可能紧凑的贴近检测目标，避免目标倾斜时最小外接矩阵会包含太多无关信息。
其中，Rotation Yolo的训练过程如下：对各种倾斜角度下的不同长条形吊物进行标注，记录各种倾斜角度下的不同长条形吊物的矩形坐标以及标签，其中，标签包括在首尾相同的长条形吊物的两端分别作上的第一记号、在首尾不相同的长条形吊物的两端分别作上第二记号和第三记号，将矩形坐标和标签存入xml格式文件中，得到第一训练集，矩形坐标包括长条形吊物真实框的中心点坐标、宽、高以及角度；接着使用随机裁剪和归一化的方法对第一训练集进行数据预处理，并使用数据增强增加第一训练集中的正样本；将第一训练集中的标注好的xml格式标签转换成适合Rotation Yolo训练的txt格式，txt数据格式包含长条形吊物真实框的类别、中心点坐标、长边、短边以及角度；再把第一训练集按标签进行等比例划分，其中80％作为训练集，10％作为验证集，10％作为测试集；将训练集输入初始Rotation Yolo网络进行长条形吊物位置检测，得到长条形吊物的预测框；根据预置的第二损失函数计算预测框和对应的真实框的预测损失，根据预测损失和SGD随机梯度下降方法对初始Rotation Yolo网络的模型参数进行迭代优化，训练迭代到200个epoch后停止训练，得到Rotation Yolo网络。训练过程中，预测损失至少包括置信度损失、class分类损失、bbox边框回归损失和角度分类损失。
在本实施例中，在步骤S30中，包括：
塔吊运行信息包括塔吊小车的行驶速度及其方向、大臂的旋转速度及其方向、吊钩的类型及升降高度、小车下方相机焦距数据；
搜索吊物图像区域包括位置参数和尺寸参数，位置参数被配置为由塔吊小车和大臂的位置决定，尺寸参数被配置为由吊钩高度和相机焦距数据决定。
在每一后续帧图像中，由于塔吊的正常运行，相对于前一帧图像可能发生了不一样的区别，前后帧图像之间的区别可能是由于塔吊小车的径向行驶、大臂的横向旋转、吊钩的升降造成，由于搜索吊物图像区域相当于是在相机所拍摄的完整二维图像中的一个设定区域，利用此尺寸更小、位置更精准的设定区域来搜索吊物，可以提高搜索效率，降低计算量，减少干扰，所以为了更精准、更高效地预测出搜索吊物图像区域，在针对后一帧图像时，通过提前获得以上的塔吊运行信息，预先计算出搜索吊物图像区域的位置参数和尺寸参数，其中，位置参数代表了搜索吊物图像区域的整体位置，尺寸参数代表了搜索吊物图像区域的整体大小，即在完整二维图像中先利用塔吊小车和大臂的移动位置，在前一帧图像的基础上，计算得到新的位置参数，再根据吊钩高度和相机焦距数据，计算出吊物尺寸的缩放系数，也即尺寸参数，通过这一步骤，在平面维度和垂向维度都可以提前预测到搜索吊物图像区域的变化，优化算法。
作为一种实施方式，在根据塔吊运行信息预测出搜索吊物图像区域的过程中，由于塔吊不同的运动状态，对搜索吊物图像区域的预测动作也不一样，更具体地，包括：
获取塔吊小车的行驶速度、大臂的旋转速度，对前后两帧图像对应的塔吊运行信息进行比对：
若前后两帧图像对应的行驶速度和旋转速度保持不变，证明目前塔吊在做匀速运动，匀速运动下保持搜索吊物图像区域不变；
若后一帧图像对应的行驶速度或旋转速度比前一帧图像的数据要增加，证明目前塔吊在做加速运动，其中行驶速度加速，证明塔吊小车在加速前行或者后退，旋转速度加速，证明大臂在加速左摆或者右摆，此时需要将搜索吊物图像区域的位置参数向运动的反方向作位置补偿，因为当塔吊小车或者大臂做加速移动时，吊物由于惯性，会稍比塔吊小车或者大臂反应缓慢，相对塔吊小车或者大臂而言，吊物在其运动方向的反方向，所以会沿着运动的反方向作位置补偿，更精准匹配得到搜索吊物图像区域；
同理，若后一帧图像对应的行驶速度或旋转速度比前一帧图像的数据要减小，证明目前塔吊在做减速运动，其中行驶速度减速，证明塔吊小车在减速前行或者后退，旋转速度减速，证明大臂在减速左摆或者右摆，此时需要将搜索吊物图像区域的位置参数向运动的同方向作位置补偿，因为当塔吊小车或者大臂做减速移动时，吊物由于惯性，会稍比塔吊小车或者大臂反应缓慢，相对塔吊小车或者大臂而言，吊物在其运动方向的正方向，因为塔吊小车或者大臂只是在做减速移动，其运动方向并没发生变化，所以会沿着运动的同方向作位置补偿，更精准匹配得到搜索吊物图像区域。
在本实施例中，在步骤S40中，包括：
在搜索吊物图像区域中，基于LSD算法提取目标直线段；
其中，目标直线段的长度大于第一阈值，且在目标直线段的第一范围内存在其他长度大于第一阈值的直线段。
需要说明的是，基于LSD算法提取的直线段中，只保留长度大于第一阈值的目标直线段，而且此目标直线段的周围第一范围内还有其他长度大于第一阈值的存在，首先，通过长度筛选，剔除短的直线段，抑制杂点的干扰，而且一般而言，长条形吊物都会呈密集排列出现，一般不会是孤立的物件，所以剔除掉孤立的长的直线段，可以有效排除其他干扰项。优选地，第一阈值大于搜索吊物图像区域长度的二分之一。只有密集排列出现的长度大于搜索吊物图像区域长度二分之一的目标直线段，才能用于后续的计算分析。
更进一步地，在重新选定中心图像区域，估计出吊物方向时，包括：
以搜索吊物图像区域的中心点作为中心图像区域的中心点，并向X方向双向延伸第一距离、向Y方向双向延伸第二距离，形成中心图像区域，中心图像区域至少涵盖目标直线段的一部分区域；优选地，X方向为搜索吊物图像区域的宽度方向，沿着X方向，向两侧的方向延伸出第一距离，此第一距离为搜索吊物图像区域宽度的二分之一；Y方向为搜索吊物图像区域的长度方向，沿着Y方向，向两侧的方向延伸出第二距离，此第二距离为搜索吊物图像区域长度的二分之一；通过中心点、第一距离、第二距离的参数控制，重新选定了一个中心图像区域，在这一中心图像区域中涵盖了一部分的目标直线段；
在中心图像区域中，将与目标直线段重合的像素设置为1，其余不重合的像素设置为0，对中心图像区域进行二维PCA计算；
在二维PCA计算中，以数值为1的像素点作为数据点，计算每个数据点在X、Y坐标系中的坐标值x`和y`作为两个数据维度，分别以坐标值x`和y`计算获得一个数据向量，即每一个数据维度的坐标值都组成一个数据向量，得到坐标值的协方差矩阵，对协方差矩阵进行对角化分解，得到特征值和特征向量；
对两个特征值进行判断，判断两个特征值的差值是否小于第二阈值，若是，证明在两个方向上的特征值比较接近，判断吊物为非长条形，停止跟踪；
判断两个特征值的差值是否大于第三阈值，若是，证明在两个方向上的特征值相差较大，判断吊物为长条形，并将较大特征值对应的特征向量作为长条形吊物的方向。
在这一步骤中，只要选定一个中心图像区域，即提取其中一段目标直线段，利用这一目标直线段即可算出代表两个方向的特征值，通过特征值比对即可判断吊物是否为长条形，若是，可直接得出此吊物的方向，可以在180度中精准找到一个准确的角度，也即吊物的延伸长度方向。
再根据长条形吊物的方向，使用标准的MobileNetV3卷积神经网络，通过标注不同长条形状物体作为训练数据，通过训练构建长条形吊物的分类神经网络，对长条形吊物进行分类打分，获得吊物属性，例如将钢筋、钢管、木条等不同的长条形状物体作为训练数据，而且只要训练一个方向即可，因为当使用这一MobileNetV3卷积神经网络时，已经识别出长条形吊物的方向，只需再标准方向上进行标注训练，即可用于对不同长条形吊物进行分类打分，获得吊物属性。
作为一种实施方式，在步骤S40中，在通过标注不同长条形状物体作为训练数据，通过训练构建长条形吊物的分类神经网络时：
将首尾相同的长条形状物体的两端分别作上第一记号，以此作为训练数据训练分类神经网络；
将首尾不相同的长条形状物体的两端分别作上第二记号和第三记号，以此作为训练数据训练分类神经网络；
在识别吊物属性时，通过识别长条形吊物两端的记号，得到吊物属性。
为了方便区分识别首尾不同的长条形状物体，在简化了方向因素的基础上，考虑到算力的充分利用，可以将首尾不同的因素用作于训练，更有助于提高识别出首尾不同的吊物的效率。
结合图3，在一些可能的实施例中，在步骤S40之后还包括S50：
当根据二维PCA计算得到的长条形吊物方向，在搜索吊物图像区域中通过分类神经网络得到的分类识别结果置信度低于第四阈值时，重新进入步骤S20。
若分类识别结果置信度不低于第四阈值时，继续对后一帧图像进行S30、S40的步骤重复，实现持续跟踪吊物。
需要说明的是，相对于起始帧而言，每一个后续帧图像都需要完成S30和S40两个步骤，在每一后续帧完成了搜索吊物图像区域的预测、PCA主方向的确定、分类网属性识别三个连续的分析处理后，可以完成在每一后续帧图像的吊物轨迹跟踪，但是若在搜索吊物图像区域中通过分类神经网络得到的分类识别结果置信度低于第四阈值时，证明吊物跟踪失败，此时需要重新进入步骤S20，即重新选定起始帧图像，针对起始帧图像启动一次Rotation-Yolo的全局目标检测，再一次锁定长条形吊物的区域，在这一重新锁定的长条形吊物区域中，再次重复执行搜索吊物图像区域预测、PCA主方向确定、分类网属性识别这个连续的分析处理，重新进行吊物轨迹跟踪。
参照图4，第二方面，本发明提供一种应用于上述长条形塔吊吊物的视频跟踪方法的系统，包括：
相机，用于从塔吊小车下方垂直向地面拍摄包括吊钩和吊物的在时间轴上成序列的连续多帧图像；
全局检测模块，用于获取拍摄的连续帧图像，选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域；
搜索区域预测模块，用于针对每一后续帧图像，根据塔吊运行信息，预测出搜索吊物图像区域；
吊物跟踪模块，用于在搜索吊物图像区域中提取目标直线段，重新选定中心图像区域，估计出吊物方向，识别吊物属性，在每一后续帧图像跟踪吊物轨迹。
作为一种实施方式，本视频跟踪系统还包括：
置信度判断模块，用于当根据二维PCA计算得到的长条形吊物方向，在搜索吊物图像区域中通过分类神经网络得到的分类识别结果置信度低于第四阈值时，重新调用全局检测模块，再次选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域，并依序进入搜索区域预测模块及吊物跟踪模块的分析处理。
以上所有模块用于实现上述实施例中的吊物视频跟踪方法，具体实施方式在此不再一一赘述。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如上的长条形塔吊吊物的吊物视频跟踪方法。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，计算机程序当被处理器执行时使处理器执行如上的长条形塔吊吊物的吊物视频跟踪方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
相对于现有技术，本发明提供一种长条形塔吊吊物的视频跟踪方法及系统，只利用塔吊小车下方的相机垂直拍摄吊钩及吊物，在连续帧图像中先选取起始帧图像，全局检测识别出长条形吊物的区域，再在后续帧图像中依据塔吊运行信息预测出搜索吊物图像区域，并进行吊物方向估计，识别吊物属性，这种视频跟踪方式所需要的硬件成本低，利用长条形吊物本身所含有的方向信息，简化计算分析过程，还利用帧间运动的连续性，预测后续帧图像的搜索吊物图像区域，大幅压缩吊物目标跟踪所需的计算量，适合大规模推广。
最后需要强调的是，本发明不限于上述实施方式，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上描述为发明的主要流程步骤，其中可穿插其它功能步骤，并可打乱上述逻辑顺序和流程步骤，若数据的处理方式按照此流程步骤形式处理或数据处理的核心思想近似、雷同，均应受到保护。

Claims (8)

1.一种长条形塔吊吊物的视频跟踪方法，其特征在于，包括以下步骤：
S10、获取拍摄的连续帧图像，所述连续帧图像被配置为从塔吊小车下方垂直向地面拍摄的包括吊钩和吊物的在时间轴上成序列的连续多帧图像；
S20、选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域；
S30、针对每一后续帧图像，根据塔吊运行信息，预测出搜索吊物图像区域；
S40、在搜索吊物图像区域中提取目标直线段，重新选定中心图像区域，估计出吊物方向，识别吊物属性，在每一后续帧图像跟踪吊物轨迹；
在步骤S30中，包括：
所述塔吊运行信息包括塔吊小车的行驶速度及其方向、大臂的旋转速度及其方向、吊钩的类型及升降高度、小车下方相机焦距数据；
所述搜索吊物图像区域包括位置参数和尺寸参数，所述位置参数被配置为由塔吊小车和大臂的位置决定，所述尺寸参数被配置为由吊钩高度和相机焦距数据决定；
在步骤S30中，在根据塔吊运行信息预测出搜索吊物图像区域的过程中，包括：
获取塔吊小车的行驶速度、大臂的旋转速度；
若行驶速度和旋转速度保持不变，保持搜索吊物图像区域不变；
若行驶速度或旋转速度增加，将搜索吊物图像区域的位置参数向运动的反方向作位置补偿；
若行驶速度或旋转速度减小，将搜索吊物图像区域的位置参数向运动的同方向作位置补偿。
2.如权利要求1所述的一种长条形塔吊吊物的视频跟踪方法，其特征在于，在步骤S40中，包括：
在搜索吊物图像区域中，基于LSD算法提取目标直线段；
其中，所述目标直线段的长度大于第一阈值，且在所述目标直线段的第一范围内存在其他长度大于第一阈值的直线段。
3.如权利要求2所述的一种长条形塔吊吊物的视频跟踪方法，其特征在于，在步骤S40中，重新选定中心图像区域，估计出吊物方向，包括：
以搜索吊物图像区域的中心点作为中心图像区域的中心点，并向X方向双向延伸第一距离、向Y方向双向延伸第二距离，形成中心图像区域，所述中心图像区域至少涵盖所述目标直线段的一部分区域；
在所述中心图像区域中，将与所述目标直线段重合的像素设置为1，其余不重合的像素设置为0，对所述中心图像区域进行二维PCA计算；
以数值为1的像素点作为数据点，计算每个数据点在X、Y坐标系中的坐标值xˋ和yˋ，分别以坐标值xˋ和yˋ计算获得一个数据向量，得到坐标值的协方差矩阵，对协方差矩阵进行对角化分解，得到特征值和特征向量；
判断两个特征值的差值是否小于第二阈值，若是，判断吊物为非长条形，停止跟踪；
判断两个特征值的差值是否大于第三阈值，若是，判断吊物为长条形，并将较大特征值对应的特征向量作为长条形吊物的方向。
4.如权利要求3所述的一种长条形塔吊吊物的视频跟踪方法，其特征在于，在步骤S40中，根据长条形吊物的方向，使用标准的MobileNetV3卷积神经网络，通过标注不同长条形状物体作为训练数据，通过训练构建长条形吊物的分类神经网络，对长条形吊物进行分类打分，获得吊物属性。
5.如权利要求4所述的一种长条形塔吊吊物的视频跟踪方法，其特征在于，在步骤S40中，在通过标注不同长条形状物体作为训练数据，通过训练构建长条形吊物的分类神经网络时：
将首尾相同的长条形状物体的两端分别作上第一记号，以此作为训练数据训练分类神经网络；
将首尾不相同的长条形状物体的两端分别作上第二记号和第三记号，以此作为训练数据训练分类神经网络；
在识别吊物属性时，通过识别长条形吊物两端的记号，得到吊物属性。
6.如权利要求4所述的一种长条形塔吊吊物的视频跟踪方法，其特征在于，在步骤S40之后还包括S50：
当根据二维PCA计算得到的长条形吊物方向，在搜索吊物图像区域中通过分类神经网络得到的分类识别结果置信度低于第四阈值时，重新进入步骤S20。
7.如权利要求6所述的一种长条形塔吊吊物的视频跟踪方法，其特征在于，在步骤S20中，选定起始帧图像后，将起始帧图像输入预训练的Rotation-Yolo网络进行吊物检测，得到吊物检测框的四个顶点坐标，识别出长条形吊物的区域。
8.一种应用于如权利要求1至7任一项所述的长条形塔吊吊物的视频跟踪方法的系统，其特征在于，包括：
相机，用于从塔吊小车下方垂直向地面拍摄包括吊钩和吊物的在时间轴上成序列的连续多帧图像；
全局检测模块，用于获取拍摄的连续帧图像，选定起始帧图像，对起始帧图像进行检测并识别出长条形吊物的区域；
搜索区域预测模块，用于针对每一后续帧图像，根据塔吊运行信息，预测出搜索吊物图像区域；
吊物跟踪模块，用于在搜索吊物图像区域中提取目标直线段，重新选定中心图像区域，估计出吊物方向，识别吊物属性，在每一后续帧图像跟踪吊物轨迹。
CN202310280772.4A 2023-03-13 2023-03-13 一种长条形塔吊吊物的视频跟踪方法及系统 Active CN116385485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310280772.4A CN116385485B (zh) 2023-03-13 2023-03-13 一种长条形塔吊吊物的视频跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310280772.4A CN116385485B (zh) 2023-03-13 2023-03-13 一种长条形塔吊吊物的视频跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN116385485A CN116385485A (zh) 2023-07-04
CN116385485B true CN116385485B (zh) 2023-11-14

Family

ID=86977998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310280772.4A Active CN116385485B (zh) 2023-03-13 2023-03-13 一种长条形塔吊吊物的视频跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN116385485B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726882A (zh) * 2024-02-07 2024-03-19 杭州宇泛智能科技有限公司 塔吊吊物识别方法、系统和电子设备
CN118134970B (zh) * 2024-05-06 2024-07-09 山西太重数智科技股份有限公司 基于图像识别的起重工和吊钩检测跟踪方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341664A (zh) * 2018-10-30 2019-02-15 上海应用技术大学 基于视觉的二维桥式吊车的摆动状态测量方法
KR102126063B1 (ko) * 2019-01-16 2020-06-23 주식회사 넥트라 크레인 붐대에 설치된 무선카메라의 각도를 하중물 끝을 향하도록 자동 추적하는 제어장치 및 방법
CN111392619A (zh) * 2020-03-25 2020-07-10 广东博智林机器人有限公司 一种塔吊预警方法、装置、系统及存储介质
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN114275693A (zh) * 2021-12-30 2022-04-05 河南瑞欧软件有限公司 一种塔吊吊钩智能可视化追踪系统及方法
CN115588121A (zh) * 2022-11-03 2023-01-10 腾晖科技建筑智能(深圳)有限公司 基于传感数据和图像序列的塔吊吊物类别检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242973A (zh) * 2020-01-06 2020-06-05 上海商汤临港智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341664A (zh) * 2018-10-30 2019-02-15 上海应用技术大学 基于视觉的二维桥式吊车的摆动状态测量方法
KR102126063B1 (ko) * 2019-01-16 2020-06-23 주식회사 넥트라 크레인 붐대에 설치된 무선카메라의 각도를 하중물 끝을 향하도록 자동 추적하는 제어장치 및 방법
CN111392619A (zh) * 2020-03-25 2020-07-10 广东博智林机器人有限公司 一种塔吊预警方法、装置、系统及存储介质
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN114275693A (zh) * 2021-12-30 2022-04-05 河南瑞欧软件有限公司 一种塔吊吊钩智能可视化追踪系统及方法
CN115588121A (zh) * 2022-11-03 2023-01-10 腾晖科技建筑智能(深圳)有限公司 基于传感数据和图像序列的塔吊吊物类别检测方法及系统

Also Published As

Publication number Publication date
CN116385485A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN116385485B (zh) 一种长条形塔吊吊物的视频跟踪方法及系统
CN110472496B (zh) 一种基于目标检测与跟踪的交通视频智能分析方法
Attard et al. Automatic crack detection using mask R-CNN
CN111444821B (zh) 一种城市道路标志自动识别方法
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
CN110706509B (zh) 车位及其方向角度检测方法、装置、设备及介质
CN110569843B (zh) 一种矿井目标智能检测与识别方法
CN108846331B (zh) 一种动车组底盘螺丝紧固件是否脱落的视频识别方法
CN111144401B (zh) 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN115620518B (zh) 基于深度学习的交叉口交通冲突判别方法
CN112985263A (zh) 一种弓网几何参数检测方法、装置及设备
CN111476160A (zh) 损失函数优化方法、模型训练方法、目标检测方法及介质
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN115096268B (zh) 基于无人机航拍及超声波探测的桥梁损伤深度检测方法
CN118135334B (zh) 一种接触网吊弦缺陷识别方法及系统
CN115588121A (zh) 基于传感数据和图像序列的塔吊吊物类别检测方法及系统
WO2023139407A1 (en) Semi-weakly supervised object detection using progressive knowledge transfer and pseudo-label mining
CN114360261B (zh) 车辆逆行的识别方法、装置、大数据分析平台和介质
CN115762023A (zh) 基于深度学习的定位型入侵行为识别方法
CN117314921B (zh) 一种基于rfid的轨道巡检设备的起点检测及处置方法
CN117288094B (zh) 基于激光传感器的掘进机实时定位系统
CN112883830B (zh) 一种钻杆实时自动计数方法
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN112001320B (zh) 一种基于视频的闸门检测方法
CN112052824A (zh) 基于YOLOv3算法的煤气管道特定物体目标检测告警方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant