CN113255626A - 一种基于扫描图像分析的智能塔吊结构状态检测方法和装置 - Google Patents

一种基于扫描图像分析的智能塔吊结构状态检测方法和装置 Download PDF

Info

Publication number
CN113255626A
CN113255626A CN202110797033.3A CN202110797033A CN113255626A CN 113255626 A CN113255626 A CN 113255626A CN 202110797033 A CN202110797033 A CN 202110797033A CN 113255626 A CN113255626 A CN 113255626A
Authority
CN
China
Prior art keywords
tower crane
time
component
real
curvature change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110797033.3A
Other languages
English (en)
Other versions
CN113255626B (zh
Inventor
陈德木
蒋云
陈曦
陆建江
赵晓东
顾姣燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Original Assignee
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dajie Intelligent Transmission Technology Co Ltd filed Critical Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority to CN202110797033.3A priority Critical patent/CN113255626B/zh
Publication of CN113255626A publication Critical patent/CN113255626A/zh
Application granted granted Critical
Publication of CN113255626B publication Critical patent/CN113255626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种基于扫描图像分析的智能塔吊结构状态检测方法和装置。该方法包括：在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过摄像头实时拍摄进入标准杆和塔吊的全局扫描图像，获得监控图像数据；解析全局扫描图像，通过骨骼算法实时检测塔吊各个组成部分的结构状态；当塔吊运行时，计算塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；将实时检测获得的塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对塔吊结构状态进行分类；根据分类的结果，优化调整塔吊的吊运任务。本申请在无人看管的塔吊自动运行时，及时、准确的发现可能出现的安全问题，并且优化调整塔吊运力，提高智能塔吊工作效率。

Description

一种基于扫描图像分析的智能塔吊结构状态检测方法和装置
技术领域
本申请涉及智能塔吊技术领域，尤其涉及一种基于扫描图像分析的智能塔吊结构状态检测方法和装置。
背景技术
目前的塔吊，基本都是人员在塔吊上的中控室进行操控，或者通过操作人员在远程进行实时智能操控。塔吊行业来说，目前的发展方向是无人塔吊、智能塔吊，那么在产业升级的过程中会遇到很多的技术问题。
例如无人塔吊、智能塔吊如何实现塔吊结构状态检测的及时性、准确性，如何能够发现塔吊在超负荷、超长时间运转时导致的吊臂、主塔的危险结构变形，这是关系安全生产的急迫、重大的技术问题。
发明内容
有鉴于此，本申请的目的在于提出一种基于扫描图像分析的智能塔吊结构状态检测方法和装置，本申请在无人看管的塔吊自动运行时，及时、准确的发现可能出现的安全问题，并且优化调整塔吊运力，提高智能塔吊工作效率。
基于上述目的，本申请提出了一种基于扫描图像分析的智能塔吊结构状态检测方法，包括：
在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据；
解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态；
当所述塔吊运行时，计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，所述弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；
将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类；
根据所述分类的结果，优化调整所述塔吊的吊运任务。
在一些实施例中，所述通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据，包括：
提取所述监控图像数据的实时特征流。
在一些实施例中，在提取所述监控图像数据的实时特征流之前还包括：对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
在一些实施例中，所述解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态，包括：
识别所述全局扫描图像中的塔吊骨骼关键点；
根据所述塔吊骨骼关键点构建塔吊的整体骨骼画像；
根据所述整体骨骼画像确定所述塔吊各个组成部分的结构状态。
在一些实施例中，所述计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，包括：
根据所述标准杆的高度和所述塔吊骨骼关键点的偏离正常位置的位移幅度，计算得到所述塔吊各个组成部分的在承重前后的弯曲变形的幅度；
通过计时器记录所述塔吊骨骼关键点的偏离正常位置的时间，作为弯曲变形的保持时间。
在一些实施例中，所述将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类，包括：
将大批量已知塔吊的各个组成部分的弯曲度变化情况的特征流导入到卷积神经网络，得到各个塔吊的结构状态类型；将已知塔吊的各个组成部分的弯曲度变化情况的特征流和结构状态类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K-means模型构成的AKC模型；
将待分类塔吊的各个组成部分的弯曲度变化情况的实时特征流输入训练好的AKC模型中，得到该待分类塔吊的结构状态类型。
在一些实施例中，所述根据所述分类的结果，优化调整所述塔吊的吊运任务，包括：
根据所述分类的结果为结构安全负载，提高所述塔吊的负重强度和/或负重时间；
根据所述分类的结果为结构预警负载，降低所述塔吊的负重强度和/或负重时间；
根据所述分类的结果为结构疲劳负载，卸载所述塔吊的负重。
基于上述目的，本申请还提出了一种基于扫描图像分析的智能塔吊结构状态检测装置，包括：
监控模块，用于在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据；
解析模块，用于解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态；
弯曲度计算模块，用于当所述塔吊运行时，计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，所述弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；
分类模块，用于将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类；
优化模块，用于根据所述分类的结果，优化调整所述塔吊的吊运任务。
总的来说，本申请的优势及给用户带来的体验在于：
1、本申请在无人看管的塔吊自动运行时，及时、准确的发现可能出现的安全问题，并且优化调整塔吊运力，提高智能塔吊工作效率。
2、采用了最新的神经网络分类技术，提高了塔吊结构检测的精度和效率；
3、采用了骨骼算法，能够更加准确、快速的对塔吊的结构安全状况进行分类，提高结构状态分类的效率。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出本申请的装置架构原理示意图。
图2示出根据本申请实施例的基于扫描图像分析的智能塔吊结构状态检测方法的流程图。
图3示出根据本申请实施例的基于扫描图像分析的智能塔吊结构状态检测装置的构成图。
图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本申请的装置架构原理示意图。本申请的实施例中，设备包括塔吊、标准杆、摄像头、服务器等。在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过摄像头实时拍摄进入标准杆和塔吊的全局扫描图像，获得监控图像数据；解析全局扫描图像，通过骨骼算法实时检测塔吊各个组成部分的结构状态；当塔吊运行时，计算塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；将实时检测获得的塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对塔吊结构状态进行分类；根据分类的结果，优化调整塔吊的吊运任务。
图2示出根据本申请实施例的基于扫描图像分析的智能塔吊结构状态检测方法的流程图。如图2所示，该基于扫描图像分析的智能塔吊结构状态检测方法包括：
步骤101：在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据。
本实施例中，首先对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
然后，通过摄像头提取所述监控图像数据的实时特征流，包括：提取监控图像数据的特征，得到实时特征流；对所述实时特征流进行特征变换。所述特征变换包括以下方式中的至少一种：特征加扰、特征编码、同态加密。
在本申请的优选实施例中，对于监控场景的视频流数据，会根据分辨率的大小，按照帧的要求分解成图像数据。由于视频可以分为空域和时域两个组成部分。空域部分，以单个视频帧的形式存在，携带视频中的场景和目标信息。而时域部分，以视频帧间的运行形势存在，传递观察者(摄像头等视频采集设备)和目标之间的移动。空域部分的输入流即为单独帧的图像数据，而时域部分则采用一些连续视频帧的堆叠光流位移场作为输入流。计算多帧之间光流场(光流位移场)的方法包括光流栈(Optical Flow Stacking)和轨迹叠加(Trajectory stacking)。
步骤102：解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态。
本实施例中，包括：识别所述全局扫描图像中的塔吊骨骼关键点；在这个步骤中，例如可以使用可识别25个关键部位的Openpose算法对每个塔吊结构位置框中的对象进行关键点坐标和置信度数值的获取。
根据所述塔吊骨骼关键点构建塔吊的整体骨骼画像；在这个步骤中，例如可以根据COCO数据集的格式对Openpose的结果进行整理；将根据COCO数据集的格式整理好的关键点数据送入Pose2Seg背景去除算法，完成对于塔吊区域的背景去除；将去除背景的塔吊区域和骨骼关键点数据送入smplify-x建模算法获取塔吊的3D模型。
根据所述整体骨骼画像确定所述塔吊各个组成部分的结构状态。本实施例中，通过将所述整体骨骼画像与预先设置的标准塔吊各个组成部分的结构状态进行比对，能够确定被检测塔吊各个组成部分的结构状态是否正常。
步骤103：当所述塔吊运行时，计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，所述弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；
本实施例中，根据所述标准杆的高度和所述塔吊骨骼关键点的偏离正常位置的位移幅度，计算得到所述塔吊各个组成部分的在承重前后的弯曲变形的幅度。本实施例中，例如设置标准杆为10米，通过扫描图像的分析，标准杆所占用的图像像素个数为M个，如果发现塔吊主塔身向右偏移的像素个数为N个，则塔吊主塔身向右偏移的位移幅度就是10*N/M。对于塔吊的关键骨骼点，通过类似计算，就可以得到塔吊各个组成部分的在承重前后的弯曲变形的幅度。如果塔吊的某个结构的完全变形幅度超过预设阈值，则很有可能导致塔吊的侧翻、弯折等危险状况的发生。
通过计时器记录所述塔吊骨骼关键点的偏离正常位置的时间，作为弯曲变形的保持时间。本实施例中，在塔吊开始工作后，就启动计时器计时，如果观察到塔吊长时间保持一定程度的变形，则根据结构力学，塔身的结构疲劳达到一定程度，可能会导致塔吊的侧翻、弯折等危险状况的发生。
步骤104：将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类。
本实施例中，将大批量已知塔吊的各个组成部分的弯曲度变化情况的特征流导入到卷积神经网络，得到各个塔吊的结构状态类型；将已知塔吊的各个组成部分的弯曲度变化情况的特征流和结构状态类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K-means模型构成的AKC模型；
将待分类塔吊的各个组成部分的弯曲度变化情况的实时特征流输入训练好的AKC模型中，得到该待分类塔吊的结构状态类型。
本申请的神经网络，例如可以基于一种人工智能推理计算设备。根据本公开内容的一个方面，人工智能推理计算设备包含印刷电路板(PCB)和安装在其上的若干电子部件。电子部件包括无线通信模块、控制器模块、存储器模块、储存模块以及至少一个基于细胞神经网络(CNN)的集成电路(IC)，该集成电路被配置用于执行深度学习模型中的卷积操作，以从输入数据中提取出特征。每一个基于CNN的IC包括可操作地耦接到至少一个输入/输出数据总线的若干CNN处理引擎。CNN处理引擎利用时钟偏移电路以环路连接。无线通信模块被配置用于传输深度学习模型的预训练的滤波器系数、输入数据和分类结果。
每一个输入流(空域输入流和时域输入流)都使用了一个深度卷积神经网络。原本卷积神络网络在隐含层之后会得到特征图，在全连接层被展开为向量进行后续运算。本申请直接将展开后的一维浮点向量用作输出，作为提取到的特征数据，传输至云端，用做后续的分析计算处理。
本申请还可以采用数字细胞神经网络，基于卷积神经网络，使用第一组滤波器或权重利用卷积来处理多层输入图像数据。由于图像数据大于滤波器，处理图像数据的每个对应的重叠子区域。在获得卷积结果之后，可以在第一池化操作之前进行激活。在一个实施方式中，通过在整流线性单元中执行的整流来实现激活。作为第一池化操作的结果，图像数据被减少为一组减少的图像数据。对于2x2池化，该组减少的图像数据集比先前组减少了4倍。
重复先前的卷积到池化过程。然后使用第二组滤波器用卷积处理该组减小的图像数据集。类似地，处理每个重叠的子区域。可以在第二池化操作之前进行另一激活。卷积到池化过程被重复多层并最终连接到全连接网络(FCN)。在图像分类中，可以计算相应的预定义类别的概率。
本申请中，使用已知的数据集或数据库来训练该重复的卷积到池化过程。对于图像分类，数据集包含预定义的类别。在用于分类图像数据之前，可以调谐并获得一组特定的滤波器、激活和池化，例如，滤波器类型的特定组合、滤波器的数量、滤波器的顺序、池化类型和/或何时执行激活。在一个实施方式中，卷积神经网络基于视觉几何群(VGG16)架构神经网络，其包含13个卷积层和三个完全连接的网络层。
步骤105：根据所述分类的结果，优化调整所述塔吊的吊运任务。
本实施例中，根据所述分类的结果为结构安全负载，提高所述塔吊的负重强度和/或负重时间；
根据所述分类的结果为结构预警负载，降低所述塔吊的负重强度和/或负重时间；
根据所述分类的结果为结构疲劳负载，卸载所述塔吊的负重。
以下举例说明本申请的基于扫描图像分析的智能塔吊结构状态检测效果：
Figure DEST_PATH_IMAGE001
申请实施例提供了一种基于扫描图像分析的智能塔吊结构状态检测装置，该装置用于执行上述实施例所述的基于扫描图像分析的智能塔吊结构状态检测方法，如图3所示，该装置包括：
监控模块501，用于在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据；
解析模块502，用于解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态；
弯曲度计算模块503，用于当所述塔吊运行时，计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，所述弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；
分类模块504，用于将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类；
优化模块505，用于根据所述分类的结果，优化调整所述塔吊的吊运任务。
本申请的上述实施例提供的基于扫描图像分析的智能塔吊结构状态检测装置与本申请实施例提供的基于扫描图像分析的智能塔吊结构状态检测方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于扫描图像分析的智能塔吊结构状态检测方法对应的电子设备，以执行上基于扫描图像分析的智能塔吊结构状态检测方法。本申请实施例不做限定。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于扫描图像分析的智能塔吊结构状态检测方法。
其中，存储器201可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口203（可以是有线或者无线）实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于扫描图像分析的智能塔吊结构状态检测方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于扫描图像分析的智能塔吊结构状态检测方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于扫描图像分析的智能塔吊结构状态检测方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于扫描图像分析的智能塔吊结构状态检测方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于扫描图像分析的智能塔吊结构状态检测方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于扫描图像分析的智能塔吊结构状态检测方法，其特征在于，包括：
在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据；
解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态；
当所述塔吊运行时，计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，所述弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；
将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类；
根据所述分类的结果，优化调整所述塔吊的吊运任务。
2.根据权利要求1所述的方法，其特征在于，
所述通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据，包括：
提取所述监控图像数据的实时特征流。
3.根据权利要求2所述的方法，其特征在于，
在提取所述监控图像数据的实时特征流之前还包括：对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
4.根据权利要求1所述的方法，其特征在于，
所述解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态，包括：
识别所述全局扫描图像中的塔吊骨骼关键点；
根据所述塔吊骨骼关键点构建塔吊的整体骨骼画像；
根据所述整体骨骼画像确定所述塔吊各个组成部分的结构状态。
5.如权利要求4所述的方法，其特征在于，
所述计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，包括：
根据所述标准杆的高度和所述塔吊骨骼关键点的偏离正常位置的位移幅度，计算得到所述塔吊各个组成部分的在承重前后的弯曲变形的幅度；
通过计时器记录所述塔吊骨骼关键点的偏离正常位置的时间，作为弯曲变形的保持时间。
6.根据权利要求1-5任一项所述的方法，其特征在于，
所述将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类，包括：
将大批量已知塔吊的各个组成部分的弯曲度变化情况的特征流导入到卷积神经网络，得到各个塔吊的结构状态类型；将已知塔吊的各个组成部分的弯曲度变化情况的特征流和结构状态类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K-means模型构成的AKC模型；
将待分类塔吊的各个组成部分的弯曲度变化情况的实时特征流输入训练好的AKC模型中，得到该待分类塔吊的结构状态类型。
7.根据权利要求6所述的方法，其特征在于，
所述根据所述分类的结果，优化调整所述塔吊的吊运任务，包括：
根据所述分类的结果为结构安全负载，提高所述塔吊的负重强度和/或负重时间；
根据所述分类的结果为结构预警负载，降低所述塔吊的负重强度和/或负重时间；
根据所述分类的结果为结构疲劳负载，卸载所述塔吊的负重。
8.一种基于扫描图像分析的智能塔吊结构状态检测装置，其特征在于，包括：
监控模块，用于在塔吊旁第一预设距离设置标准杆，在塔吊旁第二预设距离设置摄像头，通过所述摄像头实时拍摄进入所述标准杆和塔吊的全局扫描图像，获得监控图像数据；
解析模块，用于解析所述全局扫描图像，通过骨骼算法实时检测所述塔吊各个组成部分的结构状态；
弯曲度计算模块，用于当所述塔吊运行时，计算所述塔吊各个组成部分的结构状态在承重前后的弯曲度变化情况，所述弯曲度变化情况至少包括弯曲变形的幅度、和弯曲变形的保持时间；
分类模块，用于将实时检测获得的所述塔吊各个组成部分的弯曲度变化情况输入训练好的塔吊结构状态分类神经网络，对所述塔吊结构状态进行分类；
优化模块，用于根据所述分类的结果，优化调整所述塔吊的吊运任务。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202110797033.3A 2021-07-14 2021-07-14 一种基于扫描图像分析的智能塔吊结构状态检测方法和装置 Active CN113255626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797033.3A CN113255626B (zh) 2021-07-14 2021-07-14 一种基于扫描图像分析的智能塔吊结构状态检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797033.3A CN113255626B (zh) 2021-07-14 2021-07-14 一种基于扫描图像分析的智能塔吊结构状态检测方法和装置

Publications (2)

Publication Number Publication Date
CN113255626A true CN113255626A (zh) 2021-08-13
CN113255626B CN113255626B (zh) 2021-12-03

Family

ID=77191293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797033.3A Active CN113255626B (zh) 2021-07-14 2021-07-14 一种基于扫描图像分析的智能塔吊结构状态检测方法和装置

Country Status (1)

Country Link
CN (1) CN113255626B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113827216A (zh) * 2021-09-18 2021-12-24 特斯联科技集团有限公司 一种基于微动算法无感监测心率的方法和系统
CN114348876A (zh) * 2022-03-17 2022-04-15 杭州杰牌传动科技有限公司 智能塔吊变幅过程的动态调整方法和系统
CN114634108A (zh) * 2022-05-17 2022-06-17 杭州未名信科科技有限公司 一种塔吊机器人回转控制方法和系统
CN116798030A (zh) * 2023-08-28 2023-09-22 中国建筑第六工程局有限公司 曲面观光雷达高塔验收方法、系统、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413131A (zh) * 2013-01-24 2013-11-27 中国科学院遥感与数字地球研究所 基于光谱及几何特征的塔吊识别方法
CN103613013A (zh) * 2013-11-12 2014-03-05 宁夏电通物联网科技有限公司 塔吊施工安全监测系统及方法
CN107720552A (zh) * 2017-10-16 2018-02-23 西华大学 一种基于计算机机器视觉的装配式建筑智能吊装方法
CN207390860U (zh) * 2017-11-08 2018-05-22 安阳师范学院 建筑塔吊智能辅助系统
CN109019335A (zh) * 2018-09-04 2018-12-18 大连理工大学 一种基于深度学习的吊装安全距离检测方法
CN109166153A (zh) * 2018-08-21 2019-01-08 江苏德丰建设集团有限公司 基于双目视觉的塔吊高空作业三维定位方法及定位系统
KR102008519B1 (ko) * 2018-10-24 2019-10-21 주식회사 공간정보 크레인 안전작업용 실시간 무인영상전송시스템
CN111994795A (zh) * 2020-07-29 2020-11-27 广西建工集团智慧制造有限公司 一种塔吊吊钩垂直度偏移量测量方法
CN112241950A (zh) * 2020-10-19 2021-01-19 福州大学 一种塔式起重机裂缝图像的检测方法
CN112419268A (zh) * 2020-11-23 2021-02-26 广东电网有限责任公司广州供电局 一种输电线路图像缺陷检测方法、装置、设备及介质
CN112520607A (zh) * 2020-12-08 2021-03-19 南京贺宇网络科技有限公司 基于机器视觉和大数据分析的建筑施工工程机械姿态安全实时监测云平台
CN213423969U (zh) * 2020-08-21 2021-06-11 董秀园 基于姿态识别的智能座椅控制装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413131A (zh) * 2013-01-24 2013-11-27 中国科学院遥感与数字地球研究所 基于光谱及几何特征的塔吊识别方法
CN103613013A (zh) * 2013-11-12 2014-03-05 宁夏电通物联网科技有限公司 塔吊施工安全监测系统及方法
CN107720552A (zh) * 2017-10-16 2018-02-23 西华大学 一种基于计算机机器视觉的装配式建筑智能吊装方法
CN207390860U (zh) * 2017-11-08 2018-05-22 安阳师范学院 建筑塔吊智能辅助系统
CN109166153A (zh) * 2018-08-21 2019-01-08 江苏德丰建设集团有限公司 基于双目视觉的塔吊高空作业三维定位方法及定位系统
CN109019335A (zh) * 2018-09-04 2018-12-18 大连理工大学 一种基于深度学习的吊装安全距离检测方法
KR102008519B1 (ko) * 2018-10-24 2019-10-21 주식회사 공간정보 크레인 안전작업용 실시간 무인영상전송시스템
CN111994795A (zh) * 2020-07-29 2020-11-27 广西建工集团智慧制造有限公司 一种塔吊吊钩垂直度偏移量测量方法
CN213423969U (zh) * 2020-08-21 2021-06-11 董秀园 基于姿态识别的智能座椅控制装置
CN112241950A (zh) * 2020-10-19 2021-01-19 福州大学 一种塔式起重机裂缝图像的检测方法
CN112419268A (zh) * 2020-11-23 2021-02-26 广东电网有限责任公司广州供电局 一种输电线路图像缺陷检测方法、装置、设备及介质
CN112520607A (zh) * 2020-12-08 2021-03-19 南京贺宇网络科技有限公司 基于机器视觉和大数据分析的建筑施工工程机械姿态安全实时监测云平台

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CUIYU WANG 等: "Rust Defect Detection and Segmentation Method for Tower Crane", 《2020 CROSS STRAIT RADIO SCIENCE & WIRELESS TECHNOLOGY CONFERENCE (CSRSWTC)》 *
RICARDO GUTIERREZ 等: "Vision-Based System for 3D Tower Crane Monitoring", 《IEEE SENSORS JOURNAL》 *
于博 等: "一种基于多尺度自适应形态学的塔吊提取方法", 《遥感技术与应用》 *
王旭 等: "基于CamShifi跟踪算法的塔吊监控系统设计", 《电子器件》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113827216A (zh) * 2021-09-18 2021-12-24 特斯联科技集团有限公司 一种基于微动算法无感监测心率的方法和系统
CN114348876A (zh) * 2022-03-17 2022-04-15 杭州杰牌传动科技有限公司 智能塔吊变幅过程的动态调整方法和系统
CN114348876B (zh) * 2022-03-17 2022-08-05 杭州杰牌传动科技有限公司 智能塔吊变幅过程的动态调整方法和系统
CN114634108A (zh) * 2022-05-17 2022-06-17 杭州未名信科科技有限公司 一种塔吊机器人回转控制方法和系统
CN116798030A (zh) * 2023-08-28 2023-09-22 中国建筑第六工程局有限公司 曲面观光雷达高塔验收方法、系统、装置及存储介质
CN116798030B (zh) * 2023-08-28 2023-11-14 中国建筑第六工程局有限公司 曲面观光雷达高塔验收方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN113255626B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113255626B (zh) 一种基于扫描图像分析的智能塔吊结构状态检测方法和装置
CN108009515B (zh) 一种基于fcn的无人机航拍图像的输电线定位识别方法
CN106682697B (zh) 一种基于卷积神经网络的端到端物体检测方法
CN108038424B (zh) 一种适用于高空作业的视觉自动化检测方法
CN111429424B (zh) 一种基于深度学习的加热炉入口异常识别方法
CN109271934A (zh) 用于交通标志识别的系统和方法
CN110674674A (zh) 一种基于yolo v3的旋转目标检测方法
Mseddi et al. YOLOv5 based visual localization for autonomous vehicles
CN113191353A (zh) 一种车速确定方法、装置、设备和介质
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
CN116229052A (zh) 一种基于孪生网络的变电站设备状态变化检测方法
Song et al. Benchmarking wild bird detection in complex forest scenes
Costianes et al. Gray-level co-occurrence matrices as features in edge enhanced images
Liu et al. Deep learning-based autonomous downy mildew detection and severity estimation in vineyards
Xie et al. A package auto-counting model based on tailored YOLO and DeepSort techniques
CN116363583A (zh) 一种用于顶视角的人体识别方法、装置、设备及介质
Dai et al. Cascade centernet: Robust object detection for power line surveillance
Nair et al. Modified YOLOv4 for real-time coconut trees detection from an unmanned aerial vehicle
CN113673344A (zh) 一种智能塔吊物料挂载位置识别方法和装置
Fukuyama et al. Study of flower image classification using deep learning to support agricultural pollination
CN113706437B (zh) 一种输电线路细粒度螺栓缺陷诊断方法及系统
KR102642446B1 (ko) 파손에 따른 화물 분류를 위한 송장 마스킹 적용 이미지 증강 방법 및 장치
CN113628238B (zh) 一种目标对象的定位方法、装置及介质
Yang et al. Automatic analog pointer instruments reading using panel detection and landmark localization networks
CN116030428B (zh) 工地区域危险报警监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant