CN113744270A - 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 - Google Patents

起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 Download PDF

Info

Publication number
CN113744270A
CN113744270A CN202111305048.XA CN202111305048A CN113744270A CN 113744270 A CN113744270 A CN 113744270A CN 202111305048 A CN202111305048 A CN 202111305048A CN 113744270 A CN113744270 A CN 113744270A
Authority
CN
China
Prior art keywords
image
defect
crane
pixel
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111305048.XA
Other languages
English (en)
Other versions
CN113744270B (zh
Inventor
周前飞
庆光蔚
丁树庆
冯月贵
王会方
张慎如
宁士翔
蒋铭
王爽
吴祥生
邬晓月
倪大进
曹明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Original Assignee
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE filed Critical NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Priority to CN202111305048.XA priority Critical patent/CN113744270B/zh
Publication of CN113744270A publication Critical patent/CN113744270A/zh
Application granted granted Critical
Publication of CN113744270B publication Critical patent/CN113744270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，利用倒置式无人机平台搭载高分辨率可见光相机，通过牛耕式全覆盖巡检路径采集图像；构建融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，对复杂背景下起重机结构表面多尺度多种类缺陷进行分类检测，并以缺陷最小外接矩形框标记其位置。对检测出的缺陷目标框区域进行分割提取连通域，建立基于多点激光测距的像素当量精确标定模型，通过像素点法统计获取缺陷的长度、宽度和面积等参数。该方法能自动检测起重机结构表面裂纹、腐蚀、磨损、变形、螺栓丢失、开口销丢失等更多类型缺陷，对缺陷位置进行精确定位，对缺陷物理尺寸进行量化识别，提高了检测精度和效率。

Description

起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
技术领域
本发明属于起重机无损检测技术领域，具体涉及一种起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法。
背景技术
大型起重机结构尺寸达几十米甚至上百米，有些部位例如门式起重机主梁下盖板、门座式起重机象鼻梁等人员不易到达进行结构检测，传统人工检测方法存在检测盲区、高空作业危险、劳动强度大、效率低等问题。利用无人机搭载高分辨率视觉传感器，实时采集显示起重机待检测部位的图像进行缺陷识别，具有非接触、高精度和远程可视化等特点，尤其适合起重机高空金属结构远程检测。
目前，基于机器视觉的金属结构表面缺陷检测方法主要分为三类：传统图像分割检测方法、机器学习检测方法和深度学习检测方法。其中深度学习检测方法利用深层神经网络，自动从大数据样本中学习目标深层次特征，代替人工构造特征，对复杂缺陷特征描述更贴近真实情况，并且可以检测出传统机器视觉算法检测不到的微弱缺陷，在起重机检测领域中具有工程应用的潜力。
在起重机检测的工业环境中，数据样本集小，类不平衡，可能包含裂纹、腐蚀、磨损、变形、结构连接件（螺栓、开口销等）松动和丢失等多种缺陷，涉及到不同尺寸、不同形状、不同颜色、不同纹理的复杂特征。大型起重机结构形状复杂，包括箱型梁（门式起重机、门座式起重机等）、工字梁（桥式起重机）、桁架梁（塔式起重机、缆索式起重机等）等多种形式，结构的不同表面之间光照差异大，对比度低，背景复杂，存在许多伪裂纹缺陷，如焊接纹理、划痕、水渍、漆膜裂纹等，可能包含一些与腐蚀缺陷颜色相近的背景区域的误判。
现有基于无人机的起重机检测系统大多仅完成图像采集、传输以及一些预处理，而缺陷识别仍依赖检验员肉眼浏览图片来完成，或由人工识别辅以计算机图像自动识别的人机结合方式实现，受人的经验、思维以及照明等主客观因素影响而具有很大的不稳定性，存在对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷以及长时间检测疲劳等问题，导致缺陷检测效率仍然较低且精度不高。
因此，如何全方位无死角获取起重机复杂钢结构的高质量图像，特别是难以到达部位，以及如何在复杂背景下对多尺度、多类型缺陷进行自动识别、分类和定位，是目前亟需解决的技术问题。
发明内容
本发明提出一种起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，解决现有技术中在利用无人机对起重机检测过程中，如何全方位无死角获取起重机复杂钢结构的高质量图像，特别是难以到达部位，以及如何在复杂背景下对多尺度、多类型缺陷进行自动识别、分类和定位的技术问题。
为了解决上述技术问题，本发明采用如下技术方案实现：
起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，包括如下步骤：
步骤一、构建起重机缺陷检测图库：获取起重机金属结构表面缺陷图像，利用数据快速重塑映射管理方法，筛选出包含裂纹、腐蚀、磨损、变形、螺栓丢失、开口销丢失等各种缺陷的图片，得到起重机缺陷检测图像样本，该样本中包括裂纹、腐蚀、磨损、变形、螺栓丢失和开口销丢失对应的多个子样本；
步骤二、构建模型：通过图库管理和标注软件，进行图像样本的信息标注，得到训练样本集和测试样本集；提取缺陷特征，通过多次学习的方式构建深度学习或机器学习模型，使用训练样本集进行训练，利用测试样本集验证模型效果，最终得到合适的起重机缺陷识别模型；
步骤三、基于无人机对起重机进行检测：无人机采用牛耕式全覆盖巡检路径对待检测起重机进行图像采集，并传递给地面控制终端，首先采用预处理模块对采集的图像进行模糊复原和畸变校正，然后调用缺陷识别模型对预处理后的图像进行缺陷识别，当检测到存在缺陷时，生成锚框的尺寸，标出缺陷目标框区域，以及缺陷的类型和概率；
步骤四、当缺陷识别模型识别出缺陷为裂纹、腐蚀、磨损或变形这四种类型中的任一种时，控制终端对检测出的缺陷目标框区域进行分割提取连通域，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取该缺陷的长度、宽度和面积三个尺寸参数。
本发明针对大型起重机高空非受限场景复杂钢结构检测的应用特殊性，设计了起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，有效地改善了相机拍摄主梁下盖板等人员难以到达部位的视角问题。通过牛耕式巡检路径全方位采集箱型梁、工字梁、桁架梁等复杂钢结构高分辨率图像，在小样本数据集及图像背景存在大量相似伪缺陷干扰条件下，建立融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，对裂纹、腐蚀和螺栓缺失等多尺度多种类缺陷进行检测分类，并提出基于多点激光测距与图像分割的裂纹、腐蚀与磨损测量与评估方法，对缺陷长度、宽度、面积等物理尺寸进行量化识别，实现了高空、高温等危险恶劣环境下结构典型缺陷的高精度智能可视化检测，提高了检测效率，有效地降低事故隐患，减少了人力成本和安全风险，提高了结构检测的智能化和自动化水平，对在役大型金属结构检测与安全评估具有重要意义。
进一步优化，相机云台设置在无人机本体上方，无人机搭载的相机支持机载端4K高清视频存储和1080P高清视频无线传输到地面显示。
进一步优化，所述步骤一中，图像样本获取方法如下：利用图像翻转、随机抠取、尺度变换、图像旋转、Fancy PCA等数据扩充方法扩充训练样本数量，通过对不同场景中目标区域的切换，设计合成样本生成器，通过图像合成和引导技术扩充缺陷样本数量来平衡不平衡类，增加训练样本的多样性，避免过拟合，提升模型性能。
进一步优化，所述步骤二中，样本标注方法如下：利用基于主动学习的样本优选方法，代替模型训练中人工标注标签方法，在训练过程中优选出信息量大，多样性丰富的样本，使用较少的训练样本达到分类器精度的最大值，在兼顾分类器精确度的同时，降低人工标注成本。拟利用嵌入朴素贝叶斯分类器的密集连接条件随机场模型(ConditionalRandom Fields，CRF)对图像进行自动标注，提供包含正确语义标签和准确类边界的注释，建立具有语义分割标注的起重机钢结构表面缺陷样本集。
进一步优化，所述步骤三中，通过模糊复原和畸变校正得到清晰度高，几何精度高，信噪比高，对比度高，整体亮度适中的高质量图像，为后续裂纹、变形、腐蚀等缺陷检测奠定了基础。所述模糊复原方法，通过建立飞行姿态变化、机身振动、镜头离焦、相对运动、气流波动等图像多重像移模糊模型，提出多重运动模糊情况下点扩散函数的估计方法，利用维纳滤波进行图像恢复，所述畸变校正方法，通过利用基于单参数除式模型标定的变焦距镜头畸变校正方法，将镜头畸变率控制在1%以下。
进一步优化，所述步骤二、三中，构建融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，实现多尺度多种类缺陷的快速检测，以缺陷最小外接矩形框标记其位置，算法具体包括如下步骤：
1）基于线性支持向量机模型的ROI区域提取：
提取图像缺陷特征数据库的灰度、纹理、Hu矩等关键特征，训练一个低复杂度的线性支持向量机（Support vector machine，SVM）模型，快速识别出包含高可信度缺陷目标的感兴趣（region of interest，ROI）区域，作为基于窗口滑动/区域建议的深度卷积神经网络检测算法模型输入，以节省每个卷积层的计算。
2）基于深度卷积神经网络模型的多尺度多种类缺陷分类：
利用深度卷积神经网络的不同输出层分层设计不同尺度的缺陷检测器，构
建一种基于区域建议网的缺陷检测及分类于一体的模型，在有限标记样本的数据集上使用跨网络知识投影方法来训练模型，实现裂纹、腐蚀、磨损、结构局部变形、螺栓丢失、开口销丢失等缺陷端到端的检测和分类，以缺陷的最小外接矩形框直观地标记缺陷位置和尺寸信息。
3）基于深度卷积生成式对抗网络模型的伪裂纹缺陷去除：
利用基于多因子复杂度的结构误检区域排除算法和非极大值抑制方法去除误检目标框；利用基于深度卷积生成式对抗网络的伪缺陷鉴别算法，识别并去除焊接纹理、划痕、磨痕、刻痕、雨痕、水渍、漆膜开裂等伪裂纹缺陷，这些伪裂纹缺陷比较复杂并且容易错误识别为真裂纹，容易造成干扰。
具体方法如下：将真、伪裂纹缺陷图像作为训练样本输入鉴别器，将上一步检测得到的缺陷目标框区域图像输入发生器，提取缺陷连通域面积、矩形度、圆形度和长宽比特征信号，通过训练鉴别器与发生器输出信号的最小差分置信度值作为阈值，识别输入的缺陷图像归为真裂纹或伪裂纹。
鉴于真裂纹一般表现为非常细的黑线，长宽比很大，在局部范围内方向具有一致性，而伪裂纹一般不具有这些特征，通常表现为孤立的相对较小的点或小块，可以通过矩形度、圆形度和长宽比等特征识别真裂纹，其它缺陷无法通过矩形度、圆形度和长宽比来识别真伪。其它类型的缺陷与正常部位区别较明显，可以通过深度神经网络算法较容易地正确检测识别。
进一步优化，所述步骤三中，标记出缺陷的类型和概率；其中，在目标框左上角用英文字母“neg”来标记裂纹，用英文字母“rust”来标记腐蚀，用英文字母“wear”来标记磨损，用英文字母“def”来标记结构变形，用英文字母“bolt”来标记螺栓缺失，用英文字母“pin”来标记开口销丢失。
进一步优化，所述步骤四中，提出一种基于边缘检测与解析几何特征的结构变形量识别方法，通过Canny边缘检测方法提取结构边缘变形曲线，计算边缘曲率、斜率、长度等解析几何特征，识别结构弯曲变形量（例如主梁上拱度、杆件直线度）和角度变形量（例如塔身垂直度）的像素尺寸。建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，查表统计得到各变形量的实际物理尺寸。
进一步优化，所述步骤四中，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取裂纹、腐蚀和磨损缺陷的长度、宽度和面积三个尺寸参数，具体包括如下步骤：
1）根据除式畸变模型标定的相机内参数矩阵和畸变系数；
2）采用多点激光测距方法获取任意倾斜角度的起重机结构表面上3点与相机光心的距离，通过空间几何建模方法求解出相机与所拍摄结构表面的相对位置、姿态和角度，获得相机的外参数矩阵；
3）结合相机内参数矩阵，根据针孔成像模型，计算镜头畸变校正后图像每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表；
4）实际测量中通过像素点法统计目标区域的像素个数，通过查找表方法获取目标区域各像素点的像素当量，从而对目标长度、宽度和面积进行测量。
进一步优化，建立像素当量标定模型包括如下步骤：
1）、定义模型中涉及的五个坐标系：
图像像素坐标系：u轴表示图像的列， v轴表示图像的行，单位为pixel；
图像物理坐标系o-xy：该坐标系的原点位于摄像机光轴与图像平面的交点即主点位置，x轴、y轴分别与u轴、v轴平行且方向一致，该坐标系以m或mm为单位；
摄像机坐标系F C ：原点为摄像机投影中心G，z c 轴正向指向摄像机光轴，x c 轴与u轴平行，y c 轴与v轴平行；
地理坐标系F v ：原点位于无人机航姿测量系统质心，为NED(North East Down)坐标系；
地图坐标系m：与地理坐标系仅存在一个平移量，设拍摄第1幅图像时摄像机投影中心G在地平面的投影点o m为地图坐标系原点；
2）、在摄像机坐标系F C 下，根据3个激光测距传感器发出的光线方向向量
Figure 247400DEST_PATH_IMAGE001
和测距值d 1，d 2，d 3，得到：
Figure 494842DEST_PATH_IMAGE002
式中，P 1， P 2， P 3为3个激光测距传感器发出的光线与起重机钢结构表面的交点，
Figure 565566DEST_PATH_IMAGE001
根据激光测距传感器的安装角度计算得到；（x 1，y 1，z 1）、（x 2，y 2，z 2）和（x 3，y 3，z 3）分别表示3个激光测距传感器光线方向的单位向量
Figure 295669DEST_PATH_IMAGE001
；d 1，d 2，d 3分别表示P 1， P 2， P 3与投影中心G的激光测距距离；
得出：
Figure 135449DEST_PATH_IMAGE003
令：
Figure 616109DEST_PATH_IMAGE004
Figure 846233DEST_PATH_IMAGE005
，
求得投影平面（即起重机钢结构表面）P 1 P 2 P 3的法向量
Figure 703331DEST_PATH_IMAGE006
如下：
Figure 584568DEST_PATH_IMAGE007
3）令摄像机坐标系F C 的3个单位向量为：
Figure 236129DEST_PATH_IMAGE008
计算
Figure 219129DEST_PATH_IMAGE006
与
Figure 614338DEST_PATH_IMAGE009
的夹角l，
Figure 851547DEST_PATH_IMAGE006
与
Figure 939588DEST_PATH_IMAGE010
的夹角
Figure 144305DEST_PATH_IMAGE011
，
Figure 77626DEST_PATH_IMAGE006
与
Figure 933455DEST_PATH_IMAGE012
的夹角
Figure 192398DEST_PATH_IMAGE013
：
Figure 618831DEST_PATH_IMAGE014
设定 t 0为t '在图像平面的理想成像点，t为受镜头畸变影响后的实际成像点，t'为起重机结构表面的点，设t '在地图坐标系m下的坐标为
Figure 621423DEST_PATH_IMAGE015
，根据针孔成像模型有：
Figure 833223DEST_PATH_IMAGE016
其中，
Figure 997488DEST_PATH_IMAGE017
上式中，s为任意尺度比例因子， (u 0,v 0) 为畸变中心坐标，d x ，d y 表示单个像素的物理尺寸，f为摄像机镜头焦距，(u 1,v 1)为根据除式畸变模型标定的相机内参数矩阵和畸变系数校正后理想像点t 0 的像素坐标。
进一步优化，计算(u 1+1,v 1)地图坐标
Figure 176797DEST_PATH_IMAGE018
，以及(u 1,v 1+1)的地图坐标
Figure 717500DEST_PATH_IMAGE019
，则 (u 1,v 1)像素投影到地图坐标系的实际物理尺寸，即该像素位置的像素当量为（
Figure 282342DEST_PATH_IMAGE020
，
Figure 883088DEST_PATH_IMAGE021
），进一步计算畸变校正后图像中每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表，实际测量中通过查找表方法获取目标区域的像素当量，从而对目标长度、宽度和面积三个参数进行测量。
与现有技术相比，本发明具有如下有益效果：
1、本发明针对大型起重机高空非受限场景复杂钢结构检测的应用特殊性，设计了起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，有效地改善了相机拍摄主梁下盖板等人员难以到达部位的视角问题，通过牛耕式巡检路径全方位采集箱型梁、工字梁、桁架梁等复杂钢结构高分辨率图像，在小样本数据集及图像背景存在大量相似伪缺陷干扰条件下，建立融合支持向量机、深度卷积网络和生成式对抗网络的分类模型，对裂纹、腐蚀和螺栓缺失等多尺度多种类缺陷进行检测分类，并提出基于多点激光测距与图像分割的裂纹、腐蚀与磨损测量与评估方法，对缺陷长度、宽度、面积等物理尺寸进行量化识别，实现了高空、高温等危险恶劣环境下结构典型缺陷的高精度智能可视化检测，提高了检测效率，有效地降低事故隐患，减少了人力成本和安全风险，提高了结构检测的智能化和自动化水平，对在役大型金属结构检测与安全评估具有重要意义。
2、其成果可推广至风电设备、塔架、船舶、桥梁、大型游乐设施、锅炉、储罐、多层框架钢结构等室外复杂环境下在役大型结构表面缺陷检测，具有重大的理论研究价值和广阔的应用前景。
附图说明
图1为起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法的流程图；
图2为倒置式无人机平台结构示意图；
图3（a）为原始模糊图像一，图3（b）为恢复后的清晰图像一，图3（c）为原始模糊图像二，图3（d）为恢复后的清晰图像二；
图4为起重机复杂钢结构表面缺陷检测与识别算法流程图；
图5为基于多点激光测距的像素当量标定模型；
图6（a）为第一裂纹检测结果图；图6（b）为第二裂纹检测结果图；图6（c）为第三裂纹检测结果；图6（d）为第一腐蚀检测结果；图6（e）为第二腐蚀检测结果；图6（f）为第三腐蚀检测结果；图6（g）为螺栓缺失检测结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，包括如下步骤：
S1、构建起重机缺陷检测图库：获取起重机金属结构表面缺陷图像，利用数据快速重塑映射管理方法，筛选出包含裂纹、腐蚀、磨损、变形、螺栓丢失、开口销丢失等各种缺陷的图片，得到起重机缺陷检测图像样本，该样本中包括裂纹、腐蚀、磨损、变形、螺栓丢失和开口销丢失对应的多个子样本；
S2、构建模型：通过图库管理和标注软件，进行图像样本的信息标注，得到训练样本集和测试样本集；提取缺陷特征，通过多次学习的方式构建深度学习或机器学习模型，使用训练样本集进行训练，利用测试样本集验证模型效果，最终得到合适的起重机缺陷识别模型；
S3、基于无人机对起重机进行检测：无人机采用牛耕式全覆盖巡检路径对待检测起重机进行图像采集，并传递给地面控制终端，首先采用预处理模块对采集的图像进行模糊复原和畸变校正，然后调用缺陷识别模型对预处理后的图像进行缺陷识别，当检测到存在缺陷时，生成锚框的尺寸，标出缺陷目标框区域，以及缺陷的类型和概率；
S4、当缺陷识别模型识别出缺陷为裂纹、腐蚀、磨损或变形这四种类型中的任一种时，控制终端对检测出的缺陷目标框区域进行分割提取连通域，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取该缺陷的长度、宽度和面积三个尺寸参数。
在本实施例中，为了改善门式起重机箱型主梁下盖板等人员难以到达部位的拍摄视角，将通常安装在无人机正下方的相机云台设置在无人机本体上方，如图2所示，命名为倒置式无人机。这样云台垂直方向俯仰角范围达到±90°，既能向下俯视成像，又能向上仰视成像，能够对门式起重机主梁和支腿、门座式起重机象鼻梁和主臂架、塔式起重机塔帽和起重臂等各种关键受力部位进行多方位拍摄无视场死角，获取被检测结构表面图像。
无人机搭载的相机支持机载端4K高清视频存储和1080P高清视频无线传输到地面显示，当相机距离目标3m时，能分辨出宽度为0.1mm的微裂纹，满足无人机在安全距离外检测结构表面裂纹的要求。
在本实施例中，为全方位获取大型起重机箱型梁、工字梁、桁架结构等复杂钢结构表面图像，不遗漏任何可能有缺陷的结构细节，无人机采用牛耕式全覆盖巡检路径进行图像采集。
在本实施例中，所述步骤S3中，通过建立飞行姿态变化、机身振动、镜头离焦、相对运动、气流波动等图像多重像移模糊模型，提出多重运动模糊情况下点扩散函数的估计方法，通过维纳滤波进行图像恢复，如图3（a）- 3（d）所示。
在本实施例中，所述步骤S3中，通过利用基于单参数除式模型标定的变焦距镜头畸变校正方法，将镜头畸变率控制在1%以下，具体如下：
步骤1：采集摄像机在若干离散焦距值下拍摄的平面模板图像，在地面离线标定出变焦距镜头的畸变系数k 1和畸变中心坐标(u 0,v 0)。
步骤1-1：确定畸变系数k 1和畸变中心坐标(u 0,v 0)的范围，设图像大小为w×hpixels，D为图像对角线长度，
Figure 284113DEST_PATH_IMAGE022
，畸变系数k 1一般位于 [-1/D 2,1/D 2]范围内，畸变中心一般位于图像中心附近0.1w×0.1h大小的矩形区域内，得到u 0∈[0.45w,0.55w]，v 0∈[0.45h, 0.55h]。
步骤1-2：采用Canny边缘检测器检测原始畸变图像中的边缘像素点，得到相应的边缘图像，其中Canny算子的阈值根据图像梯度值的一定百分比确定。
步骤1-3：根据上述畸变参数k 1，u 0，v 0的取值范围，分别选择相应的步长δk 1，δu 0，δ v 0，得到畸变参数组合(k 1 i , u 0 j , v 0 t )如下：
Figure 628507DEST_PATH_IMAGE023
其中i=1,2,…,N 1，j=1,2,…,N 2，t=1,2,…,N 3，δk 1=2/( N 1 D 2)，δu 0=0.1w/N 2，δv 0=0.1h/N 3。
步骤1-4：对上述每种系数组合(k 1 i , u 0 j , v 0 t )计算边缘图像的校正图像，并计算校正后边缘像素点的梯度，得到各边缘点的坐标(u n ,v n )和梯度方向 α(u n ,v n )。
步骤1-5：计算校正图像的HOUGH变换，求得前N个HOUGH变换单元峰值对应的Nl条直线段边缘，及其与原点的距离dist(q)和方向
Figure 814900DEST_PATH_IMAGE024
(q)，q=1,2,…,N。
步骤1-6：对校正图像中的每个边缘像素点计算投票：如果该像素点的梯度方向α(u n ,v n )与第q条直线的方向
Figure 320968DEST_PATH_IMAGE024
(q)相差小于某一阈值δ α ，例如δ α =2°，计算该点与第q条直线的距离d q ，如果d q 小于某一阈值δ d ，例如δ d =2 pixels，计算该点的投票值votes=1/(1+d q )，计算所有边缘像素点的投票之和，求得投票之和最大值对应的畸变参数k 1 (0), u 0 (0), v 0 (0)为最佳值。
步骤1-7：为了对畸变系数k 1和畸变中心u 0，v 0进行更精确的估计，分别在[k 1 (0)-δ k 1, k 1 (0)+δk 1]，[u 0 (0)-δu 0, u 0 (0)+δu 0]，[v 0 (0)-δv 0, v 0 (0)+δv 0]范围内，选择搜索步长为步骤1-3中的1/N 1，1/N 2，1/N 3，重复步骤1-2至步骤1-7，直到k 1的搜索范围小于10-10，算法结束，此时对应的参数k 1，u 0，v 0为优化后的最佳值。
步骤2：对各焦距对应的畸变参数进行曲线拟合或建立畸变参数查找表。
步骤3：实际在线校正时，根据摄像机调焦机构上相应传感器测量得到摄像机实际工作焦距值，通过查表方法或根据畸变参数与焦距之间的拟合公式计算得到该焦距值对应的镜头畸变参数，并根据如下公式计算校正后各边缘像素点的坐标(u 1,v 1)，得到畸变校正后的图像。
Figure 474868DEST_PATH_IMAGE025
式中d x ，d y 表示单个像素的物理尺寸，单位为μm，(u d ,v d )，(x d ,y d )分别为畸变像点的像素坐标和物理坐标，(u 1,v 1)为校正后像点的像素坐标。
在本实施例中，所述步骤S3中，构建融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，实现多尺度多种类缺陷的快速检测，以缺陷最小外接矩形框标记其位置，如图4所示，算法具体包括如下步骤：
（1）基于线性支持向量机模型的ROI区域提取：
提取图像缺陷特征数据库的灰度、纹理、Hu矩等关键特征，训练一个低复杂度的线性支持向量机（Support vector machine，SVM）模型，快速识别出包含高可信度缺陷目标的感兴趣（region of interest，ROI）区域，作为基于窗口滑动/区域建议的深度卷积神经网络检测算法模型输入，以节省每个卷积层的计算。
（2）基于深度卷积神经网络模型的多尺度多种类缺陷分类：
利用深度卷积神经网络的不同输出层分层设计不同尺度的缺陷检测器，构
建一种基于区域建议网的缺陷检测及分类于一体的模型，在有限标记样本的数据集上使用跨网络知识投影方法来训练模型，实现裂纹、腐蚀、磨损、结构局部变形、螺栓丢失、开口销丢失等缺陷端到端的检测和分类，以缺陷的最小外接矩形框直观地标记缺陷位置和尺寸信息。
（3）基于深度卷积生成式对抗网络模型的伪裂纹缺陷去除：
利用基于多因子复杂度的结构误检区域排除算法和非极大值抑制(NonMaximumSuppression，NMS) 方法去除误检目标框。利用基于深度卷积生成式对抗网络(DeepConvolutional Generative Adversarial Networks，DCGANs)的伪裂纹鉴别算法，识别并去除焊接纹理、划痕、磨痕、刻痕、雨痕、水渍、漆膜开裂等伪裂纹缺陷，具体方法如下：将真、伪裂纹图像作为训练样本输入鉴别器，将上一步检测得到的裂纹目标框区域图像输入发生器，提取缺陷连通域面积、矩形度、圆形度和长宽比等特征信号，通过训练鉴别器与发生器输出信号的最小差分置信度值作为阈值，检测输入的裂纹图像归为真裂纹或伪裂纹。
在本实施例中，所述步骤S3中，标记出缺陷的类型和概率；其中，在目标框左上角用英文字母“neg”来标记裂纹，用英文字母“rust”来标记腐蚀，用英文字母“wear”来标记磨损，用英文字母“def”来标记结构变形，用英文字母“bolt”来标记螺栓缺失，用英文字母“pin”来标记开口销丢失。
在本实施例中，所述步骤S4中，提出一种基于边缘检测与解析几何特征的结构变形量识别方法，通过Canny边缘检测方法提取结构边缘变形曲线，计算边缘曲率、斜率、长度等解析几何特征，识别结构弯曲变形量（例如主梁上拱度、杆件直线度）和角度变形量（例如塔身垂直度）的像素尺寸。建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，查表统计得到各变形量的实际物理尺寸。
在本实施例中，所述步骤S4中，提出一种基于多点激光测距与图像分割的裂纹、腐蚀与磨损测量与评估方法，构建基于多点激光测距的像素当量精确标定模型，如图5所示，t 0为t '在图像平面的理想成像点，t为受镜头畸变影响后的实际成像点。
1）根据除式畸变模型标定的相机内参数矩阵和畸变系数，获取校正镜头畸变后的理想成像点t 0像素坐标。
2）采用多点激光测距方法获取任意倾斜角度的结构表面上3点与相机光心的距离，通过空间几何建模方法求解出相机与所拍摄结构表面的相对位置、姿态和角度，即相机的外参数矩阵；
3）结合相机内参数矩阵，根据针孔成像模型，计算镜头畸变校正后图像每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表；
4）实际测量中通过查找表方法获取目标区域的像素当量，从而对目标长度、宽度和面积进行测量。
建立标定模型包括如下步骤：
1）定义模型中涉及的五个坐标系：
图像像素坐标系：u轴表示图像的列， v轴表示图像的行，单位为pixel；
图像物理坐标系o-xy：该坐标系的原点位于摄像机光轴与图像平面的交点即主点位置，x轴、y轴分别与u轴、v轴平行且方向一致，该坐标系以m或mm为单位；
摄像机坐标系F C ：原点为摄像机投影中心G，z c 轴正向指向摄像机光轴，x c 轴与u轴平行，y c 轴与v轴平行；
地理坐标系F v ：原点位于无人机航姿测量系统质心，为NED(North East Down)坐标系；
地图坐标系m：与地理坐标系仅存在一个平移量，设拍摄第1幅图像时摄像机投影中心G在地平面的投影点o m为地图坐标系原点；
2）在摄像机坐标系F C 下，根据3个激光测距传感器发出的光线方向向量
Figure 357374DEST_PATH_IMAGE026
和测距值d 1，d 2，d 3，得到：
Figure 896808DEST_PATH_IMAGE027
式中，P 1， P 2， P 3为3个激光测距传感器发出的光线与起重机钢结构表面的交点，
Figure 573777DEST_PATH_IMAGE026
根据激光测距传感器的安装角度计算得到；（x 1，y 1，z 1）、（x 2，y 2，z 2）和（x 3，y 3，z 3）分别表示3个激光测距传感器光线方向的单位向量
Figure 949395DEST_PATH_IMAGE026
；d 1，d 2，d 3分别表示P 1， P 2， P 3与投影中心G的激光测距距离；
根据图5可得：
Figure 635591DEST_PATH_IMAGE028
令：
Figure 530997DEST_PATH_IMAGE029
Figure 644447DEST_PATH_IMAGE030
，
求得投影平面（即起重机钢结构表面）P 1 P 2 P 3的法向量
Figure 507361DEST_PATH_IMAGE031
如下：
Figure 731668DEST_PATH_IMAGE032
3）令摄像机坐标系F C 的3个单位向量为：
Figure 245695DEST_PATH_IMAGE033
计算
Figure 530046DEST_PATH_IMAGE031
与
Figure 614677DEST_PATH_IMAGE034
的夹角l，
Figure 642676DEST_PATH_IMAGE031
与
Figure 512674DEST_PATH_IMAGE035
的夹角
Figure 905609DEST_PATH_IMAGE011
，
Figure 805432DEST_PATH_IMAGE031
与
Figure 558493DEST_PATH_IMAGE036
的夹角
Figure 594582DEST_PATH_IMAGE013
：
Figure 158419DEST_PATH_IMAGE037
设定 t 0为t '在图像平面的理想成像点，t为受镜头畸变影响后的实际成像点，t'为起重机结构表面的点，设t '在地图坐标系m下的坐标为
Figure 279959DEST_PATH_IMAGE038
，根据针孔成像模型有：
Figure 338176DEST_PATH_IMAGE039
其中，
Figure 494350DEST_PATH_IMAGE040
上式中，s为任意尺度比例因子， (u 0,v 0) 为畸变中心坐标，d x ，d y 表示单个像素的物理尺寸，f为摄像机镜头焦距，(u 1,v 1)为根据除式畸变模型标定的相机内参数矩阵和畸变系数校正后理想像点t 0 的像素坐标。
同理，计算(u 1+1,v 1)地图坐标
Figure 229088DEST_PATH_IMAGE041
，以及(u 1,v 1+1)的地图坐标
Figure 837924DEST_PATH_IMAGE042
，则 (u 1,v 1)像素投影到地图坐标系的实际物理尺寸，即该像素位置的像素当量为（
Figure 932788DEST_PATH_IMAGE043
，
Figure 943469DEST_PATH_IMAGE044
），进一步计算畸变校正后图像中每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表，实际测量中通过查找表方法获取目标区域的像素当量，从而对目标长度、宽度和面积三个参数进行测量。在本实施例中，采用300张起重机金属结构图片作为测试集，通过步骤S3中的缺陷检测识别算法进行处理，图6（a）为第一裂纹检测结果图；图6（b）为第二裂纹检测结果图；图6（c）为第三裂纹检测结果；图6（d）为第一腐蚀检测结果；图6（e）为第二腐蚀检测结果；图6（f）为第三腐蚀检测结果；图6（g）为螺栓缺失检测结果。在目标框左上角用英文字母neg来标记裂纹，用英文字母rust来标记锈蚀，用英文字母bolt来标记螺栓缺失，英文字母后面的数字表示算法判定该区域为对应缺陷的概率。
概率计算过程如下：假设缺陷类别分类任务共有N个训练样本，针对网络最后分类层第i个样本的输入特征为x i ，其对应的真实标记为y i ∈{1,2，…，C},令h =（h 1，h 2,…，h C ） T 为网络的最终输出，即样本i的预测结果，其中C为分类任务类别数，应用交叉熵损失函数，i、j均为正整数，通过指数变换计算预测为某类别缺陷的概率，如下式所示：
Figure 849108DEST_PATH_IMAGE045
从图6（a）-图6（g）可以看出，该缺陷检测识别算法能准确地检测出图像中裂纹、腐蚀和螺栓缺失等缺陷，并对缺陷区域进行精确定位，说明本文所提出的起重机结构缺陷检测方法是正确和有效的。
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，包括如下步骤：
步骤一、构建起重机缺陷检测图库：获取起重机金属结构表面缺陷图像，利用数据快速重塑映射管理方法，筛选出包含裂纹、腐蚀、磨损、变形、螺栓丢失和开口销丢失缺陷的图片，得到起重机缺陷检测图像样本，该样本中包括裂纹、腐蚀、磨损、变形、螺栓丢失和开口销丢失对应的多个子样本；
步骤二、构建模型：通过图库管理和标注软件，进行图像样本的信息标注，得到训练样本集和测试样本集；提取缺陷特征，通过多次学习的方式构建深度学习或机器学习模型，使用训练样本集进行训练，利用测试样本集验证模型效果，最终得到合适的起重机缺陷识别模型；
步骤三、基于无人机对起重机进行检测：无人机采用牛耕式全覆盖巡检路径对待检测起重机进行图像采集，并传递给地面控制终端，首先采用预处理模块对采集的图像进行模糊复原和畸变校正，然后调用缺陷识别模型对预处理后的图像进行缺陷识别，当检测到存在缺陷时，生成锚框的尺寸，标出缺陷目标框区域，以及缺陷的类型和概率；
步骤四、当缺陷识别模型识别出缺陷为裂纹、腐蚀、磨损或变形这四种类型中的任一种时，控制终端对检测出的缺陷目标框区域进行分割提取连通域，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取该缺陷的长度、宽度和面积三个尺寸参数。
2.根据权利要求1所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，相机云台位于无人机本体上方，无人机搭载的相机支持机载端4K高清视频存储和1080P高清视频无线传输到地面控制终端显示。
3.根据权利要求1所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，所述步骤一中，图像样本获取方法如下：利用图像翻转、随机抠取、尺度变换、图像旋转和Fancy PCA数据扩充方法扩充训练样本数量，通过对不同场景中目标区域的切换，设计合成样本生成器，通过图像合成和引导技术扩充缺陷样本数量来平衡不平衡类，增加训练样本的多样性。
4.根据权利要求1所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，所述步骤二中，样本标注方法如下：利用基于主动学习的样本优选方法，利用嵌入朴素贝叶斯分类器的密集连接条件随机场模型对图像进行自动标注，提供包含正确语义标签和准确类边界的注释，建立具有语义分割标注的起重机钢结构表面缺陷样本集。
5.根据权利要求4所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，所述步骤三中，所述模糊复原包括通过建立无人机飞行姿态变化、机身振动、镜头离焦、相对运动和气流波动等多重像移模糊模型，采用多重运动模糊情况下点扩散函数的估计方法，通过维纳滤波进行图像恢复；
所述畸变校正包括通过利用基于单参数除式模型标定的变焦距镜头畸变校正方法，将镜头畸变率控制在1%以下。
6.根据权利要求1所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，所述步骤三中，构建融合支持向量机、深度卷积网络和生成式对抗网络的分类算法，实现多尺度多种类缺陷的快速识别，并以缺陷最小外接矩形框标记其位置；该算法具体包括如下步骤：
1）基于线性支持向量机模型的感兴趣区域提取：
提取图像缺陷特征数据库的灰度、纹理、Hu矩关键特征，训练一个低复杂度的线性支持向量机模型，快速识别出包含高可信度缺陷目标的感兴趣区域，作为基于窗口滑动/区域建议的深度卷积神经网络检测算法模型输入，以节省每个卷积层的计算；
2）基于深度卷积神经网络模型的多尺度多种类缺陷分类：
利用深度卷积神经网络的不同输出层，分层设计不同尺度的缺陷检测器，构
建基于区域建议网的缺陷检测及分类于一体的模型，在有限标记样本的数据集上使用跨网络知识投影方法来训练模型，实现裂纹、腐蚀、磨损、变形、螺栓丢失和开口销丢失六种缺陷端到端的检测和分类，以缺陷的最小外接矩形框直观地标记缺陷位置和尺寸信息；
3）基于深度卷积生成式对抗网络模型的伪裂纹缺陷去除：
利用基于多因子复杂度的结构误检区域排除算法和非极大值抑制方法去除误检目标框；利用基于深度卷积生成式对抗网络的伪缺陷鉴别算法，识别并去除伪裂纹缺陷；
具体方法如下：将真、伪裂纹缺陷图像作为训练样本输入鉴别器，将上一步检测得到的缺陷目标框区域图像输入发生器，提取缺陷连通域面积、矩形度、圆形度和长宽比特征信号，通过训练鉴别器与发生器输出信号的最小差分置信度值作为阈值，识别输入的缺陷图像归为真裂纹或伪裂纹。
7.根据权利要求1所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，所述步骤四中，提出一种基于边缘检测与解析几何特征的结构变形量识别方法，通过Canny边缘检测方法提取结构边缘变形曲线，计算边缘曲率、斜率和长度三个解析几何特征，识别结构弯曲变形量和角度变形量的像素尺寸；建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，查表统计得到各变形量的实际物理尺寸。
8.根据权利要求1所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，所述步骤四中，建立基于多点激光测距的像素当量精确标定模型，得到图像像素当量分布表，通过像素点法统计与查表获取裂纹、腐蚀和磨损缺陷的长度、宽度和面积三个尺寸参数，具体包括如下步骤：
1）根据除式畸变模型标定的相机内参数矩阵和畸变系数；
2）采用多点激光测距方法获取任意倾斜角度的起重机结构表面上3点与相机光心的距离，通过空间几何建模方法求解出相机与所拍摄结构表面的相对位置、姿态和角度，获得相机的外参数矩阵；
3）结合相机内参数矩阵，根据针孔成像模型，计算镜头畸变校正后图像每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表；
4）实际测量中通过像素点法统计目标区域的像素个数，通过查找表方法获取目标区域各像素点的像素当量，从而对目标长度、宽度和面积进行测量。
9.根据权利要求8所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，建立像素当量标定模型包括如下步骤：
1）定义模型中涉及的五个坐标系：
图像像素坐标系：u轴表示图像的列，v轴表示图像的行，单位为pixel；
图像物理坐标系o-xy：该坐标系的原点位于摄像机光轴与图像平面的交点即主点位置，x轴、y轴分别与u轴、v轴平行且方向一致，该坐标系以m或mm为单位；
摄像机坐标系F C ：原点为摄像机投影中心G，z c 轴正向指向摄像机光轴，x c 轴与u轴平行，y c 轴与v轴平行；
地理坐标系F v ：原点位于无人机航姿测量系统质心，为NED坐标系；
地图坐标系m：与地理坐标系仅存在一个平移量，设拍摄第1幅图像时摄像机投影中心G在地平面的投影点o m为地图坐标系原点；
2）在摄像机坐标系F C 下，根据3个激光测距传感器发出的光线方向向量
Figure 931912DEST_PATH_IMAGE001
和测距值d 1，d 2，d 3，得到：
Figure 427482DEST_PATH_IMAGE002
式中，P 1， P 2， P 3为3个激光测距传感器发出的光线与起重机钢结构表面的交点，
Figure 207219DEST_PATH_IMAGE001
根据激光测距传感器的安装角度计算得到；（x 1，y 1，z 1）、（x 2，y 2，z 2）和（x 3，y 3，z 3）分别表示3个激光测距传感器光线方向的单位向量
Figure 602429DEST_PATH_IMAGE001
；d 1，d 2，d 3分别表示P 1， P 2， P 3与投影中心G的激光测距距离；
得出：
Figure 416801DEST_PATH_IMAGE003
令：
Figure 301580DEST_PATH_IMAGE004
Figure 568614DEST_PATH_IMAGE005
，
求得投影平面P 1 P 2 P 3的法向量
Figure 767514DEST_PATH_IMAGE006
如下：
Figure 436392DEST_PATH_IMAGE007
3）令摄像机坐标系F C 的3个单位向量为：
Figure 492073DEST_PATH_IMAGE008
计算
Figure 246403DEST_PATH_IMAGE006
与
Figure 983414DEST_PATH_IMAGE009
的夹角l，
Figure 506800DEST_PATH_IMAGE006
与
Figure 936644DEST_PATH_IMAGE010
的夹角
Figure 240586DEST_PATH_IMAGE011
，
Figure 515710DEST_PATH_IMAGE006
与
Figure 159181DEST_PATH_IMAGE012
的夹角
Figure 494347DEST_PATH_IMAGE013
：
Figure 787051DEST_PATH_IMAGE014
设定 t 0为t '在图像平面的理想成像点，t为受镜头畸变影响后的实际成像点，t '为起重机结构表面的点，设t '在地图坐标系m下的坐标为
Figure 865865DEST_PATH_IMAGE015
，根据针孔成像模型有：
Figure 363842DEST_PATH_IMAGE016
其中，
Figure 135489DEST_PATH_IMAGE017
上式中，S为任意尺度比例因子， (u 0,v 0) 为畸变中心坐标，d x ，d y 表示单个像素的物理尺寸，f为摄像机镜头焦距，(u 1,v 1)为根据除式畸变模型标定的相机内参数矩阵和畸变系数校正后理想像点t 0 的像素坐标。
10.根据权利要求9所述的起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法，其特征在于，计算(u 1+1,v 1)地图坐标
Figure 148445DEST_PATH_IMAGE018
，以及(u 1,v 1+1)的地图坐标
Figure 30950DEST_PATH_IMAGE019
，则(u 1,v 1)像素投影到地图坐标系的实际物理尺寸，即该像素位置的像素当量为（
Figure 383434DEST_PATH_IMAGE020
，
Figure 325982DEST_PATH_IMAGE021
），进一步计算畸变校正后图像中每个像素代表的实际物理尺寸，建立与图像尺寸相同的像素当量分布表，实际测量中通过查找表方法获取目标区域的像素当量，从而对目标长度、宽度和面积三个参数进行测量。
CN202111305048.XA 2021-11-05 2021-11-05 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 Active CN113744270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111305048.XA CN113744270B (zh) 2021-11-05 2021-11-05 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111305048.XA CN113744270B (zh) 2021-11-05 2021-11-05 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法

Publications (2)

Publication Number Publication Date
CN113744270A true CN113744270A (zh) 2021-12-03
CN113744270B CN113744270B (zh) 2022-02-08

Family

ID=78727632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111305048.XA Active CN113744270B (zh) 2021-11-05 2021-11-05 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法

Country Status (1)

Country Link
CN (1) CN113744270B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920122A (zh) * 2021-12-15 2022-01-11 山东鹰联光电科技股份有限公司 一种基于人工智能的电缆缺陷检测方法及系统
CN113989280A (zh) * 2021-12-28 2022-01-28 武汉市鑫景诚路桥钢模有限公司 基于图像处理技术的钢结构焊接裂纹缺陷检测方法
CN114509021A (zh) * 2022-02-18 2022-05-17 深圳市中钞科信金融科技有限公司 异形平板玻璃边部成像方法
CN114719749A (zh) * 2022-04-06 2022-07-08 重庆大学 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN114820621A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓丢失缺陷检测方法、系统及装置
CN114939546A (zh) * 2022-04-27 2022-08-26 武汉飞恩微电子有限公司 一种传感器生产用故障监控和预警设备及其测试方法
CN115471482A (zh) * 2022-09-20 2022-12-13 重庆理工大学 基于计算机视觉的小口径容器内壁缺陷检测方法
CN115544690A (zh) * 2022-10-17 2022-12-30 北京科技大学 一种含微裂纹热障涂层微结构的数值重构与传热特性评估的方法
CN116309564A (zh) * 2023-05-17 2023-06-23 厦门微图软件科技有限公司 基于人工智能图像识别的电芯外观缺陷检测方法及系统
CN116451510A (zh) * 2023-06-16 2023-07-18 中电投工程研究检测评定中心有限公司 一种可视化建筑质量检测方法、电子设备及存储介质
CN116563288A (zh) * 2023-07-11 2023-08-08 深圳市欣精艺科技有限公司 一种汽车发动机齿轮螺纹孔检测方法
CN116758063A (zh) * 2023-08-11 2023-09-15 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法
CN117011688A (zh) * 2023-07-11 2023-11-07 广州大学 一种水下结构病害的识别方法、系统及存储介质
CN117029733A (zh) * 2023-10-08 2023-11-10 中冶建筑研究总院有限公司 一种基于计算机视觉的螺栓松动检测方法、系统及装置
CN117030724A (zh) * 2023-10-09 2023-11-10 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
CN117173151A (zh) * 2023-09-25 2023-12-05 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统
CN117274843A (zh) * 2023-11-15 2023-12-22 安徽继远软件有限公司 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
CN117271974A (zh) * 2023-09-25 2023-12-22 广东科研世智能科技有限公司 一种数据修补方法、装置、电子设备和存储介质
WO2024001538A1 (zh) * 2022-06-30 2024-01-04 京东方科技集团股份有限公司 划痕检测方法、装置、电子设备和可读存储介质
CN117557556A (zh) * 2024-01-09 2024-02-13 南京市特种设备安全监督检验研究院 起重装备缺陷智能检测方法
CN117635615A (zh) * 2024-01-26 2024-03-01 深圳市常丰激光刀模有限公司 基于深度学习实现冲孔模具的缺陷检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930357A (zh) * 2019-10-17 2020-03-27 中国矿业大学 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
CN112348034A (zh) * 2020-10-21 2021-02-09 中电鸿信信息科技有限公司 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN112633535A (zh) * 2021-01-14 2021-04-09 国网安徽省电力有限公司 一种基于无人机图像的光伏电站智能巡检方法及系统
CN112925337A (zh) * 2021-02-03 2021-06-08 南京市特种设备安全监督检验研究院 一种大型起重机金属结构多旋翼无人机自动巡检方法
CN113409314A (zh) * 2021-08-18 2021-09-17 南京市特种设备安全监督检验研究院 高空钢结构腐蚀的无人机视觉检测与评价方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930357A (zh) * 2019-10-17 2020-03-27 中国矿业大学 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
CN112348034A (zh) * 2020-10-21 2021-02-09 中电鸿信信息科技有限公司 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN112633535A (zh) * 2021-01-14 2021-04-09 国网安徽省电力有限公司 一种基于无人机图像的光伏电站智能巡检方法及系统
CN112925337A (zh) * 2021-02-03 2021-06-08 南京市特种设备安全监督检验研究院 一种大型起重机金属结构多旋翼无人机自动巡检方法
CN113409314A (zh) * 2021-08-18 2021-09-17 南京市特种设备安全监督检验研究院 高空钢结构腐蚀的无人机视觉检测与评价方法及系统

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920122A (zh) * 2021-12-15 2022-01-11 山东鹰联光电科技股份有限公司 一种基于人工智能的电缆缺陷检测方法及系统
CN113989280A (zh) * 2021-12-28 2022-01-28 武汉市鑫景诚路桥钢模有限公司 基于图像处理技术的钢结构焊接裂纹缺陷检测方法
CN114509021A (zh) * 2022-02-18 2022-05-17 深圳市中钞科信金融科技有限公司 异形平板玻璃边部成像方法
CN114509021B (zh) * 2022-02-18 2024-04-16 深圳市中钞科信金融科技有限公司 异形平板玻璃边部成像方法
CN114719749A (zh) * 2022-04-06 2022-07-08 重庆大学 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN114719749B (zh) * 2022-04-06 2023-07-14 重庆大学 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN114939546A (zh) * 2022-04-27 2022-08-26 武汉飞恩微电子有限公司 一种传感器生产用故障监控和预警设备及其测试方法
CN114820621A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓丢失缺陷检测方法、系统及装置
WO2024001538A1 (zh) * 2022-06-30 2024-01-04 京东方科技集团股份有限公司 划痕检测方法、装置、电子设备和可读存储介质
CN115471482A (zh) * 2022-09-20 2022-12-13 重庆理工大学 基于计算机视觉的小口径容器内壁缺陷检测方法
CN115544690A (zh) * 2022-10-17 2022-12-30 北京科技大学 一种含微裂纹热障涂层微结构的数值重构与传热特性评估的方法
CN116309564A (zh) * 2023-05-17 2023-06-23 厦门微图软件科技有限公司 基于人工智能图像识别的电芯外观缺陷检测方法及系统
CN116309564B (zh) * 2023-05-17 2023-08-11 厦门微图软件科技有限公司 基于人工智能图像识别的电芯外观缺陷检测方法及系统
CN116451510B (zh) * 2023-06-16 2023-08-25 中电投工程研究检测评定中心有限公司 一种可视化建筑质量检测方法、电子设备及存储介质
CN116451510A (zh) * 2023-06-16 2023-07-18 中电投工程研究检测评定中心有限公司 一种可视化建筑质量检测方法、电子设备及存储介质
CN116563288A (zh) * 2023-07-11 2023-08-08 深圳市欣精艺科技有限公司 一种汽车发动机齿轮螺纹孔检测方法
CN117011688A (zh) * 2023-07-11 2023-11-07 广州大学 一种水下结构病害的识别方法、系统及存储介质
CN117011688B (zh) * 2023-07-11 2024-03-08 广州大学 一种水下结构病害的识别方法、系统及存储介质
CN116563288B (zh) * 2023-07-11 2023-09-05 深圳市欣精艺科技有限公司 一种汽车发动机齿轮螺纹孔检测方法
CN116758063B (zh) * 2023-08-11 2023-11-07 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法
CN116758063A (zh) * 2023-08-11 2023-09-15 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法
CN117173151A (zh) * 2023-09-25 2023-12-05 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统
CN117271974A (zh) * 2023-09-25 2023-12-22 广东科研世智能科技有限公司 一种数据修补方法、装置、电子设备和存储介质
CN117173151B (zh) * 2023-09-25 2024-03-08 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统
CN117029733A (zh) * 2023-10-08 2023-11-10 中冶建筑研究总院有限公司 一种基于计算机视觉的螺栓松动检测方法、系统及装置
CN117029733B (zh) * 2023-10-08 2024-01-26 中冶建筑研究总院有限公司 一种基于计算机视觉的螺栓松动检测方法、系统及装置
CN117030724A (zh) * 2023-10-09 2023-11-10 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
CN117030724B (zh) * 2023-10-09 2023-12-08 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
CN117274843A (zh) * 2023-11-15 2023-12-22 安徽继远软件有限公司 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
CN117274843B (zh) * 2023-11-15 2024-04-19 安徽继远软件有限公司 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
CN117557556B (zh) * 2024-01-09 2024-03-26 南京市特种设备安全监督检验研究院 起重装备缺陷智能检测方法
CN117557556A (zh) * 2024-01-09 2024-02-13 南京市特种设备安全监督检验研究院 起重装备缺陷智能检测方法
CN117635615A (zh) * 2024-01-26 2024-03-01 深圳市常丰激光刀模有限公司 基于深度学习实现冲孔模具的缺陷检测方法及系统

Also Published As

Publication number Publication date
CN113744270B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN113744270B (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN112766274A (zh) 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN105373135A (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN106056619A (zh) 基于梯度约束Radon变换的无人机视觉电线巡检方法
CN111126183A (zh) 一种基于近地面影像数据的震后建筑物损毁检测方法
CN112348775B (zh) 基于车载环视的路面坑塘检测系统及方法
CN115546170B (zh) 一种基于激光测距的风机叶片缺陷定位方法及系统
CN114240868A (zh) 一种基于无人机的巡检分析系统及方法
CN114743021A (zh) 一种输电线路图像与点云数据的融合方法及系统
CN112101138A (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质
CN114627021A (zh) 基于点云与深度学习的缺陷检测方法和系统
Zhou et al. UAV vision detection method for crane surface cracks based on Faster R-CNN and image segmentation
CN115578315A (zh) 一种基于无人机图像的桥梁应变近景摄影测量方法
CN112329584A (zh) 基于机器视觉自动识别电网异物的方法及系统、设备
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN117314986A (zh) 基于语义分割的无人机跨模态配电设备巡检图像配准方法
CN112184903A (zh) 高压线行树障风险点的检测方法、装置、设备及介质
CN111521279A (zh) 一种管线渗漏巡查方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant