CN111462310B - 一种基于多视几何的螺栓缺陷空间定位方法 - Google Patents

一种基于多视几何的螺栓缺陷空间定位方法 Download PDF

Info

Publication number
CN111462310B
CN111462310B CN202010244594.6A CN202010244594A CN111462310B CN 111462310 B CN111462310 B CN 111462310B CN 202010244594 A CN202010244594 A CN 202010244594A CN 111462310 B CN111462310 B CN 111462310B
Authority
CN
China
Prior art keywords
points
bolt
training
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010244594.6A
Other languages
English (en)
Other versions
CN111462310A (zh
Inventor
徐静
田宝树
郭鸷
葛亮
侯荣金
旋新悦
王晶晶
刘�英
孟祥伟
李广晨
隋俊鹏
张智博
李志斌
胡博
贾高毅
杨永文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing North Star Technology Development Co ltd
Chaoyang Power Supply Co Of State Grid Liaoning Electric Power Supply Co ltd
State Grid Corp of China SGCC
Original Assignee
Beijing North Star Technology Development Co ltd
Chaoyang Power Supply Co Of State Grid Liaoning Electric Power Supply Co ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing North Star Technology Development Co ltd, Chaoyang Power Supply Co Of State Grid Liaoning Electric Power Supply Co ltd, State Grid Corp of China SGCC filed Critical Beijing North Star Technology Development Co ltd
Priority to CN202010244594.6A priority Critical patent/CN111462310B/zh
Publication of CN111462310A publication Critical patent/CN111462310A/zh
Application granted granted Critical
Publication of CN111462310B publication Critical patent/CN111462310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04HBUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
    • E04H12/00Towers; Masts or poles; Chimney stacks; Water-towers; Methods of erecting such structures
    • E04H12/02Structures made of specified materials
    • E04H12/08Structures made of specified materials of metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

本发明提供了一种基于多视几何的螺栓缺陷空间定位方法,通过无人机拍摄的原始影像,利用多视几何理论和深度学习算法,采用图像识别技术,进行目标物提取和Sift关键点提取,对关键点进行多视几何运算,生成配对点,交叉查询,生成同名点集,计算每一个点所在影像的空三成果内外方位元素和镜头畸变参数,根据空间前方交会的原理,计算出同名点的物方空间坐标,通过聚类及去重,对螺栓缺陷进行定位,并展示在铁塔的三维模型上,使验收人员很清晰地看到缺陷的数量和位置,避免了人工漏检情况,保证了铁塔螺栓缺陷的精确检查,提高螺栓安装验收质量,保证了电力线路的连续供电运行。

Description

一种基于多视几何的螺栓缺陷空间定位方法
技术领域
本发明属于电力线路验收的技术领域,具体涉及一种基于多视几何的螺栓缺陷空间定位方法。
背景技术
目前,在电力线路巡检和验收过程中,铁塔螺栓安装要求螺栓穿向一致美观,螺栓螺帽要求紧固,该项的判断主要通过观察螺帽是否贴合或使用扭矩扳手检查,另外螺栓数量要求和图纸一致,不允许少打漏打螺栓,螺栓螺杆为规则的圆柱形,螺帽为规则的六边形,未安装螺栓通过观察可以直接判别,但由于铁塔比较多,验收比较困难,所以大多数采用无人机进行航拍,但是大多数采用通过图像去观察,人为判断分析是否有缺陷,由于拍摄照片的畸变、相片重叠度不规则等弊端,造成无法准确判断缺陷的存在,给电力线路运行带来很大的隐患。
发明内容
针对电力线路的铁塔螺栓缺陷检查中存在的问题,本发明提供了一种基于多视几何的螺栓缺陷空间定位方法,利用多视几何理论和深度学习算法,采用图像识别技术,对铁塔螺栓缺陷进行空间定位,并把缺陷显示在铁塔的三维模型上。
下面结合附图对本发明的技术内容作进一步详细说明。
所述的一种基于多视几何的螺栓缺陷空间定位方法,通过以下步骤实现的:
步骤S1,将无人机拍摄的原始影像,作为输入数据导入到深度学习网络模型,进行目标物提取,每一个探测出的目标物,会通过一个矩形框标记;
步骤S2,对无人机拍摄的原始影像,进行Sift关键点提取,成果为一系列特征点的坐标,具体包括以下步骤:
步骤201,生成DOG金字塔,进行尺度空间构建;
步骤202,空间极值点检测,对关键点进行初步查探;
步骤203,去除不稳定和错误检测出的局部极值点,通过下采样提取的极值点对应在原始图像中的确切位置;
步骤204,计算以关键点为中心的邻域内所有点的梯度方向,累计落到每个方向内的关键点个数,生成梯度方向直方图,根据直方图确定主方向和辅方向;
步骤205,对关键点周围像素区域分块,计算块内梯度直方图,生成具有独特性的向量,这个向量作为该区域图像信息的一种关键点描述;
步骤206,特征点匹配。
步骤S3,将步骤S1的成果矩形框和步骤S2的特征点坐标进行叠加,保留出现在矩形框范围内的关键点;
步骤S4,将步骤S3保留的关键点进行多视几何运算,先为每一个关键点生成128维的特征描述子;再对每一张影像进行临近影像搜索,找到一系列临近影像;然后对每一张影像的一系列特征描述子,构建K维搜索树;最后每一张影像的K维搜索树,与它的临近影像的特征描述子进行特征匹配,生成配对点;
步骤S5,将配对点进行交叉查询,生成同名点集;
步骤S6,利用同名点集,以及每一个点所在影像的空三成果计算的外方位元素、内方位元素、镜头畸变参数,利用空间前方交会的原理,计算出同名点的物方空间坐标;
步骤S7,将计算出来的所有物方空间坐标进行聚类及去重;
步骤S8,根据计算出的空间坐标,对螺栓缺陷进行定位,并展示在铁塔的三维模型上。
其中步骤S1中深度学习网络模型包括以下步骤:
步骤101,标注样本数据,通过无人机进行铁塔螺栓的图像采集,进行标注样本数据,把样本数据保存到数据库中;
步骤102,深度卷积特征提取,通过深度学习训练机进行深度卷积特征提取,包括预训练网络和深层卷积特征提取两个过程;
步骤103,网络对比训练,深度卷积特征提取后,进行Faster R-CNN与YOLO V3网络对比训练,Faster R-CNN网络通过卷积特征图,通过候选区域生产网络、感兴趣区池化、全连接层和分类器进行训练,YOLO V3网络通过多尺度卷积特征,不用通过候选区域生产网络,直接进行先验框生产、标记框预处理、分类器进行训练;
步骤104,训练学习和结果分析,经过Faster R-CNN与YOLO V3网络对比训练后,选择一种网络开始训练学习,判断是否满足要求,如果不能满足要求,通过调整模型参数,进行训练学习,直到满足要求后,形成训练结果模型,通过多次缺陷测试数据,进行精度评定,对调整模型参数和网络对比分析,形成最终的训练结果模型;
步骤105,缺陷识别,通过网络把训练好的模型加载到地面站计算机的缺陷识别系统中,进行缺陷识别。
其中步骤S6中包括以下步骤:
步骤601,通过空三成果计算出外方位元素、内方位元素、镜头畸变参数;
步骤602,利用空间前方交会的原理,计算出同名点的物方空间坐标。
一种基于多视几何的螺栓缺陷空间定位方法,其特征在于包括铁塔螺栓数据采集平台、地面站数据处理平台和AI深度学习平台,所述铁塔螺栓数据采集平台的无人机智能控制系统通过内部网,与地面站数据处理平台的计算机连接,同时还连接到AI深度学习平台的应用服务器集群和深度学习服务器集群;
所述的铁塔螺栓数据采集平台包括无人机、无线通信模块、遥控器和无人机智能控制系统;
所述的地面站数据处理平台包括计算机、内部网、图形终端和数据存储;
所述的AI深度学习平台包括应用服务器集群和深度学习服务器集群。
本发明的有益效果是:
1、本发明通过无人机对铁塔安装螺栓的图像数据采集,应用多视几何理论和深度学习算法,对螺栓缺陷进行空间定位后,显示在铁塔的三维模型上,使验收人员很清晰地看到缺陷的数量和位置,避免了人工漏检情况。
2、本发明保证了铁塔螺栓缺陷的精确检查,提高螺栓安装验收质量。
3、本发明通过航拍的图像进行采集、分析和处理后,根据处理后的图像特征,判断出线路的故障和缺陷,经过人工核实并处理,保证了电力线路的连续供电运行,
附图说明
图1为本发明具体实施方式中方法步骤图;
图2为本发明具体实施方式中深度学习模型训练流程图;
图3为本发明具体实施方式中方法总体流程图;
图4为本发明具体实施方式中硬件架构图;
图5为本发明具体实施方式中螺栓异常检测结果示意图;
图6为本发明具体实施方式中螺栓正常检测结果示意图。
图7为本发明具体实施方式中螺栓缺陷展示示意图。
具体实施方式
下面结合附图对本发明的技术内容作进一步详细说明。
所述的一种基于多视几何的螺栓缺陷空间定位方法,如图1,通过以下步骤实现的:
步骤S1,将无人机拍摄的原始影像,作为输入数据导入到深度学习网络模型,进行目标物提取,每一个探测出的目标物,会通过一个矩形框标记;
步骤S2,对无人机拍摄的原始影像,进行Sift关键点提取,成果为一系列特征点的坐标;
所述的Sift关键点提取采用Sfit算法,Sfit算法的实质是在不同的尺度空间上查找关键点(特征点),计算关键点的大小、方向、尺度信息,利用这些信息组成关键点对特征点进行描述的问题。
步骤S3,将步骤S1的成果矩形框和步骤S2的特征点坐标进行叠加,保留出现在矩形框范围内的关键点;
步骤S4,将步骤S3保留的关键点进行多视几何运算,先为每一个关键点生成128维的特征描述子;再对每一张影像进行临近影像搜索,找到一系列临近影像;然后对每一张影像的一系列特征描述子,构建K维搜索树;最后每一张影像的K维搜索树,与它的临近影像的特征描述子进行特征匹配,生成配对点;
步骤S5,将配对点进行交叉查询,生成同名点集;
步骤S6,利用同名点集,以及每一个点所在影像的空三成果计算的外方位元素、内方位元素、镜头畸变参数,利用空间前方交会的原理,计算出同名点的物方空间坐标;
步骤S7,将计算出来的所有物方空间坐标进行聚类及去重;
步骤S8,根据计算出的空间坐标,对螺栓缺陷进行定位,并展示在铁塔的三维模型上。
如图2,其中步骤S1中深度学习网络模型包括以下步骤:
步骤101,标注样本数据,通过无人机进行铁塔螺栓的图像采集,进行标注样本数据,把样本数据保存到数据库中;
步骤102,深度卷积特征提取,通过深度学习训练机进行深度卷积特征提取,包括预训练网络和深层卷积特征提取两个过程;
步骤103,网络对比训练,深度卷积特征提取后,进行Faster R-CNN与YOLO V3网络对比训练,Faster R-CNN网络通过卷积特征图,通过候选区域生产网络、感兴趣区池化、全连接层和分类器进行训练,YOLO V3网络通过多尺度卷积特征,不用通过候选区域生产网络,直接进行先验框生产、标记框预处理、分类器进行训练;
步骤104,训练学习和结果分析,经过Faster R-CNN与YOLO V3网络对比训练后,选择一种网络开始训练学习,判断是否满足要求,如果不能满足要求,通过调整模型参数,进行训练学习,直到满足要求后,形成训练结果模型,通过多次缺陷测试数据,进行精度评定,对调整模型参数和网络对比分析,形成最终的训练结果模型;
步骤105,缺陷识别,通过网络把训练好的模型加载到地面站计算机的缺陷识别系统中,进行缺陷识别。
其中步骤S2中包括以下步骤:
步骤201,生成DOG金字塔,进行尺度空间构建;
通过对原始图像进行尺度变换,获得图像多尺度下的尺度空间表示序列,对这些序列进行尺度空间主轮廓的提取,并以该主轮廓作为一种特征向量,实现边缘、角点检测不同分辨率上的关键点提取。
各尺度下图像的模糊度逐渐变大,能够模拟人在距离目标由近到远时目标物体在视网膜上的形成过程。
尺度空间构建的基础是DOG金字塔,DOG金字塔构建的基础是高斯金字塔。
步骤202,空间极值点检测,对关键点进行初步查探;
为了寻找DOG函数的极值点,每一个像素点要和它所有的相邻点比较,看其是否比它的图像域和尺度空间域的相邻点大或者小。
在二维图像空间,中心点与它3*3邻域内的8个点做比较,在同一组内的尺度空间上,中心点和上下相邻的两层图像的2*9个点作比较,如此可以保证检测到的关键点在尺度空间和二维图像空间上都是局部极值点。
步骤203,稳定关键点的精确定位;
DOG值对噪声和边缘比较敏感,所以在步骤202的尺度空间中检测到的局部极值点还要经过进一步的筛选,去除不稳定和错误检测出的极值点,另一点就是在构建高斯金字塔过程中采用了下采样的图像,在下采样图像中提取的极值点对应在原始图像中的确切位置,也是要在本步骤中解决的问题。
步骤204,稳定关键点方向信息分配;
稳定的极值点是在不同尺度空间下提取的,这保证了关键点的尺度不变性。为关键点分配方向信息所要解决的问题是使得关键点对图像角度和旋转具有不变性,方向的分配是通过求每个极值点的梯度来实现的,对于任一关键点,其梯度幅值表述为:
梯度方向为:
分配给关键点的方向并不直接是关键点的梯度方向,而是按照一种梯度方向直方图的方式给出的,具体的方法是:计算以关键点为中心的邻域内所有点的梯度方向,当然梯度方向一定是在0~360°范围内,对这些梯度方向归一化到36个方向内,每个方向代表了10°的范围,然后累计落到每个方向内的关键点个数,以此生成梯度方向直方图,将梯度方向直方图中纵坐标最大的项代表的方向分配给当前关键点作为主方向,若在梯度直方图中存在一个相当于主峰值80%能量的峰值,则将这个方向认为是关键点的辅方向,辅方向的设计可以增强匹配的鲁棒性,Lowe指出,大概有15%的关键点具有辅方向,而恰恰是这15%的关键点对稳定匹配起到关键作用。
步骤205,关键点描述;
对关键点的描述是后续实现匹配的关键步骤,描述其实就是一种以数学方式定义关键的过程,描述子不但包含关键点,也包括关键点周围对其有贡献的邻域点。
描述的思路是:对关键点周围像素区域分块,计算块内梯度直方图,生成具有独特性的向量,这个向量是该区域图像信息的一种抽象表述,例如对于2*2块,每块的所有像素点的荼毒做高斯加权,每块最终取8个方向,即可以生成2*2*8维度的向量,以这2*2*8维向量作为中心关键点的数学描述。
David G.Lowed的实验结果表明:对每个关键点,采用4*4*8共128维向量的描述子进项关键点表征,综合效果最佳。
步骤206,特征点匹配。
特征点的匹配是通过计算两组特征点的128维的关键点的欧式距离实现的。欧式距离越小,则相似度越高,当欧式距离小于设定的阈值时,可以判定为匹配成功。
其中步骤S6中包括以下步骤:
步骤601,通过空三成果计算出外方位元素、内方位元素、镜头畸变参数;
参照smart3d用户手册,地面点坐标与像点坐标的映射关系定义如下:
x=F.D(∏(O.R(X-C)))+x0
其中,X是摄影测量坐标系下的三维坐标;
x是图像上的二维坐标;
O是一个3×3的矩阵
П是三维坐标向二维映射的方法Π:R3→R2,如下定义:
Π(u,v,w)=(u/w,v/w)
D为相机畸变校正函数,如下定义:
where r2=u2+v2
f为像素单位的焦距,s在项目里为0,ρ为1,x0为像主点坐标。
步骤602,利用空间前方交会的原理,计算出同名点的物方空间坐标。
空间前方交会采用了投影系数法,模型点相对于左方投影中心为原点的模型坐标为:
NX1=BX+N1X2 (1)
NY1=BY+N1Y2 (2)
NZ1=BZ+N1Z2 (3)
由上式中的(1)式和(3)式求得点投影系数:
在相对定向中上式的运算都是由像点坐标X1,Y1,X2,Y2和相对定向元素来计算的。
如果用左、右影像的外方位元素来计算,则
由左、右影像的外方位角元素φ1,w1,k1和φ2,w2,k2计算相应的正交矩阵R1,R2,则
这时的N,N1表示将坐像点和右像点投影到地面上的点投影系数。
任意一点的地面坐标(地面摄测坐标)可由下式求得:
所述的一种基于多视几何的螺栓缺陷空间定位方法,如图3,通过以下流程实现的:
步骤A,首先初始化,依据输电线路铁塔螺栓检测标准和技术要求,通过深度学习训练机进行训练,初步完成系统功能所需图像缺陷控件定位算法、模型,对地面站数据处理平台计算机的采集图像软件进行初始化设置。
步骤B,通过无人机拍摄进行铁塔螺栓验收,当无人机到达指定铁塔处指定的悬停点后,对需要验收的铁塔进行拍摄采集影像图。
步骤C,把无人机拍摄的原始影像图,作为输入数据导入到深度学习网络模型,进行目标物提取和目标物范围确定。
步骤D,在步骤C后,通过Smart3d的相机模型,形成图片定位的POS位置信息,进行空三成果计算,形成外方位元素、内方位元素和相机自检验出的畸变参数。
步骤E,在步骤C后,同时对无人机拍摄的原始影像,进行sift关键点提取,形成一系列特征点的坐标。
步骤F,在步骤E和步骤C的结果进行范围叠加后,当范围内有点时,则进行如下流程:
1)sift特征提取,保留出现在矩形框范围内的关键点。
2)经过邻近图像查询,根据步骤D所在影像的空三成果的外方位元素、内方位元素、镜头畸变参数,进行邻近图像sift特征提取,对保留的关键点进行特征描述。
3)邻近图像进行多视几何计算,生成同名点集。
4)利用同名点集,采用空间前方交会的原理,计算出同名点的物方空间坐标;
步骤G,在步骤E和步骤C的结果进行范围叠加后,当范围内无点时,则进行如下流程:
1)根据空三成果生成核线影像。
2)核线影像逐像素匹配。
3)计算出同名点的物方空间坐标。
步骤H,最后通过对物方空间坐标进行聚类和去重后,根据计算出的空间坐标,对螺栓缺陷进行定位,并展示在铁塔的三维模型上。
一种基于多视几何的螺栓缺陷空间定位方法,如图4,其特征在于包括铁塔螺栓数据采集平台、地面站数据处理平台和AI深度学习平台,所述铁塔螺栓数据采集平台的无人机智能控制系统通过内部网,与地面站数据处理平台的计算机连接,同时还连接到AI深度学习平台的应用服务器集群和深度学习服务器集群。
所述的铁塔螺栓数据采集平台包括无人机、无线通信模块、遥控器和无人机智能控制系统。所述的无人机通过无线通信模块与无人机智能控制系统进行通讯,所述的无线通信模块和遥控器都连接到无人机智能控制系统上,通过无人机按照规定的铁塔螺栓数据采集航线或者通过遥控器手动遥控,进行定位拍摄采集图像,由无线通信模块把铁塔螺栓图像传输到无人机智能控制系统,无人机智能控制系统通过内部网传输给地面站数据处理平台的计算机内,
所述的无人机采用M210RTK,通过搭载的云台相机进行高空作业数据采集,包括拍摄的图像以及图像的经纬度、高程等POS信息。
所述的无人机智能控制系统,通过专门程序对无人机拍摄采集图像数据进行运行分析、误差分析,然后把经过处理的无人机拍摄采集图像信息传输给地面站计算机。
所述的地面站数据处理平台包括计算机、内部网、图形终端和数据存储。
所述的计算机是铁塔螺栓数据采集平台、AI深度学习平台的连接纽带,无人机智能控制系统采集的铁塔螺栓数据,通过计算机把数据传输到图形终端和数据存储,同时通过内部网把数据传输到AI深度学习平台,经过深度学习训练后的神经网络模型通过内部网传给计算机,计算机根据训练后的神经网络模型,进行缺陷识别。
所述的图形终端是指经过缺陷识别后的结果,形成铁塔螺栓三维定位缺陷图形,在图形终端上显示。
所述的数据存储是与计算机连接的数据服务器,进行数据备份和存储。
所述的AI深度学习平台包括应用服务器集群和深度学习服务器集群,应用服务器群集是把多个铁搭的铁塔缺陷进行集结在一体,深度学习服务器集群是深度学习算法、深度学习服服务器集结到一起。
所述的应用服务器集群是用户管理终端的计算机,在每个用户计算机上可以查询每个铁塔的螺栓缺陷定位情况,同时还可以查询过去时间的铁塔螺栓缺陷。
所述的深度学习服务器采用深度学习算法,实时接收无人机的拍照图片数据,通过深度学习软件进行整理、学习和训练,经过多次学习和训练,直到运行数据与铁塔螺栓缺陷定位一致,形成一个铁塔螺栓缺陷定位模型,返送给地面站数据处理平台的计算机上,通过计算机后台运行的铁塔螺栓缺陷定位系统软件,根据深度学习训练机给出的铁塔螺栓缺陷定位模型,进行重新分析处理铁塔螺栓缺陷数据,形成铁塔螺栓缺陷定位三维图形,精确的显示在铁塔上。
所述的深度学习服务器采用高配置的CPU、内存和高级图形显卡,对无人机拍照数据进行连续多天连续采集和深度训练,形成铁塔螺栓缺陷定位模型,应用于铁塔螺栓缺陷定位系统软件中,保证铁塔螺栓缺陷精确定位。
本发明实施例的典型检测示例包括螺栓异常检测、螺栓正常检测和螺栓缺陷展示。
所述的螺栓异常检测,包括部件的缺螺栓缺陷,对缺螺栓采用Faster-RCNN方法进行识别检测。螺栓异常检测结果实施例示意图如图5。
所述的螺栓正常检测,包括统计部件的螺栓,对对螺栓正常采用Faster-RCNN方法进行识别检测,完成整塔螺栓数量的统计。螺栓正常检测结果实施例示意图如图6。
所述的螺栓缺陷展示,根据缺陷识别结果和空三数据文件,进行空三缺陷位置计算即展示。螺栓缺陷展示示意图如图7。
本发明的特点如下:
1、本发明基于多视几何计算,采用深度学习算法,无人机采集铁塔螺栓影像进行快速分类、命名和图像识别,自动生成铁塔螺栓缺陷展示和缺陷报告,实现缺陷隐患可视化标识。
2、采用Sift算法,对旋转、尺度缩放、亮度变化保持不变性,对视角变化、噪声等也存在一定程度的稳定性、独特性、多量性和可扩展性,保证Sift所查找的关键点不会因光照,仿射便函和噪声等因素而变换的“稳定”特征点。
3、结合深度学习图像识别技术获取的缺陷影像,定位出螺栓安装存在缺陷的位置,以便施工人员对铁塔螺栓的自检,管理人员的验收。

Claims (4)

1.一种基于多视几何的螺栓缺陷空间定位方法,其特征在于,包括以下步骤:
步骤S1,将无人机拍摄的原始影像,作为输入数据导入到深度学习网络模型,进行目标物提取,每一个探测出的目标物,会通过一个矩形框标记;
步骤S2,对无人机拍摄的原始影像,进行Sift关键点提取,成果为一系列特征点的坐标,具体包括以下步骤:
步骤201,生成DOG金字塔,进行尺度空间构建;
步骤202,空间极值点检测,对关键点进行初步查探;
步骤203,去除不稳定和错误检测出的局部极值点,通过下采样提取的极值点对应在原始图像中的确切位置;
步骤204,计算以关键点为中心的邻域内所有点的梯度方向,累计落到每个方向内的关键点个数,生成梯度方向直方图,根据直方图确定主方向和辅方向;
步骤205,对关键点周围像素区域分块,计算块内梯度直方图,生成具有独特性的向量,这个向量作为该区域图像信息的一种关键点描述;
步骤206,特征点匹配;
步骤S3,将步骤S1的成果矩形框和步骤S2的特征点坐标进行叠加,保留出现在矩形框范围内的关键点;
步骤S4,将步骤S3保留的关键点进行多视几何运算,先为每一个关键点生成128维的特征描述子;再对每一张影像进行临近影像搜索,找到一系列临近影像;然后对每一张影像的一系列特征描述子,构建K维搜索树;最后每一张影像的K维搜索树,与它的临近影像的特征描述子进行特征匹配,生成配对点;
步骤S5,将配对点进行交叉查询,生成同名点集;
步骤S6,利用同名点集,以及每一个点所在影像的空三成果计算的外方位元素、内方位元素、镜头畸变参数,利用空间前方交会的原理,计算出同名点的物方空间坐标;
步骤S7,将计算出来的所有物方空间坐标进行聚类及去重;
步骤S8,根据计算出的空间坐标,对螺栓缺陷进行定位,并展示在铁塔的三维模型上。
2.根据权利要求1所述的一种基于多视几何的螺栓缺陷空间定位方法,其中步骤S1中深度学习网络模型包括以下步骤:
步骤101,标注样本数据,通过无人机进行铁塔螺栓的图像采集,进行标注样本数据,把样本数据保存到数据库中;
步骤102,深度卷积特征提取,通过深度学习训练机进行深度卷积特征提取,包括预训练网络和深层卷积特征提取两个过程;
步骤103,网络对比训练,深度卷积特征提取后,进行FasterR-CNN与YOLOV3网络对比训练,FasterR-CNN网络通过卷积特征图,通过候选区域生产网络、感兴趣区池化、全连接层和分类器进行训练,YOLOV3网络通过多尺度卷积特征,不用通过候选区域生产网络,直接进行先验框生产、标记框预处理、分类器进行训练;
步骤104,训练学习和结果分析,经过FasterR-CNN与YOLOV3网络对比训练后,选择一种网络开始训练学习,判断是否满足要求,如果不能满足要求,通过调整模型参数,进行训练学习,直到满足要求后,形成训练结果模型,通过多次缺陷测试数据,进行精度评定,对调整模型参数和网络对比分析,形成最终的训练结果模型;
步骤105,缺陷识别,通过网络把训练好的模型加载到地面站计算机的缺陷识别系统中,进行缺陷识别。
3.根据权利要求1所述的一种基于多视几何的螺栓缺陷空间定位方法,其中步骤S6中包括以下步骤:
步骤601,通过空三成果计算出外方位元素、内方位元素、镜头畸变参数;
步骤602,利用空间前方交会的原理,计算出同名点的物方空间坐标。
4.根据权利要求1所述的一种基于多视几何的螺栓缺陷空间定位方法,其特征在于包括铁塔螺栓数据采集平台、地面站数据处理平台和AI深度学习平台,所述铁塔螺栓数据采集平台的无人机智能控制系统通过内部网,与地面站数据处理平台的计算机连接,同时还连接到AI深度学习平台的应用服务器集群和深度学习服务器集群;
所述的铁塔螺栓数据采集平台包括无人机、无线通信模块、遥控器和无人机智能控制系统;
所述的地面站数据处理平台包括计算机、内部网、图形终端和数据存储;
所述的AI深度学习平台包括应用服务器集群和深度学习服务器集群。
CN202010244594.6A 2020-03-31 2020-03-31 一种基于多视几何的螺栓缺陷空间定位方法 Active CN111462310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010244594.6A CN111462310B (zh) 2020-03-31 2020-03-31 一种基于多视几何的螺栓缺陷空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010244594.6A CN111462310B (zh) 2020-03-31 2020-03-31 一种基于多视几何的螺栓缺陷空间定位方法

Publications (2)

Publication Number Publication Date
CN111462310A CN111462310A (zh) 2020-07-28
CN111462310B true CN111462310B (zh) 2023-10-17

Family

ID=71681569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010244594.6A Active CN111462310B (zh) 2020-03-31 2020-03-31 一种基于多视几何的螺栓缺陷空间定位方法

Country Status (1)

Country Link
CN (1) CN111462310B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119470B (zh) * 2021-10-15 2023-04-07 厦门微亚智能科技有限公司 一种基于深度学习的电芯密封钉焊缝外观检测算法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN110197176A (zh) * 2018-10-31 2019-09-03 国网宁夏电力有限公司检修公司 基于图像识别技术的巡检数据智能分析系统及分析方法
CN110399819A (zh) * 2019-07-15 2019-11-01 北京洛斯达数字遥感技术有限公司 一种基于深度学习的遥感影像居民区自动提取方法
CN110827251A (zh) * 2019-10-30 2020-02-21 江苏方天电力技术有限公司 一种基于航拍图像的输电线路锁紧销缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589210B1 (en) * 2015-08-26 2017-03-07 Digitalglobe, Inc. Broad area geospatial object detection using autogenerated deep learning models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN110197176A (zh) * 2018-10-31 2019-09-03 国网宁夏电力有限公司检修公司 基于图像识别技术的巡检数据智能分析系统及分析方法
CN110399819A (zh) * 2019-07-15 2019-11-01 北京洛斯达数字遥感技术有限公司 一种基于深度学习的遥感影像居民区自动提取方法
CN110827251A (zh) * 2019-10-30 2020-02-21 江苏方天电力技术有限公司 一种基于航拍图像的输电线路锁紧销缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于无人机的电网实景建模研究;曹炯 等;测绘工程;第1-3部分 *
基于物方几何约束的多视匹配算法研究;孟俊俊;张云生;李杰;;测绘工程(第10期);全文 *
无人机倾斜摄影测量技术在线路工程中的应用;徐卓知;丁亚洲;王新安;;电力勘测设计(第S1期);全文 *

Also Published As

Publication number Publication date
CN111462310A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN112767391B (zh) 融合三维点云和二维图像的电网线路部件缺陷定位方法
Sirmacek et al. A probabilistic framework to detect buildings in aerial and satellite images
CN103337052B (zh) 面向宽幅遥感影像的自动几何纠正方法
Bouchiha et al. Automatic remote-sensing image registration using SURF
CN103235810B (zh) 遥感影像控制点数据智能检索方法
CN107240130B (zh) 遥感影像配准方法、装置及系统
CN111435421B (zh) 一种面向交通目标的车辆重识别方法和装置
Son et al. A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments
CN112712589A (zh) 一种基于激光雷达和深度学习的植株3d建模的方法和系统
CN111967337A (zh) 一种基于深度学习和无人机影像的管道线变化检测方法
CN110929782B (zh) 一种基于正射影像图对比的河道异常检测方法
CN111462310B (zh) 一种基于多视几何的螺栓缺陷空间定位方法
CN114494373A (zh) 基于目标检测与图像配准的轨道高精度对齐方法及系统
Wang et al. Real-time damaged building region detection based on improved YOLOv5s and embedded system from UAV images
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
Tu et al. Detecting facade damage on moderate damaged type from high-resolution oblique aerial images
Li et al. Road-network-based fast geolocalization
CN114913246B (zh) 相机标定方法、装置、电子设备及存储介质
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
Schmid et al. Object recognition using local characterization and semi-local constraints
CN112258391B (zh) 一种基于道路交通标线的碎片化地图拼接方法
CN112509041B (zh) 一种基于停车场的车辆定位方法、系统和存储介质
CN116258663A (zh) 螺栓缺陷识别方法、装置、计算机设备和存储介质
CN112418262A (zh) 车辆再识别的方法、客户端及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant