CN110675387B - 输电线路铁塔结构缺陷检测方法及装置 - Google Patents

输电线路铁塔结构缺陷检测方法及装置 Download PDF

Info

Publication number
CN110675387B
CN110675387B CN201910915275.0A CN201910915275A CN110675387B CN 110675387 B CN110675387 B CN 110675387B CN 201910915275 A CN201910915275 A CN 201910915275A CN 110675387 B CN110675387 B CN 110675387B
Authority
CN
China
Prior art keywords
iron tower
tower structure
detected
determining
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910915275.0A
Other languages
English (en)
Other versions
CN110675387A (zh
Inventor
秦源汛
杨文义
何红太
桂菲菲
黄志勇
熊鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guowang Fuda Technology Development Co Ltd
Original Assignee
Beijing Guowang Fuda Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guowang Fuda Technology Development Co Ltd filed Critical Beijing Guowang Fuda Technology Development Co Ltd
Priority to CN201910915275.0A priority Critical patent/CN110675387B/zh
Priority to PCT/CN2019/111373 priority patent/WO2021056630A1/zh
Publication of CN110675387A publication Critical patent/CN110675387A/zh
Application granted granted Critical
Publication of CN110675387B publication Critical patent/CN110675387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种输电线路铁塔结构缺陷检测方法及装置，该方法包括：采集待检测铁塔结构的多帧图像；根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数，模态参数包括：共振峰频率和模态形状；将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷位置和缺陷类型；铁塔结构缺陷检测模型根据铁塔结构的模态参数样本预先训练生成。本发明提升了输电线路铁塔结构缺陷检测的效率和准确性，可广泛地应用在电力系统中。

Description

输电线路铁塔结构缺陷检测方法及装置
技术领域
本发明涉及故障检测技术领域，特别涉及一种输电线路铁塔结构缺陷检测方法及装置。
背景技术
输电铁塔在架空输电线路中起着支撑导线、地线及其他附件的作用，是电力系统中重要的组成部分。输电铁塔结构中的某些轻微的损伤和缺陷会伴随着载荷的长期作用，逐渐发展成为严重的损伤和缺陷，铁塔结构的损伤和缺陷会直接影响到电力系统的运行。对输电铁塔进行结构缺陷检测，可提高电力系统安全性和可靠性，避免重大电力事故的发生。
输电铁塔具有高耸塔体和大跨越结构所共有的塔体高、柔性强等特征，易受地震、风、浮冰等环境载荷的影响，在极端条件及振动疲劳损伤下更易引起输电铁塔结构动态倒塌破坏。在电网中，外力和大自然对架空输电线路的影响最为严重。而输电线路倒塔事件并不少见，除此之外，倒塔事故一旦发生，就会对人们的生命财产造成重大损失。
目前对输电铁塔结构缺陷的检测方式主要包括：人工巡检、可见光设备在线监测方法、搭配无人机等载具的识别装置检测方法。
人工巡检是指巡视员携带望远镜，使用车辆以及步行等方式对铁塔进行目视检查，这种方法已经比较成熟，可以检查出一些已经形成的缺陷甚至较严重缺陷，搭配熟练的巡视人员有时能检查出一些未形成的缺陷，但是这种方法缺点也很明显，人力成本巨大，对于一些山区或者自然灾害等紧急情况下的区域往往无法进行人工巡检，无法提前识别缺陷也不能识别较高塔位的多种盲区的缺陷。
可见光设备在线监测方法不需要巡视人员到现场进行巡检，可以较密集地获取图片数据，但是该方法的每个在线监测装置只能识别一小片区域的缺陷，且安装成本巨大，难以大规模安装。
搭配无人机等载具的识别装置检测方法可以获得更大范围的铁塔巡视数据。现在的无人机铁塔巡视主要使用可见光以及图片识别的方式对铁塔缺陷进行识别，该方法只能识别局部缺陷比如销钉缺失、绝缘子爆裂等非结构性缺陷，对会引起倒塔、局部断裂等铁塔大型结构力学缺陷无法识别。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种输电线路铁塔结构缺陷检测方法，用以提高输电线路铁塔结构缺陷检测的效率和准确性，该方法包括：
采集待检测铁塔结构的多帧图像；
根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；
根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数，模态参数包括：共振峰频率和模态形状；
将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷位置和缺陷类型；铁塔结构缺陷检测模型根据铁塔结构的模态参数样本预先训练生成。
本发明实施例还提供了一种输电线路铁塔结构缺陷检测装置，用以提高输电线路铁塔结构缺陷检测的效率和准确性，该装置包括：
图像采集模块，用于采集待检测铁塔结构的多帧图像；
三维动态模型生成模块，用于根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；
模态参数确定模块，用于根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数；
缺陷检测模块，用于将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷类型；铁塔结构缺陷检测模型根据铁塔结构的模态参数样本预先训练生成。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
本发明实施例提供的技术方案通过：采集待检测铁塔结构的多帧图像，根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数；将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷类型，实现了基于铁塔结构的多帧图像建立铁塔结构的三维动态模型，基于机器学习进行铁塔结构的缺陷识别，解决了塔位较高的铁塔的倒塌或局部断裂等大型结构力学的缺陷识别问题，提升了输电线路铁塔结构缺陷检测的效率和准确性，可广泛地应用在电力系统中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中输电线路铁塔结构缺陷检测方法的流程示意图；
图2是本发明实施例中采集待检测输电线路铁塔结构图像的示意图；
图3(a)是本发明实施例中抽象输电导线模型一应用场景示意图；
图3(b)是本发明实施例中抽象输电导线模型另一应用场景示意图；
图4(a)是本发明实施例中基于垂直方向相机对的计算结果示意图；
图4(b)是本发明实施例中基于水平方向相机对的计算结果示意图；
图5为本发明实施例中输电线路铁塔结构缺陷检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
输电铁塔的结构存在严重的损伤和缺陷时，在环境荷载的影响下很容易引起倒塌事故，对人们的生命财产造成重大损失。为了提升输电线路铁塔结构缺陷检测的效率和准确性，本发明实施例提供一种输电线路铁塔结构缺陷检测方法，如图1所示，该方法包括：
步骤101：采集待检测铁塔结构的多帧图像；
步骤102：根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；
步骤103：根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数，模态参数包括：共振峰频率和模态形状；
步骤104：将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷类型；铁塔结构缺陷检测模型根据铁塔结构的模态参数样本预先训练生成。
如图1所示，本发明实施例提供的技术方案通过：采集待检测铁塔结构的多帧图像，根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数；将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷类型，实现了基于铁塔结构的多帧图像建立铁塔结构的三维动态模型，基于机器学习进行铁塔结构的缺陷识别，解决了塔位较高的铁塔的倒塌或局部断裂等大型结构力学的缺陷识别问题，提升了输电线路铁塔结构缺陷检测的效率和准确性，可广泛地应用在电力系统中。
具体实施时，为了提高输电线路铁塔结构三维动态模型的准确性，在一个实施例中，步骤101采集的待检测铁塔结构的多帧图像中，每一帧图像包括多组不同拍摄角度的差分图像。
具体实施时，步骤101中，如图2所示，可以通过四目相机采集待检测铁塔结构的多帧图像。四目相机采用四台相机平行光轴布置形成矩阵阵列，对待检测铁塔结构进行4路图片的多帧同步采集，可以得到6组不同角度、不同时间的的差分图像，具有匹配快速、运算简单的特点，易实现芯片化等优点。
具体实施时，为了确定待检测铁塔结构的三维动态模型，在一个实施例中，步骤102可以包括：
根据采集的待检测铁塔结构的多帧图像，确定待检测铁塔结构的深度数据；
根据深度数据，确定待检测铁塔结构的三维动态模型。
具体实施时，可以使用四目相机对输电线路的铁塔结构进行三维动态建模，即确定待检测铁塔结构的三维动态模型。四目相机在两个互相垂直的方向上具有高效的抗噪声能力，从而在整个线性空间上可以实现所有方向上的有效检测，即便是单方向的对象(如无背景的输电线、输电铁塔等)也能获得较好检测性能。在确定待检测铁塔结构的深度数据时还考虑了待检测铁塔结构的应用场景(待检测铁塔结构是应用在水平结构场景中还是垂直结果场景中)，根据待检测铁塔结构的应用场景，确定选用四目相机的中哪个相机对数据来计算深度数据，从而使得最后建立的待检测铁塔结构的三维动态模型最为精确，进一步提高了后续铁塔结构缺陷检测的效率和准确性。
下面对使用四目相机对输电线路的铁塔结构进行三维动态建模，确定待检测铁塔结构的三维动态模型的原理进行介绍如下。
双目视觉是一种常见的基础机器视觉技术，四目相机可以分解成6对(上左-上右，下左-下右，上左-下左，上右-下右，上右-下左，上左-下右)双目相机系统，本测量方法最关心的是两个相互垂直的方向上的差分图像数据，下面对该测量方法主要针对上左-下左，下左-下右两对相机机器所代表的两个相互垂直的方向进行阐述，三个相机位置简称顶、左、右，实际使用中4个相机为这两个典型相机对的扩充，得到三个相机的投射矩阵为：
Figure BDA0002215960310000051
Figure BDA0002215960310000052
Figure BDA0002215960310000061
f为所有相机的共同焦距，bh和bv分别代表垂直对和水平对的基线(相机距离)；假设3D点的齐次坐标[x y z]T在不同相机中的投影为：
Figure BDA0002215960310000062
计算得到：
Figure BDA0002215960310000063
将一个3D点X投影到左、右相机中时使用公示(4)得到：
x L＝PL·X＝[f·x,f·y,z]T (6)
x R＝PR·X＝[f·x-bh·f,f·y,z]T (7)
从公式(5)、(7)可以推导出图像点的差分值：
Figure BDA0002215960310000064
在图像坐标在水平方向上所得到的差被相应地称为水平视差：
Figure BDA0002215960310000065
同理可以计算垂直方向上的垂直视差：
Figure BDA0002215960310000066
那么一个点的深度z就可以既通过相机的水平视差也可以通过相机的垂直视差进行计算。
上述步骤将同一帧图像进行三维重构，得到铁塔结构的三维静态模型，重复上述步骤，将多帧图像进行三维重构，得到铁塔结构的三维动态模型。
由上面的计算可知，垂直结构和水平结构的相机对都可以对深度进行计算，在公式中并未体现具体差异，然而在一些实际应用中，两个方向的视差所带来的计算却存在较大不同，下面分析本发明中待检测铁塔结构的不同应用场景，所得到深度计算结果的不同。
如图3(a)和图3(b)所示，比较纯粹的单向结构(抽象待检测铁塔结构模型)。
假设我们感兴趣的是左图像中心中可以找到的点的深度，则相应的极线水平地和垂直地位于其他图像的中间。找到视差的最直接的方法是将参考相机影像的图像块(在图3(a)和图3(b)中概述为黑色矩形，即长度较长的矩形)与其他图像内的潜在对应位置进行比较。这里，搜索空间可以限于极线位置。
图4(a)和图4(b)使用抽象待检测绝缘子结构(绝缘子应用场景，即水平结构场景还是垂直结构场景)评估不同方向相机对的影响。图4(a)中纵轴代表水平视差，横轴表示水平基线；图4(b)中纵轴代表垂直视差，横轴表示垂直基线。
使用归一化互相关(normalized cross-correlation)作为相似性的度量产生图4(a)和图4(b)中所示的结果。在垂直结构的情况下，左右相机对可以非常好地确定视差dh＝20px，并且没有任何组合的模糊性，如水平对齐的立体装置(参见图4(a)中的实线)。但是，垂直相机对的测试结果显示视差计算效果较差(参见图4(b)中的实线)，因此，根据不同应用场景来选择用哪个相机对的数据进行深度计算尤为重要。
对于如图3(b)所示的水平结构(水平结构应用场景)，可以类似地观察到相同的情况。这里不可能从水平对齐的立体装备中提取真实的视差。但是，它可以用垂直对来测量。显然，对于任何可能的场景使用单个立体装备是不够的。应结合水平和垂直立体设置，以实现更好的鲁棒性。
具体实施时，为了确定待检测铁塔结构的模态参数，在一个实施例中，步骤103可以包括：
根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的位移向量；
根据待检测铁塔结构的位移向量，确定待检测铁塔结构的观测矢量；
根据待检测铁塔结构的观测矢量，确定待检测铁塔结构的模态参数。
具体实施时，步骤103中，按照如下步骤确定待检测铁塔结构的模态参数。
第一步：计算待检测铁塔结构的位移向量。
可以通过4个不同的相机按照帧同步的方式获得的4组不同矩阵信息I1(ξ,η,t)、I2(ξ,η,t)、I3(ξ,η,t)、I4(ξ,η,t)，其中(ξ,η)表示二维图片中像素的坐标，t代表时间坐标。通过视觉匹配方法对多帧4幅不同图像的像素点进行匹配，得到三维动态模型，基于三维动态模型中N个匹配点的像素位移，计算待检测铁塔结构形状的分布：
Figure BDA0002215960310000081
式中，
Figure BDA0002215960310000082
表示匹配点的像素的位置随时间的分布向量，其中，n＝1,…,N，N为匹配点个数，
Figure BDA0002215960310000083
R3为三维动态模型。
第二步：计算待检测铁塔结构的观测矢量。
将匹配点n的位移向量
Figure BDA0002215960310000084
在向量
Figure BDA0002215960310000085
上投影得到一组标量值
Figure BDA0002215960310000086
Figure BDA0002215960310000087
为单位向量，q为单位向量的方向，Q为投影方向的个数：
Figure BDA0002215960310000088
将所有匹配点的位移向量
Figure BDA00022159603100000819
在多个方向上投影得到多维向量
Figure BDA00022159603100000810
Figure BDA00022159603100000811
多维向量
Figure BDA00022159603100000812
可以作为观察矢量用于位移向量
Figure BDA00022159603100000813
在
Figure BDA00022159603100000814
方向上的模态分析。
第三步：计算待检测铁塔结构的模态参数。
通过仅基于输出的模态参数估计法(Output-Only Modal Analysis)，输入待检测铁塔结构的观测矢量
Figure BDA00022159603100000820
输出待检测铁塔结构在
Figure BDA00022159603100000816
方向上的模态参数，包括：第m(m＝1,…,M)个共振峰频率
Figure BDA00022159603100000817
和第m个模态形状
Figure BDA00022159603100000818
其中，M是用于估计的最大模态阶数。
具体实施时，为了生成铁塔结构缺陷检测模型，在一个实施例中，在步骤104之前还包括：通过如下步骤训练得到所述铁塔结构缺陷检测模型：
获取训练样本数据，样本数据包括正样本和负样本，正样本为铁塔结构存在缺陷的位置的模态参数，负样本为铁塔结构正常的位置的模态参数；
将样本数据划分为训练集、测试集和验证集；
利用训练集对铁塔结构缺陷检测模型进行训练；
利用测试集对训练后的铁塔结构缺陷检测模型进行测试；
利用验证集对测试后的铁塔结构缺陷检测模型进行验证，得到铁塔结构缺陷检测模型。
具体实施时，步骤104中，可以通过SVM、神经网络等机器学习算法生成上述铁塔结构缺陷检测模型。
基于同一发明构思，本发明实施例中还提供了一种输电线路的铁塔结构缺陷检测装置，如下面的实施例。由于装置解决问题的原理与方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
如图5所示，本发明实施例提供一种输电线路的铁塔结构缺陷检测装置，该装置包括：
图像采集模块01，用于采集待检测铁塔结构的多帧图像；
三维动态模型生成模块02，用于根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；
模态参数确定模块03，用于根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数；
缺陷检测模块04，用于将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷类型；铁塔结构缺陷检测模型根据铁塔结构的模态参数样本预先训练生成。
实施例中，图像采集模块01采集的待检测铁塔结构的多帧图像中，每一帧图像包括多组不同拍摄角度的差分图像。
实施例中，模态参数确定模块03具体用于：
根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的位移向量；
根据待检测铁塔结构的位移向量，确定待检测铁塔结构的观测矢量；
根据待检测铁塔结构的观测矢量，确定待检测铁塔结构的模态参数。
实施例中，缺陷检测模块04在将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型之前，还用于：
获取训练样本数据，样本数据包括正样本和负样本，正样本为铁塔结构存在缺陷的位置的模态参数，负样本为铁塔结构正常的位置的模态参数；
将样本数据划分为训练集、测试集和验证集；
利用训练集对铁塔结构缺陷检测模型进行训练；
利用测试集对训练后的铁塔结构缺陷检测模型进行测试；
利用验证集对测试后的铁塔结构缺陷检测模型进行验证，得到铁塔结构缺陷检测模型。
综上所述，本发明实施例提供的技术方案通过：采集待检测铁塔结构的多帧图像，根据待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；根据待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数；将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷类型，实现了基于铁塔结构的多帧图像建立铁塔结构的三维动态模型，基于机器学习进行铁塔结构的缺陷识别，解决了塔位较高的铁塔的倒塌或局部断裂等大型结构力学的缺陷识别问题，提升了输电线路铁塔结构缺陷检测的效率和准确性，可广泛地应用在电力系统中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种输电线路的铁塔结构缺陷检测方法，其特征在于，包括：
采集待检测铁塔结构的多帧图像；
根据所述待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；
根据所述待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数，所述模态参数包括：共振峰频率和模态形状；
将所述待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷位置和缺陷类型；所述铁塔结构缺陷检测模型根据铁塔结构的模态参数样本预先训练生成；
根据所述待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数，包括：
根据所述待检测铁塔结构的三维动态模型，确定待检测铁塔结构的位移向量；
根据所述待检测铁塔结构的位移向量，确定待检测铁塔结构的观测矢量；
根据所述待检测铁塔结构的观测矢量，确定待检测铁塔结构的模态参数；
根据所述待检测铁塔结构的三维动态模型，确定待检测铁塔结构的位移向量，包括：
按照如下方式通过视觉匹配方法对多帧4幅不同图像的像素点进行匹配，得到三维动态模型中N个匹配点的像素位移向量：
Figure FDA0003082154370000011
式中，
Figure FDA0003082154370000012
表示匹配点的像素位移向量，其中，n＝1,…,N，N为匹配点个数，
Figure FDA0003082154370000013
R3为三维动态模型，I1(ξ,η,t)、I2(ξ,η,t)、I3(ξ,η,t)和I4(ξ,η,t)为4目图像，(ξ,η)表示二维图片中像素的坐标，t代表时间坐标；
根据所述待检测铁塔结构的位移向量，确定待检测铁塔结构的观测矢量，包括：
按照如下方式将N个匹配点的像素位移向量在多个方向的单位向量上投影，得到多维向量，将多维向量确定为待检测铁塔结构的观测矢量：
Figure FDA0003082154370000014
其中，
Figure FDA0003082154370000015
式中，
Figure FDA0003082154370000016
为位移向量
Figure FDA0003082154370000017
在单位向量
Figure FDA0003082154370000018
上投影得到的一组标量值，
Figure FDA0003082154370000019
为待检测铁塔结构的观测矢量，q为单位向量的方向，Q为投影方向的个数；
根据所述待检测铁塔结构的观测矢量，确定待检测铁塔结构的模态参数，包括：
将待检测铁塔结构的观测矢量输入仅基于输出的模态参数估计函数，输出待检测铁塔结构在多个方向的模态参数。
2.如权利要求1所述的方法，其特征在于，所述待检测铁塔结构的多帧图像中，每一帧图像包括多组不同拍摄角度的差分图像。
3.如权利要求1至2任一项所述的方法，在将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型之前，所述方法还包括：
通过如下步骤训练得到所述铁塔结构缺陷检测模型：
获取训练样本数据，所述样本数据包括正样本和负样本，所述正样本为铁塔结构存在缺陷的位置的模态参数，所述负样本为铁塔结构正常的位置的模态参数；
将所述样本数据划分为训练集、测试集和验证集；
利用所述训练集对铁塔结构缺陷检测模型进行训练；
利用所述测试集对训练后的铁塔结构缺陷检测模型进行测试；
利用所述验证集对测试后的铁塔结构缺陷检测模型进行验证，得到所述铁塔结构缺陷检测模型。
4.一种输电线路的铁塔结构缺陷检测装置，其特征在于，包括：
图像采集模块，用于采集待检测铁塔结构的多帧图像；
三维动态模型生成模块，用于根据所述待检测铁塔结构的多帧图像，确定待检测铁塔结构的三维动态模型；
模态参数确定模块，用于根据所述待检测铁塔结构的三维动态模型，确定待检测铁塔结构的模态参数；
缺陷检测模块，用于将所述待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型，输出待检测铁塔结构的缺陷位置和缺陷类型；所述铁塔结构缺陷检测模型根据铁塔结构的模态参数样本预先训练生成；
所述模态参数确定模块具体用于：
根据所述待检测铁塔结构的三维动态模型，确定待检测铁塔结构的位移向量；
根据所述待检测铁塔结构的位移向量，确定待检测铁塔结构的观测矢量；
根据所述待检测铁塔结构的观测矢量，确定待检测铁塔结构的模态参数；
根据所述待检测铁塔结构的三维动态模型，确定待检测铁塔结构的位移向量，包括：
按照如下方式通过视觉匹配方法对多帧4幅不同图像的像素点进行匹配，得到三维动态模型中N个匹配点的像素位移向量：
Figure FDA0003082154370000031
式中，
Figure FDA0003082154370000032
表示匹配点的像素位移向量，其中，n＝1,…,N，N为匹配点个数，
Figure FDA0003082154370000033
R3为三维动态模型，I1(ξ,η,t)、I2(ξ,η,t)、I3(ξ,η,t)和I4(ξ,η,t)为4目图像，(ξ,η)表示二维图片中像素的坐标，t代表时间坐标；
根据所述待检测铁塔结构的位移向量，确定待检测铁塔结构的观测矢量，包括：
按照如下方式将N个匹配点的像素位移向量在多个方向的单位向量上投影，得到多维向量，将多维向量确定为待检测铁塔结构的观测矢量：
Figure FDA0003082154370000034
其中，
Figure FDA0003082154370000035
式中，
Figure FDA0003082154370000036
为位移向量
Figure FDA0003082154370000037
在单位向量
Figure FDA0003082154370000038
上投影得到的一组标量值，
Figure FDA0003082154370000039
为待检测铁塔结构的观测矢量，q为单位向量的方向，Q为投影方向的个数；
根据所述待检测铁塔结构的观测矢量，确定待检测铁塔结构的模态参数，包括：
将待检测铁塔结构的观测矢量输入仅基于输出的模态参数估计函数，输出待检测铁塔结构在多个方向的模态参数。
5.如权利要求4所述的装置，其特征在于，所述待检测铁塔结构的多帧图像中，每一帧图像包括多组不同拍摄角度的差分图像。
6.如权利要求4至5中任一项所述的装置，其特征在于，所述缺陷检测模块在将待检测铁塔结构的模态参数输入预先训练生成的铁塔结构缺陷检测模型之前，还用于通过如下步骤训练得到所述铁塔结构缺陷检测模型：
获取训练样本数据，所述样本数据包括正样本和负样本，所述正样本为铁塔结构存在缺陷的位置的模态参数，所述负样本为铁塔结构正常的位置的模态参数；
将所述样本数据划分为训练集、测试集和验证集；
利用所述训练集对铁塔结构缺陷检测模型进行训练；
利用所述测试集对训练后的铁塔结构缺陷检测模型进行测试；
利用所述验证集对测试后的铁塔结构缺陷检测模型进行验证，得到所述铁塔结构缺陷检测模型。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一所述输电线路的铁塔结构缺陷检测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一所述输电线路的铁塔结构缺陷检测方法的计算机程序。
CN201910915275.0A 2019-09-26 2019-09-26 输电线路铁塔结构缺陷检测方法及装置 Active CN110675387B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910915275.0A CN110675387B (zh) 2019-09-26 2019-09-26 输电线路铁塔结构缺陷检测方法及装置
PCT/CN2019/111373 WO2021056630A1 (zh) 2019-09-26 2019-10-16 输电线路铁塔结构缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910915275.0A CN110675387B (zh) 2019-09-26 2019-09-26 输电线路铁塔结构缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN110675387A CN110675387A (zh) 2020-01-10
CN110675387B true CN110675387B (zh) 2021-09-24

Family

ID=69079137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910915275.0A Active CN110675387B (zh) 2019-09-26 2019-09-26 输电线路铁塔结构缺陷检测方法及装置

Country Status (2)

Country Link
CN (1) CN110675387B (zh)
WO (1) WO2021056630A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI760813B (zh) * 2020-08-10 2022-04-11 國立臺灣科技大學 地震監測系統及地震監測方法
CN112150412B (zh) * 2020-08-31 2022-11-22 国网浙江省电力有限公司常山县供电公司 一种基于投影曲线分析的绝缘子自爆缺陷检测方法
CN112750160A (zh) * 2020-11-12 2021-05-04 泰州物族信息科技有限公司 像素级别垂直移位解析系统及方法
CN112880577A (zh) * 2021-01-20 2021-06-01 广西电网有限责任公司电力科学研究院 一种输电线路交叉跨越点在线监测与预警方法和系统
CN113781388A (zh) * 2021-07-20 2021-12-10 许继集团有限公司 基于图像增强的输电线路通道隐患图像识别方法及装置
CN113763325B (zh) * 2021-08-03 2024-02-13 山东电力工程咨询院有限公司 非立体环境下的杆塔高度及挂线点高度空间量测方法
CN113902908A (zh) * 2021-10-12 2022-01-07 广东电网有限责任公司广州供电局 一种安全围栏缺陷的多部件融合识别方法
CN114299359B (zh) * 2021-12-22 2024-05-10 山东浪潮科学研究院有限公司 一种检测输电线路故障的方法、设备及存储介质
TWI792827B (zh) * 2021-12-31 2023-02-11 鴻海精密工業股份有限公司 產品外觀缺陷檢測方法、電腦設備及儲存介質
CN114543875B (zh) * 2022-01-13 2023-04-18 中国民用航空飞行学院 一种北斗抗干扰卫星导航设备检测系统
CN115062730B (zh) * 2022-08-08 2023-01-31 北京芯可鉴科技有限公司 输电线检测方法、模型训练方法、装置、设备及介质
CN116342607B (zh) * 2023-05-30 2023-08-08 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116758122B (zh) * 2023-08-14 2023-11-14 国网智能电网研究院有限公司 一种基于跨源点云的输电线路铁塔位姿配准方法及装置
CN116798030B (zh) * 2023-08-28 2023-11-14 中国建筑第六工程局有限公司 曲面观光雷达高塔验收方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259426B1 (en) * 1999-04-21 2001-07-10 Sony Corporation Video image display apparatus and method
CN106949936A (zh) * 2017-04-27 2017-07-14 武汉大学 利用双目视觉位移监测系统分析输电塔结构模态的方法
CN109344430A (zh) * 2018-08-24 2019-02-15 国网山东省电力公司电力科学研究院 输电塔结构状态评估方法
CN109870108A (zh) * 2019-02-28 2019-06-11 北京国网富达科技发展有限责任公司 输电线路覆冰检测方法及装置
CN109872323A (zh) * 2019-02-28 2019-06-11 北京国网富达科技发展有限责任公司 输电线路的绝缘子缺陷检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259426B1 (en) * 1999-04-21 2001-07-10 Sony Corporation Video image display apparatus and method
CN106949936A (zh) * 2017-04-27 2017-07-14 武汉大学 利用双目视觉位移监测系统分析输电塔结构模态的方法
CN109344430A (zh) * 2018-08-24 2019-02-15 国网山东省电力公司电力科学研究院 输电塔结构状态评估方法
CN109870108A (zh) * 2019-02-28 2019-06-11 北京国网富达科技发展有限责任公司 输电线路覆冰检测方法及装置
CN109872323A (zh) * 2019-02-28 2019-06-11 北京国网富达科技发展有限责任公司 输电线路的绝缘子缺陷检测方法及装置

Also Published As

Publication number Publication date
WO2021056630A1 (zh) 2021-04-01
CN110675387A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110675387B (zh) 输电线路铁塔结构缺陷检测方法及装置
CN110108348B (zh) 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统
CN109870108B (zh) 输电线路覆冰检测方法及装置
CN106949936B (zh) 利用双目视觉位移监测系统分析输电塔结构模态的方法
CN105403143B (zh) 一种获取模拟地震振动台的位移变化的测量方法及其系统
CN109872323A (zh) 输电线路的绝缘子缺陷检测方法及装置
CN113870356B (zh) 一种结合目标检测与双目视觉的闸机通行行为识别与控制方法
CN104677330A (zh) 一种小型双目立体视觉测距系统
CN110084785B (zh) 一种基于航拍图像的输电线垂弧测量方法及系统
CN105547635A (zh) 一种用于风洞试验的非接触式结构动力响应测量方法
CN110702015B (zh) 输电线路覆冰厚度测量方法及装置
CN103438834A (zh) 基于结构光投影的层级式快速三维测量装置及测量方法
US9042655B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
CN114494427B (zh) 一种对吊臂下站人的违规行为检测方法、系统及终端
CN103986905A (zh) 一种三维环境下基于线路特征的视频空间实时漫游方法
CN117392568A (zh) 一种复杂场景下无人机巡检变电设备的方法
CN106197320B (zh) 一种分时复用快速三维扫描及其数据处理方法
CN205300519U (zh) 铁塔变形测量装置
Huang et al. Spatial displacement tracking of vibrating structure using multiple feature points assisted binocular visual reconstruction
CN110517307A (zh) 利用卷积实现基于激光散斑图的立体匹配方法
CN114973246A (zh) 一种基于光流对齐的交叉模式神经网络的裂缝检测方法
CN114552601A (zh) 双目视觉输电线震荡监测及三维重建方法
CN115131383A (zh) 一种基于双目视觉的输电线路外破识别方法
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
CN114359891A (zh) 一种三维车辆检测方法、系统、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant