CN115797411A - 一种利用机器视觉在线识别水电站电缆桥架形变的方法 - Google Patents

一种利用机器视觉在线识别水电站电缆桥架形变的方法 Download PDF

Info

Publication number
CN115797411A
CN115797411A CN202310063284.8A CN202310063284A CN115797411A CN 115797411 A CN115797411 A CN 115797411A CN 202310063284 A CN202310063284 A CN 202310063284A CN 115797411 A CN115797411 A CN 115797411A
Authority
CN
China
Prior art keywords
frame
cable bridge
target area
hydropower station
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310063284.8A
Other languages
English (en)
Other versions
CN115797411B (zh
Inventor
朱钊
梁波
乐零陵
熊曼妮
谌睿
崔磊
刘亚青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Institute of Survey Planning Design and Research Co Ltd
Original Assignee
Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Institute of Survey Planning Design and Research Co Ltd filed Critical Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority to CN202310063284.8A priority Critical patent/CN115797411B/zh
Publication of CN115797411A publication Critical patent/CN115797411A/zh
Application granted granted Critical
Publication of CN115797411B publication Critical patent/CN115797411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/20—Hydro energy

Abstract

本发明采用的技术方案是：一种利用机器视觉在线识别水电站电缆桥架形变的方法，包括以下步骤：连续获取待测水电站电缆桥架指定位置的视频图像；对视频图像的视频帧进行滤波处理；采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域;根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量。本发明能够实现无传感器、无接触、实时在线的电缆桥架形变状态监测。

Description

一种利用机器视觉在线识别水电站电缆桥架形变的方法
技术领域
本发明属于水利水电及人工智能技术领域，具体涉及一种利用机器视觉在线识别水电站电缆桥架形变的方法。
背景技术
在水电站中，电缆桥架是电缆敷设的载体，是各系统间电缆联系通道的重要组成部分。电缆桥架由于布置在水电站大坝、发电机机坑的特定区域，距离震源近，或者电缆敷设工艺不到位造成局部电缆堆积引起桥架荷载不均，以及早期电缆桥架材质上刚度、强度以及稳定性不足，特别是焊接固定部位，在长期运行过程中产生严重锈蚀，这些极易引起电缆桥架局部形变严重，进而折断，最终导致电缆坠落、甚至整体垮塌，必将引起系统瘫痪、机组停机等重大事故。
电缆桥架的这些变化具有一定的隐蔽性和趋势性，在实际的日常运行中很难被运行人员发现，很多重点部位电缆桥架布置在很高的楼板下方，或者高且狭小的电缆竖井内，由于运行空间的限制而无法有效巡视，因此成为电站、电厂日常运行维护工作的难点，这些变化通过日积月累容易导致各种隐患产生。
水电站内，多层电缆桥架其他系统管线一同布置在楼板下方、机坑内，或者布置到独立电缆空间，如电缆夹层、电缆竖井内，布置空间拥挤、狭小，同时，考虑到整体美观，使电缆桥架的布置具有一定隐蔽性，巡检难度大，在复杂工况下桥架变形难以发现和识别，目前没有行之有效的监测手段，往往是对于有缺陷的部件定期修复或者整体更换，对于变形趋势没有有效预测手段。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足，提供一种利用机器视觉在线识别水电站电缆桥架形变的方法，可对水电站重点部位电缆桥架进行识别和测量，对电缆桥架形变趋势分析，从而实现无传感器、无接触、实时在线的电缆桥架形变状态监测，能有效地获得电缆桥架的运行状态，避免形变变化量突破承受限值的危险情况发生，系统装置简洁、成本低，具有十分显著的社会效益和经济效益。
本发明采用的技术方案是：一种利用机器视觉在线识别水电站电缆桥架形变的方法，包括以下步骤：
连续获取待测水电站电缆桥架指定位置的视频图像；
对视频图像的视频帧进行滤波处理；
采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域;
根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量。
上述技术方案中，还包括以下步骤：基于获得的不同帧所对应帧的水电站电缆桥架的形变量，采用自适应动量估计方法训练神经网络，提取水电站电缆桥架当前形变量的变化趋势。
上述技术方案中，还包括以下步骤：实时计算每帧图像对应帧的水电站电缆桥架的形变量，并与设定阈值进行比较；基于比较结果选择是否发出预警信号。
上述技术方案中，对视频图像的视频帧进行滤波处理的过程包括：采用线性Kalman滤波器对视频图像的视频帧进行运动补偿，对采集的水电站电缆桥架指定位置的图像基于Kalman滤波进行时间更新和测量更新，得到稳定的帧位置信号，从而实现滤波处理。
上述技术方案中，采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域的过程包括：
选择近似阈值
Figure SMS_1
作为阈值初值，对图像上所有位置的灰度值取加权平均；
基于阈值初值将图像分割为两部分，图像中像素灰度值大于阈值初值
Figure SMS_3
的部分记为
Figure SMS_6
，小于阈值初值
Figure SMS_9
的部分记为
Figure SMS_4
，然后分别对两个区域
Figure SMS_7
和
Figure SMS_8
的灰度值取加权平均，得到其灰度均值
Figure SMS_10
和
Figure SMS_2
后，对其取平均作为新的分割阈值
Figure SMS_5
；
基于分割阈值
Figure SMS_12
将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值
Figure SMS_17
的部分记为
Figure SMS_22
，小于阈值初值
Figure SMS_14
的部分记为
Figure SMS_16
，重新计算两个区域
Figure SMS_19
和
Figure SMS_21
的灰度均值
Figure SMS_11
和
Figure SMS_15
，将其与
Figure SMS_18
和
Figure SMS_20
进行比较，若值分别相同，则阈值为
Figure SMS_13
，若不相同重复此步骤;
依此循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同而发生变化，则该分割阈值为计算得到二值图像的分割阈值；
利用分割阈值获取所述水电站电缆桥架及其室外环境背景图像的二值图像；室外环境背景的图像为白色，水电站电缆桥架的颜色为黑色；判定黑色区域为水电站电缆桥架，将其用矩形框标出，得到目标区域。
上述技术方案中，根据每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量的过程包括：
连续的不同帧视频图像中目标区域不同顶点坐标为
Figure SMS_23
；其中，n表示顶点的个数，i表示视频图像帧数索引；
水电站电缆桥架在第i个帧数对应帧的中心形变量
Figure SMS_24
和总体形变量
Figure SMS_25
采用下式计算：
Figure SMS_26
。
上述技术方案中，根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标的过程包括：定义核函数为空间中任一点到某一中心之间欧氏距离的单调函数；将前一帧的视频图像的目标区域的大小设置为核函数的带宽；将每个帧视频图像中所有像素值平均分为若干个区间，形成每个帧视频图像相应的若干个特征值；计算每个区间根据值域的大小分别对应的特征值；计算每个特征值的概率；在下一帧视频图像中寻找可能包含待测量对象的候选目标区域，并将候选目标区域质心坐标作为核函数的中心坐标，对该候选目标区域计算特征概率密度分布；根据候选目标区域的特征概率密度分布，计算候选目标区域与前一帧目标区域的相似度，得到候选目标区域的Meanshift向量；将前一帧中目标区域的中心位置作为搜索窗口的中心，不断迭代所述Meanshift向量，找到相似度最大的候选目标区域，作为下一帧的目标区域。
本发明的有益效果是：本发明针对水电站电缆桥架的某些重点的一段或者多段桥架形变现象提出的一种基于机器视觉和人工智能算法的高精度、在线识别其状态的方法。通过机器视觉的图像滤波技术、图像二值化方法和Meanshift目标追踪方法高精度识别两个方向上的位移，从而识别电缆桥架的形变状态，当发生超过安全系数范围内最小限值（预警阙值）的位移发生时，发出预警。进一步地，还可以基于输出的电缆桥架在不同时刻的形变值构成历史数据库，采用自适应动量估计方法训练神经网络，挖掘海量数据中蕴含的有效信息，对电缆桥架的形变状态趋势进行预测，发出相关的预警、预报或检修提示。本发明可对水电站重点部位电缆桥架进行识别和测量，对电缆桥架形变趋势分析，从而实现无传感器、无接触、实时在线的电缆桥架形变状态监测，能有效地获得电缆桥架的运行状态，避免形变变化量突破承受限值的危险情况发生，系统装置简洁、成本低，具有十分显著的社会效益和经济效益。
附图说明
图1为本发明的流程示意图；
图2为本发明的系统模块连接示意图；
图3为本发明的应用场景示意图。
其中，1-电缆桥架，2-工业相机，3-参照标尺。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。
如图1所示，本发明提供了一种利用机器视觉在线识别水电站电缆桥架形变的方法，包括以下步骤：
连续获取待测水电站电缆桥架指定位置的视频图像；
对视频图像的视频帧进行滤波处理；
采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域;
根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量。
基于获得的不同帧所对应帧的水电站电缆桥架的形变量，采用自适应动量估计方法训练神经网络，提取水电站电缆桥架当前形变量的变化趋势；
实时计算每帧图像对应帧的水电站电缆桥架的形变量，并与设定阈值进行比较；基于比较结果选择是否发出预警信号。
本发明提出的一种利用机器视觉在线识别水电站电缆桥架形变的方法，如图2所示，实现系统主要有光学系统、图像采集模块、图像处理系统、预警等状态输出交互界面，以水电站电缆桥架形变的机器视觉及AI识别为例，本发明的系统主要分解及设备功能介绍如下：
（1）工业级相机（单目或多目）
可选择面阵相机或线阵相机，对本具体实施例多段电缆桥架、需要全局图像进行分布和趋势分析时，选用面阵相机。在识别特定水电站电缆桥架变化的情景下，可选用黑白相机，当需要用颜色辅助识别时，选用彩色相机。相机分辨率根据实际图像幅宽与精度要求计算，本具体实施例要求高精度识别水电站电缆桥架各个边界点的坐标变化，因此选择较高分辨率1920像素×1080像素。本具体实施例为长期状态监测，帧率可选用低帧率如1fps。由于本具体实施例相机一般位置固定，因此镜头采用定焦、固定光圈。本具体实施例中在的电缆桥架的端部外侧固定设置X方向和Y方向分布标尺。相机在拍摄电缆桥架的端部的同时，同步获取标尺的图像，标尺用于实现电缆桥架位移的参照作用。
（2）专用光源
专用光源是考虑识别水电站电缆桥架对象所在环境光线不足时的必要补充光源。光源配置照明控制器，根据现场环境调节光源亮度。
（3）图像采集卡
用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据分辨率和帧率决定传输带宽，结合传输距离可选择USB3.0、Camera Link或GigE接口。本具体实施例选择USB3.0接口。
（4）机器识别及AI算法处理单元
用于执行利用机器视觉在线识别水电站电缆桥架形变的方法程序。对于水电站电缆桥架的外形轮廓进行高精度识别，在图像滤波技术、图像二值化方法应用后，可识别电缆桥架的形状变化及幅值，包括水平、垂直两个方向上的位移。通过相机帧率及时间间隔，获得电缆桥架变形、位移等状态趋势。
（5）预警装置
用于当发生超过安全系数范围内电缆桥架形变最小限值（预警阙值）的位移或变化量时，发出预警信号。预警信号包括指示灯信号以及图像信号，根据形变位移量情况分3级报警，分别为轻度位移，中度位移以及重度位移。轻度位移情况蓝色指示灯亮并在识别出的形变位置显示蓝色区域；中度位移情况黄色指示灯亮并在识别出的形变位置显示黄色区域；重度泄露情况红色指示灯亮并在识别出的形变位置显示红色区域。
预警装置设置远程数据采集终端，将测量的形变报警信息以及状态趋势信息传送至远方计算机监控系统。
（6）趋势状态输出显示装置
用于输出上述在特征标记点识别和时间参数分析下的水电站电缆桥架形变、位移等状态趋势。
（7）网络传输装置
用于将本地图像处理系统内的图形和视频信息以及报警预警信息通过有线网络传输或者无线网络传输的方式传输至远方计算机监控系统。
（8）电源及控制电缆
用于连接上述设备的动力电缆接入和控制电缆连接。
以布置在大坝、出线电缆井道中的水电站电缆桥架新形变状态的机器视觉及AI识别为例（其他场景电缆桥架形变状态机器视觉识别方法同理类推），本发明专利的主要原理及流程如下：
本例三峡电站大坝电缆竖井垂直高差达100米，桥架层数多，局部达到6层以上，大坝、电站廊道内电缆桥架长度也超过200米，局部达到8层，部分电缆长度近200~300米，如果出现局部电缆桥架变形，引起电缆坠落，或者桥架、电缆整体垮塌，必将造成重大安全事故。
对于水平电缆桥架直线段标准长度一般为2000mm，电缆桥架支、吊架跨距为1500mm，桥架边高通常60~100mm，电缆桥架内设置有横担，横担间距一般230~300mm，电缆水平铺设在桥架内，在拐弯、衔接处进行固定，在此条件下，钢制电缆桥架能承受的额定均布荷载不小于1500N/m(不包括电缆桥架及附件自重)，其挠度值不大于4.5mm，电缆桥架能承受短暂上人时900N的附加集中荷载，其挠度值不大于7.1mm。支、吊架的单侧或双侧托臂在水平、垂直、倾斜承受额定负载时的最大挠度值与其支吊架本身长度之比不大于1/100。通过机器视觉，对于水平布置电缆桥架，最大形变量5mm左右均可以精准识别，精确度满足电缆桥架的形变识别要求。
具体实施实例如下：
如图3所示，首先在布置在大坝、出线电缆井道中的水电站电缆桥架处设置机器视觉光学系统，使其在X轴和Y轴两个方向上的图像在标定相机视域范围内。对应相机镜头图像范围，设置LED光源补光，满足现场高清晰成像的照度要求。相机为工业级，1920像素×1080像素，选用1fps帧率。采用图像采集卡用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据上述分辨率和帧率所决定传输带宽选择USB3.0接口。
采用相机系统对电缆桥架进行高质量成像后，需要进行图像滤波技术、图像二值化方法应用后，识别并测量布置在大坝、出线电缆井道中的水电站电缆桥架的变化及幅值，包括水平、垂直两个方向上的位移或形变，通过相机帧率及时间间隔，以△X,x/week、△Y,y/week或△X,y/month、△Y,y/month输出。
最后基于输出的电缆桥架在不同时刻的形变值构成历史数据库，采用自适应动量估计方法训练神经网络，挖掘海量数据中蕴含的有效信息，对电缆桥架的形变状态趋势进行预测和趋势分析，发出相关的预警、预报或检修提示。
对视频图像的视频帧进行滤波处理的过程包括：采用线性Kalman滤波器对视频图像的视频帧进行运动补偿，对采集的水电站电缆桥架指定位置的图像基于Kalman滤波进行时间更新和测量更新，得到稳定的帧位置信号，从而实现滤波处理。
首先负责及时向前推算当前视频帧状态变量和误差协方差估计的值，以便为当前时间状态构造先验估计，后者负责反馈，进而将视频帧的先验估计和新的实际测量值结合以而构造改进的后验估计。
此过程亦可成为预估和校正过程，数学原理表示如下：
Figure SMS_27
（1）
Figure SMS_28
（2）
Figure SMS_29
（3）
Figure SMS_30
（4）
Figure SMS_31
（5）
式（1）表示Kalman滤波的状态预测方程，式（2）表示Kalman滤波在预测状态下的协方差方程，式（3）表示Kalman滤波的滤波增益方程，式（4）表示Kalman滤波的状态最优化估计方程，式（5）表示Kalman滤波状态最优化估计的协方差方程。利用Kalman滤波首先对采集的电缆桥架的平滑时，其主要步骤是：首先根据公式（3）计算测量更新的Kalman增益
Figure SMS_32
，然后假定初值
Figure SMS_33
和
Figure SMS_34
，并结合在k时刻的实际测量值
Figure SMS_35
和公式（4），对于k时刻估计状态的后验估计
Figure SMS_36
进行递推计算，最后根据式（5）对估计状态的后验协方差
Figure SMS_37
进行计算。
由于图像中主要包含水电站电缆桥架及其室外环境背景两种颜色类型的图形，因此可以采用将获取的非二值图像转化为二值图像的方法提取电缆桥架的外轮廓。迭代阈值选择算法的具体实施步骤为：
1）先选择近似阈值
Figure SMS_38
作为初值，其计算方式为对前述紧固螺栓及固定部位图像上所有位置的灰度值取加权平均
Figure SMS_39
，
Figure SMS_40
表示图像上的所有像素点，
Figure SMS_41
表示第n个像素点上的灰度值，
Figure SMS_42
表示像素点在图像上的位置。
2）基于阈值初值将前述图像分割为两部分，图像中像素灰度值大于阈值初值
Figure SMS_45
的部分记为
Figure SMS_46
，小于阈值初值
Figure SMS_49
的部分记为
Figure SMS_44
，然后分别对两个区域
Figure SMS_47
和
Figure SMS_50
的灰度值取加权平均，得到其灰度均值
Figure SMS_51
和
Figure SMS_43
后，对其次取平均作为新的分割阈值
Figure SMS_48
，其中：
Figure SMS_52
。
3）基于分割阈值
Figure SMS_54
将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值
Figure SMS_59
的部分记为
Figure SMS_61
，小于阈值初值
Figure SMS_56
的部分记为
Figure SMS_58
，根据上式重新计算两个区域
Figure SMS_60
和
Figure SMS_62
的灰度均值
Figure SMS_53
和
Figure SMS_57
，将其与
Figure SMS_63
和
Figure SMS_64
进行比较，若值分别相同，则阈值为
Figure SMS_55
，若不相同重复此步骤。
4）依此类推，循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同而发生变化，则该分割阈值为计算得到二值图像的分割阈值。即若
Figure SMS_65
，则
Figure SMS_66
。r表示迭代次数。
利用分割阈值获取所述水电站电缆桥架及其室外环境背景图像的二值图像；室外环境背景的图像为白色，水电站电缆桥架的颜色为黑色；判定黑色区域为水电站电缆桥架，将其用矩形框标出，得到目标区域。
然后结合Meanshift目标追踪方法对水电站电缆桥架的变化状态进行检测。首先，将核函数（一般意义上为某种沿径向对称的标量函数）作用于该区域。本发明采用的方法将核函数
Figure SMS_67
定义为空间中任一点
Figure SMS_68
到某一中心
Figure SMS_69
之间欧氏距离的单调函数，可记作
Figure SMS_70
。进一步地，将目标区域（目标框）的大小设置为核函数的带宽
Figure SMS_71
。同时，将视频帧中所有像素值平均分为n个区间，此时该视频帧中特征值的总数
Figure SMS_72
。由于每个区间根据值域的大小可分别对应其中一个特征值，因为需要计算每个特征值u的概率，计算方法如式（6）所示：
Figure SMS_73
（6）
式中，C表示目标模型的归一化常数，δ（） 为kronecker data函数，用于判断该区域内的像素值是否与该特征值相等。xi表示每个区间任一像素，u表示特征值；b(xi)函数的作用是判断目标区域中像素xi处的像素值是否属于第u个单元 。然后，在后一帧中寻找可能包含视觉特征标志物（电缆桥架）的目标框，并将其目标框质心坐标作为核函数的中心坐标，基于此对该目标框计算特征概率密度分布。
若候选目标框区域的中心坐标为y，则候选区域的概率分布可根据（7）进行计算：
Figure SMS_74
（7）
式中，
Figure SMS_75
表示候选区域的归一化常数。基于目标框和候选区域，选取巴氏系数（Bhattacharyya)作为相似性函数，以度量目标与候选目标直方图之间的相似性，具体表示为：
Figure SMS_76
（8）
根据上式可判断候选区域与目标区域的相似度，
Figure SMS_77
的数值越大，表明目标模型和候选模型越相似。进一步地，可得出目标区域的Meanshift向量如式（9）所示：
Figure SMS_78
（9）。
最后，将前一帧中目标框的中心位置作为搜索窗口的中心，不断迭代 Meanshift向量，进而找到使得相似函数最大的候选区域，即为当前帧中目标框的位置，计算存储该次目标像素坐标。
基于上述方法，首先根据检测到的前景目标图像，采用前述基于迭代阈值选择算法的图像二值化方法对得到水电站电缆桥架不同顶点的坐标
Figure SMS_79
，然后基于Meanshift目标追踪方法获取发生变化后的对应顶点的坐标
Figure SMS_80
,k=1,2,...,n，其中，n表示顶点的个数，i表示摄像头拍摄的图像帧数索引。桥架中心点的偏移，以及其边界任意一个点位置的变化都可以被判定为桥架的形变，因此本发明定义了水电站电缆桥架的中心形变量
Figure SMS_81
和总体形变量
Figure SMS_82
作为发出预警信号的判别依据，具体可根据公式（10）分别进行计算：
Figure SMS_83
（10）。
本申请还可以通过识别不同帧视频图像中目标区域在水平、垂直两个方向上的位移或形变，进行等比换算得到电缆桥架实际的形变和位移大小。
若在前后两帧视频图像中目标区域的4个顶点位移的方向和大小相同，则判定电缆桥架只发生了位移，电缆桥架的位移量为4个顶点的位移量。
若前后两帧视频图像中目标区域的4个顶点位移的的方向和大小不同，则判定电缆桥架发生了形变和位移，4个顶点位移量的平均值即为母线的位移量。
进一步地，基于获得的水电站电缆桥架的形变大小历史数据，采用自适应动量估计方法训练神经网络，进而根据不算实时跟新的水电站电缆桥架的形变数据提取水电站电缆桥架当前形变量的变化趋势。
传统的深度学习算法中常用梯度下降法训练神经网络，通常需要反复迭代才能寻找到最佳模型，但是传统梯度下降法只能采取较小的学习率，训练速度过慢，导致寻找最优值的时间过长。动量梯度下降法经过指数加权平均，采用稍大的学习率，可加快梯度下降的速度。均方根传播法通过调整更新参数时的步伐大小，在变化较小的方向上增大步伐，在变化较大的方向上减小步伐，可设置较大的学习率，加快梯度下降的速度。而自适应动量估计方法算法结合了两者的优势，不仅通过指数加权平均计算梯度和平方梯度，并调整移动平均值的更新步伐大小，在实际中的效果优于其他方法。其计算过程如下：
步骤1:初始化参数，一阶矩估计值
Figure SMS_84
和二阶矩估计值
Figure SMS_85
。
步骤2:在第t次迭代中，计算目标函数的梯度
Figure SMS_86
，
Figure SMS_87
表示待更新的参数，
Figure SMS_88
表示函数梯度。
步骤3:计算Momentum指数加权平均数
Figure SMS_89
，
Figure SMS_90
表示一阶矩估计的指数衰减率。
步骤4:用RMSprop更新参数
Figure SMS_91
，
Figure SMS_92
表示二阶矩估计的指数衰减率。
步骤5:计算修正偏差
Figure SMS_93
：
Figure SMS_94
。
步骤6:更新权重
Figure SMS_95
，α为学习率，需要手动调整。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种利用机器视觉在线识别水电站电缆桥架形变的方法，其特征在于：包括以下步骤：
连续获取待测水电站电缆桥架指定位置的视频图像；
对视频图像的视频帧进行滤波处理；
采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域;
根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量。
2.根据权利要求1所述的一种方法，其特征在于：还包括以下步骤：基于获得的不同帧所对应帧的水电站电缆桥架的形变量，采用自适应动量估计方法训练神经网络，提取水电站电缆桥架当前形变量的变化趋势。
3.根据权利要求1所述的一种方法，其特征在于：还包括以下步骤：实时计算每帧图像对应帧的水电站电缆桥架的形变量，并与设定阈值进行比较；基于比较结果选择是否发出预警信号。
4.根据权利要求1所述的一种方法，其特征在于：对视频图像的视频帧进行滤波处理的过程包括：采用线性Kalman滤波器对视频图像的视频帧进行运动补偿，对采集的水电站电缆桥架指定位置的图像基于Kalman滤波进行时间更新和测量更新，得到稳定的帧位置信号，从而实现滤波处理。
5.根据权利要求1所述的一种方法，其特征在于：采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域的过程包括：
选择近似阈值
Figure QLYQS_1
作为阈值初值，对图像上所有位置的灰度值取加权平均；
基于阈值初值将图像分割为两部分，图像中像素灰度值大于阈值初值
Figure QLYQS_4
的部分记为
Figure QLYQS_7
，小于阈值初值
Figure QLYQS_8
的部分记为
Figure QLYQS_3
，然后分别对两个区域
Figure QLYQS_5
和
Figure QLYQS_9
的灰度值取加权平均，得到其灰度均值
Figure QLYQS_10
和
Figure QLYQS_2
后，对其取平均作为新的分割阈值
Figure QLYQS_6
；
基于分割阈值
Figure QLYQS_11
将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值
Figure QLYQS_16
的部分记为
Figure QLYQS_18
，小于阈值初值
Figure QLYQS_13
的部分记为
Figure QLYQS_17
，重新计算两个区域
Figure QLYQS_20
和
Figure QLYQS_21
的灰度均值
Figure QLYQS_12
和
Figure QLYQS_15
，将其与
Figure QLYQS_19
和
Figure QLYQS_22
进行比较，若值分别相同，则阈值为
Figure QLYQS_14
，若不相同重复此步骤;
依此循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同而发生变化，则该分割阈值为计算得到二值图像的分割阈值；
利用分割阈值获取所述水电站电缆桥架及其室外环境背景图像的二值图像；室外环境背景的图像为白色，水电站电缆桥架的颜色为黑色；判定黑色区域为水电站电缆桥架，将其用矩形框标出，得到目标区域。
6.根据权利要求1所述的一种方法，其特征在于：根据每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量的过程包括：
连续的不同帧视频图像中目标区域不同顶点坐标为
Figure QLYQS_23
；其中，n表示顶点的个数，i表示视频图像帧数索引；
水电站电缆桥架在第i个帧数对应帧的中心形变量
Figure QLYQS_24
和总体形变量
Figure QLYQS_25
采用下式计算：
Figure QLYQS_26
。
7.根据权利要求1所述的一种方法，其特征在于：根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标的过程包括：定义核函数为空间中任一点到某一中心之间欧氏距离的单调函数；将前一帧的视频图像的目标区域的大小设置为核函数的带宽；将每个帧视频图像中所有像素值平均分为若干个区间，形成每个帧视频图像相应的若干个特征值；计算每个区间根据值域的大小分别对应的特征值；计算每个特征值的概率；在下一帧视频图像中寻找可能包含待测量对象的候选目标区域，并将候选目标区域质心坐标作为核函数的中心坐标，对该候选目标区域计算特征概率密度分布；根据候选目标区域的特征概率密度分布，计算候选目标区域与前一帧目标区域的相似度，得到候选目标区域的Meanshift向量；将前一帧中目标区域的中心位置作为搜索窗口的中心，不断迭代所述Meanshift向量，找到相似度最大的候选目标区域，作为下一帧的目标区域。
CN202310063284.8A 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法 Active CN115797411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310063284.8A CN115797411B (zh) 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310063284.8A CN115797411B (zh) 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Publications (2)

Publication Number Publication Date
CN115797411A true CN115797411A (zh) 2023-03-14
CN115797411B CN115797411B (zh) 2023-05-26

Family

ID=85429819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310063284.8A Active CN115797411B (zh) 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Country Status (1)

Country Link
CN (1) CN115797411B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309672A (zh) * 2023-05-23 2023-06-23 武汉地震工程研究院有限公司 一种基于led标靶的夜间桥梁动挠度测量方法与装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596129A (zh) * 2018-04-28 2018-09-28 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN109919053A (zh) * 2019-02-24 2019-06-21 太原理工大学 一种基于监控视频的深度学习车辆停车检测方法
CN110211160A (zh) * 2019-05-30 2019-09-06 华南理工大学 一种基于改进Camshift算法的人脸跟踪方法
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN113034397A (zh) * 2021-03-30 2021-06-25 北京睿芯高通量科技有限公司 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法
WO2022040846A1 (zh) * 2020-08-24 2022-03-03 华为技术有限公司 一种优化运动矢量的方法及其相关设备
CN114862904A (zh) * 2022-03-21 2022-08-05 哈尔滨工程大学 一种水下机器人的孪生网络目标连续跟踪方法
CN115471501A (zh) * 2022-10-31 2022-12-13 长江勘测规划设计研究有限责任公司 利用机器视觉在线识别发电机气隙分布状态的方法及系统
CN115511880A (zh) * 2022-11-07 2022-12-23 长江勘测规划设计研究有限责任公司 一种利用机器视觉识别测量两轴振动幅值和频率的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN108596129A (zh) * 2018-04-28 2018-09-28 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN109919053A (zh) * 2019-02-24 2019-06-21 太原理工大学 一种基于监控视频的深度学习车辆停车检测方法
CN110211160A (zh) * 2019-05-30 2019-09-06 华南理工大学 一种基于改进Camshift算法的人脸跟踪方法
WO2022040846A1 (zh) * 2020-08-24 2022-03-03 华为技术有限公司 一种优化运动矢量的方法及其相关设备
CN113034397A (zh) * 2021-03-30 2021-06-25 北京睿芯高通量科技有限公司 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法
CN114862904A (zh) * 2022-03-21 2022-08-05 哈尔滨工程大学 一种水下机器人的孪生网络目标连续跟踪方法
CN115471501A (zh) * 2022-10-31 2022-12-13 长江勘测规划设计研究有限责任公司 利用机器视觉在线识别发电机气隙分布状态的方法及系统
CN115511880A (zh) * 2022-11-07 2022-12-23 长江勘测规划设计研究有限责任公司 一种利用机器视觉识别测量两轴振动幅值和频率的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309672A (zh) * 2023-05-23 2023-06-23 武汉地震工程研究院有限公司 一种基于led标靶的夜间桥梁动挠度测量方法与装置

Also Published As

Publication number Publication date
CN115797411B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
KR102129893B1 (ko) 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
CN107808133B (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN113744270A (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN111781113B (zh) 一种粉尘网格化定位方法及粉尘网格化监测方法
CN110458157B (zh) 一种电力电缆生产过程智能监控系统
CN102768022A (zh) 采用数码照相技术的隧道围岩变形检测方法
CN110130987B (zh) 一种基于图像分析的隧道收敛变形监测方法
CN113538503B (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN110909738A (zh) 一种基于关键点检测的指针仪表自动读数方法
CN115797411B (zh) 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN111476785B (zh) 基于位置记录的夜间红外反光水尺检测方法
CN114812403A (zh) 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN115639248A (zh) 一种用于建筑外墙质量检测的系统及方法
CN114049320A (zh) 一种基于图片相似度的器件缺失ai质检方法与装置
CN115808129B (zh) 一种机器视觉识别发电机母线位移和形变的方法
CN115493740B (zh) 利用机器视觉测量水轮机内部流道压力脉动的方法及系统
CN111967323B (zh) 一种基于深度学习算法的电力带电作业安全检测方法
CN112862898A (zh) 一种基于计算机视觉的流速测定方法
CN116901089A (zh) 一种多角度视距的机器人控制方法及系统
CN109879170B (zh) 一种起重机吊臂旁弯位移实时检测系统
CN115171006B (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN108961305B (zh) 一种基于图像识别的海浪爬坡监测方法
CN112884731B (zh) 一种基于机器视觉的水位检测方法及河道监测方法
CN114720425A (zh) 一种基于图像识别的能见度监测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant