CN116740647A - 基于双目相机和深度学习的高压输电线路舞动监测方法 - Google Patents
基于双目相机和深度学习的高压输电线路舞动监测方法 Download PDFInfo
- Publication number
- CN116740647A CN116740647A CN202310866237.7A CN202310866237A CN116740647A CN 116740647 A CN116740647 A CN 116740647A CN 202310866237 A CN202310866237 A CN 202310866237A CN 116740647 A CN116740647 A CN 116740647A
- Authority
- CN
- China
- Prior art keywords
- image
- transmission line
- reference object
- galloping
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012544 monitoring process Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000006073 displacement reaction Methods 0.000 claims abstract description 70
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000001228 spectrum Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 241001442234 Cosa Species 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于双目相机和深度学习的高压输电线路舞动监测方法，属于高压输电线路舞动监测技术领域。技术方案是：采集高压输电线路的原始视频，从原始视频中提取图像数据集；将图像数据集A作为全卷积神经网络FCN的输入，得到导线的语义分割结果；对全卷积神经网络FCN语义分割后的图像进行处理，得出最终提取的导线；利用LK光流对提取出来导线中的参照物进行运动追踪，得出最终的导线位移情况；对参照物的位移变化曲线进行快速傅里叶变换 FFT处理，可获得导线舞动振幅频谱。本发明采用基于深度学习的FCN网络提升了整体算法的综合性能，降低了对资源和时间的消耗需求，将深度学习融入线路舞动监测中，提高识别精度和效率。
Description
技术领域
本发明涉及一种基于双目相机和深度学习的高压输电线路舞动监测方法，属于高压输电线路舞动监测技术领域。
背景技术
高压输电线路承担着输送电能的重要角色，舞动是输电线路覆冰或者在风激励作用下不均匀受力产生的一种低频大振幅的自激振动现象，输电线路舞动可能会导致电气故障和/或机械损伤，影响电力系统的正常运行和稳定性，舞动已经成为威胁线路安全的主要因素之一，因此输电线路舞动监测对于线路安全、电力系统正常运行都具有重要意义。
目前，主要通过传感数据和视频图像进行输电线路舞动监测，基于传感数据的监测方法是将传感器安装于输电塔上，采集输电线路舞动时的各种参数，并传送给远程计算机进行后续处理分析，从而实现舞动在线监测。这种方法可以准确测量舞动幅值、舞动频率、振动半波数等参数，便于获取完整的输电线路舞动波形，缺点是传感器部署数量问题，较多的传感器虽然可以提高测量精度，但是会增加投资成本和后期维护成本，还会加重线路负担导致电线舞动模型破坏；传感器数量少可以降低成本，但是精度也会下降，不能很好地拟合线路舞动轨迹。
由于输电线路舞动参数起到良好的监测作用，因而，视频监测法正越来越多地应用于输电线路舞动监测相关领域。与基于传感数据的监测方法相比，基于视频图像的监测方法则是通过实时采集线路舞动视频，将采集的视频上传到控制中心，经过分析后确定线路是否舞动。这种方法的优势是摄像头安装容易，不需要在输电电路上布置大量传感器，大大节省了传感器安装和维护的时间和经济成本，但是仍然需要不断完善和发展。
根据上述背景，本申请对基于视频图像的输电线路舞动监测系统进行研究分析，提出一种基于深度学习的线路舞动监测方法，为高压输电线路舞动监测提供了新思路。
发明内容
本发明目的是提供一种基于双目相机和深度学习的高压输电线路舞动监测方法，以全卷积神经网络FCN(Fully Convolutional Network)为核心并融合Lucas-Kanade稀疏光流(LK光流)提出了基于深度学习的线路舞动运动轨迹及幅频特性提取方法，为线路运行状态监测提供技术参考，有助于配网线路的安全可靠运行，同时采用双目相机(Stereo)测距为最终的数据结果进行参考校准，取平均值，提高了监测精度和效率，为输电线路舞动监测提供了新思路，解决了背景技术中存在的问题。
本发明解决所述技术问题所采用的技术方案如下：
一种基于双目相机和深度学习的高压输电线路舞动监测方法，首先采集高压输电线路的原始视频，从原始视频中提取图像数据集；其次，将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；接着，对全卷积神经网络FCN语义分割后的图像进行处理，将直接分割获得的图像进行二值化处理，保留二值化图像中面积最大的连通区，此即最终提取的导线；最后，利用LK光流对提取出来导线中的参照物进行运动追踪，追踪参照物随时间的位置变化，得出参照物的位移情况，并和双目相机所测得参照物的位移情况进行对比参照取平均值，得出最终的导线位移情况；然后对参照物的位移变化曲线进行快速傅里叶变换FFT处理，可获得导线舞动振幅频谱。采用基于深度学习的FCN网络提升了整体算法的综合性能，降低了对资源和时间的消耗需求，因此将深度学习融入线路舞动监测中，能够提高识别精度和效率，同时也为输电线路舞动监测提供了新思路。
包括以下步骤：
步骤一、设备安装；将摄像头和双目相机一起安装在电线杆顶部，同时在距电线杆不远处的导线上加装一个信标参照物；
步骤二、采集高压输电线路的舞动视频作为原始视频；利用安装在高压电线杆上的摄像头采集输电线路舞动的视频，需要输电线路位于摄像头和双目相机的镜头视野内；采集的视频中应包含线路舞动不同幅度所对应的多个视频片段；
步骤三、制作数据集；将前方摄像头采集传输回来的原始视频进行剪辑，将视频逐帧拆解为图片；然后，选择Matlab中的Image Labeler对图片的前景和背景进行标注，接着对已标注的图像进行随机水平和垂直方向平移操作以增加训练的数据量；最后，将原始标注的图像与平移后的图像合并组成最终训练网络的数据集，得到图像数据集A；
1)使用视频处理工具以1帧/秒的速率，从原始视频中提取视频帧；
2)Matlab中的Image Labeler对图片的前景和背景进行标注；
3)对已标注的图像进行随机水平和垂直方向平移操作并将原始标注的图像与平移后的图像合并组成最终训练网络的图像数据集A；
步骤四、训练网络；将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果。FCN网络主要由输入层、卷积层、池化层、全卷积层和输出层组成。通过若干卷积层、激活层和池化层进行图像特征提取，采用若干反卷积层、池化层对图像进行上采样，把图像分析成果恢复到与原始图像一致，达到端到端训练的目的；
步骤五、图像修饰；为方便对导线舞动轨迹的提取，需要对全卷积神经网络FCN语义分割后的图像进行处理；首先，将直接分割获得的图像进行二值化处理；然后，只保留二值化图像中面积最大的连通区，此即最终提取的导线；
步骤六、参照物位移测算，利用LK光流对提取出来导线中的参照物进行运动追踪，随时间的位置变化，得出位移情况；
在LK光流中，来自相机的图像是随时间变化的，图像是时间的函数I(t)，假设t时刻下，参照物位于(x,y)处，它的灰度可写成I(x,y,t)；它在图像中的坐标将发生变化，引入光流法的基本假设：灰度不变假设，即同一个空间点的像素灰度值，在各个图像中是固定不变的；对于t时刻位于(x,y)处，设t+dt时刻它运动到(x+dx,y+dy)处；由于灰度不变，有：
I(x+dx，y+dy，t+dt)＝I(x，y，t)
对左边进行泰勒展开，保留一阶项，得
因为假设了灰度不变，于是下一个时刻的灰度等于之前的灰度，从而：
两边除以dt,得
其中dx/dt为参照物在x轴上的运动，而dy/dt为y轴上的速度，把它们记为u，v；同时，为图像在该点处x方向的梯度，另一项则是在y方向的梯度，记为Ix，Iy；把图像灰度对时间的变化量记为It,写成矩阵形式，有
计算的是参照物的运动u，v，但是该式是带有两个变量的一次方程，必须引入额外的约束。在LK光流中，假设某一个窗口内的像素具有相同的运动，考虑一个大小为r*r的窗口，它含有r2数量的像素；该窗口内像素具有同样的运动，因此共有r2个方程：
记：
A＝[Ix Iy]k，b＝Itk
于是整个方程为
这是一个关于u，v的超定线性方程，传统解法是求最小二乘解；
这样就求得参照物在图像间的运动速度u，v，则在x方向y方向的位移为速度乘每帧图像间隔时间Δt
dx＝u*Δt dy＝v*Δt
由勾股定理可求得参照物对于每帧图片的位移
步骤七、利用安装在摄像头旁边的双目相机测出相机与参照物之间的距离，通过不同时刻相机拍出的照片提取出参照物的位置变化，采用余弦定理得出参照物的位移情况并和LK光流的结果进行参照对比并取平均值，得出最终的导线位移情况；然后对参照物的位移变化曲线进行快速傅里叶变换处理，可获得导线舞动振幅频谱；
在左右双目相机中，f为焦距，两个相机的光圈中心都位于x轴上，两者之间的距离称为双目相机的基线，记作B；参照物P在左眼相机和右眼相机各成一像，记作pl和pr。由于左右相机只在x轴上有位移，所以P的像也只在x轴上有差异。记它的左侧坐标为yl，右侧坐标为yr，根据ΔPplpr和ΔPOlOr的相似关系，有：
得
其中d定义为左右图的横坐标之差，称为视差；根据视差，估计一个像素与相机之间的距离：
根据余弦定理，令b＝c＝zc，测出线路舞动的cosA＝b2+c2-a2/2bc
令b＝c＝zc，并测出线路舞动的角度A，即可求得参照物的位移距离；最后与LK光流计算出来的位移进行对比，取平均值后得到最终的位移。
所述输电线路包括静止和舞动两种动作；所述输电线路为任何高压线路；所述模型采用深度学习网络FCN搭建。
与现有技术相比，本发明的有益效果是：
FCN(Fully Convolutional Network)是一种专门设计用于语义分割任务的深度学习网络架构，可以通过端到端的方式进行训练，无需手动提取特征，使得训练和推理过程更加简单和高效，且由于是全卷积结构，FCN可以适应任意尺寸的输入图像，并且输出相应大小的语义分割结果，这使得模型可以应用于不同尺寸的图像，具有更广泛的适用性。另外，上采样和跳跃连接的引入，使得FCN能够准确地还原原始图像的分辨率，保留更多的细节信息，提高了语义分割的准确性。
本发明首先将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；其次，将直接分割获得的图像进行二值化处理；然后，只保留二值化图像中面积最大的连通区，此即最终提取的导线以及参照物圆球；最后，利用LK光流对提取出来导线中的参照物圆球进行运动追踪，追踪圆球随时间的位置变化，得出圆球的位移情况并进行快速傅里叶变换FFT获得导线舞动振幅频谱，定义一个阈值区间来进行异常监测。该方法适用于任何条件下的高压输电线路舞动监测中，例如分析输电线路因覆冰产生舞动等异常情况，具有普适性；对于提高输电线路舞动监测的精准度和效率具有重要意义。同时，为判断导线是否发生舞动并及时制定防范舞动的针对性措施提供参考，达到高压输电线路舞动监测的目的，从而降低线路舞动诱发故障的风险。
深度学习获得的是图像中的舞动位移，无法获知实际的舞动位移，但是结合双目相机就可获知实际的舞动位移，对于指定输电线路舞动的防范措施和舞动危害判定都具有指导意义。
附图说明
图1是本发明的整体流程示意图；
图2是双目摄像机图；
图3是FCN网络的基本结构示意图；
图4是FCN网络的基本结构立体图；
图5是LK光流法示意图；
图6是双目摄像机测距原理图；
图7是参照对比说明图。
具体实施方式
下面结合附图给出具体实施例，具体实施例仅用于详细介绍本发明的技术方案，并不以此限定本申请的保护范围。
一种基于双目相机和深度学习的高压输电线路舞动监测方法，首先采集高压输电线路的原始视频，从原始视频中提取图像数据集；其次，将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；接着，对全卷积神经网络FCN语义分割后的图像进行处理，将直接分割获得的图像进行二值化处理，保留二值化图像中面积最大的连通区，此即最终提取的导线；最后，利用LK光流对提取出来导线中的参照物进行运动追踪，追踪参照物随时间的位置变化，得出参照物的位移情况，并和双目相机所测得参照物的位移情况进行对比参照取平均值，得出最终的导线位移情况；然后对参照物的位移变化曲线进行快速傅里叶变换FFT处理，可获得导线舞动振幅频谱。采用基于深度学习的FCN网络提升了整体算法的综合性能，降低了对资源和时间的消耗需求，因此将深度学习融入线路舞动监测中，能够提高识别精度和效率，同时也为输电线路舞动监测提供了新思路。
在实施例中，本发明提供一种基于双目相机和深度学习的高压输电线路舞动监测方法(简称方法，参见图1～7)，包括以下步骤：
步骤一、在输电线路上安装一个参照物(以小圆球为例)，将摄像头和双目相机一起安装在高压电线杆上，利用摄像头采集输电线路舞动视频，视频中应包含参照物，同时应包含输电线路不同舞动幅度的多个视频片段，以保证具有足够大的数据集；利用双目相机采集输电线路舞动图像；
使用视频处理工具以1帧/秒的速率，从输电线路舞动视频中提取视频帧，得到输电线路舞动图像序列；利用Matlab软件中的Image Labeler对各帧图像的前景(前景为输电线路)和背景进行标注；采用平移、翻转等操作进行数据增强，所有原始图像和数据增强得到的图像共同组成用于网络训练的图像数据集；
步骤二、基于卷积神经网络构建输电线路分割模型，利用图像数据集对输电线路分割模型进行训练，将待分割的输电线路舞动图像输入到输电线路分割模型中，得到输电线路语义分割图；
本实施例采用全卷积神经网络(FCN)构建输电线路分割模型，如图3、4所示，全卷积神经网络通过若干卷积层(conv)、激活层(relu)和池化层(pool)进行特征提取，通过若干反卷积层、池化层对提取的特征图进行上采样，使输出和输入尺寸相同，达到端到端训练的目的；
步骤三、基于输电线路语义分割图，利用LK光流法计算输电线路在图像中的舞动位移；
为了方便提取输电线路的舞动位移，首先对输电线路语义分割图进行二值化处理，保留二值化图像中的输电线路区域，输电线路区域为输电线路与参照物的连通区域；
由于参照物位于输电线路上，参照物随输电线路一起舞动，因此将计算输电线路舞动位移转化为计算参照物的运动位移；利用LK光流法对输电线路区域中的参照物进行运动追踪，即追踪参照物随时间的位置变化，得到输电线路在图像中的舞动位移；
在LK光流中，认为图像序列是随时间变化的，假定t时刻参照物几何中心位于像素点(x，y)处，那么参照物几何中心的像素灰度可写成I(x，y，t)；随着时间的变化，参照物几何中心在图像中的位置会发生变化，假设像素灰度是恒定不变的；假定t+dt时刻参照物运动到像素点(x+dx，y+dy)处，根据像素灰度恒定假设，则有：
T(x+dx，y+dy，t+dt)＝I(x，y，t)
根据小运动假设，将上式的左边进行泰勒展开并保留一阶项，得到：
由于像素灰度不变，即下一时刻参照物几何中心的像素灰度等于之前时刻的像素灰度，则有：
将上式两边均除以dt，得到：
式中，dx/dt为参照物在x方向上的运动速度，dy/dt为参照物在y方向上的运动速度，分别记为u和v；同时，分别为图像在该像素点(x，y)处x、y方向的梯度，记为Ix和Iy；将像素灰度对时间的变化量记为It，则像素灰度对时间的变化量写成矩阵形式为：
上式中含有两个未知数u和v，但是只有一个方程，根据空间一致性假设，即假设某个窗口内的像素点具有相同的运动，考虑一个大小为r×r的窗口，该窗口内含有r2个像素点，所有像素点具有同样的运动，一共建立r2个方程：
令W＝[Ix Iy]k，b＝Itk，则有：
上式是一个关于u和v的超定线性方程，采用最小二乘法求解，最小二乘解为：
通过上述过程计算得到参照物在x和y两个方向的运动速度u和v，则参照物在x和y两个方向的位移为：
dx＝u×Δt，dy＝v×Δt
其中，Δt为相邻帧图像的时间间隔；
由勾股定理可得参照物在图像中的运动位移，即输电线路在图像中的舞动位移
步骤四、根据双目相机与参照物的位置关系，计算输电线路的实际舞动位移；
参见图6，参照物P＝(xc，yc，zc)在左目相机和右目相机各成一像，参照物在双目相机上的成像点分别记作pl＝(xl，yl)和pr＝(xr，yr)，左、右目相机的光圈中心记为Ol和Or，根据ΔPplpr和ΔPOlOr相似，得到：
其中，f为双目相机的焦距，B为左、右目相机光圈中心之间的距离，即双目相机的基线长度；
由上式可得，参照物的z轴(z轴沿输电线路轴向)坐标，即参照物与双目相机之间的实际距离zc为：
其中，d为双目相机的视差；
令b＝c＝zc，根据余弦定理，得到现实场景的参照物实际运动位移a，即输电线路的实际舞动位移；
cosA＝b2+c2-a2/2bc
其中，A为输电线路的舞动角度，即相邻两帧输电线路舞动图像中输电线路的夹角；
步骤五、计算由图像得到的参照物实际运动位移h，将由图像得到的参照物实际运动位移与现实场景的参照物实际运动位移进行比较，若0.8≤h/a≤1.2，则最终的输电线路舞动位移为根据双目相机与参照物位置关系得到的输电线路舞动位移和LK光流法得到的输电线路舞动位移的平均值；若h/a＜0.8或h/a＞1.2，则最终的输电线路舞动位移为LK光流法得到的输电线路舞动位移；
由于参照物与双目相机之间的距离zc为参照物到双目相机的实际距离，故参照物运动位移a也是参照物的实际舞动位移；而LK光流法是一种用于计算图像中物体运动速度的方法，它测量的是物体在图像中的运动速度，而不是物体的实际运动速度，因此LK光流法计算的是输电线路在图像中舞动位移dh，将输电线路在图像中舞动位移与实际舞动位移进行参照对比，可得到LK光流方法中输电线路的实际位移距离h：
其中，M为图像中输电线路的长度，即双目相机与参照物之间在图像中的距离；zc为双目相机与参照物的实际距离；
根据各时刻的输电线路舞动位移即可得到输电线路位移变化曲线，即输电线路的舞动轨迹曲线。
本发明未述及之处适用于现有技术。
本发明将深度学习应用到舞动监测中，提高了监测精度，对于高压输电线路舞动监测的精确化和信息化发展具有重要意义，也为高压输电线路舞动监测提供了新思路。
Claims (3)
1.一种基于双目相机和深度学习的高压输电线路舞动监测方法，其特征在于：首先采集高压输电线路的原始视频，从原始视频中提取图像数据集；其次，将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；接着，对全卷积神经网络FCN语义分割后的图像进行处理，将直接分割获得的图像进行二值化处理，保留二值化图像中面积最大的连通区，此即最终提取的导线；最后，利用LK光流对提取出来导线中的参照物进行运动追踪，追踪参照物随时间的位置变化，得出参照物的位移情况，并和双目相机所测得参照物的位移情况进行对比参照取平均值，得出最终的导线位移情况；然后对参照物的位移变化曲线进行快速傅里叶变换FFT处理，可获得导线舞动振幅频谱。
2.根据权利要求1所述的基于双目相机和深度学习的高压输电线路舞动监测方法，其特征在于包括以下步骤：
步骤一、设备安装；将摄像头和双目相机一起安装在电线杆顶部，同时在距电线杆不远处的导线上加装一个信标参照物；
步骤二、采集高压输电线路的舞动视频作为原始视频；利用安装在高压电线杆上的摄像头采集输电线路舞动的视频，需要输电线路位于摄像头和双目相机的镜头视野内；采集的视频中应包含线路舞动不同幅度所对应的多个视频片段；
步骤三、制作数据集；将前方摄像头采集传输回来的原始视频进行剪辑，将视频逐帧拆解为图片；然后，选择Matlab中的Image Labeler对图片的前景和背景进行标注，接着对已标注的图像进行随机水平和垂直方向平移操作以增加训练的数据量；最后，将原始标注的图像与平移后的图像合并组成最终训练网络的数据集，得到图像数据集A；
1)使用视频处理工具以1帧/秒的速率，从原始视频中提取视频帧；
2)Matlab中的Image Labeler对图片的前景和背景进行标注；
3)对已标注的图像进行随机水平和垂直方向平移操作并将原始标注的图像与平移后的图像合并组成最终训练网络的图像数据集A；
步骤四、训练网络；将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；FCN网络主要由输入层、卷积层、池化层、全卷积层和输出层组成；通过若干卷积层、激活层和池化层进行图像特征提取，采用若干反卷积层和池化层对图像进行上采样，把图像分析成果恢复到与原始图像一致，达到端到端训练的目的；
步骤五、图像修饰；为方便对导线舞动轨迹的提取，需要对全卷积神经网络FCN语义分割后的图像进行处理；首先，将直接分割获得的图像进行二值化处理；然后，只保留二值化图像中面积最大的连通区，此即最终提取的导线；
步骤六、参照物位移测算，利用LK光流对提取出来导线中的参照物进行运动追踪，随时间的位置变化，得出位移情况；
在LK光流中，来自相机的图像是随时间变化的，图像是时间的函数I(t)，假设t时刻下，参照物位于(x,y)处，它的灰度可写成I(x,y,t)；它在图像中的坐标将发生变化，引入光流法的基本假设：灰度不变假设，即同一个空间点的像素灰度值，在各个图像中是固定不变的；对于t时刻位于(x,y)处，设t+dt时刻它运动到(x+dx,y+dy)处；由于灰度不变，有：
I(x+dx，y+dy，t+dt)＝I(x，y，t)对左边进行泰勒展开，保留一阶项，得
因为假设了灰度不变，于是下一个时刻的灰度等于之前的灰度，从而：
两边除以dt，得
其中dx/dt为参照物在x轴上的运动，而dy/dt为y轴上的速度，把它们记为u，v；同时，为图像在该点处x方向的梯度，另一项则是在y方向的梯度，记为Ix，Iy；把图像灰度对时间的变化量记为It,写成矩阵形式，有
计算的是参照物的运动u，v，但是该式是带有两个变量的一次方程，必须引入额外的约束。在LK光流中，假设某一个窗口内的像素具有相同的运动，考虑一个大小为r*r的窗口，它含有r2数量的像素；该窗口内像素具有同样的运动，因此共有r2个方程：
记：
A＝[Ix Iy]k，b＝Itk
于是整个方程为
这是一个关于u，v的超定线性方程，传统解法是求最小二乘解；
这样就求得参照物在图像间的运动速度u，v，则在x方向y方向的位移为速度乘每帧图像间隔时间Δt
dx＝u*Δt dy＝v*Δt
由勾股定理可求得参照物对于每帧图片的位移
步骤七、利用安装在摄像头旁边的双目相机测出相机与参照物之间的距离，通过不同时刻相机拍出的照片提取出参照物的位置变化，采用余弦定理得出参照物的位移情况并和LK光流的结果进行参照对比并取平均值，得出最终的导线位移情况；然后对参照物的位移变化曲线进行快速傅里叶变换处理，可获得导线舞动振幅频谱；
在左右双目相机中，f为焦距，两个相机的光圈中心都位于x轴上，两者之间的距离称为双目相机的基线，记作B；参照物P在左眼相机和右眼相机各成一像，记作pl和pr；由于左右相机只在x轴上有位移，所以P的像也只在x轴上有差异；记它的左侧坐标为yl，右侧坐标为yr，根据ΔPplpr和ΔPOlOr的相似关系，有：
得
其中d定义为左右图的横坐标之差，称为视差；根据视差，估计一个像素与相机之间的距离：
根据余弦定理，令b＝c＝zc，测出线路舞动的cosA＝b2+c2-a2/2bc
令b＝c＝zc，并测出线路舞动的角度A，即可求得参照物的位移距离；最后与LK光流计算出来的位移进行对比，取平均值后得到最终的位移。
3.根据权利要求1或2所述的基于双目相机和深度学习的高压输电线路舞动监测方法，其特征在于：所述输电线路包括静止和舞动两种动作；所述输电线路为任何高压线路；所述模型采用深度学习网络FCN搭建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310866237.7A CN116740647A (zh) | 2023-07-14 | 2023-07-14 | 基于双目相机和深度学习的高压输电线路舞动监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310866237.7A CN116740647A (zh) | 2023-07-14 | 2023-07-14 | 基于双目相机和深度学习的高压输电线路舞动监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116740647A true CN116740647A (zh) | 2023-09-12 |
Family
ID=87913451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310866237.7A Pending CN116740647A (zh) | 2023-07-14 | 2023-07-14 | 基于双目相机和深度学习的高压输电线路舞动监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740647A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993743A (zh) * | 2023-09-28 | 2023-11-03 | 南方电网数字电网研究院有限公司 | 输电线路舞动幅度检测方法、装置、设备和存储介质 |
-
2023
- 2023-07-14 CN CN202310866237.7A patent/CN116740647A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993743A (zh) * | 2023-09-28 | 2023-11-03 | 南方电网数字电网研究院有限公司 | 输电线路舞动幅度检测方法、装置、设备和存储介质 |
| CN116993743B (zh) * | 2023-09-28 | 2024-03-19 | 南方电网数字电网研究院有限公司 | 输电线路舞动幅度检测方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dhiman et al. | Pothole detection using computer vision and learning | |
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
| CN109657581B (zh) | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN106596579A (zh) | 一种基于多光谱图像信息融合的绝缘子污秽状态检测方法 | |
| CN103530619A (zh) | 基于rgb-d数据构成的少量训练样本的手势识别方法 | |
| CN112200178B (zh) | 基于人工智能的变电站绝缘子红外图像检测方法 | |
| CN109584238A (zh) | 一种基于立体视觉的弓网运行状况在线检测系统及方法 | |
| CN107845264A (zh) | 一种基于视频监控的交通量采集系统及方法 | |
| Hong et al. | Highway crack segmentation from unmanned aerial vehicle images using deep learning | |
| CN116740647A (zh) | 基于双目相机和深度学习的高压输电线路舞动监测方法 | |
| CN113450579B (zh) | 速度信息的获取方法、装置、设备及介质 | |
| CN107992899A (zh) | 一种机场场面运动目标检测识别方法 | |
| CN109359549A (zh) | 一种基于混合高斯和hog_lbp的行人检测方法 | |
| Yu et al. | A survey on automatic inspections of overhead contact lines by computer vision | |
| Zheng et al. | Rail detection based on LSD and the least square curve fitting | |
| Li et al. | Real-time accurate deep learning-based edge detection for 3-D pantograph pose status inspection | |
| Huang et al. | A deep learning augmented vision-based method for measuring dynamic displacements of structures in harsh environments | |
| CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与系统 | |
| Wang et al. | 3D reconstruction and segmentation system for pavement potholes based on improved structure-from-motion (SFM) and deep learning | |
| Yao et al. | Image based obstacle detection for automatic train supervision | |
| Weng et al. | Newly designed identifying method for ice thickness on high‐voltage transmission lines via machine vision | |
| CN116091494B (zh) | 一种输电机械外破隐患测距方法 | |
| Wang et al. | Measuring driving behaviors from live video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |