CN111354028B - 基于双目视觉的输电通道隐患物识别追踪方法 - Google Patents

基于双目视觉的输电通道隐患物识别追踪方法 Download PDF

Info

Publication number
CN111354028B
CN111354028B CN202010103138.XA CN202010103138A CN111354028B CN 111354028 B CN111354028 B CN 111354028B CN 202010103138 A CN202010103138 A CN 202010103138A CN 111354028 B CN111354028 B CN 111354028B
Authority
CN
China
Prior art keywords
hidden danger
power transmission
right eye
binocular vision
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010103138.XA
Other languages
English (en)
Other versions
CN111354028A (zh
Inventor
聂礼强
郑晓云
姚一杨
战新刚
孙腾
尉寅玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
State Grid Zhejiang Electric Power Co Ltd
Quzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Zhiyang Innovation Technology Co Ltd
Original Assignee
Shandong University
State Grid Zhejiang Electric Power Co Ltd
Quzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, State Grid Zhejiang Electric Power Co Ltd, Quzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd, Zhiyang Innovation Technology Co Ltd filed Critical Shandong University
Priority to CN202010103138.XA priority Critical patent/CN111354028B/zh
Publication of CN111354028A publication Critical patent/CN111354028A/zh
Application granted granted Critical
Publication of CN111354028B publication Critical patent/CN111354028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于双目视觉的输电通道隐患物识别追踪方法，包括：收集输电线路可视化巡检系统中的监拍数据，构造输电线路及输电通道常见外破隐患样本数据集；构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；对初始模型检测出的左右目图像隐患物分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；将训练完成的模型投入测试与使用，接收双目视觉输入，即实现隐患物识别和追踪。本发明解决海量可视化图像后台人工判图工作量大的问题；同时实现对线路通道小样本隐患的精准识别，以及对隐患与线路之间安全距离的智能计算。

Description

基于双目视觉的输电通道隐患物识别追踪方法
技术领域
本发明公开一种基于双目视觉的输电通道隐患物识别追踪方法，属于智能电网中的全息感知技术领域。
背景技术
随着现代电力系统的不断发展与进步，输电网规模越来越大，输电线及输电通道外破隐患(包括机械外破、烟雾山火、异物入侵、导地线异物、输电线覆冰和舞动等外部风险)成为全国范围内输电线路发生故障的主要原因。以上隐患发生后，易导致输电线故障和大面积停电，最终带来难以估量的经济损失。
为有效解决上述技术问题，若干地区开始进行输电线路可视化建设，安装可视化监拍装置，建立了输电线路可视化巡检系统。然而，目前已投入运行的输电线路可视化巡检系统每年会产生海量图片，如果由人工逐一监视，会耗费大量人力物力；而且该系统对轻量烟火、导地线异物等小样本外破隐患的识别准确率较低，缺乏对隐患源与线路之间安全距离的自动计算。
中国专利文献CN108665484A一种基于深度学习的危险源识别方法与系统，所述方法包括：S1、将摄像机采集到的图像以固定速率传输至后台服务器；S2、后台服务器将采集到的图像利用深度学习算法求得特征，以该特征作为运动图像的检测条件；S3、将所述特征输入系数字典，根据最优化稀疏表示求解得到运动目标；S4、利用双目视觉对由稀疏表示求得的运动特征进行定位，实现危险源识别。该专利文献解决了现有技术下输变电线路的危险源识别难度大的问题，有效降低了人工提取危险源特征的劳动复杂度，其对特征的表达较其他方法更加完整有效，最终实现对危险源运动特征的定位，保护输变电线路安全。但是该文献是用系数字典来得到运动目标，因此并不能精准识别输电线路隐患物，同时缺乏对隐患源与输电线之间安全距离的自动计算。
发明内容
针对现有技术的不足，本发明公开一种基于双目视觉的输电通道隐患物识别追踪方法。本发明基于人工智能和双目视觉技术，解决海量可视化图像后台人工判图工作量大的问题；同时实现对输电线路及输电通道小样本外破隐患的精准识别，以及对隐患与线路之间安全距离的智能计算，进而提升线路巡视效率和质量，保证输电线路长期安全稳定地运行。
专业术语解释：
双目视觉、深度神经网络、卷积神经网络、损失函数
双目视觉：机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，可以充分利用采集到的视觉流信息。
深度神经网络：深度神经网络是在输入层和输出层之间具有多个隐藏层的人工神经网络。神经网络由许多相互关联的概念化的人造神经元组成，这些人造神经元之间可以互相传递数据，并且根据网络调整相关权重。
卷积神经网络：是一类包含卷积计算且具有深度结构的神经网络，能够按其阶层结构对输入信息进行平移不变的分类，因此适用于图像分类以及图像识别的任务。
损失函数：在机器学习中用来定义当前模型与最优模型的误差指标，可以通过计算各权重对应损失函数的微分来进行权重更新及优化。
本发明的技术方案如下：
基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，包括以下步骤：
S1:收集输电线路可视化巡检系统中的监拍数据，构造输电线路及输电通道常见外破隐患样本数据集；
S2:构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；
S3:利用步骤S2的模型，对初始模型检测出的左右目图像外破隐患分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；
S4:将训练完成的模型投入测试与使用，接收双目视觉输入，即实现外破隐患识别追踪。
根据本发明优选的，所述步骤S1构造输电线路及输电通道常见外破隐患样本数据集的方法包括：
S11:采样双目监控视频数据，采样的范围包括但不限于：山火以及异物等隐患源监控视频；优选的，过滤掉像素分辨率较低的视频以提升识别模型的训练效果；
S12:对山火以及异物等隐患源进行人工标注，记录隐患源的位置及轮廓并保存数据标签，则数据集构建完毕；所述数据集可以用来进行后续的训练。
根据本发明优选的，所述步骤S2构建基于双目视觉的左右目图像隐患识别追踪的模型的方法包括：
S21:所述模型接收左目图像L与右目图像R，使用预训练的深度卷积神经网络ResNet分别获取特征图Flm＝ResNet(L),Frm＝ResNet(R)；
S22:将获取的特征图Flm和Frm通过6个不同尺度的池化卷积模块，Pooli(Convi())，i＝{1,2,3,4,5,6}，得到Mli＝Pooli(Convi(Flm))和Mri＝Pooli(Convi(Frm))，这里Pool指不同尺度的池化操作，Conv指不同的卷积操作，下标i代表不同尺度，分别为1、2、3、4、5和6；
S23:分别对每个Mli和Mri进行上采样操作，得到上采样本Uli＝UpSample(Mli),Uri＝UpSample(Mri),i＝{1,2,3,4,5,6}；
S24:构建双目视觉左右目关联通路：接收左目图像特征图Flm与右目图像特征图Frm，并进行合并操作得到合并特征图Fc＝Concat(Flm,Frm)，对得到的Fc进行尺度为1的池化卷积操作，并同样进行上采样，得到：
左右目关联特征z＝UpSample(Pool1(Conv1(Fc)))，其中UpSample(·)代表上采样操作，Pool1(Conv1(·))代表尺度为1的池化卷积操作；
S25:分别对左目各个上采样本Uli及关联特征z，和右目各个上采样本Uri及关联特征z进行合并操作，得到：
左目合并张量Cl＝Concat(Ul1,Ul2,Ul3,Ul4,Ul5,Ul6,z)和右目合并张量Cr＝Concat(Ur1,Ur2,Ur3,Ur4,Ur5,Ur6,z)；
S26:对得到的合并张量Cl和Cr进行一层卷积及Softmax操作，得到最终的隐患物位置与轮廓的概率左目预测信息PL＝Softmax(Conv(Cl))与右目预测信息PR＝Softmax(Conv(Cr))。
根据本发明优选的，所述步骤S3具体包括：
S31:利用数据集对所述步骤S2的模型进行训练：从数据集中选取总帧数为n的视频流，获取双目视觉的左目视频流L1,L2,...,Ln和隐患物位
置及轮廓的标签信息L'1,L'2,...,L'n，右目视频流R1,R2,...,Rn和隐患物位
置及轮廓的标签信息R'1,R'2,...,R'n；
S32：将双目视频流的每一左目帧Li和右目帧Ri输入到初始隐患物识别追踪模型中，分别得到最终的预测信息PLi和PRi，分别计算二者的损失函数
Figure BDA0002387540120000051
和
Figure BDA0002387540120000052
其中N为单目图像像素点总数，j为遍历单目图像像素索引，L'ij和R'ij分别为左目和右目真实标签信息；
S33：利用双目立体视觉技术，根据视差原理对每一左目帧Li和右目帧Ri构建世界的三维几何信息，遍历三维几何世界的信息点，对于每一个公共三维点(x,y,z)，都会有对应的二维左目帧坐标(xl,yl)和右目帧坐标(xr,yr)；优选的，为保证相同三维点所对应的预测标签一致性，得到三维位置损失函数
Figure BDA0002387540120000053
其中M为三维位置点总数，j为遍历三维位置索引，
Figure BDA0002387540120000054
操作为计算欧式距离；
S34：最终的损失函数为L＝Lleft+Lright+Lpos，根据梯度下降法对初始模型进行训练，优化损失函数，经过若干迭代直至其损失函数收敛达到最小，则模型训练完毕，可以投入实际使用。
根据本发明优选的，所述步骤S4的具体步骤包括：
S41:将训练好的模型投入实际使用与测试中：
在输电环境现场，利用双目摄像机，获取左目视频流L1,L2,...,Lm，右目视频流R1,R2,...,Rm，其中m为获取的视频流总帧数；
S42:对于双目视频流中的每一帧左目图像与右目图像，输入训练好的模型中，预测左右目图像中的隐患源与输电线路之间距离及轮廓信息，即对隐患物进行识别追踪。此处所述的预测是指利用模型处理数据后的输出。
根据本发明优选的，在步骤S4中，当在左目或右目图像中任一目图像预测出隐患物时，即判定当前场景中存在隐患物，则认定产生输电线路故障的风险。
本发明的有益效果：
本发明充分利用了基于双目视觉的视频流图像，将左目右目图像作为双输入，灵活地融合到模型中去，并使用光流转换来监督隐患物识别网络的训练。本发明使用了基于卷积神经网络的实例分割框架，使模型可以在全监督的条件下从带真实标签信息的数据集中更有效的学习，使识别模型的性能表现优于现有的目标识别工作，实现了输电线路隐患物精准识别追踪。
附图说明
图1是本发明的流程图；
图2是本发明实施例对应的检测图。
具体实施方式
下面结合实施例和说明书附图做详细的说明，但不限于此。
实施例、
一种基于双目视觉的输电通道隐患物识别追踪方法，包括以下步骤：
如图1所示。
S1:收集输电线路及输电通道可视化巡检系统中的监控数据，构造输电线路及输电通道常见外破隐患样本数据集；
S2:构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；
S3:利用步骤S2的模型，对初始模型检测出的左右目图像隐患物分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；
S4:将训练完成的模型投入测试与使用，接收双目视觉输入，即实现隐患物识别追踪。
所述步骤S1构造输电线路及输电通道常见外破隐患样本数据集的方法包括：
S11:采样双目监控视频，采样的范围包括但不限于：山火以及异物等隐患源监控视频；优选的，过滤掉像素分辨率较低的视频以提升识别模型的训练效果；
S12:对山火以及异物等隐患源进行人工标注，记录隐患源的位置及轮廓并保存数据标签，则数据集构建完毕；所述数据集可以用来进行后续的训练。
所述步骤S2构建基于双目视觉的左右目图像隐患识别追踪的模型的方法包括：
S21:所述模型接收左目图像L与右目图像R，使用预训练的深度卷积神经网络ResNet分别获取特征图Flm＝ResNet(L),Frm＝ResNet(R)；
S22:将获取的特征图Flm和Frm通过6个不同尺度的池化卷积模块，Pooli(Convi())，i＝{1,2,3,4,5,6}，得到Mli＝Pooli(Convi(Flm))和Mri＝Pooli(Convi(Frm))，这里Pool指不同尺度的池化操作，Conv指不同的卷积操作，下标i代表不同尺度，分别为1、2、3、4、5和6；
S23:分别对每个Mli和Mri进行上采样操作，得到上采样本Uli＝UpSample(Mli),Uri＝UpSample(Mri),i＝{1,2,3,4,5,6}；
S24:构建双目视觉左右目关联通路：接收左目图像特征图Flm与右目图像特征图Frm，并进行合并操作得到合并特征图Fc＝Concat(Flm,Frm)，对得到的Fc进行尺度为1的池化卷积操作，并同样进行上采样，得到：
左右目关联特征z＝UpSample(Pool1(Conv1(Fc)))，其中UpSample(·)代表上采样操作，Pool1(Conv1(·))代表尺度为1的池化卷积操作；
S25:分别对左目各个上采样本Uli及关联特征z，和右目各个上采样本Uri及关联特征z进行合并操作，得到：
左目合并张量Cl＝Concat(Ul1,Ul2,Ul3,Ul4,Ul5,Ul6,z)和右目合并张量Cr＝Concat(Ur1,Ur2,Ur3,Ur4,Ur5,Ur6,z)；
S26:对得到的合并张量Cl和Cr进行一层卷积及Softmax操作，得到最终的隐患物位置与轮廓的概率左目预测信息PL＝Softmax(Conv(Cl))与右目预测信息PR＝Softmax(Conv(Cr))。
所述步骤S3具体包括：
S31:利用数据集对所述步骤S2的模型进行训练：从数据集中选取总帧数为n的视频流，获取双目视觉的左目视频流L1,L2,...,Ln和隐患物位
置及轮廓的标签信息L'1,L'2,...,L'n，右目视频流R1,R2,...,Rn和隐患物位
置及轮廓的标签信息R'1,R'2,...,R'n；
S32：将双目视频流的每一左目帧Li和右目帧Ri输入到初始隐患物识别追踪模型中，分别得到最终的预测信息PLi和PRi，分别计算二者的损失函数
Figure BDA0002387540120000091
和
Figure BDA0002387540120000092
其中N为单目图像像素点总数，j为遍历单目图像像素索引，L'ij和R'ij分别为左目和右目真实标签信息；
S33：利用双目视觉，根据视差原理对每一左目帧Li和右目帧Ri构建世界的三维几何信息，遍历三维几何世界的信息点，对于每一个公共三维点(x,y,z)，都会有对应的二维左目帧坐标(xl,yl)和右目帧坐标(xr,yr)；优选的，为保证相同三维点所对应的预测标签一致性，得到三维位置损失函数
Figure BDA0002387540120000093
其中M为三维位置点总数，j为遍历三维位置索引，
Figure BDA0002387540120000094
操作为计算欧式距离；
S34：最终的损失函数为L＝Lleft+Lright+Lpos，根据梯度下降法对初始模型进行训练，优化损失函数，经过若干迭代直至其损失函数收敛达到最小，则模型训练完毕，可以投入实际使用。
所述步骤S4的具体步骤包括：
S41:将训练好的模型投入实际使用与测试中：
在输电线路现场，利用双目摄像机，获取左目视频流L1,L2,...,Lm，右目视频流R1,R2,...,Rm，其中m为获取的视频流总帧数；
S42:对于双目视频流中的每一帧左目图像与右目图像，输入训练好的模型中，预测左右目图像中的隐患物位置及轮廓信息，即对隐患物进行识别追踪。此处所述的预测是指利用模型处理数据后的输出。
在步骤S4中，当在左目或右目图像中任一目图像预测出隐患物时，即判定当前场景中存在隐患物，则认定产生输电线路故障的风险。
图2是经上述方法处理后所得图片的识别图，在右上角的四个电力输电线场景图片中，利用本发明方法识别并框出了对应的隐患物，分别框出了在电力输电线下存在大型机械的风险、在电力输电线附近出现山火的隐患、在电力输电线上存在异物的风险、在电力输电线的绝缘子上覆冰的情况。

Claims (5)

1.基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，包括以下步骤：
S1:收集输电线路可视化巡检系统中的监拍数据，构造输电线路及输电通道常见外破隐患样本数据集；
S2:构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；
S3:利用步骤S2的模型，对初始模型检测出的左右目图像外破隐患分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；
S4:将训练完成的模型投入测试与使用，接收双目视觉输入，即实现外破隐患识别追踪；
所述步骤S2构建基于双目视觉的左右目图像隐患识别追踪的模型的方法包括：
S21:所述模型接收左目图像L与右目图像R，使用预训练的深度卷积神经网络ResNet分别获取特征图Flm=ResNet(L),Frm=ResNet(R);
S22:将获取的特征图Flm和Frm通过6个不同尺度的池化卷积模块，Pooli(Convi()),i={1,2,3,4,5,6},得到Mli=Pooli(Convi(Flm))和Mri=Pooli(Convi(Frm))，这里Pool指不同尺度的池化操作，Conv指不同的卷积操作，下标i代表不同尺度，分别为1、2、3、4、5和6；
S23:分别对每个Mli和Mri进行上采样操作，得到上采样本
Uli=UpSample(Mli),Uri=UpSample(Mri)，i={1,2,3,4,5,6}；
S24:构建双目视觉左右目关联通路：接收左目图像特征图Flm与右目图像特征图Frm，并进行合并操作得到合并特征图Fc=Concat(Flm，Frm),对得到的Fc进行尺度为1的池化卷积操作，并同样进行上采样，得到：
左右目关联特征z=UpSample(Pool1(Conv1(Fc)))，其中UpSample(•)代表上采样操作，Pool1(Conv1(•))代表尺度为1 的池化卷积操作；
S25:分别对左目各个上采样本Uli及关联特征z，和右目各个上采样本Uri及关联特征z进行合并操作，得到：
左目合并张量Cl=Concat(Ul1,Ul2,Ul3,Ul4,Ul5,Ul6,z)和右目合并张量Cr=Concat(Ur1,Ur2,Ur3,Ur4,Ur5,Ur6,z);
S26:对得到的合并张量Cl和Cr进行一层卷积及Softmax操作，得到最终的隐患物位置与轮廓的概率左目预测信息PL=Softmax(Conv(Cl))与右目预测信息PR=Softmax(Conv(Cr))。
2.根据权利要求1所述的基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，所述步骤S1构造输电线路及输电通道常见外破隐患样本数据集的方法包括：
S11: 采样双目监控视频数据，采样的范围包括：隐患源监控视频；
S12: 对隐患源进行人工标注，记录隐患源的位置及轮廓并保存数据标签，则数据集构建完毕。
3.根据权利要求1所述的基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，所述步骤S3具体包括：
S31:利用数据集对所述步骤S2的模型进行训练：从数据集中选取总帧数为n的视频流，获取双目视觉的左目视频流L1，L2，...，Ln和隐患物位置及轮廓的标签信息L1＇，L2＇，...，Ln＇,右目视频流R1，R2，...，Rn和隐患物位置及轮廓的标签信息R1＇，R2＇，...，Rn＇；
S32：将双目视频流的每一左目帧Li和右目帧Ri输入到初始隐患物识别追踪模型中，分别得到最终的预测信息PLi和PRi，分别计算二者的损失函数
Figure 485143DEST_PATH_IMAGE001
和
Figure 145931DEST_PATH_IMAGE002
，其中N为单目图像像素点总数，j为遍历单目图像像素索引，Lij＇和Rij＇分别为左目和右目真实标签信息；
S33：根据视差原理对每一左目帧Li和右目帧Ri构建世界的三维几何信息，遍历三维几何世界的信息点，对于每一个公共三维点(x,y,z)，都会有对应的二维左目帧坐标(xl,yl)和右目帧坐标(xr,yr)；得到三维位置损失函数
Figure 225883DEST_PATH_IMAGE003
，其中M为三维位置点总数，j为遍历三维位置索引，
Figure 313925DEST_PATH_IMAGE004
操作为计算欧式距离；
S34：最终的损失函数为L=Lleft+Lright+Lpos,根据梯度下降法对初始模型进行训练，优化损失函数，经过若干迭代直至其损失函数收敛达到最小，则模型训练完毕。
4.根据权利要求1所述的基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，所述步骤S4的具体步骤包括：
S41: 将训练好的模型投入实际使用与测试中：
在输电环境现场，利用双目摄像机，获取左目视频流L1，L2，...，Lm，右目视频流R1，R2，...，Rm，其中m为获取的视频流总帧数；
S42:对于双目视频流中的每一帧左目图像与右目图像，输入训练好的模型中，预测左右目图像中的隐患源与输电线路之间距离及轮廓信息，即对隐患物进行识别追踪。
5.根据权利要求1所述的基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，在步骤S4中，当在左目或右目图像中任一目图像预测出隐患物时，即判定当前场景中存在隐患物，则认定产生输电线路故障的风险。
CN202010103138.XA 2020-02-19 2020-02-19 基于双目视觉的输电通道隐患物识别追踪方法 Active CN111354028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103138.XA CN111354028B (zh) 2020-02-19 2020-02-19 基于双目视觉的输电通道隐患物识别追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103138.XA CN111354028B (zh) 2020-02-19 2020-02-19 基于双目视觉的输电通道隐患物识别追踪方法

Publications (2)

Publication Number Publication Date
CN111354028A CN111354028A (zh) 2020-06-30
CN111354028B true CN111354028B (zh) 2022-05-31

Family

ID=71192289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103138.XA Active CN111354028B (zh) 2020-02-19 2020-02-19 基于双目视觉的输电通道隐患物识别追踪方法

Country Status (1)

Country Link
CN (1) CN111354028B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529493A (zh) * 2020-11-04 2022-05-24 中国科学院沈阳自动化研究所 基于双目视觉的电缆外观缺陷检测与定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN110285793A (zh) * 2019-07-08 2019-09-27 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN110285793A (zh) * 2019-07-08 2019-09-27 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
power line icing monitoring method using binocular stereo vision;qiangliang guo等;《2017 12th IEEE conference on industrial electronics and applications》;20180208;第1905-1908页 *
基于优化双目视觉识别方案的输电线路监控研究;何娟等;《电力科学与工程》;20190331;第1-6页 *
基于深度学习的输电线路视觉检测研究综述;赵振兵等;《广东电力》;20190930;第11-23页 *

Also Published As

Publication number Publication date
CN111354028A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
US11869192B2 (en) System and method for vegetation modeling using satellite imagery and/or aerial imagery
KR102423561B1 (ko) 디지털 트윈 기반 지능형 댐 안전 관리 시스템
Sohn et al. Automatic powerline scene classification and reconstruction using airborne lidar data
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN111325347A (zh) 基于可解释视觉推理模型的危险预警描述自动生成方法
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
WO2023207257A1 (zh) 基于挂轨轨道机器人的尾矿坝表面形变巡检方法
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN113936210A (zh) 塔吊防撞方法
CN115564031A (zh) 一种用于玻璃缺陷检测的检测网络
CN109684914A (zh) 基于无人机影像智能识别方法
CN111354028B (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
Rong et al. A joint faster RCNN and stereovision algorithm for vegetation encroachment detection in power line corridors
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
Zou et al. Research progresses and trends of power line extraction based on machine learning
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
CN114552601A (zh) 双目视觉输电线震荡监测及三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant