CN116776279A - 多模态数据协同的输电线路闪爆预警异常目标检测方法 - Google Patents

多模态数据协同的输电线路闪爆预警异常目标检测方法 Download PDF

Info

Publication number
CN116776279A
CN116776279A CN202310716337.1A CN202310716337A CN116776279A CN 116776279 A CN116776279 A CN 116776279A CN 202310716337 A CN202310716337 A CN 202310716337A CN 116776279 A CN116776279 A CN 116776279A
Authority
CN
China
Prior art keywords
transmission line
sound
flash explosion
early warning
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310716337.1A
Other languages
English (en)
Inventor
俸波
夏小飞
韩方源
张炜
卢胜标
陈绍南
唐捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangxi Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority to CN202310716337.1A priority Critical patent/CN116776279A/zh
Publication of CN116776279A publication Critical patent/CN116776279A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/08—Locating faults in cables, transmission lines, or networks
    • G01R31/081—Locating faults in cables, transmission lines, or networks according to type of conductors
    • G01R31/085—Locating faults in cables, transmission lines, or networks according to type of conductors in power transmission or distribution lines, e.g. overhead
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00001—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by the display of information or by user interaction, e.g. supervisory control and data acquisition systems [SCADA] or graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00032—Systems characterised by the controlled or operated power network elements or equipment, the power network elements or equipment not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Biology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种多模态数据协同的输电线路闪爆预警异常目标检测方法，通过采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号和图像并进行预处理、特征提取、特征选择和建立模型，能够判断可能造成输电线路发生闪爆的异常目标类型，并进行输电线路的闪爆预警，通过结合声音和图像的方法，能够更准确地判断可能造成输电线路发生闪爆的异常目标类型，避免了传统方法中存在的误判和漏判的情况，提高了检测的准确率；多模态数据协同的输电线路闪爆预警异常目标检测方法能够快速识别可能造成输电线路发生闪爆的异常目标类型，并对相关工作人员进行提醒，从而提高了输电线路闪爆预警的效率。

Description

多模态数据协同的输电线路闪爆预警异常目标检测方法
技术领域
本发明涉及输电线路检测技术领域，特别涉及一种多模态数据协同的输电线路闪爆预警异常目标检测方法。
背景技术
随着经济和社会的发展，发电量和用电量逐年上升，稳定安全的电力保障关系到国计民生。在常年的使用过程中，用于电力传输的输电线路不可避免地受到外界环境的影响，输电线路容易出现因外界环境因素导致的输电故障。如异常目标靠近高压输电线，或输电线遭受自然雷击，当异常目标靠近输电线路时，线路周围的电场会发生变化，电荷会在异物和输电线之间累计，导致输电线路闪爆，它已经成为影响当前输电网安全稳定运行的一个主要故障。
分析受外力破坏发生的输电线路闪爆故障事件过程中发现，人为的外力撞击占比接近25％，在这些外力撞击中工程机械占比接近80％，而究其根本都是由于施工单位在施工前未对施工现场勘察，未按规定使用工程机械施工，致使输电线破损、断开，从而引发闪爆事故。如果能够减少或消除由施工单位误操作造成的影响，那么输电线路闪爆事故将会大大减小。
输电线路在受到外力破坏后不仅会产生永久故障点使得输电线路跳闸，还会对当事人的人身安全产生严重威胁。因此，需要对输电线路采取有效的监测预警措施来防止线路闪爆故障的发生。目前，人工巡检和无人机巡检方法广泛应用在输电线路防护当中。其中，人工巡检具有时间随机性，当工作人员离开后，很难及时发现输电线的异常情况。并且人工巡检方式存在劳动强度大、工作效率低、检测质量分散、手段单一等不足之处，人工检测的数据也无法准确、及时地接入管理信息系统。无人机巡检是采用无人机进行输电线路巡查，显著降低了劳动强度，并且大大降低了线路巡检成本，提高了输电线路维护和检修的速度和效率，使许多工作能在完全带电的环境下迅速完成。但是无人机进行较长输电线路巡检时，存在着续航能力不足的问题，并且只适用于视野比较广阔的地区，若视野较为狭隘，只能通过安装更多摄像头来解决，视频监控设备体积大，在安装过程中需要与各个部门进行协调，安装难度大，由于成本问题，一般只在重要线路上使用。人工巡检和无人机巡检都存在着各自的局限性，主要表现在普遍存在检测效率较低、准确性差的问题。
发明内容
针对现有技术中存在的不足，本发明提供一种多模态数据协同的输电线路闪爆预警异常目标检测方法，能够解决现有技术的输电线路闪爆故障检测存在的检测效率低、准确性差的问题。
具体技术方案如下：
一种多模态数据协同的输电线路闪爆预警异常目标检测方法，包括以下步骤：
S1、通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测；
S2、采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警；
S3、采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置；
S4、对采集的声音数据分析定位后，找到可能造成输电线路发生闪爆故障的地点，采用摄像头拍摄定位现场的外力破坏源图像；
S5、采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警；
S6、综合传感器输出的声音数据和所拍摄的图像数据研判，从而完成输电线路闪爆预警异常目标检测。
进一步地，所述通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测，包括以下步骤：
S11、声音信号的采集，其表达式如下：
Fs≥sf；
其中Fs为采样频率，f为异常目标产生的声音信号频率；
S12、声音信号的预处理，其包括有预加重、分帧和加窗操作；
S13、声音信号的端点检测，端点检测计算表达式如下：
式中，xn为异常目标声音信号，sgn[x(n)]是符号函数，其表达式如下：
加入窗函数ω(n)，则：
其中，窗函数ω(n)表达式如下：
式中，N为异常目标声音信号的帧长。
进一步地，所述声音信号的预处理中，
预加重，为把声音信号高频分量加重，恢复原来的信号功率分布，使传输质量增加，高、低频也维持在平衡的状况当中，设经过采样和预加重滤波器后的信号为S(n)，则
S(n)＝S(n)-aS(n-1)；
式中，a为预加重系数；
分帧，为对时域信号分段使其平稳过渡；
加窗，为对抽样n附近的声音波形加以强调而对波形的其余部分加以减弱。
进一步地，步骤S2中，提前选择可能造成输电线路发生闪爆的外力闪爆源声音样本，对采集的声音信号进行傅里叶变换，采用频域特征提取方法提取变换后的频率特征、频谱能量特征以及谱质心特征，构建相应的特征集，并采用支持向量法作为声音识别模型的匹配方法，在识别过程中，把待鉴别的声音输入到识别模型中进行识别，得到识别结果，并进行输电线路闪爆预警。
进一步地，采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警，包括以下步骤：
S21、特征提取：对预处理后的声音信号进行特征提取，提取的频域特征包括频率特征、谱能量特征和谱质心特征；
S22、特征向量构建：将从声音信号中提取的频率特征、频谱能量特征和谱质心特征组合成特征向量，该特征向量将作为声纹识别模型的输入；
S23、声纹识别模型建立：采用支持向量法作为声纹识别模型的匹配方法，选择部分已知异常闪爆源的声音样本，并为每个样本分配相应的类别标签，通过计算特征向量之间的相似度，模型能够学习到声音特征与异常闪爆源之间的关联；
S24、声音识别和闪爆预警：将待识别的声音输入到训练好的声纹识别模型中进行识别，模型将计算输入声音特征向量与训练样本之间的相似度，并确定输入声音所属异常闪爆源类型，根据模型输出的识别结果，进行输电线路的闪爆预警。
进一步地，频率特征，包括平均值、最大值和标准差；
频谱能量特征，其表达式如下：
其中，f(t)为声音信号；
设第i帧的谱质心为Ci，谱质心特征表达式如下：
其中，xi(k)是第i帧的傅里叶变换，N为帧长度。
进一步地，所述声源定位算法采用基于时间到达差的定位算法，包括：通过时间延误估计算法来求取声源发出信号到达不同声音传感器的时间差，由声速与时间差可以求取各传感器与声源之间的路程差；根据求得的路程差，以及声音传感器阵列放置的几何位置，则可解得声源位置，也即对采集的声音数据分析定位。
进一步地，采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置，包括：
设m1传感器的位置为(x1，y1)，取m1传感器的位置作为参考点,声源待求位置为(x，y)，第i个传感器到声源位置之间的距离表示为ri，则
第i个传感器和声源位置的关系方程为：
建立声源位置(x，y)和距离差之间的关系方程：
其中，ri1表示传感器m1到声源位置的距离与第i个传感器到声源位置的距离相减的距离之差,c为信号传播速度,ti为声源信号到达第i个传感器的到达时间，t1为声源信号到达传感器m1的到达时间；通过求解上述方程，即可得到声源的位置坐标(x，y)。
进一步地，所述采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警，包括以下步骤：
S51、数据准备：准备一定数量的外力破坏源图像作为训练数据集；
S52、特征提取：采用颜色直方图描述图像的颜色特征，灰度共生矩阵提取图像的纹理特征，边缘检测算法提取图像的轮廓特征；
S53、网络构建：构建反向传播神经网络模型用于图像识别；
S54、网络训练：将准备好的训练数据集输入到神经网络中进行训练；
S55、模型评估：使用测试数据集评估训练好的神经网络模型的性能；
S56、实时识别：将摄像头采集到的图像输入到训练好的神经网络模型中进行实时目标识别，通过对图像进行特征提取和神经网络的前向传播，获得预测结果，从而实现对异常目标的闪爆预警识别。
进一步地，网络训练的算法表达式如下：
xs+1＝xs-(H+αI)-1G；
其中，H为多维向量的矩阵，G为多维向量的一阶梯度,xs为上一步的函数极值，α为步长，I为单位矩阵。
随着人工智能技术和物联网技术的发展，输电线路监测逐渐由人工监测转变为智能在线监测，智能在线监测是指利用先进传感技术对输电线路的运行状态进行监测，这种在线监测方法实现了对现场状况的实时监测，并能够对即将造成输电线路发生闪爆的各种违章行为进行快速预警，方便提醒后台工作人员和现场违章人员及时发现违章行为，并快速制止违章行为。
本发明公开了一种多模态数据协同的输电线路闪爆预警异常目标检测方法，该发明采用声音传感器收集可能造成输电线路发生闪爆的声音数据，并提取声纹特征；然后采用声源定位技术找到可能发生闪爆的线路位置，协同控制传感器摄像头开启，获得可能发生线路闪爆区域目标图像；通过图像和声纹识别该区域场景下可能造成线路闪爆故障发生的异常目标，达到检测输电线路闪爆预警异常目标的目的。
与现有技术相比，本发明的有益效果为：
本方法通过采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号和图像并进行预处理、特征提取、特征选择和建立模型，能够判断可能造成输电线路发生闪爆的异常目标类型，并进行输电线路的闪爆预警，具体而言，具有以下有益效果：
1、通过结合声音和图像的方法，能够更准确地判断可能造成输电线路发生闪爆的异常目标类型，避免了传统方法中存在的误判和漏判的情况，提高了检测的准确率；
2、多模态数据协同的输电线路闪爆预警异常目标检测方法能够快速识别可能造成输电线路发生闪爆的异常目标类型，并对相关工作人员进行提醒，从而提高了输电线路闪爆预警的效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明多模态数据协同的输电线路闪爆预警异常目标检测方法的流程示意图；
图2为本发明的声纹识别过程的流程示意图；
图3为本发明的基于TDOA的声源定位过程的流程示意图；
图4为本发明的图像识别过程的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参照图1，本发明优选的实施例提供一种多模态数据协同的输电线路闪爆预警异常目标检测方法，包括以下步骤：
S1、通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测。
首先通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测(Voice Activity Detection，VAD)，声音信号通过端点检测能够区分声音产生与声音消失，因此准确地定位可能造成输电线路发生闪爆的异常目标音频开始点与结束点，采用维纳滤波器滤除静音、噪音部分，从而保留了可能造成输电线路闪爆故障的异常目标声音信号当中有效的部分。
通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测，包括以下步骤：
S11、声音信号的采集。对异常目标产生的声音信号进行采样时，采样频率需要大于或等于声音信号最高频率的两倍，采样值才可以包含原声音信号的所有信息，被采样的声音信号才可以不失真地还原成原始声音信号。具体地，声音信号的采集的表达式如下：
Fs≥sf； (1)
其中Fs为采样频率，f为异常目标产生的声音信号频率。
S12、声音信号的预处理。
声音信号预处理主要包括有：
预加重：声音信号能量一定时，频率越高，介质对声音能量的损耗越严重，即能量在低频时比高频时大，通过信道特征与噪音特点的不同来更合理地对信道加以处理，即把声音信号高频分量加重，恢复原来的信号功率分布，使传输质量增加，高、低频也维持在平衡的状况当中，设经过采样和预加重滤波器后的信号为S(n)，则
S(n)＝S(n)-aS(n-1)； (2)
式中，a为预加重系数。
分帧：声音信号具有时变特性，在整体上是非平稳的，可是在一个短时间范围内，其特性基本保持不变即相对稳定，所以可以将其看作是一个准稳态过程，即声音信号具有短时平稳性，通过分帧对时域信号分段使其平稳过渡，保证声音信号的平稳性。
加窗：对抽样n附近的声音波形加以强调而对波形的其余部分加以减弱。
S13、声音信号的端点检测。
采用过零分析方法进行声音信号的端点检测。如果相邻的采样点具有不同的代数符号，称为过零点，其中，过零点的个数称为过零率。本发明基于过零率特征提取方法的原理，在时域对信号幅值进行判别，通过检测信号过零点变化规律获得有效的信号特征向量。由于采集的输电线路区域异常目标声音信号具有短时稳定的特性，因此采用短时平均值过零率来表示声音特性。声音信号进行端点检测计算表达式如下：
式中，xn为异常目标声音信号，sgn[x(n)]是符号函数，其表达式如下：
在短时平均过零率计算中，加入窗函数ω(n)，则：
其中，窗函数ω(n)表达式如下：
式中，N为异常目标声音信号的帧长。
S2、采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警。
采用声纹识别技术对传感器采集的声音信号进行处理，识别出可能造成输电线路发生闪爆的异常闪爆源类型，并进行输电线路闪爆预警。首先提前选择可能造成输电线路发生闪爆的外力闪爆源(异常目标)声音样本，如工作时的大型吊车的声音、挖掘机的声音、混凝土灌注桩机的声音等，然后对采集的声音信号进行傅里叶变换，采用频域特征提取方法提取变换后的频率特征、频谱能量特征以及谱质心特征，构建相应的特征集，并采用支持向量法作为声音识别模型的匹配方法，在识别过程中，把待鉴别的声音输入到识别模型中进行识别，得到识别结果，并进行输电线路闪爆预警。
采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警，可参照图2，包括以下步骤：
S21、特征提取：对预处理后的声音信号进行特征提取，提取的频域特征包括频率特征、谱能量特征和谱质心特征。
频率特征：通过应用傅里叶变换将时域信号转换为频域信号，提取主要频率成分，包括平均值、最大值和标准差。
频谱能量特征：计算频谱的能量分布情况，可以反映声音信号的强弱和能量分布情况。频谱能量特征表达式如下：
其中，f(t)为声音信号。
谱质心特征：计算频谱的质心位置，可以描述声音信号频率分布的中心位置。描述了声音信号频谱的重心位置，反映了声音信号的频率集中程度。设第i帧的谱质心为Ci，谱质心特征表达式如下：
其中，xi(k)是第i帧的傅里叶变换，N为帧长度。
S22、特征向量构建：将从声音信号中提取的频率特征、频谱能量特征和谱质心特征组合成特征向量，该特征向量将作为声纹识别模型的输入。
S23、声纹识别模型建立：采用支持向量法作为声纹识别模型的匹配方法，选择部分已知异常闪爆源的声音样本，并为每个样本分配相应的类别标签，通过计算特征向量之间的相似度，模型能够学习到声音特征与异常闪爆源之间的关联。
S24、声音识别和闪爆预警：将待识别的声音输入到训练好的声纹识别模型中进行识别，模型将计算输入声音特征向量与训练样本之间的相似度，并确定输入声音所属异常闪爆源类型，根据模型输出的识别结果，进行输电线路的闪爆预警，并提醒相关人员采取相应的安全措施。
S3、采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置。
声源定位算法采用基于时间到达差(TDOA)的定位算法，基于时间到达差(TDOA)的定位算法分为两步：第一步，包括通过时间延误估计(TDE)算法来求取声源发出信号到达不同声音传感器的时间差，由声速与时间差可以求取各传感器与声源之间的路程差；第二步，根据第一步求得的路程差，加上以及声音传感器阵列放置的几何位置，则可解得声源位置，也即对采集的声音数据分析定位。基于TDOA的定位算法的定位过程如图3所示，其中m表示声音传感器。
采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置，包括：
基于时间到达差(TDOA)的声源定位，TDOA定位至少需要三个传感器参与定位，假设m1传感器的位置为(x1，y1)，取m1传感器的位置作为参考点,声源待求位置为(x，y)，那么第i个传感器到声源位置之间的距离可以表示为ri，则
第i个传感器和声源位置的关系方程为：
建立声源位置(x，y)和距离差之间的关系方程：
其中，ri1表示传感器m1到声源位置的距离与第i个传感器到声源位置的距离相减的距离之差,c为信号传播速度,ti为声源信号到达第i个传感器的到达TOA时间，t1为声源信号到达传感器m1的到达TOA时间；通过求解上述方程，即可得到声源的位置坐标(x，y)。
S4、对采集的声音数据分析定位后，找到可能造成输电线路发生闪爆故障的地点，采用摄像头拍摄定位现场的外力破坏源图像。
S5、采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警。
采用反向传播(Back Propagation，BP)神经网络作为图像识别算法，包括：首先提前准备一定量的外力破坏源图像，通过神经网络后提取图像的颜色特征、纹理特征以及轮廓特征；然后对BP反向传播神经网络进行训练，将摄像头采集到的图像输入到训练好的神经网络中进行目标对象的识别，以实现闪爆预警异常目标识别。
采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警，请参照图4，包括以下步骤：
S51、数据准备：首先，准备一定数量的外力破坏源图像作为训练数据集。这些图像应涵盖各种不同类型的外力破坏源和不同的场景条件，包括正常图像和可能造成输电线路闪爆的异常目标图像。
S52、特征提取：采用颜色直方图描述图像的颜色特征，灰度共生矩阵提取图像的纹理特征，边缘检测算法提取图像的轮廓特征。
颜色特征是指从图像中提取出的与颜色相关的特征信息，颜色作为一种视觉特征，颜色直方图(Color Histogram)将图像的颜色空间划分为若干个区域，统计每个区域中像素的数量或占比，得到表示图像颜色分布的直方图。颜色直方图可以反映图像中不同颜色的分布情况，颜色特征的描述和比较。
纹理特征代表着图像中像素之间的纹理结构和纹理分布情况，反映了图像中同质现象的视觉特征，灰度共生矩阵(Gray-Level Co-occurrence Matrix，GLCM)计算图像中像素之间灰度值的关系和出现频率，通过统计像素对之间的共生矩阵得到纹理特征。
轮廓特征描述了物体或区域的边界形状和轮廓信息，采用Canny边缘检测算法计算图像中像素值的变化率来检测出边界像素。
S53、网络构建：构建反向传播神经网络模型用于图像识别。BP神经网络模型通常包含输入层、隐藏层和输出层。输入层接收特征向量作为输入，隐藏层包含多个神经元，输出层表示分类的结果。
S54、网络训练：将准备好的训练数据集输入到神经网络中进行训练。训练过程使用反向传播算法来更新网络中的权重和偏置，以最小化预测结果与实际标签之间的误差。训练的目标是使网络能够准确地对不同类型的外力破坏源进行分类。
BP神经网络的训练方法有很多种,如梯度下降法、自适应lr梯度下降法、共轭梯度法、拟牛顿算法、一步正割算法和Levenberg-Marquardt算法(L-M算法)。为了使BP神经网络算法同时满足局部收敛性和具有梯度下降法，本发明采用基于性能非常稳定的L-M算法。
网络训练的算法表达式如下：
xs+1＝xs-(H+αI)-1G； (11)
其中，H为多维向量的矩阵，G为多维向量的一阶梯度,xs为上一步的函数极值，α为步长，I为单位矩阵。α数值越大表示算法越接近最速下降法,α数值越小表示算法越接近高斯-牛顿算法。
S55、模型评估：使用测试数据集评估训练好的神经网络模型的性能。将测试数据输入到网络中进行预测，然后与实际标签进行比较，计算准确率、召回率评估指标来衡量模型的性能。
S56、实时识别：将摄像头采集到的图像输入到训练好的神经网络模型中进行实时目标识别，通过对图像进行特征提取和神经网络的前向传播，可以获得预测结果，从而实现对异常目标的闪爆预警识别。
S6、综合传感器输出的声音数据和所拍摄的图像数据研判，从而完成输电线路闪爆预警异常目标检测。
综合传感器输出的声音数据和所拍摄的图像数据进行研判，通过对声音信号和图像特征的综合分析，能够准确识别异常目标类型，及时检测出潜在的闪爆风险并且进行输电线路的闪爆预警。其中传感器的实时监测和数据处理结合了先进的算法和人工智能技术，有效提升了预警的准确性和响应速度，从而完成输电线路闪爆预警异常目标检测过程。
以下，为在现场采集不同外力破坏源的声音数据，同时采用摄像头采集不同外力破坏源的图像数据，数据集包含不同类型外力破坏源、不同区域、不同角度的1000个图像样本及1000个声音样本。
本发明的方法与基于声纹识别检测方法相比具有识别准确率更高、检测效果更好的优点。采用本文闪爆预警异常目标检测方法和基于声纹识别检测方法进行检测并比较，效果如表1所示。
表1不同目标检验准确率
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，包括以下步骤：
S1、通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测；
S2、采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警；
S3、采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置；
S4、对采集的声音数据分析定位后，找到可能造成输电线路发生闪爆故障的地点，采用摄像头拍摄定位现场的外力破坏源图像；
S5、采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警；
S6、综合传感器输出的声音数据和所拍摄的图像数据研判，从而完成输电线路闪爆预警异常目标检测。
2.根据权利要求1所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
所述通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测，包括以下步骤：
S11、声音信号的采集，其表达式如下：
Fs≥sf；
其中Fs为采样频率，f为异常目标产生的声音信号频率；
S12、声音信号的预处理，其包括有预加重、分帧和加窗操作；
S13、声音信号的端点检测，端点检测计算表达式如下：
式中，xn为异常目标声音信号，sgn[x(n)]是符号函数，其表达式如下：
加入窗函数ω(n)，则：
其中，窗函数ω(n)表达式如下：
式中，N为异常目标声音信号的帧长。
3.根据权利要求2所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
所述声音信号的预处理中，
预加重，为把声音信号高频分量加重，恢复原来的信号功率分布，使传输质量增加，高、低频也维持在平衡的状况当中，设经过采样和预加重滤波器后的信号为S(n)，则
S(n)＝S(n)-aS(n-1)；
式中，a为预加重系数；
分帧，为对时域信号分段使其平稳过渡；
加窗，为对抽样n附近的声音波形加以强调而对波形的其余部分加以减弱。
4.根据权利要求1所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
步骤S2中，提前选择可能造成输电线路发生闪爆的外力闪爆源声音样本，对采集的声音信号进行傅里叶变换，采用频域特征提取方法提取变换后的频率特征、频谱能量特征以及谱质心特征，构建相应的特征集，并采用支持向量法作为声音识别模型的匹配方法，在识别过程中，把待鉴别的声音输入到识别模型中进行识别，得到识别结果，并进行输电线路闪爆预警。
5.根据权利要求1或4所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警，包括以下步骤：
S21、特征提取：对预处理后的声音信号进行特征提取，提取的频域特征包括频率特征、谱能量特征和谱质心特征；
S22、特征向量构建：将从声音信号中提取的频率特征、频谱能量特征和谱质心特征组合成特征向量，该特征向量将作为声纹识别模型的输入；
S23、声纹识别模型建立：采用支持向量法作为声纹识别模型的匹配方法，选择部分已知异常闪爆源的声音样本，并为每个样本分配相应的类别标签，通过计算特征向量之间的相似度，模型能够学习到声音特征与异常闪爆源之间的关联；
S24、声音识别和闪爆预警：将待识别的声音输入到训练好的声纹识别模型中进行识别，模型将计算输入声音特征向量与训练样本之间的相似度，并确定输入声音所属异常闪爆源类型，根据模型输出的识别结果，进行输电线路的闪爆预警。
6.根据权利要求5所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
频率特征，包括平均值、最大值和标准差；
频谱能量特征，其表达式如下：
其中，f(t)为声音信号；
设第i帧的谱质心为Ci，谱质心特征表达式如下：
其中，xi(k)是第i帧的傅里叶变换，N为帧长度。
7.根据权利要求1所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
所述声源定位算法采用基于时间到达差的定位算法，包括：通过时间延误估计算法来求取声源发出信号到达不同声音传感器的时间差，由声速与时间差可以求取各传感器与声源之间的路程差；根据求得的路程差，以及声音传感器阵列放置的几何位置，则可解得声源位置，也即对采集的声音数据分析定位。
8.根据权利要求7所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置，包括：
设m1传感器的位置为(x1，y1)，取m1传感器的位置作为参考点,声源待求位置为(x，y)，第i个传感器到声源位置之间的距离表示为ri，则
第i个传感器和声源位置的关系方程为：
建立声源位置(x，y)和距离差之间的关系方程：
其中，ri1表示传感器m1到声源位置的距离与第i个传感器到声源位置的距离相减的距离之差,c为信号传播速度,ti为声源信号到达第i个传感器的到达时间，t1为声源信号到达传感器m1的到达时间；通过求解上述方程，即可得到声源的位置坐标(x，y)。
9.根据权利要求1所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
所述采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警，包括以下步骤：
S51、数据准备：准备一定数量的外力破坏源图像作为训练数据集；
S52、特征提取：采用颜色直方图描述图像的颜色特征，灰度共生矩阵提取图像的纹理特征，边缘检测算法提取图像的轮廓特征；
S53、网络构建：构建反向传播神经网络模型用于图像识别；
S54、网络训练：将准备好的训练数据集输入到神经网络中进行训练；
S55、模型评估：使用测试数据集评估训练好的神经网络模型的性能；
S56、实时识别：将摄像头采集到的图像输入到训练好的神经网络模型中进行实时目标识别，通过对图像进行特征提取和神经网络的前向传播，获得预测结果，从而实现对异常目标的闪爆预警识别。
10.根据权利要求9所述的多模态数据协同的输电线路闪爆预警异常目标检测方法，其特征在于，
网络训练的算法表达式如下：
xs+1＝xs-(H+αI)-1G；
其中，H为多维向量的矩阵，G为多维向量的一阶梯度,xs为上一步的函数极值，α为步长，I为单位矩阵。
CN202310716337.1A 2023-06-16 2023-06-16 多模态数据协同的输电线路闪爆预警异常目标检测方法 Pending CN116776279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310716337.1A CN116776279A (zh) 2023-06-16 2023-06-16 多模态数据协同的输电线路闪爆预警异常目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310716337.1A CN116776279A (zh) 2023-06-16 2023-06-16 多模态数据协同的输电线路闪爆预警异常目标检测方法

Publications (1)

Publication Number Publication Date
CN116776279A true CN116776279A (zh) 2023-09-19

Family

ID=87994161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310716337.1A Pending CN116776279A (zh) 2023-06-16 2023-06-16 多模态数据协同的输电线路闪爆预警异常目标检测方法

Country Status (1)

Country Link
CN (1) CN116776279A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235583A (zh) * 2023-11-13 2023-12-15 国网浙江省电力有限公司双创中心 一种gis断路器执行机构的监测方法及系统
CN117268808A (zh) * 2023-11-16 2023-12-22 青岛海瑞克轨道交通设备有限公司 一种列车车门故障检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235583A (zh) * 2023-11-13 2023-12-15 国网浙江省电力有限公司双创中心 一种gis断路器执行机构的监测方法及系统
CN117235583B (zh) * 2023-11-13 2024-01-30 国网浙江省电力有限公司双创中心 一种gis断路器执行机构的监测方法及系统
CN117268808A (zh) * 2023-11-16 2023-12-22 青岛海瑞克轨道交通设备有限公司 一种列车车门故障检测方法及系统
CN117268808B (zh) * 2023-11-16 2024-02-09 青岛海瑞克轨道交通设备有限公司 一种列车车门故障检测方法及系统

Similar Documents

Publication Publication Date Title
CN116776279A (zh) 多模态数据协同的输电线路闪爆预警异常目标检测方法
CN108709633B (zh) 基于深度学习的分布式光纤振动传感智能安全监测方法
US10269138B2 (en) UAV inspection method for power line based on human visual system
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN111948487A (zh) 一种基于人工智能的高压电力设备故障诊断方法及系统
CN110519637A (zh) 基于音频视频监控结合的异常监测方法
CN105160359B (zh) 一种基于超声导波的复杂结构损伤协同识别方法
CN110717464B (zh) 一种基于雷达数据的铁路路基病害智能识别方法
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN115239632A (zh) 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法
CN113283310A (zh) 一种基于声纹特征的电力设备健康状态检测系统和方法
CN116778964A (zh) 一种基于声纹识别的变电设备故障监测系统及方法
CN107844067A (zh) 一种水电站闸门在线状态监测控制方法及监测系统
CN112115770A (zh) 一种用于架空线路无人机自主巡检缺陷识别的方法及系统
CN112462355A (zh) 一种基于时频三特征提取的对海目标智能检测方法
CN110427943A (zh) 一种基于r-cnn的智能电表数值识别方法
CN113962973A (zh) 一种基于卫星技术的输电线路无人机智能巡检系统及方法
CN113838010A (zh) 基于红外热波及卷积神经网络的复合材料损伤智能检测方法
CN115618205A (zh) 一种便携式声纹故障检测系统及方法
CN115272830A (zh) 一种基于深度学习的受电弓异物检测方法
CN106706109B (zh) 一种基于时域二维特性的振动源识别方法及系统
CN116229052A (zh) 一种基于孪生网络的变电站设备状态变化检测方法
CN114893390A (zh) 一种基于注意力与集成学习机制的泵机设备故障检测方法
CN114062839A (zh) 一种铁路电力线路故障定位装置及其方法
US20230024104A1 (en) Identification of false transformer humming using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination