CN114464215B - 一种输电线路通道隐患监测方法及设备 - Google Patents
一种输电线路通道隐患监测方法及设备 Download PDFInfo
- Publication number
- CN114464215B CN114464215B CN202210107658.7A CN202210107658A CN114464215B CN 114464215 B CN114464215 B CN 114464215B CN 202210107658 A CN202210107658 A CN 202210107658A CN 114464215 B CN114464215 B CN 114464215B
- Authority
- CN
- China
- Prior art keywords
- hidden danger
- transmission line
- audio data
- power transmission
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 206
- 238000012544 monitoring process Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007635 classification algorithm Methods 0.000 claims abstract description 14
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000012806 monitoring device Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003203 everyday effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本申请实施例公开了一种输电线路通道隐患监测方法及设备。通过视听采集设备对输电线路通道进行声音与图像采集;通过声音分类算法,确定出声音数据中的隐患音频数据;通过预设音频特征提取器,将隐患音频数据划分多个第一区间音频数据,并获取多个第一区间音频数据分别对应的声音特征;将多个第一区间音频数据分别对应的声音特征输入预设声音分类器,得到对应的第一输电线路隐患信息;基于输电线路图像,确定出第二输电线路隐患信息;根据第一输电线路隐患信息与第二输电线路隐患信息,确定出输电线路隐患等级,并基于输电线路隐患等级对视听采集设备的隐患监测状态进行调节。通过上述方法,可以对输电线路隐患进行准确监测。
Description
技术领域
本申请涉及声音识别技术领域,尤其涉及一种输电线路通道隐患监测方法及设备。
背景技术
输电线路是电网中不可缺少的部分,承担着输送分配电能以及连接电网的重要角色。由于户外环境情况多变,输电线路通道隐患问题也多种多样,传统的人工输电线路通道隐患巡检方式,难以满足当前监测需求。
目前的输电线路通道隐患监测方案中,大部分是使用图像视频监测的方案,但图像视频监控装置监视目标要求众多,输电通道内目标以及线路周边环境情况都要兼顾。此外,在白天使用图像视频监控也会受到天气状况、监拍视角等各方面因素的影响,导致监拍图像视频质量不佳,给智能化识别造成较大误差。而夜间监控由于缺少光线则更容易导致监拍图像视频质量出现问题。因此受天气变化与光照等因素的影响,仅靠图像视频难以对输电线路出现的隐患进行准确监测。
发明内容
本申请实施例提供了一种输电线路通道隐患监测方法及设备,用于解决如下技术问题:受天气变化与光照等因素的影响,难以对输电线路出现的隐患进行准确监测。
本申请实施例采用下述技术方案:
本申请实施例提供一种输电线路通道隐患监测方法。包括,通过视听采集设备对输电线路通道实时进行声音采集,以及以预设时间间隔进行输电线路图像采集;通过视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据;通过预设音频特征提取器,将隐患音频数据划分多个第一区间音频数据,并获取多个第一区间音频数据分别对应的声音特征;通过后端监测平台将多个第一区间音频数据分别对应的声音特征,输入预设声音分类器,通过声音分类器确定出隐患音频数据对应的第一输电线路隐患信息;后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息;后端监测平台根据第一输电线路隐患信息,与第二输电线路隐患信息,确定出输电线路隐患等级,并基于输电线路隐患等级对视听采集设备的隐患监测状态进行调节。
本申请实施例通过视听采集设备内的声音分类算法,确定出隐患音频数据,能够将无隐患的音频数据进行滤除,从而减少进行隐患处理的音频数据,提高隐患分析速度。其次,本申请实施例通过预设音频特征提取器与预设声音分类器,能够对隐患数据进行类别识别以及声音起始时间识别,从而得到详细的输电线路隐患信息。此外,本申请实施例通过声音识别的第一输电线路隐患信息,与通过图像识别出的第二输电线路隐患信息,结合得到输电线路隐患等级,能够在因天气、环境变化等情况下,实时对输电线路进行监测,及时确定出输电线路发生的隐患,从而确保输电线路的稳定运行。
在本申请的一种实现方式中,通过视听采集设备内的声音分类算法,确定出采集到的音频数据中的隐患音频数据,具体包括:通过视听采集设备将音频数据划分为多个第二区间音频数据,并将多个第二区间音频数据分别对应的音强值与预设隐患音强阈值进行比对;在音频数据对应的所有区间内的音强值小于预设隐患音强阈值的情况下,确定音频数据为无隐患数据,并将无隐患数据进行滤除;在音频数据对应的任一区间内的音强值大于或等于预设隐患音强阈值的情况下,确定音频数据为隐患音频数据。
本申请实施例通过将音频数据划分为多个第二区间音频数据,能够根据划分后的区间数据进行隐患确定,从而提高输电线路隐患确定的准确性。其次,本申请实施例通过将非隐患数据进行滤除,能够减少进行隐患分析的声音数据,从而降低服务器的分析压力,提高隐患分析速度。
在本申请的一种实现方式中,通过视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据之后,方法还包括:通过视听采集设备确定出每个第二区间音频数据分别对应的平均声音强度,并按照时间顺序将得到的平均声音强度进行排列,得到隐患音频数据对应的声谱图;将声谱图输入预设第一隐患识别网络中,通过预设第一隐患识别网络对声谱图进行初级分类。
在本申请的一种实现方式中,通过预设音频特征提取器,将每个有隐患音频数据划分多个第一区间音频数据,并获取多个第一区间音频数据分别对应的声音特征,具体包括:确定预设音频特征提取器对应的卷积块,以通过卷积块确定出相应的下采样层;通过预设音频特征提取器,以及特征提取器对应的特征提取特性,将隐患音频数据划分多个第一区间音频数据;通过预设音频特征提取器对应的下采样层,对每个第一区间音频数据进行多次下采样,得到多个第一区间音频数据分别对应的声音特征。
在本申请的一种实现方式中,通过后端监测平台将多个第一区间音频数据分别对应的声音特征,输入预设声音分类器,具体包括:通过后端监测平台确定出声音特征中的音频波形特征与对数梅尔频谱特征;通过后端监测平台将音频波形特征与对数梅尔频谱特征进行点乘计算,得到结合后的声音特征,并将结合后的声音特征输入预设声音分类器。
本申请实实施例通过将获取到的音频波形特征与对数梅尔频谱特征进行结合,能够进一步提高获取到的声音特征的精确度。从而使得输入预设声音分类器中的数据更为精准,以提高得到的输电线路隐患类别的准确度。
在本申请的一种实现方式中,通过声音分类器确定出隐患音频数据对应的第一输电线路隐患信息,具体包括:通过声音分类器,确定出多个第一区间音频数据分别对应的隐患类别,以对隐患音频数据进行再次分类;以及通过声音分类器,确定出不同类别的音频数据分别对应的声音起始时间;根据隐患类别与声音起始时间,得到隐患音频数据对应的第一输电线路隐患信息。
在本申请的一种实现方式中,后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息,具体包括:通过预设第二隐患识别网络,确定出输电线路图像中隐患目标的候选区域,并对候选区域进行图像特征提取,以根据图像特征确定出候选区域对应的第二输电线路隐患信息;其中,图像特征至少包括候选区域对应的图像像素值、图像对比度中的一项。
在本申请的一种实现方式中,基于输电线路隐患等级对视听采集设备的隐患监测状态进行调节,具体包括后端监测平台确定出输电线路隐患等级,并在输电线路等级升高的情况下,提高视听采集设备的声音上传频率与图像上传频率。
在本申请的一种实现方式中,后端监测平台根据第一输电线路隐患信息与第二输电线路隐患信息,确定出输电线路隐患等级,具体包括:后端监测平台在未获取到第一输电线路隐患信息,以及未获取到第二输电线路隐患信息的情况下,确定当前输电线路隐患为零级;后端监测平台在获取到第一输电线路隐患信息,但未获取到第二输电线路隐患信息的情况下;或者在未获取到第一输电线路隐患信息,但获取到第二输电线路隐患信息的情况下,确定当前输电线路隐患为一级;并发出一级告警信号;后端监测平台在获取到第一输电线路隐患信息,且获取到第二输电线路隐患信息的情况下,确定当前输电线路隐患为二级;并发出二级告警信号。
本申请实施例提供一种输电线路通道隐患监测设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够:通过视听采集设备对输电线路通道实时进行声音采集,以及以预设时间间隔进行输电线路图像采集;通过视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据;通过预设音频特征提取器,将隐患音频数据划分多个第一区间音频数据,并获取多个第一区间音频数据分别对应的声音特征;通过后端监测平台将多个第一区间音频数据分别对应的声音特征,输入预设声音分类器,通过声音分类器确定出隐患音频数据对应的第一输电线路隐患信息;后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息;后端监测平台根据第一输电线路隐患信息,与第二输电线路隐患信息,确定出输电线路隐患等级,并基于输电线路隐患等级对视听采集设备的隐患监测状态进行调节。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本申请实施例通过视听采集设备内的声音分类算法,确定出隐患音频数据,能够将无隐患的音频数据进行滤除,从而减少进行隐患处理的音频数据,提高隐患分析速度。其次,本申请实施例通过预设音频特征提取器与预设声音分类器,能够对隐患数据进行类别识别以及声音起始时间识别,从而得到详细的输电线路隐患信息。此外,本申请实施例通过声音识别的第一输电线路隐患信息,与通过图像识别出的第二输电线路隐患信息,结合得到输电线路隐患等级,能够在因天气、环境变化等情况下,实时对输电线路进行监测,及时确定出输电线路发生的隐患,从而确保输电线路的稳定运行。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本申请实施例提供的一种输电线路通道隐患监测方法流程图;
图2为本申请实施例提供的一种输电线路通道隐患监测设备的结构示意图。
具体实施方式
本申请实施例提供一种输电线路通道隐患监测方法及设备。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
输电线路是电网中不可缺少的部分,承担着输送分配电能以及连接电网的重要角色。由于户外环境情况多变,输电线路通道隐患问题也多种多样,传统的人工输电线路通道隐患巡检方式,以难以满足当前监测需求。
目前的输电线路通道隐患监测方案中,大部分是使用图像/视频监测的方案,但图像视频监控装置监视目标要求众多,输电通道内目标以及线路周边环境情况都要兼顾。此外,在白天使用图像视频监控也会受到天气状况、监拍视角等各方面因素的影响导致监拍图像视频质量不佳,给智能化识别造成较大误差。而夜间监控由于缺少光线则更容易导致监拍图像/视频质量出现问题。因此受天气变化与光照等因素的影响,难以及时准确的对输电线路出现的隐患进行监测。
为了解决上述问题,本申请实施例提供一种输电线路通道隐患监测方法及设备。通过视听采集设备内的声音分类算法,确定出隐患音频数据,能够将无隐患的音频数据进行滤除,从而减少进行隐患处理的音频数据,提高隐患分析速度。其次,本申请实施例通过预设音频特征提取器与预设声音分类器,能够对隐患数据进行类别识别以及声音起始时间识别,从而得到详细的输电线路隐患信息。此外,本申请实施例通过声音识别的第一输电线路隐患信息,与通过图像识别出的第二输电线路隐患信息,结合得到输电线路隐患等级,能够在因天气、环境变化等情况下,实时对输电线路进行监测,及时准确的确定出输电线路发生的隐患,从而确保输电线路的稳定运行。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
图1为本申请实施例提供的一种输电线路通道隐患监测方法流程图。如图1所示,输电线路通道隐患监测方法包括如下步骤:
S101、通过视听采集设备对输电线路通道实时进行声音采集,以及以预设时间间隔进行输电线路图像采集。
在本申请的一个实施例中,通过视听采集设备实时对输电线路通道进行声音采集。例如,可以对停落在输电线路上的动物的声音进行采集,也可以对输电线路周围的机械声音采集,以及也可以对雷声进行采集。通过视听设备对输电线路全景图像进行采集。例如,可以每1小时拍照M次,每天可获取N张输电通道全景图像。
进一步地,采集到的声音与图像需要上传至后端服务器。其中,声音采集上传方式为连续式采集,每天不间断的采集声音并进行上传,采集程序设置音频录制时长为T秒,相当于每T秒可获得1个录音文件。图像采集上传方式为间歇式采集,监视当前输电通道的全景信息,每1小时拍照M次,每天可获取N张输电通道全景图像。通过以上方式,采集获取到大量的输电线路通道的声音和图像数据,便于后期为声音分类以及图像识别提供可靠的训练数据。
S102、通过视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据。
在本申请的一个实施例中,通过视听采集设备将音频数据划分为多个第二区间音频数据,并将多个第二区间音频数据分别对应的音强值与预设隐患音强阈值进行比对。在音频数据对应的所有区间内的音强值小于预设隐患音强阈值的情况下,确定音频数据为无隐患数据,并将无隐患数据进行滤除。在音频数据对应的任一区间内的音强值大于或等于预设隐患音强阈值的情况下,确定音频数据为隐患音频数据。
具体地,前端根据音强大小区分采集到的音频数据。各种类型隐患设置有相应的音强阈值。将获取到的当前声音的音强值与音强阈值进行比对,当采集到的T秒音频中每秒音频都小于设置的音强阈值,判定该段音频为无隐患。此时,为了减少上传至服务器的音频数据,可以将无隐患的音频数据进行滤除。当采集到的T秒音频中任一秒对应的音频大于或等于设置的音强阈值时,则判定该段音频为有隐患。此时,需要将该隐患的类别进行初步识别,并将该隐患音频数据上传至服务器对其进行隐患分析。
在本申请的一个实施例中,通过视听采集设备确定出每个第二区间音频数据分别对应的平均声音强度。按照时间顺序将得到的平均声音强度进行排列,得到隐患音频数据对应的声谱图。将声谱图输入预设第一隐患识别网络中,通过预设第一隐患识别网络对声谱图进行初级分类。
具体地,可以将预先采集的多种类型的隐患声音作为输入,将隐患声音对应的类别作为输出,对模型进行训练,以得到第一隐患识别网络模型。
需要说明的是,本申请实施例中的第一隐患识别网络模型采用TensorFlow中的Speech Commands简易语音识别框架,其可以通过多种方式构建用于处理音频的神经网络模型。
进一步地,音频数据本身是一段时间内的一维连续信号,首先定义出音频数据符合的时间范围,即,确定出每个隐患音频数据对应的时间区间。之后将传入的音频样本分为多个第二区间音频数据,其中,每个第二区间音频数据时长可以为几毫秒,并计算每个第二区间音频数据对应的平均声音强度。每组声音强度都被视为数字向量,将这些向量按照时间顺序排列,形成二维数组。这些数组可以被视为单通道图像,从而得到相应的声谱图。经过以上处理步骤之后,生成的音频声谱图像会送到第一隐患识别网络模型中。通过模型最后连接全连接层以及Softmax进行音频分类。
具体地,本申请实施例将前端过滤模块设置为标准的两层卷积神经网络,相比其它深度学习方案参数量更小,更加适合前端声音方案进行实时音频采集和粗略分类过滤。本申请实施例将其作为前端的声音分类框架,使每段音频数据都能获得一个单独的分类标签。
S103、通过预设音频特征提取器,将隐患音频数据划分多个第一区间音频数据,并获取多个第一区间音频数据分别对应的声音特征。
在本申请的一个实施例中,确定预设音频特征提取器对应的卷积块,以通过卷积块确定出相应的下采样层。通过预设音频特征提取器,以及特征提取器对应的特征提取特性,将隐患音频数据划分多个第一区间音频数据。通过预设音频特征提取器对应的下采样层,对每个第一区间音频数据进行多次下采样,得到多个第一区间音频数据分别对应的声音特征。
具体地,本申请实施例中的预设音频特征提取器采用PANNs中用于音频数据集标记的Wavegram-Logmel-CNN结构,将音频波形特征与对数梅尔频谱特征结合。
具体地,本申请实施例中的预设音频特征提取器是对每一秒的音频数据进行下采样,因此,可以将隐患音频数据按秒对其进行划分,从而得到多个第一区间音频数据。Wavegram-Logmel-CNN结构连接三个卷积块,每个卷积块后面是一个步幅为4的下采样层,通过使用步幅和下采样三次之后,可以将32kHz的音频下采样到每秒100帧特征。
S104、后端监测平台将多个第一区间音频数据分别对应的声音特征输入预设声音分类器,通过声音分类器确定出隐患音频数据对应的第一输电线路隐患信息。
在本申请的一个实施例中,通过后端监测平台确定出声音特征中的音频波形特征与对数梅尔频谱特征。将音频波形特征与对数梅尔频谱特征进行点乘计算,得到结合后的声音特征,并将结合后的声音特征输入预设声音分类器。
具体地,通过预设音频特征提取器获取隐患音频数据对应的音频波形特征与对数梅尔频谱特征。确定出横坐标相同的音频点所对应的音频模型特征与对数梅尔频谱特征,将该点对应的音频波形特征与对数梅尔频谱特征进行点乘计算,得到结合后的声音特征,从而提高隐患音频声音特征的精确性,将其输入预设声音分类器后,可以提高对输电线路隐患声音分类的准确性。
在本申请的一个实施例中,通过声音分类器,确定出多个第一区间音频数据分别对应的隐患类别。以对隐患音频数据进行再次分类,以及通过声音分类器,确定出不同类别的音频数据分别对应的声音起始时间。根据隐患类别与声音起始时间,得到隐患音频数据对应的第一输电线路隐患信息。
具体地,本申请预先构建全连接层分类器,用于实现后端对隐患音频数据的分类。从而可以将原本T秒音频段进行逐秒分类,得到每一秒对应隐患声音类型。通过音频特征可以确定出声音的起始时间,根据每一秒对应的隐患声音类别,以及声音起始时间,可以确定出每一种输电线路隐患的起始时间。
具体地,后端识别模块中的声音分类方式侧重于在每段T秒音频中检测出存在的音频具体的出现时间,相比于前端识别模块,声音识别结果更加精细化。
S105、后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息。
在本申请的一个实施例中,通过预设第二隐患识别网络,确定出输电线路图像中隐患目标的候选区域,并对候选区域进行图像特征提取,以根据图像特征确定出候选区域对应的第二输电线路隐患信息。其中,图像特征至少包括候选区域对应的图像像素值、图像对比度中的一项。
具体地,本申请实施例中的图像识别辅助监测模块主要是采取基于数据驱动的深度学习识别方案,包括但不限于利用FasterR-CNN对输电线路图像进行隐患识别监测。首先可以利用FasterR-CNN深度神经网络产生隐患目标的候选区域,利用卷积神经网络学习图像中的高级特征,例如,可以学习图像中的图像像素值、图像对比度等高级特征。最后进行Softmax分类和Bbox回归,并返回每个隐患目标的类型和像素信息,以得到候选区域对应的第二输电线路隐患信息。
S106、后端监测平台根据第一输电线路隐患信息与第二输电线路隐患信息,确定出输电线路隐患等级,并基于输电线路隐患等级对视听采集设备的隐患监测状态进行调节。
在本申请的一个实施例中,本申请实施例提出一种以声音识别为主,图像识别为辅的联合监测方式,本申请中输电线路通道的声音信息采用持续式采集方式,图像信息采用间歇式采集。本申请实施例可以始终确保对输电线路通道隐患实现全面有效的实时智能化监控,预防由于突发隐患造成的线路断电等故障。
在本申请的一个实施例中,在未获取到第一输电线路隐患信息,以及未获取到第二输电线路隐患信息的情况下,确定当前输电线路隐患为零级。在获取到第一输电线路隐患信息,但未获取到第二输电线路隐患信息的情况下,或者在未获取到第一输电线路隐患信息,但获取到第二输电线路隐患信息的情况下,确定当前输电线路隐患为一级。并发出一级告警信号。在获取到第一输电线路隐患信息,且获取到第二输电线路隐患信息的情况下,确定当前输电线路隐患为二级。并发出二级告警信号。
在本申请的一个实施例中,后端监测平台确定出所述输电线路隐患等级,并在输电线路等级升高的情况下,提高视听采集设备的声音上传频率与图像上传频率。
具体地,本申请实施例中的声音与图像的联合监测可以分为以下四种情况:
第一种,假设图像识别模块以及声音分类模块均未识别到存在隐患,那么此时设备不告警,监测设备正常运行。图像每小时拍照上传M次,声音数据持续采集T秒音频段进行分类识别但不上传音频文件。此时输电线路隐患为零级。
第二种,假设图像识别模块识别到存在隐患,声音分类模块未能识别到存在隐患,那么此时设备告警,监测设备以告警状态运行。图像每T秒拍照上传1次,声音数据每T秒上传1次。此时输电线路隐患为一级。
第三种,假设图像识别模块未识别到有隐患,声音分类模块识别到存在隐患,那么此时设备告警,监测设备以告警状态运行。图像每T秒拍照上传1次,声音数据每T秒上传1次。此时输电线路隐患为一级。
第四种,假设图像识别模块识别到有隐患,声音分类模块也识别到存在隐患,那么此时设备告警,监测设备以告警状态运行,图像每T-A秒拍照上传1次,声音数据每T-A秒上传1次。此时输电线路隐患为二级。其中,A为大于0 的数,且T-A大于0。
进一步地,本申请中的声音和图像联动监测状态中,将输电线路隐患分为三个告警级别。零级告警声音识别和图像识别模块均未监测到隐患信息,因此其存在隐患可能性最小。一级告警由于声音识别和图像识别模块之一识别到存在隐患,因此有误报可能,可传递图像和声音信息至后台进行进一步判断。二级告警声音识别和图像识别模块均监测到隐患信息,因此其存在隐患可能性最大。此外声音和图像联合监测方式任何状态下均可及时采集到图像和声音数据,受天气变化与光照等因素的影响较小,从而可以及时对输电线路出现的隐患进行监测。
图2为本申请实施例提供的一种输电线路通道隐患监测设备的结构示意图。如图2所示,输电线路通道隐患监测设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
通过视听采集设备对输电线路通道实时进行声音采集,以及以预设时间间隔进行输电线路图像采集;
通过所述视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据;
通过预设音频特征提取器,将所述隐患音频数据划分多个第一区间音频数据,并获取所述多个第一区间音频数据分别对应的声音特征;
通过后端监测平台将所述多个第一区间音频数据分别对应的声音特征,输入预设声音分类器,通过所述声音分类器确定出所述隐患音频数据对应的第一输电线路隐患信息;
所述后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息;
所述后端监测平台根据所述第一输电线路隐患信息,与所述第二输电线路隐患信息,确定出输电线路隐患等级,并基于所述输电线路隐患等级对所述视听采集设备的隐患监测状态进行调节。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种输电线路通道隐患监测方法,其特征在于,所述方法包括:
通过视听采集设备对输电线路通道实时进行声音采集,以及以预设时间间隔进行输电线路图像采集;
通过所述视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据;
通过预设音频特征提取器,将所述隐患音频数据划分多个第一区间音频数据,并获取所述多个第一区间音频数据分别对应的声音特征;
通过后端监测平台将所述多个第一区间音频数据分别对应的声音特征,输入预设声音分类器,通过所述声音分类器确定出所述隐患音频数据对应的第一输电线路隐患信息;
所述后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息;
所述后端监测平台根据所述第一输电线路隐患信息,与所述第二输电线路隐患信息,确定出输电线路隐患等级,并基于所述输电线路隐患等级对所述视听采集设备的隐患监测状态进行调节。
2.根据权利要求1所述的一种输电线路通道隐患监测方法,其特征在于,所述通过所述视听采集设备内的声音分类算法,确定出采集到的音频数据中的隐患音频数据,具体包括:
通过所述视听采集设备将所述音频数据划分为多个第二区间音频数据,并将所述多个第二区间音频数据分别对应的音强值与预设隐患音强阈值进行比对;
在所述音频数据对应的所有区间内的音强值小于所述预设隐患音强阈值的情况下,确定所述音频数据为无隐患数据,并将所述无隐患数据进行滤除;
在所述音频数据对应的任一区间内的音强值大于或等于所述预设隐患音强阈值的情况下,确定所述音频数据为隐患音频数据。
3.根据权利要求2所述的一种输电线路通道隐患监测方法,其特征在于,所述通过所述视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据之后,所述方法还包括:
通过所述视听采集设备确定出每个第二区间音频数据分别对应的平均声音强度,并按照时间顺序将得到的平均声音强度进行排列,得到所述隐患音频数据对应的声谱图;
将所述声谱图输入预设第一隐患识别网络模型中,通过所述预设第一隐患识别网络模型对所述声谱图进行初级分类。
4.根据权利要求1所述的一种输电线路通道隐患监测方法,其特征在于,所述通过预设音频特征提取器,将所述隐患音频数据划分多个第一区间音频数据,并获取所述多个第一区间音频数据分别对应的声音特征,具体包括:
确定所述预设音频特征提取器对应的卷积块,以通过所述卷积块确定出相应的下采样层;
通过所述预设音频特征提取器,以及所述特征提取器对应的特征提取特性,将所述隐患音频数据划分多个第一区间音频数据;
通过所述预设音频特征提取器对应的下采样层,对每个第一区间音频数据进行多次下采样,得到所述多个第一区间音频数据分别对应的声音特征。
5.根据权利要求1所述的一种输电线路通道隐患监测方法,其特征在于,所述通过后端监测平台将所述多个第一区间音频数据分别对应的声音特征,输入预设声音分类器,具体包括:
通过后端监测平台确定出所述声音特征中的音频波形特征与对数梅尔频谱特征;
通过后端监测平台将所述音频波形特征与对数梅尔频谱特征进行点乘计算,得到结合后的声音特征,并将所述结合后的声音特征输入所述预设声音分类器。
6.根据权利要求3所述的一种输电线路通道隐患监测方法,其特征在于,所述通过所述声音分类器确定出所述隐患音频数据对应的第一输电线路隐患信息,具体包括:
通过所述声音分类器,确定出所述多个第一区间音频数据分别对应的隐患类别,以对所述隐患音频数据进行再次分类;以及
通过所述声音分类器,确定出不同类别的音频数据分别对应的声音起始时间;
根据所述隐患类别与所述声音起始时间,得到所述隐患音频数据对应的第一输电线路隐患信息。
7.根据权利要求1所述的一种输电线路通道隐患监测方法,其特征在于,所述后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息,具体包括:
通过预设第二隐患识别网络模型,确定出所述输电线路图像中隐患目标的候选区域,并对所述候选区域进行图像特征提取,以根据所述图像特征确定出所述候选区域对应的第二输电线路隐患信息;
其中,所述图像特征至少包括所述候选区域对应的图像像素值、图像对比度中的一项。
8.根据权利要求1所述的一种输电线路通道隐患监测方法,其特征在于,所述基于所述输电线路隐患等级对所述视听采集设备的隐患监测状态进行调节,具体包括:
所述后端监测平台确定出所述输电线路隐患等级,并在所述输电线路等级升高的情况下,提高所述视听采集设备的声音上传频率与图像上传频率。
9.根据权利要求1所述的一种输电线路通道隐患监测方法,其特征在于,所述后端监测平台根据所述第一输电线路隐患信息与所述第二输电线路隐患信息,确定出输电线路隐患等级,具体包括:
所述后端监测平台在未获取到所述第一输电线路隐患信息,以及未获取到所述第二输电线路隐患信息的情况下,确定当前输电线路隐患为零级;
所述后端监测平台在获取到所述第一输电线路隐患信息,但未获取到所述第二输电线路隐患信息的情况下;或者在未获取到所述第一输电线路隐患信息,但获取到所述第二输电线路隐患信息的情况下,确定当前输电线路隐患为一级;并发出一级告警信号;
所述后端监测平台在获取到所述第一输电线路隐患信息,且获取到所述第二输电线路隐患信息的情况下,确定当前输电线路隐患为二级;并发出二级告警信号。
10.一种输电线路通道隐患监测设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
通过视听采集设备对输电线路通道实时进行声音采集,以及以预设时间间隔进行输电线路图像采集;
通过所述视听采集设备内的声音分类算法,确定出采集到的声音数据中的隐患音频数据;
通过预设音频特征提取器,将所述隐患音频数据划分多个第一区间音频数据,并获取所述多个第一区间音频数据分别对应的声音特征;
通过后端监测平台将所述多个第一区间音频数据分别对应的声音特征,输入预设声音分类器,通过所述声音分类器确定出所述隐患音频数据对应的第一输电线路隐患信息;
所述后端监测平台对采集的输电线路图像进行分析,确定出第二输电线路隐患信息;
所述后端监测平台根据所述第一输电线路隐患信息,与所述第二输电线路隐患信息,确定出输电线路隐患等级,并基于所述输电线路隐患等级对所述视听采集设备的隐患监测状态进行调节。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210107658.7A CN114464215B (zh) | 2022-01-28 | 2022-01-28 | 一种输电线路通道隐患监测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210107658.7A CN114464215B (zh) | 2022-01-28 | 2022-01-28 | 一种输电线路通道隐患监测方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114464215A CN114464215A (zh) | 2022-05-10 |
CN114464215B true CN114464215B (zh) | 2024-09-13 |
Family
ID=81411533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210107658.7A Active CN114464215B (zh) | 2022-01-28 | 2022-01-28 | 一种输电线路通道隐患监测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114464215B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101364408A (zh) * | 2008-10-07 | 2009-02-11 | 西安成峰科技有限公司 | 一种声像联合的监控方法及系统 |
CN111157855A (zh) * | 2019-12-31 | 2020-05-15 | 山东信通电子股份有限公司 | 一种判断输电线路故障的方法及服务器 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101794543B1 (ko) * | 2016-04-18 | 2017-11-08 | 주식회사 세화 | 소리분석을 통한 선로전환기의 고장 탐지 식별 시스템 |
CN111986697B (zh) * | 2020-08-04 | 2023-05-05 | 深圳供电局有限公司 | 输电线路跳闸点确定方法、装置、计算机设备和存储介质 |
CN112864947B (zh) * | 2021-03-02 | 2022-07-05 | 山东鲁软数字科技有限公司智慧能源分公司 | 一种可视化监拍系统及方法 |
CN112952647A (zh) * | 2021-03-06 | 2021-06-11 | 河北腾瑞电力设备科技有限公司 | 一种高压输电线路的巡检系统 |
CN113114986B (zh) * | 2021-03-30 | 2023-04-28 | 深圳市冠标科技发展有限公司 | 基于画面和声音同步的预警方法及相关设备 |
-
2022
- 2022-01-28 CN CN202210107658.7A patent/CN114464215B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101364408A (zh) * | 2008-10-07 | 2009-02-11 | 西安成峰科技有限公司 | 一种声像联合的监控方法及系统 |
CN111157855A (zh) * | 2019-12-31 | 2020-05-15 | 山东信通电子股份有限公司 | 一种判断输电线路故障的方法及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN114464215A (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
CN109300471B (zh) | 融合声音采集识别的场区智能视频监控方法、装置及系统 | |
CN112989977B (zh) | 一种基于跨模态注意力机制的视听事件定位方法及装置 | |
CN111915148B (zh) | 一种基于信息技术的课堂教学评价方法和系统 | |
CN111199213B (zh) | 一种变电站用设备缺陷检测方法及装置 | |
CN112562698B (zh) | 一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法 | |
CN112183313A (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
CN105227907A (zh) | 基于视频的无监督异常事件实时检测方法 | |
CN107483813B (zh) | 一种根据手势进行跟踪录播的方法、装置及存储装置 | |
CN110826577A (zh) | 一种基于目标跟踪的高压隔离开关状态跟踪识别方法 | |
CN114371353A (zh) | 一种基于声纹识别的电力设备异常监测方法及系统 | |
CN112287741A (zh) | 基于图像处理的农事操作管理方法及装置 | |
CN113707175A (zh) | 基于特征分解分类器与自适应后处理的声学事件检测系统 | |
Al Bashit et al. | A mel-filterbank and MFCC-based neural network approach to train the Houston toad call detection system design | |
CN117351271A (zh) | 高压配电线路监控设备故障监测方法、系统及其存储介质 | |
CN114464215B (zh) | 一种输电线路通道隐患监测方法及设备 | |
CN112287893B (zh) | 一种基于音视频信息融合的母猪哺乳行为识别方法 | |
CN116994161A (zh) | 一种基于改进YOLOv5的绝缘子缺陷检测方法 | |
CN110599460A (zh) | 基于混合卷积神经网络的地下管网检测评估云系统 | |
CN113158720B (zh) | 一种基于双模特征和注意力机制的视频摘要方法及装置 | |
CN114724091A (zh) | 一种输电线路导线异物识别方法及装置 | |
CN113331839A (zh) | 一种基于多源信息融合的网络学习注意力监测方法及系统 | |
Dengxiong et al. | Multiple Instance Relational Learning for Video Anomaly Detection | |
CN117238299B (zh) | 输电线路鸟类声音识别模型优化方法、系统、介质及设备 | |
CN118474294A (zh) | 远程会议智能运维系统及运维方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |