CN112727710A - 一种基于音频信号的风场落雷密度统计方法及系统 - Google Patents

一种基于音频信号的风场落雷密度统计方法及系统 Download PDF

Info

Publication number
CN112727710A
CN112727710A CN202011480989.2A CN202011480989A CN112727710A CN 112727710 A CN112727710 A CN 112727710A CN 202011480989 A CN202011480989 A CN 202011480989A CN 112727710 A CN112727710 A CN 112727710A
Authority
CN
China
Prior art keywords
thunder
sound
audio
wind field
lightning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011480989.2A
Other languages
English (en)
Other versions
CN112727710B (zh
Inventor
鲍亭文
朱小芹
王旻轩
刘展
金超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cyberinsight Technology Co ltd
Original Assignee
Beijing Cyberinsight Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cyberinsight Technology Co ltd filed Critical Beijing Cyberinsight Technology Co ltd
Priority to CN202011480989.2A priority Critical patent/CN112727710B/zh
Publication of CN112727710A publication Critical patent/CN112727710A/zh
Application granted granted Critical
Publication of CN112727710B publication Critical patent/CN112727710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D80/00—Details, components or accessories not provided for in groups F03D1/00 - F03D17/00
    • F03D80/30—Lightning protection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/30—Control parameters, e.g. input parameters
    • F05B2270/303—Temperature
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/30—Control parameters, e.g. input parameters
    • F05B2270/303—Temperature
    • F05B2270/3032—Temperature excessive temperatures, e.g. caused by overheating
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/80—Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05B2270/804—Optical devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/80—Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05B2270/804—Optical devices
    • F05B2270/8041—Cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Abstract

本申请涉及一种基于音频信号的风场落雷密度统计方法，包括以下步骤：利用设置在风场内不同风机上的声音传感器采集声音信号；将声音信号转化为频谱图，然后通过模型识别音频中是否包含雷声；当多个风机同一时刻采集的声音样本均识别含有雷声时，对雷声的发生位置进行识别；计算雷声发生位置与各风机的相对位置；通过统计一段时间内各个风机的落雷次数，计算各个风机的落雷密度。根据落雷密度统计结果，可以支持风场管理人员和运维人员，进行及时有针对性的风机尤其是叶片的避雷系统检修和技改，避免整个风场地毯式排查，提升管理效率，降低运维成本。

Description

一种基于音频信号的风场落雷密度统计方法及系统
技术领域
本申请涉及一种基于音频信号的风场落雷密度统计方法及系统，适用于风力发电的技术领域。
背景技术
叶片作为风力发电机组集风装置的核心部件之一，主要负责完成风能的捕获，并驱动发电机旋转，其性能直接影响整个风力发电机组的性能。叶片运行维护与事故频发也将严重影响风场的综合效益。其中，最常见的叶片损伤是由雷击带来的损伤。由于风机往往运行在人员难以及时抵达的区域，同时通用的避雷系统设计和制造工艺，往往没有充分考虑到雷击活动的地域差异，导致高雷暴风场的风机频繁遭受雷击。在缺乏监测的情况下，避雷系统的排查、检修和技改都缺乏针对性，往往是整个风场地毯式进行，费时费力，且成本高。再者随着装机量的攀升，由于运维资源限制，叶片雷击损伤常难以及时发现和修复，长期带伤运行会导致雷击损伤的进一步扩展，最终导致大修、更换甚至叶片断裂，引发较大的经济损失和安全风险。在风场的选址过程中，风场本身自然环境条件是一个重要的考虑因素。然而，风场投入运营后，却缺少相应的对于雷击风险的量化机制，使得业主和运维人员对风场各风机的雷击风险缺乏了解，无法提前做出相应的防护措施，降低风险减少损失。
风机尤其是叶片频繁遭受雷击的原因通常有两个维度：一是环境落雷密度高，而是避雷系统本身存在缺陷或被雷击损伤。一个风场，尤其是山地风场，由于地势或土壤导电率差异导致所在位置机位落雷密度比其他机位格外高。同时，避雷系统尤其是叶片避雷系统在制造加工过程中的个别位置绝缘处理不当，导致避雷系统性能受到限制，或者避雷系统本身电阻过大或接地电阻过大，也会影响避雷系统的性能。现有雷电活动监测系统方案多选用雷电流监测的方式，更多从避雷系统本身的维度直接监测接闪情况，而无法统计各个机位的总体落雷情况，缺乏落雷密度分布的整体性，往往仅仅针对所监测机位本身的情况，缺乏整体性，难以指导风场环网馈线的针对性检修和技改。
专利申请号为201920773675.8和201880003775.0的中国专利，通过对叶片防雷装置或风机本身的雷电流检测，实现识别雷击的目的。此类方法只能检测风机接闪的雷击，并不能对风机附近发生的雷电反应进行检测，因此并不能全面的监测风场的落雷密度程度。此外，此类方法往往需要在叶片上加装传感器或线缆，增加叶片雷击风险。
专利公开号为WO2019/137977Al和专利申请号为201720673172.4的专利，通过对叶片或防雷装置的温度进行监控，利用叶片接闪时局部的温升对雷击进行检测和计数。该方法的实现方式可以为热成像照相，直接测量温度等。此类方法同样只适用于识别叶片接闪，对风机附近发生的雷电反应无法进行监测。同时，局部的温升反应不一定由雷击产生，可能产生误报。此外，加装温度测量装置可能增加叶片雷击风险，而采用热成像照相机的成本又相对较高。
专利申请号为201811086071.2的专利，通过采集风机附近的声音判断是否有雷电活动，进而通过噪声谱判断叶片是否损坏。该方法只能对是否发生雷电活动进行判断，而对于雷电活动与各风机的相对距离无法进行判断，因而不能很好的估计风机附近落雷密度和雷击风险。专利申请号为201821780668.2的专利，同步采集叶片附近图像，雷电流等多种物理量，判断叶片是否遭受雷击，评估雷电强度和叶片损伤程度，此种方法因监测多种物理量，实施成本较高。
综上所述，以上专利均无对风场落雷密度进行统计的功能，且除了第三种基于声音的雷电活动判断外，均是只能够对风机接闪进行识别和计数，无法对风机附近发生的雷电活动进行判断，也无法判断一次雷电活动中不同位置风机的相对风险程度，不能满足本领域的进一步需求。
发明内容
本发明的目的是设计一种基于音频信号的风场落雷密度统计方法及系统，可以通过不同风机间识别的同一雷声，判断风机与雷声发生处的相对距离，从而统计出风场的落雷密度和各风机的雷击风险。
根据本申请的基于音频信号的风场落雷密度统计方法，包括以下步骤：
(1)利用设置在风场内不同风机上的声音传感器采集声音信号；
(2)将声音信号转化为频谱图，然后通过模型识别音频中是否包含雷声；
(3)当多个风机同一时刻采集的声音样本均识别含有雷声时，对雷声的发生位置进行识别；
(4)计算雷声发生位置与各风机的相对位置；
(5)通过统计一段时间内各个风机的落雷次数，计算各个风机的落雷密度。
本申请还涉及一种基于音频信号的风场落雷密度统计系统，包括声音传感器、雷声识别模块、雷电活动相对位置计算模块和落雷密度统计模块；所述声音传感器用于采集风机和环境的声音信号，所述雷声识别模块判断声音信号中是否含有雷声，所述雷电活动相对位置计算模块根据回传的音频数据计算雷电与每台风机的相对位置，所述落雷密度统计模块调取一段时间内的落雷相对位置数据，统计出每台风机的落雷密度。
其中，所述声音传感器设置在所述机端硬件装置上，所述机端硬件装置还包括机端采集器，用于测量风机的运行数据或环境数据；所述雷声识别模块设置在所述机端采集器中，所述雷电活动相对位置计算模块和所述落雷密度统计模块设置在站端服务器中。
根据本申请的基于音频信号的风场落雷密度统计方法及系统，可以通过不同风机间识别的同一雷声，判断风机与雷声发生处的相对距离，从而统计出风场的落雷密度和各风机的雷击风险。根据落雷密度统计结果，可以支持风场管理人员和运维人员，进行及时有针对性的风机尤其是叶片的避雷系统检修和技改，避免整个风场地毯式排查，提升管理效率，降低运维成本。
附图说明
图1是本申请的风场落雷密度统计方法中的算法流程图。
图2是基于雷声起止时间的雷声相对距离估计算法的流程图。
图3为实施例中基于目标检测模型的雷声识别结果样例。
图4为实施例中四个麦克风采集的同一时间音频信号。
图5为实施例中计算得到的整段音频几个较大的发生源。
图6为实施例中基于雷声起止时间的雷声相对距离估计算法的结果。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
根据本申请的一种基于音频信号的风场落雷密度统计系统，包括机端硬件装置和站端服务器，机端硬件装置位于风机上，站端服务器可以位于风电站，机端硬件装置和站端服务器可以通过环网或者无线通信。机端硬件装置包括声音传感器和机端采集器，声音传感器用于采集风机和环境等声音，机端采集器用于从风机上测量风机运行或环境数据。整个风场中每台风机均安装一套监测系统，每台风机的监测系统之间可以互相通讯，并构成一个宏观的麦克风阵列。对于布置位置集中的风场，也可考虑一定间隔范围内的几台风机中的一台布置监测系统。
声音传感器可以安装在每台风机的塔筒上，可以在风机塔筒的任何部位，也可以位于机舱上，声音传感器持续采集声音信号。落雷密度统计算法中的雷声识别模块前置在机端采集器中，传输到机端采集器中的数据通过雷声识别模块判断声音中是否含有雷声。以雷声作为数据采集和传输条件，当至少有一台风机采集到雷声，将与此风机此时刻同一时刻的全部风机采集的数据回传至站端服务器保存。雷电活动相对位置计算模块和落雷密度统计模块部署在站端服务器中，回传的音频数据通过雷电活动相对位置计算模块计算雷电与每台风机的相对位置，数据存入服务器的数据库中。落雷密度统计模块调取历史一段时间内的落雷相对位置数据，统计出每台风机的落雷密度。在显示终端的用户界面上，展示该时间段内所有落雷在风场中的位置，以及风场中每台风机的落雷密度统计数据表或图，还可定时或者人为触发自动生成风场落雷密度统计报告。
除了采集环境声音数据，该数据系统还可以同步采集叶片运行过程的气动噪声，当雷声发生后，辅助判断落雷是否导致叶片产生雷击损伤。
雷声识别模块
雷声识别模块的输入数据为同一时刻风场内不同风机采集的环境声音数据。雷声识别算法将声音信号转化为频谱图，然后通过有监督的模型识别音频中是否包含雷声。其中，雷声识别算法可以采用但不限于：
1.提取频谱及原始数据的时频域特征，利用分类模型对样本中是否有雷声进行判断。模型包含但不限于随机森林，lightGBM等。具体的实现方式可参见申请人在先提交的202010304802.7号专利申请文件。
2.使用频谱图并标记谱图中雷声的位置，利用图像目标检测的深度学习模型对样本中是否有雷声进行判断。模型包含但不限于Yolo等。训练数据为人工标记了雷声位置边框的频谱图，通过将识别声音中的元素转化为识别谱图中的目标谱图形态来达到雷声识别的目的。Yolo模型通过训练样本中标记的雷声形态边框学习目标也就是雷声在频谱图上的特征形态。线上运行时，当模型检测到目标即雷声出现，输出谱图中雷声边框坐标。具体地，上述使用频谱图进行雷声检测的方法包括训练流程和预测流程，其中，训练流程包括以下步骤：
(1)收集多组带有目标声音的历史数据；
(2)对数据进行质量筛选；根据目标声音的不同，筛选的方法和标准可能有所不同，可以手动也可以使用机器学习方法，主要是确保目标声音的频谱形态没有被噪声完全覆盖掉即可；
(3)对数据进行频谱转换得到频谱图，可以使用但是不限于短时傅里叶变换(STFT)，梅尔频谱等；
(4)将频谱图转换成图片并保存，如果声音信号比较长，可以通过滑窗的方式保存成多个小图片；
(5)使用目标检测标注工具对频谱图上目标声音的位置进行标注；
(6)使用目标检测模型对标注的图片数据进行训练；模型包括但不限于Yolo，SSD，R-CNN，AttentionNet等，训练时根据历史数据集的大小可以选择使用已经在公共数据集训练好的权重作为初始权重。
其中，预测流程包括以下步骤：
(1)对采集到的待检测音频信号进行数据质量筛选和频谱转换，具体方法与训练流程保持一致，如果预测流程中的数据与训练流程中的数据采样率不同，可以通过重采样统一采样率；
(2)将待检测数据的频谱转换成图片，生成图片的格式大小等与训练时保持一致；在预测流程中，既可以保存图片，也可以直接将图片缓存到内存中使用；
(3)使用训练好的目标检测模型对生成的图片进行预测，模型输出检测目标的个数、概率以及其边框位置；
(4)根据模型的结果生成相关检测因子，可以根据模型是否识别出目标声音以及其概率/最大概率/频率映射成为因子；具体映射方式根据对目标声音检测的目的制定，当音频信号滑窗为多个图片时，映射时综合考虑各图片识别的结果；
(5)当模型识别到图片中包含目标声音的形态时，根据输出的目标边框在谱图中的位置计算目标声音所在的频段和时间段并作为结果输出。
上述基于目标检测的声音检测方法及系统，通过对声音信号的频谱图使用目标检测算法识别目标声音在谱图上的特定形态，不需要对声音进行降噪，对各类环境噪声抗干扰性好，不会产生误判，提升了模型的泛化性；不需要针对每一个目标声音的形态或者在不同频段的目标声音进行重新训练，训练的模型可以泛化到出现在不同频段、具有不同声压级、频谱形态略有不同的同类目标声音，可以适用在所有符合一定频谱形态特征的目标声音上。
3.使用频谱图作为特征，利用图像分类的深度学习模型对样本中是否有雷声进行判断。模型包含但不限于ResNet，MobileNet，DenseNet。其中，将音频转化为频谱图，所述模型将频谱图作为图片输入模型，并根据人工标记的标签进行训练。此类方法将识别声音中的元素转化为对频谱图片进行分类，达到识别雷声的目的。具体地，上述使用频谱图进行雷声检测的方法也包括训练流程和预测流程，
其中，训练流程包括以下步骤：
(1)将采集到的雷声音频样本和环境音频样本随机组合叠加形成声音样本，并生成相应的样本标签；
雷声音频样本中可以包含多次雷声，让雷声样本有一定的多样性；环境音频样本的选择尽量贴合使用场景，如风电场景下可选择山间、海上、风声、纯雨声、风机扫风声、鸟鸣虫鸣等多样样本。然后，对环境声音、环境声音与雷声、环境声音与环境声音分别随机组合叠加形成声音样本，并生成相应的样本标签。合成过程中可以对样本的响度进行随机调节，以增强模型的鲁棒性。
(2)对合成的声音样本进行频谱转换，并转化为能量水平；
优选地，可以使用短时傅里叶变换方法(STFT)对合成的声音样本进行频谱转换；能量水平是指表征扫风声音能量大小的参数，可以采用例如声压级等作为能量水平的评价指标；
(3)对生成的频谱图进行滑窗得到一系列方形的频谱矩阵，并转化成图像；
由于雷声的频谱特征主要出现在3000Hz以下的频率区间，可以仅截取频谱的低频部分，以减少运算量，提高运算速度；
(4)训练图像分类模型对频谱图中有无雷声进行二分类模型训练，得到训练好的分类模型。模型可以包含但不限于ResNet，MobileNet，DenseNet。
其中，预测流程包括以下步骤：
(1)对待检测音频数据进行STFT频谱转换，并转化为能量水平；
(2)对生成的频谱图进行滑窗得到一系列方形的频谱矩阵，并转化成图像；
(3)以频谱矩阵作为输入，使用训练好的分类模型进行预测，得到每个矩阵含有雷声的概率；
(4)当同一个声音样本截取的多个谱图中有一个识别出雷声，则认为该样本含有雷声。
其中，基于模型输出的谱图概率可以根据场景需求映射到雷声因子，并选取报警阈值。如希望少误报但可接受适量漏报时，可选择多个谱图的雷声概率最大值并映射到因子范围；如仅关注近雷，则可适量调高报警阈值，阈值可通过对标签数据的ROC曲线获得。
如上所述基于图像识别的雷声检测方法和系统，通过音频设备采集一段时间内包含或不包含风机扫风气动噪声的声音信号，通过对声音信号进一步分析，实现对其中雷声的识别。其中，基于图像识别的雷声检测系统包括用于采集风机和环境等声音的声音传感器、机端硬件装置以及运行在站端服务器的应用软件，机端硬件装置包括边缘硬件数采系统。本申请通过图像分类的深度学习模型，无需人为探索和选择声音特征，也不需要对声音进行降噪或者预处理，就可以得到雷声在谱图上的时域和频域的特征表现，对于不同环境的户外场景泛化性更高。
雷电活动相对位置计算模块
当多个风机同一时刻采集的声音样本均识别含有雷声时，系统触发对雷声位置的识别算法。雷电活动相对位置计算模块可以通过多种算法实现，例如可以通过基于远场模型的波束成形算法来实现，其原理是远场中同一声源被阵列中不同麦克风采集到的时间和分贝数不同，这些差异取决于麦克风在阵列中的位置、声源位置、声源声音大小以及声源与阵列距离。通过阵列中采集的声音和阵列中每个麦克风的位置，通过机理公式即可求解出声源位置。以风场中各个风机上安装的所有麦克风设备作为麦克风阵列，通过2D或者3D波束成形算法计算出雷声发生的大致位置和与每一台风机的相对距离。
还可以采用基于雷声起止时间的雷声相对距离估计算法，主要包括音频去噪、基于连续性的音频分割、分割起止点后处理、雷声相对距离估算，算法流程图如图2所示。
音频去噪算法：
其中，音频去噪算法使用动态降噪算法。利用输入的噪声频谱定义噪声的动态阈值，对动态阈值进行时频域的平滑后对原始数据的频谱进行降噪。此类方法可以更好的去除持续存在的噪声。去噪算法的输入为完整的音频文件和该音频文件的噪声音频文件。由于雷声为非持续出现但是强度相对音频中其他声音较强，此处噪声音频文件为对原始音频数据进行阈值筛选后得到的数据。
去噪算法的步骤为：
(1)对噪声音频进行傅里叶变换(FFT)；
(2)对FFT的结果进行分频段的统计学特征计算；
(3)通过统计数据对频段的噪声筛选阈值进行设定；
(4)对完整声音音频进行傅里叶变换；
(5)使用步骤3设定的各个频域的阈值对FFT的结果进行筛选；
(6)对筛选后的频域曲线进行平滑；
(7)对平滑后的曲线进行傅里叶逆变换得到去噪后的音频信号。
基于连续性的音频分割：
其中，基于连续性的音频分割算法通过对去噪后的音频数据分窗，利用定义的雷声分贝阈值得到原始音频起止分割点。再根据对音频窗口长度和窗口间连续性等设定，筛选分割点，得到音频起止分割点。
基于连续性的音频分割步骤为：
(1)将降噪后的音频进行短时傅里叶变换转化成频谱矩阵；
(2)对区分谱图中任意两个声音元素的时域、频域的阈值进行设定(如两个元素最短间隔时间，最小间隔频率差值等)；
(3)根据设定的阈值对矩阵中非零元素进行拆分；
(4)对单个声音元素的时频域特征进行设定(如最短元素长度，最长元素长度，元素频域范围等)；
(5)根据设定的阈值，对之前拆分的元素进行验测，对不满足要求的进行合并或者去除；
(6)输出跟频谱图对应的元素编号矩阵。
分割起止点后处理：
得到音频起止点后，将其对应到音频频谱图上，再根据目标音频(雷声)的频谱特点，根据音频窗口长度、间隔、频域等设定信息，筛选、合并分割的起止点，得到最终识别的音频中雷声起止点。
分割起止点后处理的步骤为：
(1)根据输出的元素编号矩阵，根据每个元素在矩阵中起始和结束的列数和行数计算每个元素对应的音频起止时间和元素最大最小频率范围；
(2)对元素起止时间进行排序，对时间上有重叠的元素，通过对其频率范围的判断进行合并或者筛除；
(3)输出合并后元素的起止时间列表。
雷声相对距离估算：
通过对比不同风机采集的同一雷声的起始时刻和雷声声压级，对雷声与各风机的相对位置进行估算。
步骤为：
(1)当识别出雷声，对所有涵盖此雷声时间的各风机样本进行时间戳对齐；
(2)当至少有一个样本的雷声元素的最大声压级超过设定阈值时，计算超过阈值的样本的雷声起止时间；
(3)起始时间最早的风机认为其离落雷最近，系统落雷统计+1；
(4)当有两个样本起始时间相同时(因为起始时间是从频谱转换的，频谱中每列对应一个时间窗)，则雷声声压级强的风机认为离落雷最近，系统落雷统计+1。
风场落雷密度统计模块
风场落雷密度统计模块基于算法运行的软件平台，通过统计一段时间内各个风机的落雷次数，计算落雷密度并展示到UI界面上。
根据本申请的一种基于音频信号的风场落雷密度统计方法，包括雷声识别、雷电活动相对位置计算、风场落雷密度统计三个步骤，下面结合图1对本申请的风场落雷密度统计方法中的算法进行详细说明。
实施例
图3为本实施例中基于目标检测模型的雷声识别结果样例，图中方框为模型输出坐标对应到图片上画出的边框，框中为声音中雷声的部分。图4为四个麦克风采集的同一时间音频信号，其中波动较大处为雷声，音频中还包含其他的环境声音。图5为利用3D波束成形算法计算的整段音频的几个较大的发生源，其中3个2D图像为整个计算空间的三视图，图中的点为算法计算出的声源位置。右下为立体图，其中圆圈标记位置为雷声声源发声位置，算法能够准确识别。图6为基于雷声起止时间的雷声相对距离估计算法结果，其中从上至下分别为原始音频声音信号图、原始信号频谱图、去噪信号频谱图和识别出的雷声起止点，其中第一个白色区域的两端竖线分别为起点和终点。
虽然本申请所揭露的实施方式如上，但所述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种基于音频信号的风场落雷密度统计方法，其特征在于：包括以下步骤：
(1)利用设置在风场内不同风机上的声音传感器采集声音信号；
(2)将声音信号转化为频谱图，然后通过模型识别音频中是否包含雷声；
(3)当多个风机同一时刻采集的声音样本均识别含有雷声时，对雷声的发生位置进行识别；
(4)计算雷声发生位置与各风机的相对位置；
(5)通过统计一段时间内各个风机的落雷次数，计算各个风机的落雷密度。
2.根据权利要求1所述的风场落雷密度统计方法，其特征在于：步骤(2)中，识别音频中是否包含雷声的方法包括基于目标检测的声音检测方法或基于图像识别的雷声检测方法。
3.根据权利要求2所述的风场落雷密度统计方法，其特征在于：所述基于目标检测的声音检测方法包括训练流程和预测流程，其特征在于：所述训练流程包括以下步骤：
(1.1)收集多组带有目标声音的历史数据并对数据进行质量筛选；
(1.2)对数据进行频谱转换得到频谱图；
(1.3)将频谱图转换成图片并保存；
(1.4)使用目标检测标注工具对频谱图上目标声音的位置进行标注；
(1.5)使用目标检测模型对标注的图片数据进行训练；
预测流程包括以下步骤：
(2.1)对采集到的待检测音频信号进行数据质量筛选和频谱转换；
(2.2)将待检测数据的频谱转换成图片；
(2.3)使用训练好的目标检测模型对生成的图片进行预测；
(2.4)当模型识别到图片中包含目标声音的形态时，计算目标声音所在的频段和时间段并作为结果输出。
4.根据权利要求2所述的风场落雷密度统计方法，其特征在于：所述基于图像识别的雷声检测方法包括训练流程和预测流程两部分，其特征在于：
所述训练流程包括以下步骤：
(1.1)将采集到的雷声音频样本和环境音频样本随机组合叠加形成声音样本，并生成相应的样本标签；
(1.2)对合成的声音样本进行频谱转换，并转化为能量水平；
(1.3)对生成的频谱图进行滑窗得到一系列方形的频谱矩阵，并转化成图像；
(1.4)训练图像分类模型对频谱图中有无雷声进行二分类模型训练，得到训练好的分类模型；
所述预测流程包括以下步骤：
(2.1)对待检测音频数据进行频谱转换，并转化为能量水平；
(2.2)对生成的频谱图进行滑窗得到一系列方形的频谱矩阵，并转化成图像；
(2.3)以频谱矩阵作为输入，使用训练好的分类模型进行预测，得到每个矩阵含有雷声的概率；
(2.4)当同一个声音样本截取的多个谱图中有一个识别出雷声，则认为该样本含有雷声。
5.根据权利要求1-4中任一项所述的风场落雷密度统计方法，其特征在于：雷电活动相对位置的计算方法采用基于雷声起止时间的雷声相对距离估计算法，包括音频去噪、基于连续性的音频分割、分割起止点后处理和雷声相对距离估算的步骤。
6.根据权利要求5所述的风场落雷密度统计方法，其特征在于：所述音频去噪的方法包括以下步骤：
(1)对噪声音频进行傅里叶变换，对变换的结果进行分频段的统计学特征计算；
(2)通过统计数据对频段的噪声筛选阈值进行设定；
(3)对完整声音音频进行傅里叶变换；
(4)使用步骤(2)设定的各个频域的阈值对傅里叶变换的结果进行筛选；
(5)对筛选后的频域曲线进行平滑；
(6)对平滑后的曲线进行傅里叶逆变换得到去噪后的音频信号。
7.根据权利要求5所述的风场落雷密度统计方法，其特征在于：所述基于连续性的音频分割通过对去噪后的音频数据分窗，利用定义的雷声分贝阈值得到原始音频起止分割点；再根据对音频窗口的设定，筛选分割点，得到音频起止分割点。
8.根据权利要求7所述的风场落雷密度统计方法，其特征在于：所述基于连续性的音频分割包括以下步骤：
(1)将降噪后的音频进行短时傅里叶变换转化成频谱矩阵；
(2)对区分谱图中任意两个声音元素的时域、频域的阈值进行设定；
(3)根据设定的阈值对矩阵中非零元素进行拆分；
(4)对单个声音元素的时频域特征进行设定；
(5)根据设定的阈值，对之前拆分的元素进行验测，对不满足要求的进行合并或者去除；
(6)输出跟频谱图对应的元素编号矩阵。
9.根据权利要求8所述的风场落雷密度统计方法，其特征在于：分割起止点后处理的步骤包括：
(1)根据输出的元素编号矩阵，根据每个元素在矩阵中起始和结束的列数和行数计算每个元素对应的音频起止时间以及元素的最大和最小频率范围；
(2)对元素起止时间进行排序，并输出合并后元素的起止时间列表。
10.根据权利要求9所述的风场落雷密度统计方法，其特征在于：通过对比不同风机采集的同一雷声的起始时刻和雷声声压级，对雷声与各风机的相对位置进行估算。
11.根据权利要求10所述的风场落雷密度统计方法，其特征在于：雷声相对距离估算包括以下步骤：
(1)当识别出雷声，对所有涵盖此雷声时间的各风机样本进行时间戳对齐；
(2)当至少有一个样本的雷声元素的最大声压级超过设定阈值时，计算超过阈值的样本的雷声起止时间；
(3)离落雷最近的风机确定为起始时间最早的风机，或者当有两个样本起始时间相同时，确定为雷声声压级强的风机。
12.一种基于音频信号的风场落雷密度统计系统，其特征在于：包括声音传感器、雷声识别模块、雷电活动相对位置计算模块和落雷密度统计模块；所述声音传感器用于采集风机和环境的声音信号，所述雷声识别模块判断声音信号中是否含有雷声，所述雷电活动相对位置计算模块根据回传的音频数据计算雷电与每台风机的相对位置，所述落雷密度统计模块调取一段时间内的落雷相对位置数据，统计出每台风机的落雷密度。
13.根据权利要求12所述的风场落雷密度统计系统，其特征在于：所述声音传感器设置在所述机端硬件装置上，所述机端硬件装置还包括机端采集器，用于测量风机的运行数据或环境数据。
14.根据权利要求12或13所述的风场落雷密度统计系统，其特征在于：所述雷声识别模块设置在所述机端采集器中，所述雷电活动相对位置计算模块和所述落雷密度统计模块设置在站端服务器中。
CN202011480989.2A 2020-12-15 2020-12-15 一种基于音频信号的风场落雷密度统计方法及系统 Active CN112727710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011480989.2A CN112727710B (zh) 2020-12-15 2020-12-15 一种基于音频信号的风场落雷密度统计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011480989.2A CN112727710B (zh) 2020-12-15 2020-12-15 一种基于音频信号的风场落雷密度统计方法及系统

Publications (2)

Publication Number Publication Date
CN112727710A true CN112727710A (zh) 2021-04-30
CN112727710B CN112727710B (zh) 2022-02-11

Family

ID=75602386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011480989.2A Active CN112727710B (zh) 2020-12-15 2020-12-15 一种基于音频信号的风场落雷密度统计方法及系统

Country Status (1)

Country Link
CN (1) CN112727710B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408805A (zh) * 2021-06-24 2021-09-17 国网浙江省电力有限公司双创中心 一种雷电地闪识别方法、装置、设备及可读存储介质
CN113655295A (zh) * 2021-10-21 2021-11-16 南京信息工程大学 一种基于雷达探测数据的闪电强度识别方法
CN115510381A (zh) * 2022-09-27 2022-12-23 中国海洋大学 一种海上风机多元相干效应风场载荷构建方法
CN117590157A (zh) * 2024-01-17 2024-02-23 国网山东省电力公司日照供电公司 一种输电线路雷击检测方法、系统、终端及存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133535A1 (en) * 2002-08-01 2004-07-08 Tangent Research Corporation Event positioning and detection system and methods
WO2007042599A1 (en) * 2005-10-14 2007-04-19 Nokia Corporation Detection of lightning
EP1965076A1 (en) * 2005-12-21 2008-09-03 Mitsubishi Heavy Industries, Ltd. Lightning protection device of windmill blade
JP2009203893A (ja) * 2008-02-28 2009-09-10 Toko Electric Corp ブレード雷撃監視装置および風力発電設備
JP2010043936A (ja) * 2008-08-12 2010-02-25 Sankosha Corp ブレード用落雷検出システム
CN101975894A (zh) * 2010-09-08 2011-02-16 北京航空航天大学 传感网络的4d雷电采集方法
US20130195663A1 (en) * 2012-01-26 2013-08-01 Mitsubishi Heavy Industries, Ltd. Wind turbine rotor blade lightning discharger and wind turbine generator equipped with the same
CN107061187A (zh) * 2017-06-12 2017-08-18 国电联合动力技术有限公司 一种风电机组雷击次数监测方法和装置
CN206942938U (zh) * 2017-06-12 2018-01-30 国电联合动力技术有限公司 一种风电机组雷击次数监测装置
CN108776741A (zh) * 2018-06-12 2018-11-09 云南电网有限责任公司昆明供电局 一种应用于粗糙地表面的雷电水平场估算方法及装置
EP3401542A1 (en) * 2017-05-10 2018-11-14 Wichita State University Multilayer coverings to protect surfaces from lightning strikes
CN109209783A (zh) * 2018-09-18 2019-01-15 远景能源（江苏）有限公司 一种基于噪声检测叶片的雷击损伤的方法及装置
US20190196062A1 (en) * 2017-12-22 2019-06-27 Ernest Wilson Coleman Storm warning method and apparatus
CN109975606A (zh) * 2019-04-30 2019-07-05 深圳市恒毅兴实业有限公司 一种用于风电领域的防雷监测装置
CN110045178A (zh) * 2019-04-30 2019-07-23 深圳市恒毅兴实业有限公司 风电综合防雷监测方法
CN210033721U (zh) * 2019-04-07 2020-02-07 中核桂东风电有限公司 水平轴风力发电机叶片雷击次数智能统计装置
CN110850185A (zh) * 2019-12-02 2020-02-28 象辑知源（武汉）科技有限公司 一种基于输电线路的雷电预报方法
CN111306010A (zh) * 2020-04-17 2020-06-19 北京天泽智云科技有限公司 风机叶片雷击损伤检测方法及系统
CN211038930U (zh) * 2019-12-24 2020-07-17 北京金风科创风电设备有限公司 风电场雷电定位系统及风电场
CN111594398A (zh) * 2019-02-20 2020-08-28 中车株洲电力机车研究所有限公司 一种风力发电机组主动智能防雷方法及系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133535A1 (en) * 2002-08-01 2004-07-08 Tangent Research Corporation Event positioning and detection system and methods
WO2007042599A1 (en) * 2005-10-14 2007-04-19 Nokia Corporation Detection of lightning
EP1965076A1 (en) * 2005-12-21 2008-09-03 Mitsubishi Heavy Industries, Ltd. Lightning protection device of windmill blade
JP2009203893A (ja) * 2008-02-28 2009-09-10 Toko Electric Corp ブレード雷撃監視装置および風力発電設備
JP2010043936A (ja) * 2008-08-12 2010-02-25 Sankosha Corp ブレード用落雷検出システム
CN101975894A (zh) * 2010-09-08 2011-02-16 北京航空航天大学 传感网络的4d雷电采集方法
US20130195663A1 (en) * 2012-01-26 2013-08-01 Mitsubishi Heavy Industries, Ltd. Wind turbine rotor blade lightning discharger and wind turbine generator equipped with the same
EP3401542A1 (en) * 2017-05-10 2018-11-14 Wichita State University Multilayer coverings to protect surfaces from lightning strikes
CN206942938U (zh) * 2017-06-12 2018-01-30 国电联合动力技术有限公司 一种风电机组雷击次数监测装置
CN107061187A (zh) * 2017-06-12 2017-08-18 国电联合动力技术有限公司 一种风电机组雷击次数监测方法和装置
US20190196062A1 (en) * 2017-12-22 2019-06-27 Ernest Wilson Coleman Storm warning method and apparatus
CN108776741A (zh) * 2018-06-12 2018-11-09 云南电网有限责任公司昆明供电局 一种应用于粗糙地表面的雷电水平场估算方法及装置
CN109209783A (zh) * 2018-09-18 2019-01-15 远景能源（江苏）有限公司 一种基于噪声检测叶片的雷击损伤的方法及装置
CN111594398A (zh) * 2019-02-20 2020-08-28 中车株洲电力机车研究所有限公司 一种风力发电机组主动智能防雷方法及系统
CN210033721U (zh) * 2019-04-07 2020-02-07 中核桂东风电有限公司 水平轴风力发电机叶片雷击次数智能统计装置
CN109975606A (zh) * 2019-04-30 2019-07-05 深圳市恒毅兴实业有限公司 一种用于风电领域的防雷监测装置
CN110045178A (zh) * 2019-04-30 2019-07-23 深圳市恒毅兴实业有限公司 风电综合防雷监测方法
CN110850185A (zh) * 2019-12-02 2020-02-28 象辑知源（武汉）科技有限公司 一种基于输电线路的雷电预报方法
CN211038930U (zh) * 2019-12-24 2020-07-17 北京金风科创风电设备有限公司 风电场雷电定位系统及风电场
CN111306010A (zh) * 2020-04-17 2020-06-19 北京天泽智云科技有限公司 风机叶片雷击损伤检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MATSUI MICHIHIRO: "Cloud-to-ground lightning flash density and the number of lightning flashes hitting wind turbines in Japan", 《ELECTRIC POWER SYSTEMS RESEARCH 》 *
张黎: "基于雷电物理学的多风机雷电屏蔽研究及风电场防雷布置", 《中国电机工程学报》 *
罗佳俊: "《 基于雷击距模型的风力发电机雷击概率的计算》", 《电气技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408805A (zh) * 2021-06-24 2021-09-17 国网浙江省电力有限公司双创中心 一种雷电地闪识别方法、装置、设备及可读存储介质
CN113655295A (zh) * 2021-10-21 2021-11-16 南京信息工程大学 一种基于雷达探测数据的闪电强度识别方法
CN115510381A (zh) * 2022-09-27 2022-12-23 中国海洋大学 一种海上风机多元相干效应风场载荷构建方法
CN117590157A (zh) * 2024-01-17 2024-02-23 国网山东省电力公司日照供电公司 一种输电线路雷击检测方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN112727710B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN112727710B (zh) 一种基于音频信号的风场落雷密度统计方法及系统
Lombardo et al. Thunderstorm characteristics of importance to wind engineering
CN111306010B (zh) 风机叶片雷击损伤检测方法及系统
JP7199608B2 (ja) 風力タービン翼を検査するための方法および装置、ならびにそれらの機器および記憶媒体
CA2898931C (en) System and method for enhanced operation of wind parks
CN106526708A (zh) 一种基于机器学习的气象强对流天气的智能预警分析方法
CN113298134B (zh) 一种基于bpnn的风机叶片远程非接触健康监测系统和方法
CN111161756B (zh) 风机叶片扫风声音信号中异常哨声轮廓的提取及识别方法
CN110398647B (zh) 变压器状态监测方法
US20220282709A1 (en) Detection of abnormal conditions on a wind turbine generator
CN112727704B (zh) 一种叶片前缘腐蚀的监测方法及系统
CN111916089B (zh) 基于声信号特征分析的冰雹检测方法和装置
CN110108979A (zh) 基于opgw的输电线路雷击闪络与非闪络的识别方法
CN112560673A (zh) 一种基于图像识别的雷声检测方法及系统
KR20210067721A (ko) 인공신경망을 이용한 해양환경 예측 시스템 및 방법
CN112067701B (zh) 基于声学诊断的风机叶片远程听诊方法
CN111833336A (zh) 一种基于高光谱的风电叶片表面砂眼故障的检测系统及方法
Cosentino et al. Porpoise click classifier (PorCC): A high-accuracy classifier to study harbour porpoises (Phocoena phocoena) in the wild
CN115879616A (zh) 一种基于输电线路微气象站监测数据的高危气象识别方法及装置
CN115102287A (zh) 一种新能源电站集中区域智能管控系统
CN112735448A (zh) 一种基于目标检测的声音检测方法及系统
CN112926626B (zh) 基于稀疏贝叶斯学习与功率谱分离的风机叶片故障检测方法
CN114155878B (zh) 一种人工智能检测系统、方法和计算机程序
CN220791410U (zh) 一种基于声音采集数据的风电机舱监测装置
CN112780503B (zh) 基于音频信号的风机叶片保护漆的损伤监测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant