发明内容
本说明书实施例之一提供本发明提供了一种风力发电场无人机巡检系统,包括:区域确定模块,用于确定待巡检风力发电机的多个待检测区域;悬停确定模块,用于基于所述多个待检测区域确定无人机悬停区域;信息获取模块,用于基于无人机在所述无人机悬停区域获取的处于运行状态的所述待巡检风力发电机的测试图像,确定所述待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速;方案确定模块,用于基于所述待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速及所述多个待检测区域,确定巡检方案,其中,所述巡检方案包括多个巡检时间点及所述无人机在每个所述巡检时间点的位姿;巡检执行模块,用于控制所述无人机执行所述巡检方案,对处于运行状态的所述待巡检风力发电机进行巡检。
更进一步地,所述无人机在所述无人机悬停区域获取处于运行状态的所述待巡检风力发电机的测试图像,包括:所述无人机从初始位置沿着所述待巡检风力发电机的立柱高度方向飞行,获取所述待巡检风力发电机的立柱的图像;当所述无人机到达所述待巡检风力发电机的发电机舱位置时,沿水平方向飞行至所述无人机悬停区域,获取所述待巡检风力发电机的测试图像。
更进一步地,所述信息获取模块确定所述待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速,包括:对于每个所述测试时间点,基于所述无人机在所述测试时间点获取的测试图像,识别每个所述待巡检风力发电机的标识,确定所述待巡检风力发电机在所述测试时间点的位姿;基于所述无人机在所述测试时间点获取的测试图像及所述无人机在上一个测试时间点获取的测试图像,确定所述待巡检风力发电机在所述测试时间点的转速。
更进一步地,所述信息获取模块基于所述无人机在所述测试时间点获取的测试图像及所述无人机在上一个测试时间点获取的测试图像,确定所述待巡检风力发电机在所述测试时间点的转速,包括:以所述无人机在所述测试时间点获取的测试图像的中心为起点,确定多根第一射线,任意相邻两根所述第一射线之间的夹角一致,对于每根所述第一射线,计算位于所述第一射线上的像素累计和,生成所述无人机在所述测试时间点获取的测试图像对应的特征曲线;以所述无人机在上一个测试时间点获取的测试图像的中心为起点,确定多根第二射线,任意相邻两根所述第二射线之间的夹角一致,对于每根所述第二射线,计算位于所述第二射线上的像素累计和,生成所述无人机在上一个测试时间点获取的测试图像对应的特征曲线;基于所述无人机在所述测试时间点获取的测试图像对应的特征曲线和所述无人机在上一个测试时间点获取的测试图像对应的特征曲线之间的距离,确定所述待巡检风力发电机在所述测试时间点的转速。
更进一步地,所述方案确定模块基于所述待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速及所述多个待检测区域,确定巡检方案,包括:基于所述待巡检风力发电机在测试时间段的多个测试时间点的转速,预测所述待巡检风力发电机在多个未来时间点的转速;基于预测的所述待巡检风力发电机在多个未来时间点的转速及所述待巡检风力发电机在测试时间段的多个测试时间点的位姿,预测所述待巡检风力发电机在所述多个未来时间点的位姿;基于预测的所述待巡检风力发电机在所述多个未来时间点的位姿及所述多个待检测区域,确定巡检方案。
更进一步地,所述方案确定模块基于所述待巡检风力发电机在测试时间段的多个测试时间点的转速,预测所述待巡检风力发电机在多个未来时间点的转速,包括:基于所述待巡检风力发电机在测试时间段的多个测试时间点的转速,预测所述待巡检风力发电机在多个未来时间点的待修正转速;基于所述待巡检风力发电机的运行环境在所述多个测试时间点的环境参数,预测所述待巡检风力发电机的运行环境在多个未来时间点的环境参数,基于所述待巡检风力发电机的运行环境在多个未来时间点的环境参数,确定在多个未来时间点的转速修正参数;基于预测的在多个未来时间点的转速修正参数对预测的所述待巡检风力发电机在多个未来时间点的待修正转速进行修正,生成所述待巡检风力发电机在多个未来时间点的转速。
更进一步地,所述巡检执行模块还用于:对于每个所述巡检时间点,基于预测的所述待巡检风力发电机在多个未来时间点的转速、预测的所述待巡检风力发电机的运行环境在多个未来时间点的环境参数及所述无人机在所述巡检时间点的位姿,确定无人机在所述巡检时间点的运行参数。
更进一步地,所述系统还包括故障确定模块,用于:基于所述无人机在每个所述巡检时间点获取的巡检图像,确定所述待巡检风力发电机的多个待检测区域的特征;基于所述待巡检风力发电机的多个待检测区域的特征及故障特征图谱,确定所述待巡检风力发电机的当前状态。
更进一步地,所述区域确定模块确定待巡检风力发电机的多个待检测区域,包括:获取所述待巡检风力发电机的相关历史故障样本;基于所述相关历史故障样本确定多个故障位置;对所述多个故障位置进行聚类,确定所述待巡检风力发电机的多个待检测区域。
更进一步地,所述区域确定模块获取所述待巡检风力发电机的相关历史故障样本,包括:获取多个样本风力发电机的设备相关信息、运行环境相关信息及历史故障信息;基于所述多个样本风力发电机的设备相关信息及运行环境相关信息,对所述多个样本风力发电机进行聚类,生成多个风力发电机聚类簇;获取所述待巡检风力发电机的设备相关信息及运行环境相关信息;基于所述待巡检风力发电机的设备相关信息及运行环境相关信息,从所述多个风力发电机聚类簇中确定至少一个目标聚类簇;基于每个所述目标聚类簇包括的样本风力发电机的历史故障信息,生成所述待巡检风力发电机的相关历史故障样本。
相比于现有技术,本说明书提供的一种风力发电场无人机巡检系统,至少具备以下有益效果:
1、基于无人机在无人机悬停区域获取的处于运行状态的待巡检风力发电机的测试图像,确定待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速,进而确定巡检方案,实现在待巡检风力发电机处于运行状态时,完成待巡检风力发电机的巡检;
2、基于待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速及所述多个待检测区域,确定无人机在每个巡检时间点的位姿,实现了无人机在巡检过程中的灵活调整,避免了拍摄角度固定,每次巡检拍照的位置和角度基本都一样,个别地方永远无法观察到,形成隐患;
3、通过环境参数对预测的待巡检风力发电机的转速进行修正,进而根据修正后的转速,预测待巡检风力发电机的位姿,并确定无人机的运行参数,避免了桨叶位置或无人机的运行参数出现偏差,导致拍照位置偏差过大,或无人机与桨叶碰撞。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。
图1是本申请一实施例中示出的一种风力发电场无人机巡检系统的模块图,如图1所示,一种风力发电场无人机巡检系统可以包括区域确定模块、悬停确定模块、信息获取模块、方案确定模块、巡检执行模块及故障确定模块。下面结合附图,依次对各个模块进行说明。
区域确定模块可以用于确定待巡检风力发电机的多个待检测区域。
其中,待检测区域可以为待巡检风力发电机的各个桨叶上的区域。
图5是本申请一实施例中示出的确定待巡检风力发电机的多个待检测区域的流程图,如图5所示,在一些实施例中,区域确定模块确定待巡检风力发电机的多个待检测区域,包括:
获取待巡检风力发电机的相关历史故障样本;
基于相关历史故障样本确定多个故障位置,其中,多个故障位置可以为待巡检风力发电机的各个桨叶上可能发生故障的位置;
对多个故障位置进行聚类,确定待巡检风力发电机的多个待检测区域,例如,将任意两个距离小于预设距离阈值的故障位置聚类为一个簇,每个簇对应一个待检测区域。
如图5所示,在一些实施例中,区域确定模块获取待巡检风力发电机的相关历史故障样本,包括:
获取多个样本风力发电机的设备相关信息、运行环境相关信息及历史故障信息,其中,历史故障信息可以包括样本风力发电机中发生故障的桨叶位置及对应的图像特征;
基于多个样本风力发电机的设备相关信息(例如,桨叶的型号、风量、静压、总压、功率、风轮直径、重量等)及运行环境相关信息(例如,温度、湿度、风速、海拔、粉尘浓度等),对多个样本风力发电机进行聚类,生成多个风力发电机聚类簇;
获取待巡检风力发电机的设备相关信息及运行环境相关信息;
基于待巡检风力发电机的设备相关信息及运行环境相关信息,从多个风力发电机聚类簇中确定至少一个目标聚类簇;
基于每个目标聚类簇包括的样本风力发电机的历史故障信息,生成待巡检风力发电机的相关历史故障样本,其中,相关历史故障样本可以包括多个历史故障事件,该历史故障事件记录有发生故障的桨叶位置及对应的图像特征。
具体的,对于任意两个样本风力发电机,区域确定模块可以基于该两个样本风力发电机的设备相关信息及运行环境相关信息,计算该两个样本风力发电机之间的风机关联度。可以通过k-means聚类算法基于任意两个样本风力发电机之间的风机关联度,对多个样本风力发电机进行聚类,生成多个风力发电机聚类簇。
例如,可以基于以下公式计算任意两个样本风力发电机之间的风机关联度:
;
其中,为第i个样本风力发电机和第j个样本风力发电机之间的风机关联度,为第i个样本风力发电机和第j个样本风力发电机之间的设备相似度,可以表
征第i个样本风力发电机的设备相关信息和第j个样本风力发电机的设备相关信息之间的
相似度,为第i个样本风力发电机和第j个样本风力发电机之间的运行
环境相似度,可以表征第i个样本风力发电机的运行环境相关信息和第j个样本风力发电机
的运行环境相关信息之间的相似度,及均为预设权重,例如可以根据
实际情况分别设置为0.4和0.6。
在一些实施例中,区域确定模块可以基于待巡检风力发电机的设备相关信息及运行环境相关信息与每个风力发电机聚类簇的蕨类中心对应的设备相关信息及运行环境相关信息,计算待巡检风力发电机与该风力发电机聚类簇的关联度,将关联度大于预设关联度阈值的风力发电机聚类簇作为目标聚类簇。
悬停确定模块可以用于基于多个待检测区域确定无人机悬停区域。
例如,悬停确定模块可以通过区域预测模型基于多个待检测区域确定无人机悬停区域,其中,区域预测模型可以为人工神经网络(Artificial Neural Network,ANN)模型、循环神经网络(Recurrent Neural Networks,RNN)模型、长短时记忆网络(Long Short-Term Memory,LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。
信息获取模块可以用于基于无人机在无人机悬停区域获取的处于运行状态的待巡检风力发电机的测试图像,确定待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速。
在一些实施例中,无人机在无人机悬停区域获取处于运行状态的待巡检风力发电机的测试图像,包括:
无人机从初始位置沿着待巡检风力发电机的立柱高度方向飞行,获取待巡检风力发电机的立柱的图像;
当无人机到达待巡检风力发电机的发电机舱位置时,沿水平方向飞行至无人机悬停区域,获取待巡检风力发电机的测试图像。
在一些实施例中,信息获取模块确定待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速,包括:
对于每个测试时间点,基于无人机在测试时间点获取的测试图像,识别每个待巡检风力发电机的标识,确定待巡检风力发电机在测试时间点的位姿,可以理解的,风力发电机的三片桨叶基本一致,旋转起来之后需要区分必须对桨叶进行标记,一般桨叶都会画有编号;
基于无人机在测试时间点获取的测试图像及无人机在上一个测试时间点获取的测试图像,确定待巡检风力发电机在测试时间点的转速。
图2是本申请一实施例中示出的确定待巡检风力发电机在测试时间点的转速的流程图,如图2所示,信息获取模块基于无人机在测试时间点获取的测试图像及无人机在上一个测试时间点获取的测试图像,确定待巡检风力发电机在测试时间点的转速,包括:
以无人机在测试时间点获取的测试图像的中心为起点,确定多根第一射线,任意相邻两根第一射线之间的夹角一致,例如,以0.1°为一格,共360°,3600条第一射线,对于每根第一射线,计算位于第一射线上的像素累计和,生成无人机在测试时间点获取的测试图像对应的特征曲线,仅作为示例,图6是本申请一实施例中示出的特征曲线的示意图,无人机在测试时间点获取的测试图像对应的特征曲线如图6中的曲线a所示;
以无人机在上一个测试时间点获取的测试图像的中心为起点,确定多根第二射线,任意相邻两根第二射线之间的夹角一致,例如,与第一射线对应的,以0.1°为一格,共360°,3600条第二射线,对于每根第二射线,计算位于第二射线上的像素累计和,生成无人机在上一个测试时间点获取的测试图像对应的特征曲线,仅作为示例,无人机在上一个测试时间点获取的测试图像对应的特征曲线如图6中的曲线b所示;
基于无人机在测试时间点获取的测试图像对应的特征曲线和无人机在上一个测试时间点获取的测试图像对应的特征曲线之间的距离,确定待巡检风力发电机在测试时间点的转速。
例如,可以基于以下公式计算无人机在测试时间点获取的测试图像对应的特征曲线和无人机在上一个测试时间点获取的测试图像对应的特征曲线之间的距离:
;
其中,为无人机在第t个测试时间点获取的测试图像对应的特征曲线和无
人机在第t-1个测试时间点获取的测试图像对应的特征曲线之间的距离,为无人机在
第t个测试时间点获取的测试图像中第n条第一射线上的像素累计和,为无人机在第
t-1个测试时间点获取的测试图像中第n条第二射线上的像素累计和,N为第一射线的总数,
n。
可以理解的,大型风机的桨叶叶尖线速度一般有200--300公里/小时,因此,无人机必须使用高速快门相机,快门时间要求不高于1/8000秒。
无人机在测试时间点获取的测试图像对应的特征曲线和无人机在上一个测试时间点获取的测试图像对应的特征曲线之间的距离乘以0.1°,即为待巡检风力发电机在两个测试时间点之间旋转的角度,除以两个测试时间点之间的间隔,即可得到待巡检风力发电机在测试时间点的转速。
方案确定模块可以用于基于待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速及多个待检测区域,确定巡检方案。
其中,巡检方案包括多个巡检时间点及无人机在每个巡检时间点的位姿。
图3是本申请一实施例中示出的确定巡检方案的流程图,如图3所示,在一些实施例中,方案确定模块基于待巡检风力发电机在测试时间段的多个测试时间点的位姿和转速及多个待检测区域,确定巡检方案,包括:
基于待巡检风力发电机在测试时间段的多个测试时间点的转速,预测待巡检风力发电机在多个未来时间点的转速;
基于预测的待巡检风力发电机在多个未来时间点的转速及待巡检风力发电机在测试时间段的多个测试时间点的位姿,预测待巡检风力发电机在多个未来时间点的位姿;
基于预测的待巡检风力发电机在多个未来时间点的位姿及多个待检测区域,确定巡检方案。
在一些实施例中,方案确定模块可以通过位姿预测模型基于预测的待巡检风力发电机在多个未来时间点的转速及待巡检风力发电机在测试时间段的多个测试时间点的位姿,预测待巡检风力发电机在多个未来时间点的位姿。其中,位姿预测模型可以为人工神经网络(Artificial Neural Network,ANN)模型、循环神经网络(Recurrent NeuralNetworks,RNN)模型、长短时记忆网络(Long Short-Term Memory,LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。
图4是本申请一实施例中示出的预测待巡检风力发电机在多个未来时间点的转速的流程图,如图4所示,在一些实施例中,方案确定模块基于待巡检风力发电机在测试时间段的多个测试时间点的转速,预测待巡检风力发电机在多个未来时间点的转速,包括:
基于待巡检风力发电机在测试时间段的多个测试时间点的转速,预测待巡检风力发电机在多个未来时间点的待修正转速,具体的,可以通过转速预测模型基于待巡检风力发电机在测试时间段的多个测试时间点的转速,预测待巡检风力发电机在多个未来时间点的待修正转速,其中,转速预测模型可以为人工神经网络(Artificial Neural Network,ANN)模型、循环神经网络(Recurrent Neural Networks,RNN)模型、长短时记忆网络(LongShort-Term Memory,LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型;
基于待巡检风力发电机的运行环境在多个测试时间点的环境参数,预测待巡检风力发电机的运行环境在多个未来时间点的环境参数,基于待巡检风力发电机的运行环境在多个未来时间点的环境参数,确定在多个未来时间点的转速修正参数,具体的,可以通过参数预测模型基于待巡检风力发电机的运行环境在多个测试时间点的环境参数,预测待巡检风力发电机的运行环境在多个未来时间点的环境参数,可以通过修正预测模型基于待巡检风力发电机的运行环境在多个未来时间点的环境参数,确定在多个未来时间点的转速修正参数,其中,参数预测模型和修正预测模型可以为人工神经网络(Artificial NeuralNetwork,ANN)模型、循环神经网络(Recurrent Neural Networks,RNN)模型、长短时记忆网络(Long Short-Term Memory,LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型;
基于预测的在多个未来时间点的转速修正参数对预测的待巡检风力发电机在多个未来时间点的待修正转速进行修正,生成待巡检风力发电机在多个未来时间点的转速。
在一些实施例中,悬停确定模块还可以用于通过无人机在两个相邻巡检时间点的间隙,获取待巡检风力发电机的图像,确定待巡检风力发电机的实际位姿和实际转速,并计算待巡检风力发电机的实际位姿和实际转速与预测的待巡检风力发电机的位姿和转速之间的偏差,根据该偏差优化巡检方案,更新后续的巡检时间点及无人机在每个所述巡检时间点的位姿。
巡检执行模块可以用于控制无人机执行巡检方案,对处于运行状态的待巡检风力发电机进行巡检。
在一些实施例中,巡检执行模块还用于:
对于每个巡检时间点,基于预测的待巡检风力发电机在多个未来时间点的转速、预测的待巡检风力发电机的运行环境在多个未来时间点的环境参数及无人机在巡检时间点的位姿,确定无人机在巡检时间点的运行参数。具体的,可以基于预测的待巡检风力发电机在多个未来时间点的转速,确定待巡检风力发电机在巡检时间点对位于无人机的引力,并基于待巡检风力发电机在巡检时间点对位于无人机的引力、预测的待巡检风力发电机的运行环境在巡检时间点及无人机在巡检时间点的位姿,确定无人机在巡检时间点的运行参数。
故障确定模块可以用于:
基于无人机在每个巡检时间点获取的巡检图像,确定待巡检风力发电机的多个待检测区域的特征;
基于待巡检风力发电机的多个待检测区域的特征及故障特征图谱,确定待巡检风力发电机的当前状态,其中,可以基于每个目标聚类簇包括的样本风力发电机的历史故障信息,确定每个目标聚类簇对应的故障特征图谱,其中,故障特征图谱可以包括两种类型的节点,一种类型的节点表征故障类型,另一种节点表征故障对应的图像特征。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。