CN111708380B - 风电机组外观缺陷的检测方法、平台、无人机以及系统 - Google Patents
风电机组外观缺陷的检测方法、平台、无人机以及系统 Download PDFInfo
- Publication number
- CN111708380B CN111708380B CN202010608791.1A CN202010608791A CN111708380B CN 111708380 B CN111708380 B CN 111708380B CN 202010608791 A CN202010608791 A CN 202010608791A CN 111708380 B CN111708380 B CN 111708380B
- Authority
- CN
- China
- Prior art keywords
- target
- wind turbine
- defect
- turbine generator
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 133
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000003068 static effect Effects 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 238000012550 audit Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
Abstract
本发明实施例提供了一种风电机组外观缺陷的检测方法、平台、无人机以及系统。所述方法包括:步骤1,无人机根据风电机组的风机状态确定无人机的飞行航线;步骤2,所述无人机沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;步骤3,根据当前网络连接状态,选择所述无人机给平台实时推送所述视频流或所述无人机飞行完成后给所述平台推送所述视频流。本发明能够提高检测的自动化水平。
Description
技术领域
本发明涉及检测领域,尤其涉及一种风电机组外观缺陷的检测方法、平台、无人机以及系统。
背景技术
我国的风力发电效率与发达国家相比还有一定差距,主要是由风机故障频发而造成的停机。我国自本世纪初开始大力发展风电行业至今,首批风机已经接近寿命极限,甚至部分风机已经超出保质期,这边造成风机的故障层出不穷。其中,造成故障最为严重、检测难度最大、维护成本最高的部件损伤当属风机叶片,由于风力的不断作用,风机叶片也是最容易受损的部位,叶片容易出现裂纹,进而增加风机运行阻力,减少风机发电量,严重时会导致叶片断裂进而导致严重的安全事故。
发明内容
本发明的实施例提供了一种风电机组外观缺陷的检测方法、平台、无人机以及系统,能够提高检测的自动化水平。
一种风电机组外观缺陷的检测方法,包括:
步骤1,无人机根据风电机组的风机状态确定无人机的飞行航线;
步骤2,无人机沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;
步骤3,根据当前网络连接状态,选择给平台实时推送所述视频流或飞行完成后给所述平台推送所述视频流。
所述的方法,还包括:
步骤4,所述平台接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;
步骤5,所述平台保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合;
步骤6,所述平台输出所述第一视频帧信息。
所述步骤1包括:
当风电机组的风机在静态状态下,飞行航线为:无人机贴合叶片以预定速度飞行;
当风电机组的风机在转动状态下,飞行航线为:在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上,以距离所述叶片轮毂中心预定安全距离的位置处为起点,向远处以预定速度飞行。
所述的方法,其还包括:
步骤7,当识别出所述视频流中包含有风电机组缺陷的第二视频帧信息时,与所述第一视频帧信息进行比较;当所述第二视频帧信息与所述第一视频帧信息的风电机组缺陷类型、风电机组缺陷目标均一致时,则不保存所述第二视频帧信息。
所述步骤4具体为:使用YOLOV3算法进行检测;该步骤具体包括:
收集所述风电机组的风机叶片的带有缺陷的巡检视频或图像,作为训练素材;
进行标注,将所述训练素材中的缺陷部位通过画框方式标注出来,生成模型训练需要的训练样本;
对标注后获得的训练样本发送给所述平台进行迭代训练,训练完成后,得到针对风电机组得风机叶片的缺陷的检测模型;
对所述检测模型进行测试和调优,选择精度符合模型发布要求的,将模型植入到YOL OV3算法模型中,进行检测。
所述步骤7具体为:使用DeepSort多目标追踪算法进行处理,具体包括:
基于YOLOV3的目标检测算法,识别出第二视频帧的缺陷目标,以此作为第一目标框;
将所述第一目标框从所述第二视频帧中抠出,进行特征提取;
使用卡尔曼滤波基于所述第一视频帧的第一目标框和速度进行预测,预测所述第二视频帧的第二目标框位置;
将所述第二视频帧的第一目标框位置和使用卡尔曼滤波预测的第二目标框位置进行相似度计算,确定是否为同一目标;
当判断为同一目标时,则不保存所述第二视频帧信息。
本发明还提供一种无人机,包括:
确定模块,用于根据风电机组的风机状态确定无人机的飞行航线;
拍摄模块,用于沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;
选择单元,用于根据当前网络连接状态,选择给平台实时推送所述视频流或飞行完成后给所述平台推送所述视频流。
输出单元,输出所述第一视频帧信息。
所述确定模块具体为:
当风电机组的风机在静态状态下,飞行航线为:无人机贴合叶片以预定速度飞行;
当风电机组的风机在转动状态下,飞行航线为:在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上,以距离所述叶片轮毂中心预定安全距离的位置处为起点,向远处以预定速度飞行。
本发明还提供一个风电机组外观缺陷的检测平台,包括:
接收单元,用于接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;
保存单元,用于保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合。
输出单元,用于输出所述第一视频帧信息。
本发明还提供一种风电机组外观缺陷的检测系统,无人机和检测平台;
所述无人机用于,根据风电机组的风机状态确定无人机的飞行航线;沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;根据当前网络连接状态,选择给平台实时推送所述视频流或飞行完成后给所述平台推送所述视频流;
所述检测平台用于,接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合;输出所述第一视频帧信息。
本发明不需要飞手进行实际作业,整个工作流程交由系统自动检测,既能满足在风机停机状态下的飞行,也能满足在风机低速运行状态下的飞行,提高了自动化水平。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例中,
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所述的风电机组外观缺陷的检测方法的流程示意图;
图2为本发明应用场景中的风电机组外观缺陷的检测方法的流程示意图;
图3为本发明应用场景中的模型训练流程示意图;
图4为本发明应用场景中YOLOV3算法的示意图;
图5为本发明应用场景中平台进行风电机组外观缺陷的检测方法的具体流程示意图;
图6为本发明应用场景中风电机组的风机在静态状态下的飞行航线示意图;
图7为本发明应用场景中风电机组的风机在在转动状态下的飞行航线示意图;
图8为本发明所述的无人机的连接示意图;
图9为本发明所述的检测平台的连接示意图;
图10为本发明所述的检测系统的连接示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
如图1所示,为本发明所述的一种风电机组外观缺陷的检测方法,包括:
步骤11,无人机根据风电机组的风机状态确定无人机的飞行航线;
所述步骤11包括:
当风电机组的风机在静态状态下,如图6所示,飞行航线为:无人机贴合叶片以预定速度飞行;预定速度可以根据实际情况设定。
当风电机组的风机在转动状态下,如图7所示,飞行航线为:在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上,以距离所述叶片轮毂中心预定安全距离的位置处为起点,向远处以预定速度飞行。预定速度可以根据实际情况设定。
步骤12,无人机沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;
步骤13,根据当前网络连接状态,选择给平台实时推送所述视频流或飞行完成后给所述平台推送所述视频流。
所述的方法,还包括:
步骤14,所述平台接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;
所述步骤14具体为:使用YOLOV3算法进行检测;该步骤具体包括:
收集所述风电机组的风机叶片的带有缺陷的巡检视频或图像,作为训练素材;
进行标注,将所述训练素材中的缺陷部位通过画框方式标注出来,生成模型训练需要的训练样本;
对标注后获得的训练样本发送给所述平台进行迭代训练,训练完成后,得到针对风电机组得风机叶片的缺陷的检测模型;
对所述检测模型进行测试和调优,选择精度符合模型发布要求的,将模型植入到YOL OV3算法模型中,进行检测。
步骤15,所述平台保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合;
步骤16,所述平台输出所述第一视频帧信息。
所述的方法,还包括:
步骤17,当识别出所述视频流中包含有风电机组缺陷的第二视频帧信息时,与所述第一视频帧信息进行比较;当所述第二视频帧信息与所述第一视频帧信息的风电机组缺陷类型、风电机组缺陷目标均一致时,则不保存所述第二视频帧信息。否则,进行保存。
所述步骤17具体为:使用DeepSort多目标追踪算法进行处理,具体包括:
基于YOLOV3的目标检测算法,识别出第二视频帧的缺陷目标,以此作为第一目标框;
将所述第一目标框从所述第二视频帧中抠出,进行特征提取;
使用卡尔曼滤波基于所述第一视频帧的第一目标框和速度进行预测,预测所述第二视频帧的第二目标框位置;
将所述第二视频帧的第一目标框位置和使用卡尔曼滤波预测的第二目标框位置进行相似度计算,确定是否为同一目标;
当判断为同一目标时,则不保存所述第二视频帧信息。
以下描述本发明的应用场景。
传统的风力发电机组外观检查,主要是通过班组人员利用望远镜等设备进行肉眼检测,或者当风机停机进行作业时,来检查叶片外观是否出现问题,这样的方法作业效率低,且高空作业存在安全隐患。
目前无人机对风机进行巡检时,需要将风机叶片摆正到特定位置,一般为倒Y字形,但是这样的作业模式需要风机停机刹车,且需要作业人员登塔锁住叶轮锁防止叶片转动,这种模式不但会影响正常的发电工作,而且登塔作业和无人机飞行作业需要专业人员辅助,也会降低巡检的效率。
图2为本发明应用场景中的风电机组外观缺陷的检测方法的流程示意图;本发明通过无人机自主巡检方式解决对叶片外观的巡查,不需要无人机操作员具备专业技能,解放一线工作劳动力,提高巡检的效率和安全性,从而尽早发现叶片问题,协助后期对叶片进行消缺工作。
图3为本发明应用场景中的模型训练流程示意图;基于深度学习的检测,主要需要经历三个过程,首先是收集样本,第二步是针对算法模型训练得到模型,第三步利用训练得到的模型进行检测。
本发明中无人机自主飞行对叶片进行拍照,通过无人机的巡视方式对叶片进行视频巡检,按照网络情况可以进行实时视频推流方式进行识别,也可以选择当此飞行任务结束后,将视频导入到系统进行识别,最后形成检测报告,完成一次检测任务。其步骤如下:
首先,根据风机状态选择无人机巡检作业模式,可以分成两种,一种是风机静止状态下(这里需要注意,在风机静止状态下,最好是远程将风机刹车开启,但不需要到风机内部锁叶轮锁),一种是风机缓慢转动情况下。根据风机状态选择不同的航线规划模式。
在静态模式下,风机采用贴合叶片进行飞行的模式,图6为本发明应用场景中风电机组的风机在静态状态下的飞行航线示意图;图7为本发明应用场景中风电机组的风机在在转动状态下的飞行航线示意图。
然后,根据实际环境的网络情况,可以选择实时视频推流的方式或者是飞行完成后对存储的视频进行处理,两种模式都可以完成对视频进行处理,视频推流模式下时效性更高,可以一边飞行及时发现问题。
然后,启动智能识别,客户端对接收到的视频进行实时处理,识别是采用YOLOV3算法训练的模型进行检测(该算法融合精度和速度,可以实现对视频流的实时识别,并且精度不会由于识别速度而降低,具体算法介绍如方法所述),图4为本发明应用场景中基于YOLOV3的检测方法的示意图,识别过程主要是针对叶片上的裂纹、塔筒的油污、胶漆脱落。
由于是基于视频流的处理模式和视频前后帧之间的变化差异不大,所以在识别过程中,如果发现缺陷,则对其进行追踪,采用DeepSort的多目标检测算法,将当前帧的目标与下一帧检测出来的目标进行相似度对比,确定是否为同一个目标,以防同一个缺陷多次进行存储,造成过多缺陷冗余,影响后期审核。
然后,对发现的缺陷进行保存,首先对发现缺陷帧进行存储,并将缺陷目标和缺陷类型在图像上进行绘制,同时保存原图,并将缺陷信息记录到数据库中。
然后,存储记录缺陷;
然后,完成一次飞行任务和识别任务后,对识别出的缺陷进行人工审核,查缺补漏;
然后,完成所有审核后,生成word版本缺陷报告,并将报告导出。
如图5所示,为平台进行风电机组外观缺陷的检测方法的具体流程示意图,包括:
首先,导入视频;从视频中抽取一帧图片;导入图片检测算法进行检测;采用VLOLV3进行图片检测;识别出图片缺陷时,将缺陷导入Deepsort算法,判断是否为新缺陷;如果为是,则记录缺陷目标;如果为否,则判断视频是否检测完毕,如果检测完毕,则结束重新,否则,继续抽取下一帧图片。
如图8所示,本发明还提供一种无人机,包括:
确定模块,用于根据风电机组的风机状态确定无人机的飞行航线;
拍摄模块,用于沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;
选择单元,用于根据当前网络连接状态,选择给平台实时推送所述视频流或飞行完成后给所述平台推送所述视频流。
输出单元,输出所述第一视频帧信息。
所述确定模块具体为:
当风电机组的风机在静态状态下,飞行航线为:无人机贴合叶片以预定速度飞行;
当风电机组的风机在转动状态下,飞行航线为:在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上,以距离所述叶片轮毂中心预定安全距离的位置处为起点,向远处以预定速度飞行。
如图9所示,本发明还提供一个风电机组外观缺陷的检测平台,包括:
接收单元,用于接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;
保存单元,用于保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合。
输出单元,用于输出所述第一视频帧信息。
如图10所示,本发明还提供一种风电机组外观缺陷的检测系统,无人机和检测平台;
所述无人机用于,根据风电机组的风机状态确定无人机的飞行航线;沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;根据当前网络连接状态,选择给平台实时推送所述视频流或飞行完成后给所述平台推送所述视频流;
所述检测平台用于,接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合;输出所述第一视频帧信息。
本发明具有以下有益效果:
1、对风力发电机组缺陷采用识别加追踪的视频模式智能识别,本发明主要是采用视频的方式对风电机组缺陷进行智能识别,同时为了防止缺陷过多冗余,在识别的过程中加入多目标追踪方式,通过追踪方式,实现只有当新目标出现时才进行缺陷存储。
2、本发明通过无人机航线自动规划,实现无人机对风机叶片的自主巡检,按照不同的风机状态选择不同的航线规划方式。
3、不需要飞手进行实际作业,整个工作流程交由智能识别系统,既能满足在风机停机状态下的飞行,也能满足在风机低速运行状态下的飞行。
4、智能识别系统通过基于深度学习的智能识别算法,对无人机飞行视频进行实时分析检测,不需要人工盯着屏幕进行缺陷查找,一线人员仅需要在完成飞行后,对识别出的缺陷进行审核。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (3)
1.一种风电机组外观缺陷的检测方法,其特征在于,包括:
步骤1,无人机根据风电机组的风机状态确定无人机的飞行航线;
步骤2,所述无人机沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;
步骤3,根据当前网络连接状态,选择所述无人机给平台实时推送所述视频流或所述无人机飞行完成后给所述平台推送所述视频流;
其中,所述风电机组外观缺陷的检测方法,还包括:
步骤4,所述平台接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;
步骤5,所述平台保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合;
步骤6,所述平台输出所述第一视频帧信息;
其中,所述步骤1包括:
当风电机组的风机在静态状态下,飞行航线为:无人机贴合叶片以预定速度飞行;
当风电机组的风机在转动状态下,飞行航线为:在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上,以距离所述叶片轮毂中心预定安全距离的位置处为起点,向远处以预定速度飞行;
其中,所述风电机组外观缺陷的检测方法,还包括:
步骤7,当所述平台识别出所述视频流中包含有风电机组缺陷的第二视频帧信息时,与所述第一视频帧信息进行比较;当所述第二视频帧信息与所述第一视频帧信息的风电机组缺陷类型、风电机组缺陷目标均一致时,则不保存所述第二视频帧信息;
其中,所述步骤4具体为:使用YOLOV3算法进行检测;该步骤具体包括:
收集所述风电机组的风机叶片的带有缺陷的巡检视频或图像,作为训练素材;
进行标注,将所述训练素材中的缺陷部位通过画框方式标注出来,生成模型训练需要的训练样本;
对标注后获得的训练样本发送给所述平台进行迭代训练,训练完成后,得到针对风电机组得风机叶片的缺陷的检测模型;
对所述检测模型进行测试和调优,选择精度符合模型发布要求的,将模型植入到YOLOV3算法模型中,进行检测;
其中,所述步骤7具体为:使用DeepSort多目标追踪算法进行处理,具体包括:基于YOLOV3的目标检测算法,识别出第二视频帧的缺陷目标,以此作为第一目标框;
将所述第一目标框从所述第二视频帧中抠出,进行特征提取;
使用卡尔曼滤波基于所述第一视频帧的第一目标框和速度进行预测,预测所述第二视频帧的第二目标框位置;
将所述第二视频帧的第一目标框位置和使用卡尔曼滤波预测的第二目标框位置进行相似度计算,确定是否为同一目标;
当判断为同一目标时,则不保存所述第二视频帧信息;
其中,所述风电机组外观缺陷的检测方法的具体实现过程包括:
根据风机状态选择巡检作业模式,所述巡检作业模式包括:风机静止状态和风机缓慢转动状态,根据所述巡检作业模式选择不同的航线规划模式;在风机静止模式下,风机采用贴合叶片进行飞行的模式;
根据实际环境的网络情况,选择实时视频推流的方式或者是飞行完成后对存储的视频进行处理;
启动智能识别,客户端对接收到的视频进行实时处理,识别是采用YOLOV3算法训练的模型进行检测的,在识别过程中,如果发现缺陷,则进行追踪,采用DeepSort的多目标检测算法,将当前帧的目标与下一帧检测出来的目标进行相似度对比,确定是否为同一个目标;
对发现的缺陷进行保存,包括对发现缺陷帧进行存储,并将缺陷目标和缺陷类型在图像上进行绘制,同时保存原图,并将缺陷信息记录到数据库中;
存储记录缺陷;
完成一次飞行任务和识别任务后,对识别出的缺陷进行审核,查缺补漏;完成所有审核后,生成word版本缺陷报告,并将报告导出;
其中,为平台进行风电机组外观缺陷的检测方法的具体流程包括:
导入视频;从视频中抽取一帧图片;导入图片检测算法进行检测;采用VLOLV3进行图片检测;识别出图片缺陷时,将缺陷导入Deepsort算法,判断是否为新缺陷;如果为是,则记录缺陷目标;如果为否,则判断视频是否检测完毕,如果检测完毕,则结束重新检测,否则,继续抽取下一帧图片。
2.一种无人机,其特征在于,包括:
确定模块,用于根据风电机组的风机状态确定无人机的飞行航线;
拍摄模块,用于沿着所述飞行航线进行自动巡检,拍摄所述风电机组的风机的视频流;
选择单元,用于根据当前网络连接状态,选择给平台实时推送所述视频流或飞行完成后给所述平台推送所述视频流;
输出单元,输出第一视频帧信息;
其中,所述无人机,还包括:
处理模块,用于所述平台接收到所述视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;
所述平台保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合;
所述平台输出所述第一视频帧信息;
其中,所述确定模块还用于:当风电机组的风机在静态状态下,飞行航线为:无人机贴合叶片以预定速度飞行;
当风电机组的风机在转动状态下,飞行航线为:在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上,以距离所述叶片轮毂中心预定安全距离的位置处为起点,向远处以预定速度飞行;
其中,所述处理模块,还用于:当所述平台识别出所述视频流中包含有风电机组缺陷的第二视频帧信息时,与所述第一视频帧信息进行比较;当所述第二视频帧信息与所述第一视频帧信息的风电机组缺陷类型、风电机组缺陷目标均一致时,则不保存所述第二视频帧信息;
其中,所述处理模块具体用于:使用YOLOV3算法进行检测;该步骤具体包括:收集所述风电机组的风机叶片的带有缺陷的巡检视频或图像,作为训练素材;
进行标注,将所述训练素材中的缺陷部位通过画框方式标注出来,生成模型训练需要的训练样本;
对标注后获得的训练样本发送给所述平台进行迭代训练,训练完成后,得到针对风电机组得风机叶片的缺陷的检测模型;
对所述检测模型进行测试和调优,选择精度符合模型发布要求的,将模型植入到YOLOV3算法模型中,进行检测;
其中,所述处理模块具体用于:使用DeepSort多目标追踪算法进行处理,具体包括:基于YOLOV3的目标检测算法,识别出第二视频帧的缺陷目标,以此作为第一目标框;
将所述第一目标框从所述第二视频帧中抠出,进行特征提取;
使用卡尔曼滤波基于所述第一视频帧的第一目标框和速度进行预测,预测所述第二视频帧的第二目标框位置;
将所述第二视频帧的第一目标框位置和使用卡尔曼滤波预测的第二目标框位置进行相似度计算,确定是否为同一目标;
当判断为同一目标时,则不保存所述第二视频帧信息;
其中,所述风电机组外观缺陷的检测方法的具体实现过程包括:
根据风机状态选择巡检作业模式,所述巡检作业模式包括:风机静止状态和风机缓慢转动状态,根据所述巡检作业模式选择不同的航线规划模式;
在风机静止模式下,风机采用贴合叶片进行飞行的模式;
根据实际环境的网络情况,选择实时视频推流的方式或者是飞行完成后对存储的视频进行处理;
启动智能识别,客户端对接收到的视频进行实时处理,识别是采用YOLOV3算法训练的模型进行检测的,在识别过程中,如果发现缺陷,则进行追踪,采用DeepSort的多目标检测算法,将当前帧的目标与下一帧检测出来的目标进行相似度对比,确定是否为同一个目标;
对发现的缺陷进行保存,包括对发现缺陷帧进行存储,并将缺陷目标和缺陷类型在图像上进行绘制,同时保存原图,并将缺陷信息记录到数据库中;
存储记录缺陷;
完成一次飞行任务和识别任务后,对识别出的缺陷进行审核,查缺补漏;
完成所有审核后,生成word版本缺陷报告,并将报告导出;
其中,为平台进行风电机组外观缺陷的检测方法的具体流程包括:
导入视频;从视频中抽取一帧图片;导入图片检测算法进行检测;采用VLOLV3进行图片检测;识别出图片缺陷时,将缺陷导入Deepsort算法,判断是否为新缺陷;如果为是,则记录缺陷目标;如果为否,则判断视频是否检测完毕,如果检测完毕,则结束重新检测,否则,继续抽取下一帧图片。
3.一种风电机组外观缺陷的检测系统,其特征在于,包括无人机和检测平台;其中,所述无人机为如权利要求2所述的无人机;
所述检测平台用于,接收到无人机推送的视频流后,对所述视频流进行分析,识别出所述视频流中包含有风电机组缺陷的第一视频帧信息;保存所述第一视频帧信息,所述第一视频帧信息包括:所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合;输出所述第一视频帧信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608791.1A CN111708380B (zh) | 2020-06-29 | 2020-06-29 | 风电机组外观缺陷的检测方法、平台、无人机以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608791.1A CN111708380B (zh) | 2020-06-29 | 2020-06-29 | 风电机组外观缺陷的检测方法、平台、无人机以及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111708380A CN111708380A (zh) | 2020-09-25 |
CN111708380B true CN111708380B (zh) | 2023-11-10 |
Family
ID=72544949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010608791.1A Active CN111708380B (zh) | 2020-06-29 | 2020-06-29 | 风电机组外观缺陷的检测方法、平台、无人机以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111708380B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112987756B (zh) * | 2021-04-21 | 2021-09-24 | 中国矿业大学(北京) | 叶片检测机器人、控制方法和控制器 |
CN114296483B (zh) * | 2022-03-09 | 2022-06-28 | 北京图知天下科技有限责任公司 | 一种风力发电机不停机状态下的智能巡检方法及电子设备 |
CN116137680B (zh) * | 2023-02-14 | 2023-10-17 | 海外远景(北京)科技有限公司 | 一种基于物联网的风电设备运行监测系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107144569A (zh) * | 2017-04-27 | 2017-09-08 | 西安交通大学 | 基于选择性搜索分割的风机叶片表面缺陷诊断方法 |
CN108416294A (zh) * | 2018-03-08 | 2018-08-17 | 南京天数信息科技有限公司 | 一种基于深度学习的风机叶片故障智能识别方法 |
CN108597053A (zh) * | 2018-04-25 | 2018-09-28 | 北京御航智能科技有限公司 | 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法 |
CN108960134A (zh) * | 2018-07-02 | 2018-12-07 | 广东容祺智能科技有限公司 | 一种巡线无人机影像标注及智能识别方法 |
CN109470712A (zh) * | 2018-12-23 | 2019-03-15 | 北京汉文景科技有限公司 | 一种风电叶片检测系统 |
CN110261394A (zh) * | 2019-06-24 | 2019-09-20 | 内蒙古工业大学 | 在线风机叶片损伤实时诊断系统和方法 |
CN110516556A (zh) * | 2019-07-31 | 2019-11-29 | 平安科技(深圳)有限公司 | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 |
CN110689054A (zh) * | 2019-09-10 | 2020-01-14 | 华中科技大学 | 一种工人违规行为监测方法 |
CN110910349A (zh) * | 2019-10-23 | 2020-03-24 | 南通大学 | 一种基于航拍视觉的风电机组状态获取方法 |
-
2020
- 2020-06-29 CN CN202010608791.1A patent/CN111708380B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107144569A (zh) * | 2017-04-27 | 2017-09-08 | 西安交通大学 | 基于选择性搜索分割的风机叶片表面缺陷诊断方法 |
CN108416294A (zh) * | 2018-03-08 | 2018-08-17 | 南京天数信息科技有限公司 | 一种基于深度学习的风机叶片故障智能识别方法 |
CN108597053A (zh) * | 2018-04-25 | 2018-09-28 | 北京御航智能科技有限公司 | 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法 |
CN108960134A (zh) * | 2018-07-02 | 2018-12-07 | 广东容祺智能科技有限公司 | 一种巡线无人机影像标注及智能识别方法 |
CN109470712A (zh) * | 2018-12-23 | 2019-03-15 | 北京汉文景科技有限公司 | 一种风电叶片检测系统 |
CN110261394A (zh) * | 2019-06-24 | 2019-09-20 | 内蒙古工业大学 | 在线风机叶片损伤实时诊断系统和方法 |
CN110516556A (zh) * | 2019-07-31 | 2019-11-29 | 平安科技(深圳)有限公司 | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 |
CN110689054A (zh) * | 2019-09-10 | 2020-01-14 | 华中科技大学 | 一种工人违规行为监测方法 |
CN110910349A (zh) * | 2019-10-23 | 2020-03-24 | 南通大学 | 一种基于航拍视觉的风电机组状态获取方法 |
Non-Patent Citations (1)
Title |
---|
仇梓峰 等.基于无人机图像的风力发电机叶片缺陷识别.发电技术.2018,(03),87-95. * |
Also Published As
Publication number | Publication date |
---|---|
CN111708380A (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111708380B (zh) | 风电机组外观缺陷的检测方法、平台、无人机以及系统 | |
CN108416294B (zh) | 一种基于深度学习的风机叶片故障智能识别方法 | |
KR102386221B1 (ko) | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 | |
CN111080598B (zh) | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 | |
CN108596883B (zh) | 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法 | |
CN109060826B (zh) | 一种不停机的风电叶片检测装置 | |
EP3786450A1 (en) | Method and system for monitoring blades of a wind turbine | |
CN112327906A (zh) | 一种基于无人机的智能自动巡检系统 | |
CN113610749B (zh) | 基于神经网络的风机叶片缺陷检测方法 | |
CN112950634A (zh) | 基于无人机巡检的风力机叶片损伤识别方法、设备和系统 | |
CN112229845A (zh) | 基于视觉导航技术的无人机高精度饶塔智能巡检方法 | |
KR20190108832A (ko) | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 | |
CN110674900B (zh) | 基于rfid的无人机巡检杆塔缺陷的方法及装置 | |
CN111860593A (zh) | 一种基于生成对抗网络的风机叶片故障检测方法 | |
CN116310891A (zh) | 一种云边协同输电线路缺陷智能检测系统和方法 | |
Liu et al. | An improved faster R-CNN for UAV-based catenary support device inspection | |
Wong et al. | Automatic borescope damage assessments for gas turbine blades via deep learning | |
CN113139572B (zh) | 一种基于图像的列车空气弹簧的故障检测方法 | |
CN110618129A (zh) | 一种电网线夹自动检测与缺陷识别方法及装置 | |
CN117114420A (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
CN116740833A (zh) | 基于无人机的线路巡线打卡方法 | |
He et al. | Intelligent unmanned aerial vehicle (UAV) system for aircraft surface inspection | |
CN114439702A (zh) | 一种风力发电机的叶片状态监测方法和装置 | |
CN113406107A (zh) | 风机叶片缺陷检测系统 | |
Wang et al. | Visual defect detection for substation equipment based on joint inspection data of camera and robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |