发明内容
本公开的目的是提供一种风电叶片缺陷检测定位方法、装置、存储介质和电子设备,以提高风电叶片缺陷的类型识别精度和定位精度。
为了实现上述目的,本公开提供一种风电叶片缺陷检测定位方法,包括:
获取风电叶片的多个部分区域图像帧;
确定每个部分区域图像帧中的叶片部分图像;
对所述叶片部分图像进行切分得到多个子图片;
对每个子图片进行缺陷识别;
根据所述多个部分区域图像帧确定所述风电叶片的组合图像;
根据识别出的每个缺陷在所述子图片中的位置,确定所述缺陷在所述组合图像中的位置。
在一种实施方式中,所述对每个子图片进行缺陷识别,包括:
基于预先训练的缺陷识别模型,对每个子图片进行缺陷识别,其中,所述缺陷识别模型通过如下方式进行训练:
获取第一缺陷样本图片集;
对所述第一缺陷样本图片集进行数据增强处理,得到第二缺陷样本图片集;
利用所述第二缺陷样本图片集进行模型训练,以得到所述缺陷识别模型。
在一种实施方式中,所述对所述第一缺陷样本图片集进行数据增强处理,得到第二缺陷样本图片集,包括:
确定缺陷样本图片集中的缺陷的种类和每种缺陷的数量;
根据每种缺陷的数量对所述缺陷样本图片集进行数据增强,以使每种缺陷的数量差异在预设的差异范围之内。
在一种实施方式中,所述对所述第一缺陷样本图片集进行数据增强处理,包括以下中的一种或几种:
对所述第一缺陷样本图片集中的目标缺陷样本图片进行如下处理中的至少一种,以得到所述目标缺陷样本图片对应的至少一张数据增强图片,其中,所述目标缺陷样本图片为所述第一缺陷样本图片集中的任一图片:
镜像翻转处理;颜色变换处理;模糊处理;和所述第一缺陷样本图片集中与所述目标缺陷样本图片对应于同种缺陷的至少一张其他缺陷样本图片的拼接处理。
在一种实施方式中,所述缺陷识别模型的损失函数为分类损失函数、定位损失函数和置信度损失函数之和。
在一种实施方式中,所述根据所述多个部分区域图像帧确定所述风电叶片的组合图像,包括:
按照拍摄顺序将所述多个部分区域图像帧进行组合,得到第一组合图像;
获取每个部分区域图像帧的特征点;
根据所述每个图像帧的特征点对所述第一组合图像进行粗拼接得到第二组合图像;
在所述第二组合图像中,获取每个部分区域图像帧中的叶片的直线边缘特征;
根据所述叶片的直线边缘特征对所述第二组合图像进行校正得到第三组合图像。
第二方面,本申请提出了一种风电叶片缺陷检测定位装置,包括;
获取模块,被配置为获取风电叶片的多个部分区域图像帧;
第一图像处理模块,被配置为:确定每个部分区域图像帧中的叶片部分图像;
对所述叶片部分图像进行切分得到多个子图片;
缺陷类型确定模块,被配置为:对每个子图片进行缺陷识别;
第二图像处理模块,被配置为:根据所述多个部分区域图像帧确定所述风电叶片的组合图像;
缺陷位置确定模块,被配置为:根据识别出的每个缺陷在所述子图片中的位置确定所述缺陷在所述组合图像中的位置。
在至少一种实施方式中,所述缺陷类型确定模块,进一步被配置为:
基于预先训练的缺陷识别模型,对每个子图片进行缺陷识别,其中,所述缺陷识别模型通过如下方式进行训练:
获取第一缺陷样本图片集;
对所述第一缺陷样本图片集进行数据增强处理,得到第二缺陷样本图片集;
利用所述第二缺陷样本图片集进行模型训练,以得到所述缺陷识别模型。
在至少一种实施方式中,所述缺陷类型确定模块,进一步被配置为:确定所述第一缺陷样本图片集中的缺陷的种类和每种缺陷的数量;
根据每种缺陷的数量对所述第一缺陷样本图片集进行数据增强,以使每种缺陷的数量差异在预设的差异范围之内。
在至少一种实施方式中,所述缺陷类型确定模块,进一步被配置为:
对所述第一缺陷样本图片集中的目标缺陷样本图片进行如下处理中的至少一种,以得到所述目标缺陷样本图片对应的至少一张数据增强图片,其中,所述目标缺陷样本图片为所述第一缺陷样本图片集中的任一图片:
镜像翻转处理;颜色变换处理;模糊处理;和所述第一缺陷样本图片集中与所述目标缺陷样本图片对应于同种缺陷的至少一张其他缺陷样本图片的拼接处理。
在至少一种实施方式中,所述第二图像处理模块,进一步被配置为:按照拍摄顺序将所述多个部分区域图像帧进行组合,得到第一组合图像;
获取每个部分区域图像帧的特征点;
根据所述每个图像帧的特征点对所述第一组合图像进行粗拼接得到第二组合图像;
在所述第二组合图像中,获取每个部分区域图像帧中的叶片的直线边缘特征;
根据所述叶片的直线边缘特征对所述第二组合图像进行校正得到第三组合图像。
第三方面,本申请提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述中任一项所述方法的步骤。
第四方面,本申请提出了一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现上述中任一项所述方法的步骤。
通过上述技术方案,通过把叶片部分图像进行切分为多个子图像,使得裂纹在每个子图像显得相对比较明显,从而有助于更准确的识别出缺陷,以及确定缺陷类型,也提高了对于缺陷的位置定位的准确性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
需要说明的是,本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种风电叶片缺陷检测定位方法的流程图;该方法可以应用于电子设备中,电子设备可以为终端、服务器等。
如图1所示,该方法可以包括以下的步骤:
步骤S102中,获取风电叶片的多个部分区域图像帧。
示例性的,获取风电叶片的多个部分区域图像帧时,可以使用四旋翼无人机搭载相机,无人机在待巡检风机附近起飞,分别对三支叶片的迎风面、前缘、背风面和后缘4条路线进行巡检拍摄,保证叶片的表面被全方位拍摄到。拍摄时,无人机可以距离叶片的距离为10m的位置处进行拍摄,完成对于当前的叶片巡检后,飞往下一个叶片进行同样操作,直至三支叶片图片都完成采集。
在上述的任意的一条线路中,都是从叶根的部位开始,向着叶尖的方向,依次拍摄多张部分区域图片,因为叶片很长,在叶片的整体图像中,缺陷很难有比较好的显示效果。本申请将叶片划分为多个部分区域,获取每个部分区域图像,这样一来,缺陷在每个部分区域图像中,会有比较好的显示效果。
步骤S104中,确定每个部分区域图像帧中的叶片部分图像。
参见附图2A所示的一种部分区域图像,在该图像中,有一处裂纹缺陷。
其中,预先训练的分割模型采用Mask-rcnn语义分割模型,采用Mask-rcnn语义分割模型对所述风电叶片图像帧进分割后,得到背景部分图像和叶片部分图像。
步骤S106中,对所述叶片部分图像进行切分得到多个子图片。
示例性的,通过Mask-rcnn语义分割模型对上述的叶片部分图像进行切分,将叶片部分图像切分成若干尺寸为416×416的子图片,其中单位为像素。参见附图2B所示的一种子图片示意图,与图2A相比,裂纹在该子图片中具有更好的显示效果。
步骤S108中,对每个子图片进行缺陷识别。
其中,缺陷识别模型为YOLO-Turbine模型。对每个子图片进行缺陷识别的结果,包括缺陷的类型和缺陷的矩形框尺寸,矩形框尺寸包括:矩形框的中心点坐标,矩形框的长度和高度。
步骤S110中,根据所述多个部分区域图像帧确定所述风电叶片的组合图像。
对于上述的任意的一个路线,最后需要将拍摄到的多个部分区域图像进行组合在一起,得到该路线的整个叶片的完整的图像。具体可以按照前后拍摄的时间顺序对多个部分区域图片的拼接。拍照的过程中,可以为每个部分区域图片设置标识。
示例性的,对于任意的一个线路,从叶根到叶尖的方向上,拍摄了50张部分区域图像,为每个部分区域图像设置标识,比如,第一张部分区域图像标识设置为1;第二张部分区域图像标识设置为2,第三张部分区域图像标识设置为3,依次类推,最后,在进行组合时,可以按照上述的标识顺序进行组合。
步骤S112中,根据识别出的每个缺陷在所述子图片中的位置,确定所述缺陷在所述组合图像中的位置。
识别出的每个缺陷在所述子图片中的位置,可以用每个缺陷的矩形框的中心点的坐标来进行表示。将子图片进行组合得到组合图像之后,可以确定组合图像的相关的尺寸数据,其中,相关的尺寸数据包括:叶尖坐标和叶根坐标。根据上述的叶尖坐标、叶根坐标、该缺陷在子图片中的坐标和叶片的实际长度,通过比例换算就可以确定出该缺陷在组合图像中的位置。该位置是用该缺陷距离叶根,或者叶尖的距离表示。比如,该缺陷的位置为,在组合图像中,距离叶根的距离为10米的位置。
本发明的上述的技术方案,通过把风电的叶片部分图像进行切分,切分为多个子图像,这样,可以使得缺陷在每个子图像中具有良好的显示效果,从而采用缺陷识别模型进行识别时,可以更准确的确定缺陷,确定缺陷的类别,有利于提高缺陷的定位精度。
在至少一种实施方式中,对所述缺陷识别模型进行训练时,需要获取风电机组叶片缺陷样本图片集,对该风电机组叶片缺陷样本图片集中的缺陷进行标注,制作缺陷类型的标签。具体的,可以使用LabelMe标注工具对上述的风电机组叶片缺陷样本图片集中的缺陷进行标注,得到含有图片标注信息的json文件,并通过json2txt.py程序将标注信息转化为txt格式的文件。其中,标注信息包括:每个缺陷的缺陷种类、缺陷的矩形框坐标。其中,对于任意的一个缺陷,该缺陷的矩形框坐标包括:该缺陷的矩形框中的任意一组对角端点的坐标(x1,y1)和(x2,y2)。根据上述的对角端点的坐标可以确定该矩形框的中心点坐标,以及该矩形框的高度和宽度。
示例性的,采用以下的公式进行计算:
矩形框的中心点的横坐标:X=(x1+x2)/2;(1)
矩形框的中心点的纵坐标:Y=(y1+y2)/2;(2)
矩形框的宽度:W=abs(x1-x2);(3)
矩形框的高度:H=abs(y1-y2)(4)
对于腐蚀这种面积比较大的缺陷,跨度比较大,包括了多个子图片,仍然可以采用上述的公式(1)、(2)、(3)、(4)计算中心点的横坐标。确定多个子图片合并之后的外接矩形,再根据外接矩形中的两个对角点的坐标计算该外接矩形的中心点坐标。得到上述的矩形框的中心点坐标以及矩形框的高与宽之后,再建立缺陷名称与缺陷编号的映射关系,具体可以为,将上述的json文件与txt文件进行映射,将上述json文件中的缺陷名称映射到上述txt文件中的缺陷编号,在所述txt文件中,每一行对应记录一个缺陷的参数信息,参数信息包括:缺陷编号、缺陷的矩形框的中心点横坐标和纵坐标、矩形框的宽度和长度。
将上述的风电机组叶片缺陷样本图片集按照预定的比例随机分为训练集和测试集。采用所述训练集对上述的缺陷识别模型进行训练,采用所述测试集对该缺陷识别模型进行测试。比如,训练集和测试集比例为9:1。
下面以缺陷识别模型为YOLOv3-SPP模型详细说明,设置YOLOv3-SPP模型初始化,采用以下的步骤,选择COCO数据集中的YOLOv3-SPP模型来做迁移学习;设置所述YOLOv3-SPP模型的损失函数,将损失函数设置为分类损失函数、定位损失函数、置信度损失函数三者之和。所述YOLOv3-SPP模型训练时,采用分类损失函数、定位损失函数和置信度损失函数的和值进行训练。
参见附图3A所示的一种YOLOv3-SPP模型的结构图,在该YOLOv3-SPP模型中,以Darknet-53作为骨干网络。
参见附图3B所示的一种YOLOv3-SPP模型中的空间金字塔池化的结构图,空间金字塔池化(Spatial Pyramid Pooling,SPP)模块,可以实现多尺度特征融合。
训练时,将上述的风电机组叶片缺陷样本图片集中的训练集输入所述YOLOv3-SPP模型进行训练,可以随机的从上述的训练集中,不重复的抽取16个叶片缺陷图片作为一个批次,输入到所述YOLOv3-SPP模型中,设置迭代次数为1000,模型收敛后,保存训练时的last.pt及best.pt两个模型参数,最终选择best.pt参数模型。使用best.pt对待测图像进行检测。其中,last.pt参数模型为最后一次训练的模型参数,best.pt参数模型为最优结果的一次的训练的模型参数。
在至少一些实施例中,上述的步骤S102中,对每个子图片进行缺陷识别,可以包括:基于预先训练的缺陷识别模型,对每个子图片进行缺陷识别。
图4是根据一示例性实施例示出的一种缺陷识别模型训练方法的流程图;如图所示,缺陷识别模型训练方法可以进一步包括以下的步骤:
步骤S401中,获取第一缺陷样本图片集。
可以从标准的数据库中获取第一缺陷样本图片集,也可以从无人机拍摄的风机叶片的缺陷图片中确定出第一缺陷样本图片集。
步骤S402中,对所述第一缺陷样本图片集进行数据增强处理,得到第二缺陷样本图片集。
对所述第一缺陷样本图片集进行数据增强处理时,可以根据需要采取灵活的数据增强策略,比如,如果某个缺陷的样本图片数量比较少,则可以对该数量比较少的缺陷进行数据增强,以增加该缺陷的样本图像的数量。
图5是根据一示例性实施例示出的一种陷样本图片集进行数据增强处理的流程图;如图所示,该方法可以进一步包括以下的步骤:
步骤S4021中,确定上述第一缺陷样本图片集中的缺陷的种类和每种缺陷的数量。
其中,缺陷的种类包括但不限于:裂纹、腐蚀、玻纤损伤、剥落、开裂。其中,玻纤损伤,一般是雷击造成的一种缺陷。腐蚀,是一种面积比较大的缺陷。
步骤S4022中,根据每种缺陷的数量对所述第一缺陷样本图片集进行数据增强,以使每种缺陷的数量差异在预设的差异范围之内。
其中,对于任意的两种缺陷,这两种缺陷的数量的差值,小于等于预定的差值阈值。差值阈值可灵活进行设定,比如,可以设定为10以内的数量,本申请不进行限定。
因为,如果某一种缺陷样本图片过多,则该缺陷识别模型进行训练时,容易导致出现缺陷类型定位的偏差。比如,在缺陷样本图片集中,如果缺陷类型为裂纹的样本图片的数量最多,腐蚀的样本图片的数量最少,上述两种图片的数量差距很大。则对上述缺陷识别模型训练之后,该缺陷识别模型输出的结果中,更容易得到裂纹的结果,显有腐蚀的结果,甚至有可能把腐蚀的结果误认为是裂纹的结果。所以,需要对缺陷样本图片集进行数据增强处理,经过数据增强处理之后,每种类型的缺陷的样本图片的数量相同,或者近似相同,这样,训练得到的缺陷识别模型具有更加均衡的识别能力。
示例性的,缺陷样本图片集中,裂纹的图片数量为500个;剥落的图片数量为450个;腐蚀的图片数量为430个;玻纤损伤的图片数量为420个;开裂的图片数量为485个。经过数据增强处理之后,可以得到以下的数据:裂纹的图片数量为500个;剥落的图片数量为495个;腐蚀的图片数量为503个;玻纤损伤的图片数量为501个;开裂的图片数量为496个。这样一来,在缺陷样本图片集中,每种缺陷的数量达到了相同,或者近似相同,在训练的时候,就能够对被训练的缺陷识别模型进行更全面的训练,使得该缺陷识别模型的识别缺陷能力更加均衡。
步骤S403中,利用所述第二缺陷样本图片集进行模型训练,以得到所述缺陷识别模型。
利用所述第二缺陷样本图片集对上述的YOLOv3-SPP模型进行训练,得到所述缺陷识别模型。
上述的实施例,通过对第一缺陷样本图片集进行数据增强处理,得到第二缺陷样本图片集;第二缺陷样本图片集中,每种缺陷的数量差异在预设的差异范围之内。这样,利用上述的第二缺陷样本图片集对上述的YOLOv3-SPP模型进行训练后,得到的缺陷识别模型具有更加均衡的识别能力。
在至少一种实施方式中,对所述缺陷样本图片集进行数据增强,包括以下中的一种或几种:
对所述第一缺陷样本图片集中的目标缺陷样本图片进行如下处理中的至少一种,以得到所述目标缺陷样本图片对应的至少一张数据增强图片,其中,所述目标缺陷样本图片为所述第一缺陷样本图片集中的任一图片:镜像翻转处理;颜色变换处理;模糊处理;和所述第一缺陷样本图片集中与所述目标缺陷样本图片对应于同种缺陷的至少一张其他缺陷样本图片的拼接处理。
对于镜像翻转处理,可以对上述的任一缺陷样本图片进行一次或者多次的镜像翻转操作,得到一个或者多个所述缺陷样本图片的数据增强图片。
示例性的,可以把一个缺陷为裂纹的样本图片,进行一次镜像操作,得到该样本图片的镜像图片。
对于颜色变换操作,可以对上述的任一缺陷样本图片进行一次或者多次的颜色变换操作,得到一个或者多个所述缺陷样本图片的数据增强图片。
示例性的,可以把一个裂纹的样本图片进行颜色变换,把白色的叶片更换为灰色的叶片,或者,对叶片的颜色进行加深处理,得到该样本图片的数据增强图片。
对于模糊处理,可以对上述的任一缺陷样本图片进行一次或者多次的加入马赛克操作,得到一个或者多个所述缺陷样本图片的数据增强图片。
示例性的,可以把一个裂纹的样本图片,在不关键的位置上加入马赛克,得到该样本图片的数据增强图片。
对于拼接处理,可以对上述的任一缺陷样本图片和所述缺陷样本图片的同类缺陷样本图片进行一次或者多次的随机拼接操作,得到一个或者多个所述缺陷样本图片的数据增强图片。
示例性的,对于腐蚀类的缺陷,该类缺陷的面积往往比较大,需要占用多个子图片,所以,可以采用一个腐蚀的样本图片和其他的一个或者多个腐蚀的样本图片进行随机拼接,产生出更多的腐蚀样本图片作为数据增强图片。
图6是根据一示例性实施例示出的一种得到多个候选矩形框尺寸流程图。如图所示,在所述缺陷识别模型进行训练之前,上述方法还进一步包括以下的步骤:
步骤S602中,统计上述的第二缺陷样本集中的矩形框尺寸得到矩形框尺寸的第一集合。
在上述的第二缺陷样本集中,可使用上述的标注工具LabelMe,在该软件中,人工的对每个缺陷进行矩形框标注,标注后,可以显示矩形框的尺寸。统计每个缺陷的矩形框的尺寸,得到尺寸的第一集合。
步骤S604中,采用聚类算法对所述矩形框尺寸的第一集合进行聚类分析,得到矩形框尺寸的第二集合;其中,上述的第二集合中的矩形框尺寸,作为候选矩形框尺寸。
示例性的,采用k-means聚类算法对上述尺寸的第一集合进行聚类分析可以得到多个聚类中心,每个聚类中心的尺寸为一种候选尺寸,这样,得到了多个矩形框的候选尺寸。可以聚类得到9种矩形框的尺寸,矩形框的宽度和高度分别是:12×13、20×30、34×45、50×67、62×45、80×119、72×90、156×227和254×311,单位为像素。为了定性分类,可以将上述的9种尺寸进行归类,划分为大,中,小三类。其中,12×13、20×30、34×45为小尺度;50×67、62×45、80×119为中尺度;72×90、156×227和254×311为大尺度。
确定了上述的多个候选的矩形框尺寸,使用被训练的所述缺陷识别模型对于一个待识别的子图片识别时,可以根据上述的多个候选矩形框尺寸确定所述缺陷的矩形框。具体的,根据所述缺陷的尺寸,从所述多个候选矩形框尺寸中选择与所述缺陷的尺寸最接近的矩形框作为所述缺陷的矩形框。
示例性的,对于待测试的子图片中的一个目标缺陷,如果该目标缺陷的实际尺寸为,高度为10,宽度为10;则根据该目标缺陷的尺寸,从上述的9种尺寸中选择与该目标缺陷的实际尺寸最为接近的矩形测试框,可以选择尺寸为12×13的矩形框作为该目标缺陷的矩形框,该缺陷识别模型识别该目标缺陷的结果为,以标签的形式显示该目标缺陷的缺陷类型,并显示该目标缺陷的矩形框。
本申请的上述的技术方案,缺陷识别模型自动选择与缺陷的实际尺寸接近的矩形框,避免出现缺陷小而大尺寸的矩形框导致的矩形框的中心点并不能够代表缺陷的中心点,导致缺陷定位精度降低的情况发生。既可以提高对于缺陷的定位效果,也可以提高显示效果。
在至少一种实施方式中,所述缺陷识别模型的损失函数为分类损失函数、定位损失函数和置信度损失函数之和。在对所述缺陷识别模型进行训练时,采用上述的分类损失函数、定位损失函数和置信度损失函数的和值对该缺陷识别模型进行训练。
其中,分类损失函数主要用于表征对于缺陷类型的偏差;定位损失函数用于表征缺陷的定位偏差。置信度损失函数主要用于表征对于每个缺陷的可信度。
定位损失函数的计算公式如下:
Loss=IoU-(ρ2(b,b'))/c2–αv;
其中,IoU表示预测框与真实框的交并比,用来反映预测框与真实框的重叠面积;ρ表示计算两个中心点的欧式距离;b表示预测框的中心点坐标;b'表示真实框的中心点坐标;c表示预测框和真实框最小外接矩形对角线的长度;v=4/π2×(arctan(w'/h')-arctan(w/h))2;α=v/((1-IoU)+v);其中w'表示真实框的宽度;h'表示真实框的长度;w表示预测框的长度;h表示预测框的长度。
图7是根据一示例性实施例示出的一种根据所述多个部分区域图像帧确定所述风电叶片的组合图像的流程图。如图所示,步骤S110中,根据所述多个部分区域图像帧确定所述风电叶片的组合图像,进一步包括以下的步骤:
步骤S1101,按照拍摄顺序将所述多个部分区域图像帧进行组合,得到第一组合图像。
示例性的,从叶根到叶尖,顺序拍摄了20张图片,为每个图片设置序号标识,组合时,按照标识1-20的顺序进行组合,组合后,还需要调整相邻的两个图像的相对位置,以尽可能真实的还原出整个叶片。
可以在风电叶片装机组装之前进行标记,比如,可以用记号笔在叶片上标记出19条竖线标记,这19条竖线标记可以将上述的风电叶片划分为20个部分区域。如此,在采用上述的方法进行图片组合后,可以根据上述的竖线标记来对相邻的图像进行调整,使得相邻的两个图像可以根据竖线标记为基准进行横向上的对齐,从而有助于尽可能真实还原整体叶片。如果叶片上没有预先执行竖线标记的情况下,执行以下的步骤S1102。应当理解的是,除了上述的竖线标记之外,还可以是其他形状的标记,比如,球形标记,三角形,圆形,矩形等各种形状的标记。
步骤S1102,获取每个部分区域图像帧的特征点。
可以利用尺度不变特征转换(Scale-invariant feature transform,SIFT)算法提取每个部分区域图像帧的特征点。然后,使用随机采样一致性(Random SampleConsensus,RANSAC)算法对上述的特征点进行优化,将特征点中的噪声点剔除,以起到降噪的作用。然后,执行步骤S1103。
步骤S1103,根据所述每个图像帧的特征点对所述第一组合图像进行粗拼接得到第二组合图像。
图8是根据一示例性实施例示出的一种任意两个相邻的部分区域图像粗拼接示意图。如图所示,下面以一对特征点举例说明,对于任意相邻的两个部分区域图像,第一部分区域图像和第二部分区域图像,确定所述第一区域图像中的第一特征点1,确定所述第二区域图像中的第二特征点2。其中,第一特征点1和第二特征点2为同一个实际的点在两个图片的图像中的近似点,调整所述第一部分区域图像和所述第二区域图像的位置,以使得所述第一特征点1和所述第二特征点2的在第一方向上接近重合,其中,第一方向为横向。
步骤S1104,在所述第二组合图像中,获取每个部分区域图像帧中的叶片的直线边缘特征。
在所述第二组合图像中可以利用Hough算法确定每个部分区域图像帧中的叶片的直线边缘特征。
步骤S1105,根据所述叶片的直线边缘特征对所述第二组合图像进行校正得到第三组合图像。
所述第一部分区域图像和所述第二区域图像进行第一次的调整后,使得所述第一特征点1和所述第二特征点2的在第一方向上接近重合。然后,进行第二次的校正,是第二方向上的校正,其中,第二方向为竖直方向。
参见图9,将所述第一图像中的第一直线特征与所述第二图像中的第二直线特征进行对齐。如图所示,两个图像中的直线对齐之后,完成了第二方向上的校正,校正之后的组合图像,更加接近于真实的图像,提高了组合图像的真实性。
图10是根据一示例性实施例示出的一种风机叶片的一条路径上的最终的拼接图像。得到上述的最终的拼接图像之后,可以根据叶根的坐标,该缺陷的矩形框的中心点坐标和叶尖的坐标确定所述缺陷在该路径上的位置。
通过以下的公式确定所述缺陷到叶根的距离:
d=(x-x0)/(x1-x0)×L;
其中,d为所述缺陷到所述叶根的距离;L为所述叶片的长度;x0为叶根的横坐标;x为所述缺陷的矩形框的中心点的横坐标;x1为所述叶片的叶尖的横坐标。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种风电叶片缺陷检测定位装置的框图。该装置110包括:
获取模块1110,被配置为获取风电叶片的多个部分区域图像帧;
第一图像处理模块1120,被配置为确定每个部分区域图像帧中的叶片部分图像;
对所述叶片部分图像进行切分得到多个子图片;
缺陷类型确定模块1130,被配置为对每个子图片进行缺陷识别;
第二图像处理模块1140,被配置为根据所述多个部分区域图像帧确定所述风电叶片的组合图像;
缺陷位置确定模块1150,被配置为根据识别出的每个缺陷在所述子图片中的位置,确定所述缺陷在所述组合图像中的位置。
在至少一种实施方式中,所述缺陷类型确定模块1130,进一步被配置为:
基于预先训练的缺陷识别模型,对每个子图片进行缺陷识别;其中,所述缺陷识别模型通过如下方式进行训练:获取第一缺陷样本图片集;对所述第一缺陷样本图片集进行数据增强处理,得到第二缺陷样本图片集;利用所述第二缺陷样本图片集进行模型训练,以得到所述缺陷识别模型。
在至少一种实施方式中,所述缺陷类型确定模块1130,进一步被配置为:确定所述第一缺陷样本图片集中的缺陷的种类和每种缺陷的数量;
根据每种缺陷的数量对所述第一缺陷样本图片集进行数据增强,以使每种缺陷的数量差异在预设的差异范围之内。
在至少一种实施方式中,所述缺陷类型确定模块1130,进一步被配置为:
对所述第一缺陷样本图片集中的目标缺陷样本图片进行如下处理中的至少一种,以得到所述目标缺陷样本图片对应的至少一张数据增强图片,其中,所述目标缺陷样本图片为所述第一缺陷样本图片集中的任一图片:
镜像翻转处理;颜色变换处理;模糊处理;和所述第一缺陷样本图片集中与所述目标缺陷样本图片对应于同种缺陷的至少一张其他缺陷样本图片的拼接处理。
在至少一种实施方式中,所述第二图像处理模块1140,进一步被配置为:按照拍摄顺序将所述多个部分区域图像帧进行组合,得到第一组合图像;
获取每个部分区域图像帧的特征点;
根据所述每个部分区域图像帧的特征点对所述第一组合图像进行粗拼接得到第二组合图像;
在所述第二组合图像中,获取每个部分区域图像帧中的叶片的直线边缘特征;
根据所述叶片的直线边缘特征对所述第二组合图像进行校正得到第三组合图像。
图12是根据一示例性实施例示出的一种电子设备1200的框图。如图12所示,该电子设备1200可以包括:处理器1201,存储器1202。该电子设备1200还可以包括多媒体组件1203,输入/输出(I/O)接口1204,以及通信组件1205中的一者或多者。
其中,处理器1201用于控制该电子设备1200的整体操作,以完成上述的风电叶片缺陷检测定位方法中的全部或部分步骤。存储器1202用于存储各种类型的数据以支持在该电子设备1200的操作,这些数据例如可以包括用于在该电子设备1200上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件1203可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1202或通过通信组件1205发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口1204为处理器1201和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1205用于该电子设备1200与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件1205可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的风电叶片缺陷检测定位方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的风电叶片缺陷检测定位方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器,上述程序指令可由电子设备的处理器执行以完成上述的风电叶片缺陷检测定位方法。
图13是根据一示例性实施例示出的一种电子设备1300的框图。例如,电子设备1300可以被提供为一服务器。参照图13,电子设备1300包括处理器1322,其数量可以为一个或多个,以及存储器1332,用于存储可由处理器1322执行的计算机程序。存储器1332中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器1322可以被配置为执行该计算机程序,以执行上述的风电叶片缺陷检测定位方法。
另外,电子设备1300还可以包括电源组件1326和通信组件1350,该电源组件1326可以被配置为执行电子设备1300的电源管理,该通信组件1350可以被配置为实现电子设备1300的通信,例如,有线或无线通信。此外,该电子设备1300还可以包括输入/输出(I/O)接口1358。电子设备1300可以操作基于存储在存储器1332的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的风电叶片缺陷检测定位方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的存储器,上述程序指令可由电子设备的处理器执行以完成上述的风电叶片缺陷检测定位方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的风电叶片缺陷检测定位方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。