CN110136059A - 直线特征的风电叶片图像拼接方法 - Google Patents

Abstract

直线特征的风电叶片图像拼接方法，本发明涉及风电叶片图像拼接方法。本发明的目的是为了解决对于风电叶片背景相对简单、结构单一、明暗程度差异小并且重合度小的图像难以拼接的问题。为解决此问题，本发明提出了一种直线特征的风电叶片图像拼接方法。该方法首先对图像预处理并检测直线特征，然后根据直线差异度去掉重复直线特征，再配准直线特征，最后拼接图像。实验表明，该方法对于风电叶片图像拼接成功率较高，对于重合度小的图像拼接具有较强的鲁棒性，相比现有图像拼接方法是一种有效且稳定的风电叶片图像拼接方法。本发明应用于风电叶片图像拼接领域。

Description

直线特征的风电叶片图像拼接方法

技术领域

本发明涉及风电叶片图像拼接方法。

背景技术

目前我国有13万台风力发电机组在使用，以6000万千瓦的装机规模成为世界上最大的使用风力发电的国家。风力发电机体型巨大，并且造价昂贵，装机后需要服役较长时间。随着风力发电机的使用，需要定期对其进行巡检，及时发现风力发电机的缺陷，以保证其能继续正常使用。对风力发电机的缺陷及时修复能够使其继续服役几年时间，节约较大成本。定期巡检过程以检测风电叶片缺陷为主。风电叶片是风力发电机组的核心部件之一，容易受到雷击、腐蚀等影响而损坏，关系到整个发电机组的安全。以往主要靠蜘蛛人、吊车、望远镜等形式进行检测，这种传统的巡检方式检出率低，迫切需要研发一种智能视觉巡检系统进行叶片自动化检测，以便减少人工成本并且提高缺陷检出率。为了能够检测出毫米级的缺陷，智能视觉巡检系统会采集较高解析度的叶片图像。由于叶片巨大，在拍摄同一组叶片图像时，相机镜头需要连续移动才能拍摄全部叶片图像，从而导致叶片测量误差太大，所以需要对图像进行拼接。叶片图像拼接是确定叶片缺陷的位置、大小、长度与面积的关键技术。图像特征检测与描述，以及图像配准是图像拼接方法中的关键环节。

现有的图像拼接方法一般以SIFT、SURF、BRISK、ORB、KAZE或AKAZE等方法进行特征检测和特征描述。这些算法在背景复杂的情况下可以检测到足够多合适的特征点，拼接成功率很高。但是风电叶片是条形结构并且颜色单一。叶片成像之后边缘直线特征表现明显，但其明暗程度不是特别突出。现有图像拼接方法对于叶片这种背景相对简单、结构单一、明暗程度差异小并且重合度小的图像拼接成功率往往很低。为了解决上述问题本发明提出了一种直线特征的风电叶片图像拼接方法进行叶片图像拼接。相比现有图像拼接方法，本发明是一种拼接成功率高、鲁棒性强且稳定的风电叶片图像拼接方法。

发明内容

本发明的目的是为了解决风电叶片图像拼接成功率低的问题。

上述发明目的主要通过以下技术方案实现：

步骤一、加权边缘检测：

对图像进行加权微分可得加权边缘图像

其中权重为θ(0<θ<1)，G_x与G_y分别代表横向及纵向对I求微分后的灰度图像，I为原始图像。为了提高计算效率可近似计算边缘图像，即可以采用如下公式进行计算：

|I₀|＝|θG_x|+|(1-θ)G_y|

从而求得边缘图像I₀。

步骤二、图像增强：

对边缘图像进行锐化增强处理，即对边缘图像I₀进行滤波，可得增强图像I₁

步骤三、加权阈值分割：

在进行直线检测前需要对图像进行阈值分割，获得二值图像，以便拟合直线。不同的叶片图像所得到的边缘灰度值差别比较大，不能使用同一个固定的阈值来进行阈值分割。本发明采用加权灰度均值作为阈值来进行阈值分割，对I₁进行加权阈值分割可得I₂：

其中T为I₁灰度均值，0<ω<255。

步骤四、直线检测：

那么对I₂进行霍夫变换可得I₂上检测到的所有直线，定义直线的集合为L，那么I₂上的直线的定义如下：

L_i：y＝k_ix+b_i，(i＝1，2，3...n₁)

其中k_i与b_i分别为第i条直线的斜率与截距，n₁为直线集的元素个数。

步骤五、直线特征去重采集的叶片图像直线特征以竖直为主，需要对I₂上的直线集L_i去掉横着的直线，即由k_i>ε₀得到直线集L_j:y＝k_jx+b_j，(j＝1,2,3…n₂)。叶片图像会在同一条轮廓上检测出多条直线，定义这些直线为重合线。为了进一步去掉直线集L_j中的重合线，可以把这些直线拟合成一条直线，这时需要对两条直线的差异情况进行度量，才能方便计算，这里给出直线差异度定义

其中ρ为两条直线的差异度，Δk为两条直线的斜率差，Δb为两条直线的截距差。任取L_j中第j1与j2条直线分别为：y＝k_j1x+b_j1，y＝k_j2x+b_j2，当

时第j1与j2条直线重合，得到与第j1条直线重合直线的集L_l:y＝k_lx+b_l，(l＝1,2,3…n₃)，对于L_l，有公式：

可以拟合得到一条去掉重复之后的直线遍历L_l中所有直线进行去重，可以得到去重后的直线集L_m:y＝k_mx+b_m，(m＝1,2,3…n₄)

步骤六、对直线特征进行配准叶片图像有多张，我们可以取连续的两张图像A、B，通过上述过程分别求得直线集。定义图像A上的直线集：

其中i＝1,2,3…n₀，k为斜率，b为截距；图像B上的直线集：

其中j＝1,2,3…n₁，k为斜率，b为截距。

把第一张图像的坐标系作为基准坐标系，把其它图像的坐标系进行旋转平移变换，变换到第一张图像上的坐标系，以方便叶片图像的配准。分别对中的直线两两计算交叉点，得到对应的交叉点集

分别任取点集与中一点(x_r,y_r)与(u_s,v_s)，对所在坐标系通过如下平移旋转变换进行坐标系平移旋转：

其中Δu(r,s)＝u_s-x_r，Δv(r,s)＝v_s-y_r在中与(x_r,y_r)和(u_s,v_s)对应的第一条直线分别为那么

得到为坐标平移旋转后的直线集。定义

为重合直线条数，其中count为计数算子，当传入参数为True时返回值为1，否则返回0。对通过与进行所有坐标平移旋转变换，可以得到num最大值。

步骤七、叶片图像拼接：

根据步骤六求得的Δu、Δv和β可以对叶片图像进行拼接，即把平移旋转到的坐标系内而求得拼接结果。

发明效果本发明提供了一种直线特征的风电叶片图像拼接方法。首先对叶片图像进行加权边缘检测，得到较为突出的叶片边缘；对叶片边缘图像进行增强，使局部边缘表现的更为明显；对边缘图像进行加权阈值分割可以自动设置阈值；对图像进行直线特征检测，直线特征重复性较高，使用直线差异度对其进行去重可以减少直线特征并且得到较为准确的特征；对直线特征进行配准，得到平移旋转矩阵，根据平移旋转矩阵对图像进行拼接。本发明可以拼接成功率比较高，最高可达到94％，比现有方法高61％，对于重合度较低的风电叶片图像鲁棒性也较好。

附图说明

图1是对图像1进行直线检测的分步效果图；

图2是对图像2进行直线检测的分步效果图；

图3是两张叶片图像重合较多的配准与拼接结果效果图；

图4是两张叶片图像没有重合的配准与拼接结果效果图；

图5是本发明方法与其他方法在不同误差下的成功率统计对比图；

图6是本发明的算法流程图。

具体实施方法

具体实施方式：本实施方式是风电叶片图像拼接方法，具体是按照以下步骤制备的：

步骤一、对输入的2张叶片图像A、B进行加权边缘检测，采用公式如下：

|I₀|＝|θG_x|+|(1-θ)G_y|

步骤二、对上步边缘图像进行图像增强；

步骤三、对上步图像进行加权阈值分割，采用公式如下：

步骤四、对上步图像检测直线特征；

步骤五、对上步直线特征进行去重，采用公式如下：

当两条直线满足该公式时认为直线重合，把重复的直线进行记录，放在一个新的集合中，然后对这个新的集合采用公式

拟合成一条新的直线，最后得到去重的直线集合

步骤六、采用对两幅图像求得的直线集合分别求交点，采用公式如下：

得到点集与

步骤七、采用上步所求的点集对直线进行配准，采用公式：

对图像2进行平移旋转，平移旋转的时候是分别采用点集中的每个点向点集中的每个点进行平移旋转，这样可以减少平移旋转次数，加快算法执行效率。再采用公式

对直线特征求直线匹配个数；

步骤八、当步骤七中num取得最大值时匹配成功，采用Δu、Δv和β对叶片图像进行拼接。

在没有背离本发明精神及其实质的情况下，本领域的相关技术人员可以根据本发明做出一些其他相应的修改与变形，但这些相应的修改与变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.直线特征去重：

叶片图像会在同一条轮廓上检测出多条直线，为了筛选这些直线具体步骤为：

1)对I₂上的直线集L_i去掉横着的直线，即由k_i>ε₀得到直线集L_j:y＝k_jx+b_j，(j＝1,2,3…n₂)；

2)为了进一步去掉直线集L_j中的重合线，可以把这些直线拟合成一条直线，这时需要对度量两条直线的差异情况，才能方便计算，这里给出直线差异度定义

其中ρ为两条直线的差异度，Δk为两条直线的斜率差，Δb为两条直线的截距差；任取L_j中第j1与j2条直线分别为：y＝k_j1x+b_j1，y＝k_j2x+b_j2，当

小于ε时第j1与j2条直线重合，得到与第j1条直线重合直线的集L_l:y＝k_lx+b_l，(l＝1,2,3…n₃)，对于L_l，根据

可以拟合得到一条去掉重复之后的直线

3)遍历L_l中所有直线进行去重，可以得到去重后的直线集L_m:y＝k_mx+b_m，(m＝1,2,3…n₄)。

2.直线配准：

叶片图像有多张，我们可以取连续的两张图像A、B，通过上述过程分别求得直线集，直线配准具体步骤为：

1)定义图像A上的直线集：

其中i＝1,2,3…n₀，k为斜率，b为截距；图像B上的直线集：

其中j＝1,2,3…n₁，k为斜率，b为截距；分别对L_j ^B中的直线两两计算交叉点，得到对应的交叉点集：

2)分别任取点集与P_s ^B中一点(x_r,y_r)与(u_s,v_s)对所在坐标系通过如下平移旋转变换进行坐标系平移旋转：

其中Δu(r,s)＝u_s-x_r，Δv(r,s)＝v_s-y_r在L_j ^B中与(x_r,y_r)和(u_s,v_s)对应的第一条直线分别为v＝k_s ^Bx+b_s ^B，(1<s<n₁)，那么

得到为坐标平移旋转后的直线集；

3)根据步骤2)对L_l ^B通过与P_s ^B计算所有坐标平移旋转变换，可以得到与L_l ^B重合直线条数为：

其中count为计数算子，当传入参数为True时返回值为1，否则返回0。