CN111724341B - 一种基于双目立体测量的航发叶片气膜孔质量检测方法 - Google Patents

Abstract

本发明属于机器视觉技术领域，并具体公开了一种基于双目立体测量的航发叶片气膜孔质量检测方法，其包括如下步骤：S1将光导入航发叶片型腔内部，使光从航发叶片气模孔中透出，然后采用双目相机标定并获取气膜孔两个角度的图像；S2分别对两张图像进行处理，以分别获取两张图像的特征点；S3根据特征点对两张图像进行立体校正，用极线扫略校正后的图像，并获取极线与椭圆轮廓的交点；S4将交点作为匹配点进行三角重建，进而对三角重建后的点进行空间圆拟合，得到的空间圆拟合直径即为气膜孔直径，完成对航发叶片气膜孔的质量检测。本发明大大提高了气膜孔检测的效率和准确度，并且适用范围广。

Description

一种基于双目立体测量的航发叶片气膜孔质量检测方法

技术领域

本发明属于机器视觉技术领域，更具体地，涉及一种基于双目立体测量的航发叶片气膜孔质量检测方法。

背景技术

航空发动机涡轮叶片是燃气涡轮发动机中涡轮段的重要组成部件，随着涡轮机入口温度的升高，为保证涡轮叶片的机械性能，需要采用薄膜冷却技术，该技术是在叶片表面打气膜孔来降低叶片表面温度，从而保证叶片机械强度性能。如果气膜孔实物的直径及位置与设计图纸的要求不相符，均匀而完整的冷却膜就不能在气流通过叶片表面时产生，造成气膜覆盖不到的裸露的叶片表面温度过高，大幅降低叶片材质的机械性能。目前主要采用三坐标、射线、目视检测等方法检测。专利CN110487230A中公开了一种三坐标测量气膜孔的方法，该方法通过在静叶的气膜孔内插入测量棒后，直接利用三坐标测量机检测气膜孔在空间位置上的位置和角度。专利CN109613027A中公开了一种使用X射线检测涡轮叶片进气边气膜孔的方法，将待测叶片放入卡槽，X射线与叶片待检测对壁平行布置，然后检测气膜孔情况。而目视检测是采用人工的方法来检测气膜孔质量。

射线测量和三坐标测量并不能检测出气膜孔的通透性，而目视检因为是人工操作而存在较大的人为误差，因此亟需一种能够自动检测气膜孔通透性与直径并且较为准确的方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双目立体测量的航发叶片气膜孔质量检测方法，其目的在于，通过双目相机标定并获取气膜孔图像，并对图像进行处理获取特征点，以对图像进行立体校正，最后获取匹配点进行三角重建和空间圆拟合，从而完成对气膜孔的质量检测，大大提高了气膜孔检测的效率和准确度，并且适用范围广。

为实现上述目的，本发明提出了一种基于双目立体测量的航发叶片气膜孔质量检测方法，包括如下步骤：

S1将光导入航发叶片型腔内部，使光从航发叶片气模孔中透出，然后采用双目相机标定并获取气膜孔两个角度的图像；

S2分别对两张图像进行处理，以分别获取两张图像的特征点，该图像处理过程具体包括：

S21对图像进行高斯滤波，然后进行亮度调节和边缘检测，并去除图像中的像素孤立点；

S22对图像上现有轮廓进行椭圆拟合，得到多个椭圆，去除其中长径比超过预设阈值的椭圆；

S23获取各椭圆中心线，进而求解椭圆中心线与椭圆轮廓的交点，该交点即为特征点；

S3根据特征点对两张图像进行立体校正，用极线扫略校正后的图像，并获取极线与椭圆轮廓的交点；

S4将交点作为匹配点进行三角重建，进而对三角重建后的点进行空间圆拟合，得到的空间圆拟合直径即为气膜孔直径，完成对航发叶片气膜孔的质量检测。

作为进一步优选的，所述S21中，对图像进行高斯滤波时具体为：用模板扫描图像中的像素，用模板确定的该像素邻域内像素的加权平均灰度值去替代原像素值。

作为进一步优选的，所述模板尺寸Size＝Num/5，其中，Num是气膜孔的像素点平均个数。

作为进一步优选的，所述S21中，边缘检测时采用Laplace算子。

作为进一步优选的，所述S22中，进行椭圆拟合时具体为：寻找图像上现有轮廓的最小外接矩形，然后将矩形的中心作为椭圆中心，矩形的长和宽作为椭圆长短轴，矩形在像素坐标系中的旋转角度作为椭圆的旋转角，从而获得多个椭圆。

作为进一步优选的，所述S22中，长径比的预设阈值为1.5。

作为进一步优选的，所述S22中，去除长径比超过预设阈值的椭圆后，图像中剩下的椭圆个数则为通透性良好的气膜孔数量。

作为进一步优选的，所述S23中，根据椭圆的中心，采用最小二乘法进行拟合，得到椭圆中心线。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明通过双目相机标定并获取气膜孔图像，并图像处理获取特征点以对图像进行立体校正，最后获取匹配点进行三角重建和空间圆拟合，完成对气膜孔的质量检测，大大提高了气膜孔检测的效率和准确度，并且适用范围广。

2.本发明采用了高斯滤波去除图像中的高斯噪声，获得了初步去噪的图像，然后使用亮度与饱和度的调节，使气膜孔通光部分亮度更强，气膜孔轮廓对比度更高，这大大的方便了后续边缘检测的操作，使轮廓的检测更加准确。

3.本发明通过气膜孔的通光情况来判断气膜孔的通透性，通过检测通光孔个数来计算气膜孔个数，通过多角度测量重建孔来计算孔直径，将气膜孔评价问题转化为一个图像处理问题，使操作更加方便。

4.本发明采用椭圆中心线与椭圆轮廓交点作为特征点进行立体校正，大大提高了特征匹配的准确性，保证了校正的精度。

5.本发明采用横条极线扫略图像，将极线与椭圆轮廓的交点作为匹配点进行三维重建，既提高了特征匹配精度，也获取了足够的椭圆轮廓三维特征，使直径测量更加准确。

6.本发明对滤波时的模板尺寸进行进一步确定，避免模板尺寸太大使气膜孔边界附近模糊，或尺寸过小使噪音去除不够彻底。

附图说明

图1为本发明实施例边缘检测的效果示意图；

图2为本发明实施例椭圆与外界矩形的拟合结果图；

图3为本发明实施例椭圆中心线拟合结果图；

图4为本发明实施例椭圆与中心线求解交点迭代图；

图5为本发明实施例椭圆与中心线交点图；

图6a、图6b分别为本发明实施例对极约束前、经过对极约束后的图像；

图7a、图7b分别为本发明实施例极线扫略示意图、求解极线与椭圆交点结果图；

图8为本发明实施例三角重建原理图；

图9为本发明实施例空间圆拟合结果图；

图10为本发明实施例基于双目立体测量的航发叶片气膜孔质量检测方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供的一种基于双目立体测量的航发叶片气膜孔质量检测系统，如图10所示，包括如下步骤：

(1)将光导入航发叶片型腔内部

将点光源的光从航发叶片的一端导入，使光源在航发叶片型腔内发散，照亮型腔内部结构，并且使得光从贯通的气模孔中透出。

(2)双目相机的标定与图像获取

相机将三维世界中的坐标点(单位为米)映射到二维图像平面(单位为像素)的过程能够用一个几何模型进行描述。这个模型有很多种，其中最简单的称为针孔模型。针孔模型是常用且有效的模型，它描述了一束光线通过针孔之后，在针孔背面投影成像的关系，因此可以用使用针孔模型来描述整个投影过程。

以相互垂直的x、y、z轴建立空间坐标系，以相互垂直的u、v轴建立像素坐标系，针孔模型的数学表达式写成矩阵形式是：

其中，[X,Y,1]^T为点P的归一化坐标系坐标，[u,v]^T是点P在像素坐标系的坐标，f_x表示u轴上缩放的像素个数，f_y表示v轴上缩放的像素个数，K为相机的内参数矩阵；P代表[X,Y,1]^T，Z为点P在空间中z轴的坐标值。

对于双目相机，空间点P在左眼和右眼各成一像，记作P_L、P_R，由于相机基线的存在，这两个成像位置是不同的。理想情况下，由于左右相机只有在x轴上有位移，因此P的像也只在x轴(对应图像的u轴)上有差异。记它在左侧的坐标为u_L，右侧坐标为u_R，两相机焦距为f。那么，根据三角形P-P_L-P_R和P-O_L-O_R的相似关系，有：

整理得：

其中，O_L为左相机光心，O_R为右相机光心，z为点P在左相机坐标系中的深度，b为左右两相机之间的距离；

然后使用相机标定获得相机内参K和畸变系数，采用双目相机对叶片进行拍照，获取叶片上气模孔同一特征的两个角度的图像。

(3)高斯滤波处理

由于成像系统、传输介质和记录设备等的不完善，数字图像在其形成、传输记录过程中往往会受到多种噪声的污染。图像大多数噪声均属于高斯噪声，因此高斯滤波器应用也较广泛。

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像去噪，高斯滤波去噪就是对整幅图像像素值进行加权平均，针对每一个像素点的值，都由其本身值和邻域内的其他像素值经过加权平均后得到。具体操作是：用一个模板(或称卷积、掩膜)去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

对于不同的图像滤波器的模板选取也不同，如果模板尺寸太大会使气膜孔边界附近模糊，而尺寸过小又会使噪音去除不够彻底，因此本发明选用的模板尺寸Size：

Size＝Num/5

其中，Num是气膜孔的像素点平均个数。

(4)亮度对比度调节

在像素变换中，仅仅根据输入的像素值(有时可能加上某些全局信息或者参数)来计算相应的输出像素值。该类变换的常见方法有亮度和对比度调整、颜色校正和颜色变换等等，该类变换可以用下面的通用变换公式来表示。f(x,y)表示原图像(x,y)处的像素值，T表示变换函数，g(x,y)表示输出图像(x,y)处的像素值，可以看到输入仅有当个位置的像素值。

g(x,y)＝T[f(x,y)]

提升图像对比度和亮度是一个典型的像素变换操作，它的变换公式表示如下：

g(x,y)＝ωf(x,y)+β

如果想要提升图像亮度，那么令ω＝1，并使β的值大于0，使图像的亮度得到一个增益即可，此时，图像的每个像素都将提升β个灰度值。如果想要提升图像对比度，那么令β＝0，并使ω的值大于1，使得图像相邻像素差值变大从而提升图像的对比度。如果既要提升对比度又要提高亮度，则只需要选择ω为大于1的合适值和β为大于0的合适值即可。

(5)边缘检测

边缘检测使用Laplace算子，获得了图像中的边缘轮廓，然后将一些孤立点去除掉，因为这可能是图像中带有的噪音，消除噪音后的结果如图1所示。

(6)椭圆拟合

进行拟合时，首先使用一个矩形去包络椭圆轮廓，这时矩形的中心点就是椭圆的中心点，随后将矩形绕中心点O_c(x_c,y_c)进行旋转，然后可以寻得一个最小的矩形面积所在的位置，那么这个位置就是椭圆的最小外接矩形，也就可以认为矩形的两个边长分别是长轴和短轴：

上式中，t为椭圆轮廓像素点个数，

为轮廓像素点i绕O_c(x_c,y_c)顺时针旋转角度θ后的点的横坐标，

意为轮廓像素点i绕O_c(x_c,y_c)顺时针旋转角度θ后的点的纵坐标，width与height分别为矩形的宽和高，θ₀为找到最小矩形时最初矩形的旋转角度。

获得外接矩形之后，还要检查长径比，长径比太大的也应该被剔除，因为有可能是图像中一些大型物体的边缘；像素点数量的阈值和长径比的阈值选取好后，对剩下的矩形画内接椭圆，这就是气膜孔大致所在的位置，由于只要气膜孔中有光透出，那么气膜孔就是通的，于是检测气膜孔的数量以及通透性的问题就化简成检测出多少椭圆的问题，即上述求出的数量，椭圆拟合结果如图2所示。

(7)求解中心线与椭圆轮廓的交点

已知在o-x-y坐标系下的标准椭圆方程为：

现已经获得了椭圆的中心点坐标以及长短轴距离和旋转角度，那么可以认为是椭圆先绕o-x-y坐标系的原点旋转角度α，再向x轴平移m，向y轴平移n之后，在椭圆的中心点建立新的坐标系o_n-u_n-v_n，那么两个坐标系之间的关系为：

u_n＝(x-m)*cos(α)+(y-n)*sin(α)

v_n＝-(x-m)*sin(α)+(y-n)*cos(α)

那么椭圆在o-x-y坐标系中的数学表达式为：

已经知道了所有椭圆的中心点在o_n-u_n-v_n坐标系下的的坐标，那么用最小二乘法进行拟合，得到参数k、b：

其中，X_i、Y_i分别为n个点中第i个点的横坐标与纵坐标；

即可求出椭圆中心线直线在像素坐标系下的数学方程如下，效果图如图3所示：

v＝ku+b

接下来是求中心线直线与椭圆交点，使用迭代的方法求解椭圆与直线的解，迭代过程如图4所示：

1)寻找迭代起始点，O点是椭圆的中心点，由O点做向直线的垂线，垂足为点P，以点P(x_p,y_p)为起点，开始进行迭代；

2)椭圆与直线交于两个点，两个交点记为C1、C2，这两点分别在点P的两端，接下来以一个初始的步长s(s＞0)向两端进行逼近得到(x_p′,y_p′)：

2.1)以与k同符号的步长逼近：x_p'＝x_p+s，y_p'＝kx_p'+b；

2.2)以与k反符号的步长逼近：x_p'＝x_p-s，y_p'＝kx_p'-b；

3)通过检验迭代坐标点是否在椭圆内来不断改变步长逼近，交点如图5所示，设：

如果f(x_p',y_p')＜0，说明迭代点还在椭圆内，令x_p＝x_p'，y_p＝y_p'，重复步骤2)；

如果f(x_p',y_p')≥0，说明迭代点不在椭圆内，将步长减半(s＝s/2)，再重复步骤2)；

4)直到步长s小于最小步长mins时，迭代终止，此时的x_p和y_p即为交点坐标。

(8)立体校正与极线扫略

双目摄像机系统主要的任务就是测距，而视差求距离公式是在双目系统处于理想情况下推导的，所以就要将实际的双目系统校正为理想的双目系统。理想双目系统：两摄像机图像平面平行，光轴和图像平面垂直，极点处于无线远处，但是实际的两相机之间会有误差，导致两相机平面并不平行，因此需要使用立体校正。

1)校正过程中两个图像平面均旋转一半的R，这样可以使重投影畸变最小，此时两个摄像机图像平面共面(畸变校正后光轴也平行)，但是行不对准：

r_l＝R^1/2，r_r＝R^-1/2

其中，r_l为左视图待旋转矩阵，r_r为右视图待旋转矩阵，R为左右视图旋转关系矩阵。

2)极点是两个相机坐标系原点的连线和图像平面的交点，要想使得极点处于无穷远处(即行对准)，就必须两个摄像机的图像平面和两个相机坐标系原点的连线平行，设：

R_rect＝[e₁,e₂,e₃]^T

由于图像平面最终和相机坐标系连线平行，所以

为平移向量T同方向的极点。

其中，T＝[T_x,T_y,T_z]^T为x、y、z方向的平移向量，

为图像所在平面的向量；

第三个向量只要和e₁、e₂正交，可以通过叉积来得到：e₃＝e₁×e₂；

根据计算出的R_rect以及r_l和r_r，可以求得左右相机的行对准转换矩阵R_l和R_r(R_l是左视图像的旋转矩阵，R_r是右视图像的旋转矩阵)，从而实现立体校正：

R_l＝R_rectr_l，R_r＝R_rectr_r

如图6a所示，为立体校正之前的两视图对应关系；如图6b所示，为校正后的两视图对应关系，此时两图像已经水平对正了。

极线扫略是使用一定间距的横条纹对图像进行扫略，如图7a所示，并求出每一个条纹与椭圆轮廓的交点，横条纹在像素坐标系下的数学方程是已知的，直线与椭圆的求解过程直接使用联立方程求解，得到极线与椭圆交点，如图7b所示，具体的：

其中，p_i是极线在像素坐标系纵轴上的截距，求得最后的解为：

a_t＝b²cos²α+a²sin²α

b_t＝2(p_i-n)sinαcosα(b²-a²)

c＝(p_i-n)²(b² sin²α-a²cos²α)-a²b²

Δ＝b_t ²-4a_tc

当Δ≥0时

得到极线与椭圆的解为

与

即交点坐标为(u₁,v₁)，(u₂,v₂)。

(9)匹配点三角重建

用相机的运动估计匹配点(即交点)的空间位置，通过三角测量方法来估计图像中点的深度。

如图8所示，考虑图像I1和I2，以左视图为参考，右视图的变换矩阵为T_o，相机光心为P_L和P_R。在I1中有匹配点p₁，对应I2中有匹配点p₂，理论上直线P_Lp₁与P_Rp₂在场景中会相交于一点P，该点即是两个匹配点所对应的地图点在三维场景中的位置。然而由于噪声的影响，这两条直线往往无法相交，因此可以通过最二小乘去求解。设x_p1，x_p2为两个特征点的归一化坐标，那么它们满足：

s₁x_p1＝s₂Rx_p2+t

其中，R为两视图的旋转关系矩阵，t为两视图的平移关系矩阵；

想要求解的是两个匹配点的深度s₁、s₂，这两个深度可以分开求解，如先求s₂，那么将上式两侧左乘x_p1^，得：

s₁x_p1^x_p1＝0＝s₂x_p2^Rx_p2+x₁^t

上式左侧为零，右侧可看成s₂的一个方程，可以根据它直接求得s₂，进而得到s₁；从而得到了两个帧下的点的深度，确定了它们的空间坐标。

(10)空间点圆拟合

利用空间圆的几何特性，即平面圆中的多条弦长对应的中垂面和空间圆平面相交有且只有一个交点，且该点为平面圆圆心，并根据中垂面和空间向量思想建立数学计算模型，按附有限制条件的间接平差推导出圆心的计算方程，进而反算出空间圆的半径、平整度和圆度等特征量。

1)空间平面拟合

由于所有步骤(9)中确定的空间坐标点必在平面上，所以首先需对空间坐标点进行平面拟合。任何空间平面方程可表示为：

a_fx+b_fy+c_fz-1＝0

将N_d个观测点的三维坐标代入上式可得：

A·X-l＝0

式中

X＝(a_f b_f c_f)^T，l＝(1 1 … 1)^T

使用最小二乘法则求解拟合平面的法向量的方向系数为：X'＝(A^TA)^-1A^Tl；

而各个点的平整度为：

2)空间圆拟合

向量

为(x₂-x₁,y₂-y₁,z₂-z₁)，设圆心P₀(x₀,y₀,z₀)，过P₁和P₂的中间点P₁₂与圆心的连线方向向量为

由于2个空间向量垂直，得出：

上式可以简化为下式：

Δx₁₂·x₀+Δy₁₂·y₀+Δz₁₂·z₀-l₁＝0

式中，

由空间球体中垂面方程的相关性，N_d个观测点坐标可以列出N_d-1个线性无关的中垂面方程，可得误差方程:

上式对应化简为：V＝B·X-L；

由于认定圆心必在拟合的空间平面上，以此作为限制条件，按照附有条件的间接平差进行计算，限制条件为：

C·X-W_x＝0

式中C＝(a_f b_f c_f)，W_x＝1。

法方程为：

式中K_s为限制条件的联系数向量，权阵P_d为单位矩阵，得出最小二乘解：

再根据解出的圆心坐标，求出各个观测点到空间圆圆心的距离：

圆的拟合半径r为这些距离的平均值，Δr_i＝r_i-r(i＝1,2,…,n)为这些点的圆度。

则气膜孔半径即为圆的拟合半径，如图9所示，完成对航发叶片气膜孔的质量检测。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，包括如下步骤：

S1将光导入航发叶片型腔内部，使光从航发叶片气模孔中透出，然后采用双目相机标定并获取气膜孔两个角度的图像；

S2分别对两张图像进行处理，以分别获取两张图像的特征点，该图像处理过程具体包括：

S21对图像进行高斯滤波，然后进行亮度调节和边缘检测，并去除图像中的像素孤立点；

S22对图像上现有轮廓进行椭圆拟合，得到多个椭圆，去除其中长径比超过预设阈值的椭圆；

S23获取各椭圆中心线，进而求解椭圆中心线与椭圆轮廓的交点，该交点即为特征点；

S3根据特征点对两张图像进行立体校正，用极线扫略校正后的图像，并获取极线与椭圆轮廓的交点；

S4将交点作为匹配点进行三角重建，得到匹配点的空间坐标，进而对三角重建后的点进行空间圆拟合，得到的空间圆拟合直径即为气膜孔直径，完成对航发叶片气膜孔的质量检测。

2.如权利要求1所述的基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，所述S21中，对图像进行高斯滤波时具体为：用模板扫描图像中的像素，用模板确定的该像素邻域内像素的加权平均灰度值去替代原像素值。

3.如权利要求2所述的基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，所述模板尺寸Size＝Num/5，其中，Num是气膜孔的像素点平均个数。

4.如权利要求1所述的基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，所述S21中，边缘检测时采用Laplace算子。

5.如权利要求1所述的基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，所述S22中，进行椭圆拟合时具体为：寻找图像上现有轮廓的最小外接矩形，然后将矩形的中心作为椭圆中心，矩形的长和宽作为椭圆长短轴，矩形在像素坐标系中的旋转角度作为椭圆的旋转角，从而获得多个椭圆。

6.如权利要求1所述的基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，所述S22中，长径比的预设阈值为1.5。

7.如权利要求1所述的基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，所述S22中，去除长径比超过预设阈值的椭圆后，图像中剩下的椭圆个数则为通透性良好的气膜孔数量。

8.如权利要求1-7任一项所述的基于双目立体测量的航发叶片气膜孔质量检测方法，其特征在于，所述S23中，根据椭圆的中心，采用最小二乘法进行拟合，得到椭圆中心线。

Images