CN112526154A - 一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法 - Google Patents

Abstract

本发明公开一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，通过结构虚拟特征点筛选、特征点圆模板建立、圆模板描述符向量计算、描述符向量匹配等步骤，对旋转结构运动进行测量。本发明所提出的方法充分考虑了旋转结构的运动特点，无需对结构表面进行标记，实现旋转结构运动的高精度测量，该测量方法的测量装置安装简单，适用于多种旋转结构。

Description

一种计算机视觉下的圆模板匹配旋转结构运动无标记测量 方法

技术领域

本发明属于机械结构振动测量相关技术领域，特别涉及一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法。

背景技术

旋转结构作为工业、民用应用最广泛的结构之一，是航空发动机、燃气轮机、汽轮机、压缩机、液体火箭发动机等大型结构设备的关键部件，对旋转结构的运动进行高精度测量，掌握旋转结构的运行状态情况，为旋转结构设备安全监测和故障诊断提供可靠地依据具有重要意义。

目前旋转结构运动测量方法有接触式和非接触式两种，其中接触式测量方法由于需要大量的人工干预，在实际应用中，很难进行有效的开展。基于计算机视觉方法是近年来发展起来的一种非接触式测量方法，也逐渐被用于旋转结构的运动测量，其中应用最广泛的包括数字图像相关、点跟踪技术等。前者需要在结构上喷洒大量的散斑用于测量旋转结构的运动，且由于旋转引起的大角度造成测量精度比较低；后者通过在结构上安装一个几何形状的图像，通过跟踪不同时刻几何图形的位置，对结构运动进行测量，但该方法只能对有几何标记的位置的运动信息进行计算，而对于大型结构，需要大量的标记点，测量效率低。同时，基于数字图像相关、点跟踪方法在测量旋转结构过程中需对结构表面进行的预处理，如散斑、几何标记容易脱落，给测量带来不便。

另外，现有计算机视觉下的旋转结构运动测量方法在面对视频图像两帧间因结构旋转引起的大运动问题时，其模板匹配效果差，最终引起较大的测量误差

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，旨在解决现有的基于计算机视觉的旋转结构运动测量方法测量精度低、需要人工预处理等问题，其对应的测量装置安装简单、无需视觉标记、测量数据噪声小，适用于多种旋转结构。

为了实现上述目的，本发明采用的技术方案是：

一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，包括以下步骤：

1)利用高速相机对转动状态下的旋转结构运动进行视频记录；

2)基于初始帧图像建立高斯多尺度差分空间，利用图像像素与其领域像素亮度值在不同尺度上的大小关系，对图像像素亮度的极值点进行检测，筛选出结构表面的虚拟特征点；

3)以虚拟特征点为圆心构建半径不同的圆环区域，即不同半径大小的圆模板，对不同圆模板内像素亮度的包括均值、标准差、梯度方向的特征进行统计，建立虚拟特征点的描述符向量；

4)重复步骤3)，构建待匹配图像中全部像素的圆模板描述符向量，对虚拟特征点的描述符向量与待匹配图像像素的描述符向量进行相关性计算，根据描述符向量间的相关性，获取虚拟特征点在待匹配图像中的位置；

5)重复步骤4)，获取虚拟特征点在不同帧图像中的位置，对旋转结构的运动进行测量。

与现有技术相比，本发明的有益效果是：

1)测量效率、精度高，可同时对结构多个区域进行测量，同时，改善了现有视觉测量方法在面对旋转所带来的大角度运动测量精度的不足。

2)无需对被测结构表面进行预处理，仅利用图像的纹理信息对旋转叶片结构动频进行测量，更广的适用范围。

附图说明

图1为本发明所提出的旋转结构运动无标记测量方法流程示意图。

图2为图像多尺度差分空间示意图。

图3为基于图像差分空间特征像素检测原理示意图。

图4为相邻两帧特征像素的圆域划分示意图。

图5为像素亮度梯度方向分布统计示意图。

图6为本发明转轴轴心的计算原理示意图。

图7为本发明数值拟合计算结构旋转速度示意图。

图8为本发明实验验证采用的平台及检测出的虚拟特征点。

图9为基于本发明所检测出的虚拟特征点轨迹及拟合的转轴中心。

图10为利用本发明所提出的方法计算的结构转速。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，通过结构虚拟特征点筛选、特征点圆模板建立、圆模板描述符向量计算、描述符向量匹配等步骤，对旋转结构运动进行测量。本发明所提出的方法充分考虑了旋转结构的运动特点，无需对结构表面进行标记，实现旋转结构运动的高精度测量，该测量方法的测量装置安装简单，适用于多种旋转结构。

如图1所示，本发明包括以下步骤：

步骤1)，利用高速相机对转动状态下的旋转结构运动进行视频记录。

步骤2)，基于初始帧图像建立高斯多尺度差分空间，利用图像像素与其领域像素亮度值在不同尺度上的大小关系，对图像像素亮度的极值点进行检测，筛选出结构表面的虚拟特征点。

具体地，又包括两个步骤：

(1)图像多尺度差分空间的建立

如图2所示，通过利用不同尺度的高斯核函数与初始帧图像进行卷积，获取不同尺度的图像，即：

式中：L(x,y,σ)为高斯核函数卷积后的图像，G(x,y,σ)为尺度σ的高斯基函数，

为卷积运算，I(x,y)表示图像像素亮度信息。

利用不同尺度图像构建图像的高斯差分空间，描述为：

D(x,y,σ)＝L(x,y,(k+1)σ)-L(x,y,kσ)(k＝1,2,3,...,M+1) (2)

式中：D(x,y,σ)表示尺度为σ的差分图像，M表示所建立高斯差分空间图像的层数。

(2)结构表面虚拟特征点的筛选

如图3所示，在高斯多尺度差分空间上，像素点亮度要与尺度空间相邻的26个像素点的亮度相比较，以判断其亮度值大于或者小于该点在尺度域的相邻点，对图像像素亮度的极值点进行检测，筛选出结构表面的虚拟特征点。26个像素包括自身尺度层中的8个像素点，以及分别位于其上下两个尺度层中的18个像素点。

步骤3)，以虚拟特征点为圆心构建半径不同的圆环区域，即不同半径大小的圆模板，对不同圆模板内像素亮度的包括均值、标准差、梯度方向的特征进行统计，建立虚拟特征点的描述符向量。

具体地，如图4所示，以t₀时刻图像为例，通过步骤2)筛选出结构表面的虚拟特征点，以虚拟特征点为圆心构建半径不同圆环区域，即不同半径大小的圆模板C(本实施例划分了4个)，分别记为C₁,C₂,C₃,C₄，对不同圆模板C内像素亮度的均值、标准差、梯度方向等特征进行计算，计算方式如下：

(1)圆模板C内像素亮度均值计算

式中：

表示圆模板C内像素亮度的均值，M为圆模板内像素的数目，I^t为t时刻图像像素亮度

(2)圆模板C内像素亮度标准差计算

式中：

表示圆模板C内像素亮度的标准差

(3)圆模板C内像素亮度梯度方向计算

式中：θ(x,y)为像素亮度的梯度方向，G_x(x,y)和G_y(x,y)分别为(x,y)位置像素亮度在x、y方向上的梯度，表示为：

式中：

为图像像素亮度，

表示卷积运算，H_x和H_y分别为x、y方向上的梯度算子，表示如下：

如图5所示，本发明对模板内像素亮度梯度方向进行统计，统计方式如下：

式中：

分别为t₀时刻圆模板C内像素亮度梯度在不同方向的数目。

通过步骤3，所建立的虚拟特征点的描述符向量W可以描述为：

步骤4)，重复步骤3)，构建待匹配图像中全部像素的圆模板描述符向量，对虚拟特征点的描述符向量与待匹配图像像素的描述符向量进行相关性计算，根据描述符向量间的相关性，获取虚拟特征点在待匹配图像中的位置。

具体地，设t₀+Δt时刻图像为待匹配图像，通过步骤3对待匹配图像中所有像素的圆模板描述符进行计算，其中像素i的圆模板描述符记为：

式中：

为t₀+Δt时图像中像素i的圆模板描述符向量，N表示待匹配图像中所包含像素的数目，C表示每个像素所建立的圆模板数目。

在本发明，所建立的描述符向量相关准则如下：

式中：

为t₀+Δt时待匹配图像中像素i的圆模板描述符向量，W为虚拟特征点的描述符向量，

为特征向量间的Pearson相关系数。

可以获得虚拟特征点描述符和待匹配图像中每一个像素点描述符间的相关系数

选择相关系数最大的所对应的像素即为虚拟特征点在待匹配图像中的位置。

重复步骤(4)，可逐帧获得虚拟特征点在视频序列中的像素位置坐标。

步骤5)，重复步骤4)，获取虚拟特征点在不同帧图像中的位置，对旋转结构的运动进行测量。

具体地，结构上的虚拟特征点随着结构做圆周运动，如图6所示，不同时刻结构上虚拟特征点的像素坐标位置集合为

其中x_t,y_t为t时刻虚拟特征点的像素坐标，S表示视频序列的帧数。设结构运动方程为x²+y²+dx+ey+f＝0，通过对各帧虚拟特征点像素坐标进行圆拟合获取参数d、e、f，即：

从而得到转轴轴心O的坐标(m,n)，表示为(-d/2,-e/2)。

选择结构在转动过程同一圆周内中间隔较大的8帧，计算虚拟特征点相对于初始帧转动的角度，分别为(θ₁,θ₂,θ₃,θ₄,θ₅,θ₆,θ₇,θ₈)，角度计算如下：

式中：θ_t表示t时刻结构相对于初始帧所转过的角度，A₀表示初始帧虚拟特征点的像素坐标，A_t表示所选择帧对应虚拟特征点的像素坐标。

如图7所示，对所选择结构转过的角度进行最小二乘拟合，获取结构旋转速度ω，即：

可得到旋转结构的旋转中心，旋转结构的转速。

采用实验对本发明进行了验证，如图8所示，图中描述了本次实验的装置及所检测的虚拟特征点，选择了位于结构上的一个虚拟特征点，逐帧计算该虚拟特征点的像素位置。图9为一个周期内虚拟特征点的像素位置变化和拟合的结构旋转中心位置。图10描述了利用本发明中的步骤5所计算旋转结构速度，结果为126.47rad/s，利用传感器所测量的速度为126.52rad/s，显示出本发明所提出的方法具有较高的测量精度。

Claims (5)

1.一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，其特征在于，包括以下步骤：

1)利用高速相机对转动状态下的旋转结构运动进行视频记录；

2)基于初始帧图像建立高斯多尺度差分空间，利用图像像素与其领域像素亮度值在不同尺度上的大小关系，对图像像素亮度的极值点进行检测，筛选出结构表面的虚拟特征点；

3)以虚拟特征点为圆心构建半径不同的圆环区域，即不同半径大小的圆模板，对不同圆模板内像素亮度的包括均值、标准差、梯度方向的特征进行统计，建立虚拟特征点的描述符向量；

4)重复步骤3)，构建待匹配图像中全部像素的圆模板描述符向量，对虚拟特征点的描述符向量与待匹配图像像素的描述符向量进行相关性计算，根据描述符向量间的相关性，获取虚拟特征点在待匹配图像中的位置；

5)重复步骤4)，获取虚拟特征点在不同帧图像中的位置，对旋转结构的运动进行测量。

2.根据权利要求1所述计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，其特征在于，所述步骤2)中，利用图像的多尺度差分空间筛选出结构表面的虚拟特征点，步骤如下：

(1)图像多尺度差分空间的建立

通过利用不同尺度的高斯核函数与初始帧图像进行卷积，获取不同尺度的图像，即：

式中：L(x,y,σ)为高斯核函数卷积后的图像，G(x,y,σ)为尺度σ的高斯基函数，

为卷积运算，I(x,y)表示图像像素亮度信息；

利用不同尺度的图像构建图像的高斯差分空间，描述为：

D(x,y,σ)＝L(x,y,(k+1)σ)-L(x,y,kσ) k＝1,2,3,...,M+1

式中：D(x,y,σ)表示尺度为σ的差分图像，M表示所建立高斯差分空间图像的层数，k表示第k层；

(2)结构表面虚拟特征点的筛选

在高斯多尺度差分空间上，像素点亮度要与尺度空间相邻的26个像素点的亮度相比较，以判断其亮度值大于或者小于该点在尺度域的相邻点，对图像像素亮度的极值点进行检测，筛选出结构表面的虚拟特征点，其中26个像素包括自身尺度层中的8个像素点，以及分别位于其上下两个尺度层中的18个像素点。

3.根据权利要求1所述计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，其特征在于，所述步骤3)中，在t₀时刻，构建4个不同半径大小的圆模板C，分别记为C₁,C₂,C₃,C₄，对不同圆模板内像素亮度均值、标准差、梯度方向进行统计，方式如下：

(1)圆模板内像素亮度均值计算

式中：

表示圆模板C内像素亮度的均值，M为圆模板C内像素的数目，C＝1,2,3,4，

为t₀时刻图像像素亮度；

(2)圆模板内像素亮度标准差计算

式中：

表示圆模板C内像素亮度的标准差；

(3)圆模板内像素亮度梯度方向计算

式中：θ(x,y)为像素亮度的梯度方向，G_x(x,y)和G_y(x,y)分别为(x,y)位置像素亮度在x、y方向上的梯度，表示为：

式中：

为图像像素亮度，

表示卷积运算，H_x和H_y分别为x、y方向上的梯度算子，表示如下：

对圆模板内像素亮度梯度方向进行统计，统计方式如下：

式中：

分别为t₀时刻圆模板C内像素亮度梯度在不同方向的数目；

最终，建立虚拟特征点的描述符向量W，描述为：

4.根据权利要求3所述计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，其特征在于，所述步骤4)中，t₀+Δt时刻图像为待匹配图像，对待匹配图像中所有像素的圆模板描述符向量进行计算，其中像素i的圆模板描述符向量记为：

式中：

为t₀+Δt时图像中像素i的圆模板描述符向量，N表示待匹配图像中所包含像素的数目；

基于Pearson相关系数，建立的描述符向量相关准则如下：

式中：

为t₀+Δt时待匹配图像中像素i的圆模板描述符向量，W为虚拟特征点的描述符向量，

为特征向量间的Pearson相关系数；获得虚拟特征点描述符向量和待匹配图像中每一个像素点描述符向量间的相关系数

选择相关系数最大所对应的像素即为虚拟特征点在待匹配图像中的位置；

重复步骤4)，逐帧获得虚拟特征点在视频序列中的像素位置坐标。

5.根据权利要求3所述计算机视觉下的圆模板匹配旋转结构运动无标记测量方法，其特征在于，所述步骤5)中，结构上的虚拟特征点随着结构做圆周运动，不同时刻结构上虚拟特征点的像素坐标位置集合为

其中x_t,y_t为t时刻虚拟特征点的像素坐标，S表示视频序列的帧数，设结构运动方程为x²+y²+dx+ey+f＝0，通过对各帧虚拟特征点像素坐标进行圆拟合获取参数d、e、f，即：

从而得到转轴轴心O的坐标(m,n)，表示为

选择结构在转动过程同一圆周内中间隔较大的8帧，计算虚拟特征点相对于初始帧转动的角度，分别为(θ₁,θ₂,θ₃,θ₄,θ₅,θ₆,θ₇,θ₈)，角度计算如下：

式中：θ_t表示t时刻结构相对于初始帧所转过的角度，A₀表示初始帧虚拟特征点的像素坐标，A_t表示所选择帧对应虚拟特征点的像素坐标；

对所选择结构转过的角度进行最小二乘拟合，获取结构旋转速度ω，即：

最终，得到旋转结构的旋转中心以及旋转结构的转速。

Images