CN104048744A - 一种非接触式的基于影像的实时在线振动测量方法 - Google Patents

Abstract

本发明公开了一种非接触式的基于影像的实时在线振动测量方法，属于振动测量与分析领域。本方法通过高速相机录制目标物体的振动过程，计算机内置的振动测量软件提取出上述目标物体的振动视频包含的每一帧图像，储存在计算机内置的振动测量软件开辟出的内存池中，并在计算机内置的振动测量软件中创建线程池，线程池中不同的线程有序提取内存池中相应的图像帧，通过建立图像与实际物体的坐标，求得图像与实际物体尺寸换算矩阵M，从而映射出振动过程中相机成像的实际坐标和位移，并输出测量结果和数据曲线。本发明采用非接触式的测量方式，不会改变测试对象的振动特性，测量精度高，可对有毒有害、高温、危险环境下的振动物体进行振动特性测量。

Description

一种非接触式的基于影像的实时在线振动测量方法

技术领域

本发明属于振动测量与分析领域，更具体地说，涉及一种非接触式的基于影像的实时在线振动测量方法。

背景技术

机械振动是自然界、工程技术和日常生活中普遍存在的物理现象。工业生产上，很多故障都是与机械运动或振动相密切联系的，振动检测在生活中各行各业的作用都不容小觑。

在已有的振动测量技术中，主要有利用各种应变片或加速度传感器的接触式测量方法和利用激光多普勒效应或激光干涉技术的非接触式测量方法。其中又以加速度传感器等接触式测量方法为主，在应用中存在接触式测量传感器布线麻烦、效率低下、负载效应影响测量结果准确性以及无法测量高温等特殊环境物体等一系列局限性。而已有的非接触式激光测量方法成本昂贵、一台仪器仅支持一个测点的一维振动测量，数据采集能力有限。这种现状使得振动测量应用无法深入发展。

随着高速摄像技术和数据传输技术逐步发展，数字相机的拍摄速度越来越快，所拍摄到的图像越来越精细，相机成本也在逐步下降，同时计算机图像处理分析技术也发展迅速，非接触式基于影像的振动测量方法得到了越来越广泛的应用，适合一些例如高温、危险、强电磁干扰等环境下的振动检测。

现有技术中已经有非接触式基于影像的振动测量方法，如专利申请号：2013102248219，申请日：2014年06月05号，专利名称：基于机器视觉的柔性悬臂梁振动的测量装置及方法，该申请案公开了一种基于机器视觉的柔性悬臂梁振动的测量装置及方法，该装置包括固定支架、柔性悬臂梁、相机支架、CCD相机、镜头、多个LED发光管和PC机，柔性悬臂梁一端固定在固定支架上，各个LED发光管依次设置在柔性悬臂梁的上表面，固定支架顶端设置有相机支架，CCD相机固定于相机支架上，且CCD相机配置有镜头，CCD相机的输出端口与PC机连接。CCD相机测量LED发光管振动的每一帧图像并将图像传送给PC机；PC机处理检测到的图像序列，并提取LED发光管光斑质心位置，获取各个LED发光管处的振动位移和反映柔性悬臂梁结构低频振动的参数。该申请在一定程度上具有非接触、测量范围宽、不改变被测物的振动特性等优点，但是该申请中相机的安装需要特殊要求，比较麻烦，且使用非接触式基于影像的振动测量方法，所涉及到的图像处理分析的计算量十分繁重，要求CPU的处理速度非常高，否则将会使得这种振动测量过程陷入长时间的等待，无法满足测量现场的实时性要求。

发明内容

1.发明要解决的技术问题

针对现有振动测量系统中存在的不足，本发明提供了一种非接触式的基于影像的实时在线振动测量方法。采用本发明的技术方案，可以满足高温、危险、强电磁干扰等特殊环境中的振动测量，一次测量可以得到视场范围内目标物体上多个测点的二维振动信息，减少了振动测量的准备工作，降低成本，提高了振动测量效率和精度，扩大振动测量的应用范围，能够快速处理目标振动图像，实时在线输出振动信息。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种非接触式的基于影像的实时在线振动测量方法，其特征在于：包括以下步骤：

1)固定平面标靶到被测目标物体上，调整相机方向与镜头焦距，使包含平面标靶的被测目标物体在相机上清晰成像；

2)采用高速相机对目标物体的振动情况进行拍摄，得到目标物体的振动视频；

3)由计算机内置的振动测量软件对步骤2)得到的目标物体的振动视频提取出每一帧图像，图像帧编号为i(i＝1、2……)；

4)对步骤3得到的第1帧图像，选取平面标靶所在的图像区域，依据标靶特征识别算法，识别出平面标靶的范围区域；

5)以平面标靶的中心点为坐标原点分别在物体上和图像中建立两个坐标系oxy和ouv，根据事先已知的标靶实际尺寸和识别出的标靶特征范围区域在图像上的尺寸，计算出摄像机标定的投影矩阵M，计算公式如下：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 0\\ 1\end{array}\right]$

其中，s为比例因子，令其为1， $M=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& 0& m_{14}\\ m_{21}& m_{22}& 0& m_{24}\\ m_{31}& m_{32}& 0& m_{34}\end{array}\right],$ 根据解一次方程组的基本条件，至少需要标靶上的3个不同特征点的实际物理坐标和图像坐标才可以求解出M矩阵内部的各个元素系数，根据标靶上的3个特征点的坐标值，代入上面的公式中可以得到关于m_pq(p＝1、2、3，q＝1、2、4)的一次方程组，利用高斯消元法可以求解得到M矩阵内部的各个元素系数的值，即求得图像与实际物体尺寸换算矩阵M；

6)由计算机内置的振动测量软件，开辟一块内存池用于保存所拍摄到的目标物体振动的一定数目帧数的图像；

7)创建一个包含多个线程的线程池，该线程池内的线程可以并行运行于不同CPU内核，每个线程都有一个自身编号，该编号为L(L＝1、2、……m，m为线程池的线程总数目)，其中，m为正整数；

8)每一个带有自身编号的线程有序地从内存池中提取相应编号的待分析的图像帧，其提取规则是，第L号线程应分析第i帧图像，其中i＝L+n×m(n＝0、1、2……)；

9)根据步骤5求解得到的投影矩阵M，可计算出图像上每一个像素所代表的实际物理坐标，振动视频中的任意一帧图像中的任何一点(u,v)映射到实际场景(x,y)的变换公式如下：

由步骤5可得， $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& 0& m_{14}\\ m_{21}& m_{22}& 0& m_{24}\\ m_{31}& m_{32}& 0& m_{34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m_{11}}^{,}& {m_{12}}^{,}& {m_{13}}^{,}\\ {m_{21}}^{,}& {m_{22}}^{,}& {m_{23}}^{,}\\ {m_{31}}^{,}& {m_{32}}^{,}& {m_{33}}^{,}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M^{,}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],$

因此， $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right];$

10)第L号线程提取第i帧图像，提取某个测量点的图像特征，计算该测量点的图像特征中心的位置，并与第1帧图像中的对应的测量点的图像特征中心进行比对，得到测量点的图像位移，设第j个测量点在第i帧图像中的图像坐标为(us_ij,vs_ij)，则第j个测量点的图像位移记为duv，计算公式如下：

$d_{\mathrm{uv}}=\sqrt{{({\mathrm{us}}_{\mathrm{ij}}-{\mathrm{us}}_{1j})}^2+{({\mathrm{vs}}_{\mathrm{ij}}-{\mathrm{vs}}_{1j})}^2};$

11)根据步骤9)的计算公式，第j个测量点在第1帧图像中的实际坐标 $\left[\begin{array}{c}{\mathrm{xs}}_{1j}\\ {\mathrm{ys}}_{1j}\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}{\mathrm{us}}_{1j}\\ {\mathrm{vs}}_{1j}\\ 1\end{array}\right],$ 第j个测量点在第i帧图像中的实际坐标 $\left[\begin{array}{c}{\mathrm{xs}}_{\mathrm{ij}}\\ {\mathrm{ys}}_{\mathrm{ij}}\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}{\mathrm{us}}_{\mathrm{ij}}\\ {\mathrm{vs}}_{\mathrm{ij}}\\ 1\end{array}\right],$ 则步骤10中的第j个测量点的实际位移记为dxy，为：

$d_{\mathrm{xy}}=\sqrt{{({\mathrm{xs}}_{\mathrm{ij}}-{\mathrm{xs}}_{1j})}^2+{({\mathrm{ys}}_{\mathrm{ij}}-{\mathrm{ys}}_{1j})}^2};$

12)将所有帧的特征测量点的位移信息分解到x、y两个维度上，可以得到目标振动的位移曲线；

13)根据第12)步获得的两维位移信息做一阶微分运算得到速度信息，可以得到目标振动的速度曲线；

14)根据前面获得的速度信息做一阶微分计算得到加速度信息，可以得到目标振动的加速度曲线；

15)根据前面获得的位移、速度、加速度信息，做快速傅里叶变换运算得到频域信息，可以得到振动的频谱；

16)根据前面得到的时域和频域信息，可以计算物体的振动模态、监控工作状态，进行故障分析与诊断等。

作为本发明的进一步改进，所述的高速相机采用CCD或CMOS高速相机，高速相机的采样帧率在100fps以上，本方法能测量到的物体最大振动频率是相机采样帧率的1/2。

作为本发明的进一步改进，高速相机拍摄视场内的多个测量点的振动视频可以同时采集，上述的测量方法可以对多测点的振动特性进行同步分析。

作为本发明的进一步改进，所述的计算机内置的振动测量软件自动获取到计算机的CPU并发内核数目，并创建与CPU并发内核相同数目的线程形成线程池来进行图像分析和计算的并发执行。

作为本发明的进一步改进，在求解高速相机标定的图像与实际物体尺寸换算矩阵M时从平面标靶上选取的3个特征点不在一条直线上。

3.有益效果

采用本发明提供的技术方案，与现有技术相比，具有如下显著效果：

(1)本发明的一种非接触式的基于影像的实时在线振动测量方法，环境适应性强，可在有毒有害、高温、放射性及危险环境下对被测物体进行非接触式的振动测量。

(2)本发明的一种非接触式的基于影像的实时在线振动测量方法，任务适应性和可扩展性很强，只要更换不同的光学镜头和相机，就能达到不同的放大倍率和精度，随着光电传感器技术和高速数据传输技术的飞速发展，系统的测量精度和测量范围也能得到快速提升。

(3)本发明的一种非接触式的基于影像的实时在线振动测量方法，一次测量可以得到视场范围内目标物体上多个测点的二维振动信息，并且分别在实际物体上以及相机成像上建立坐标系，通过少量特征点获得实际物体与图像间的对应关系，从而将图像上的任意一点映射出实际坐标的振动图像处理方法简单快速有效。

(4)本发明的一种非接触式的基于影像的实时在线振动测量方法，不受行业和领域的限制，只要振动频率在测量范围内，任何目标物体的振动都可以用该方法测量分析。

(5)本发明的一种非接触式的基于影像的实时在线振动测量方法，利用线程池并发处理技术将从被测目标物体的振动视频中提取的图像分为不同的线程同时处理若干帧，成倍提升了计算机的CPU利用率，大大加快了振动分析计算的过程；有效地实现了视觉振动测量的实时在线分析，提高了现场测量的效率。

(6)本发明的一种非接触式的基于影像的实时在线振动测量方法，使用操作方便，实用性高，易于推广使用。

具体实施方式

为进一步了解本发明的内容，结合实施例对本发明作详细描述。

实施例1

本发明的一种非接触式的基于影像的实时在线振动测量方法，所涉及的装置由6个部分组成，分别是高速相机、镜头、支架、计算机、显示器和电源模块。具体在本实施例中，高速相机采用的是工业高速CMOS相机，采样频率可达到6000fps，镜头采用放大倍率x5的定焦镜头，高速数据传输接口采用USB3.0技术，计算机采用配备高性能CPU和高速大容量内存的工业计算机，显示器采用电阻触摸屏，计算机和显示器之间通过VGA和USB2.0连接。镜头使被测目标物体成像到高速相机的焦面上，高速相机在一定的采样速度下对目标物体的振动影像进行采集，并通过高速数据传输接口实时的将图像传输到计算机，计算机的内置软件对图像进行特征区的识别与跟踪，采用线程池技术，计算出后续各帧中目标物体上的特征点相对于第一帧的位移，根据此位移信息进行计算得出振动的速度和加速度，再根据获得的位移、速度、加速度等时域信息进行频域变换可得出振动的频谱等频域信息。

本装置的测量距离取决于所选用的镜头的放大倍率和焦距，测量精度取决于相机的分辨率，测量频率范围取决于所采用的相机的最大采样帧率，根据采样定律，本方法所涉及的装置能测量到的物体最大振动频率是相机采样率的1/2。

测量前，在振动物体上的振动测量点固定标靶作为后续特征识别与跟踪的目标，标靶的的形状与尺寸后面将用来进行标定参考。调节相机镜头，使目标物体和平面标靶在相机视场内清晰成像。测量开始前，设置相机的曝光时间、采样帧率和采样帧数等各项参数，在物体振动过程中录制其振动影像视频，通过工业计算机内安装的专用振动测量软件对振动视频进行图像处理与分析，提取所有测量点的二维振动位移信息，并进行数学运算与分析获得各项振动特性数据。

本实施例中的一种非接触式的基于影像的实时在线振动测量方法，具体操作步骤如下：

1)固定平面标靶到被测目标物体上，调整相机方向与镜头焦距，使包含平面标靶的被测目标物体在相机上清晰成像；

2)采用高速相机对目标物体的振动情况进行拍摄，得到目标物体的振动视频；

3)由计算机内置的振动测量软件对步骤2)得到的目标物体的振动视频提取出每一帧图像，图像帧编号为i(i＝1、2……)；

4)对步骤3得到的第1帧图像，选取平面标靶所在的图像区域，依据标靶特征识别算法，识别出平面标靶的范围区域；

5)以平面标靶的中心点为坐标原点分别在物体上和图像中建立两个坐标系oxy和ouv，根据事先已知的标靶实际尺寸和识别出的标靶特征范围区域在图像上的尺寸，计算出摄像机标定的投影矩阵M，计算公式如下：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 0\\ 1\end{array}\right]$

其中，s为比例因子，令其为1， $M=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& 0& m_{14}\\ m_{21}& m_{22}& 0& m_{24}\\ m_{31}& m_{32}& 0& m_{34}\end{array}\right],$ 根据解一次方程组的基本条件，至少需要标靶上的3个不同特征点的实际物理坐标和图像坐标才可以求解出M矩阵内部的各个元素系数，根据标靶上的3个不在一条直线上的特征点的坐标值，代入上面的公式中可以得到关于m_pq(p＝1、2、3，q＝1、2、4)的一次方程组，利用高斯消元法可以求解得到M矩阵内部的各个元素系数的值，即求得图像与实际物体尺寸换算矩阵M；

6)由计算机内置的振动测量软件，开辟一块内存池用于保存所拍摄到的目标物体振动的一定数目帧数的图像；

7)创建一个包含多个线程的线程池，其中，所述的计算机内置的振动测量软件自动获取到计算机的CPU并发内核数目，并创建与CPU并发内核相同数目的线程形成线程池来进行图像分析和计算的并发执行；该线程池内的线程可以并行运行于不同CPU内核，每个线程都有一个自身编号，该编号为L(L＝1、2、……m，m为线程池的线程总数目)，其中，m为正整数；

8)每一个带有自身编号的线程有序地从内存池中提取相应编号的待分析的图像帧，其提取规则是，第L号线程应分析第i帧图像，其中i＝L+n×m(n＝0、1、2……)；

9)根据步骤5求解得到的投影矩阵M，可计算出图像上每一个像素所代表的实际物理坐标，振动视频中的任意一帧图像中的任何一点(u,v)映射到实际场景(x,y)的变换公式如下：

由步骤5可得， $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& 0& m_{14}\\ m_{21}& m_{22}& 0& m_{24}\\ m_{31}& m_{32}& 0& m_{34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m_{11}}^{,}& {m_{12}}^{,}& {m_{13}}^{,}\\ {m_{21}}^{,}& {m_{22}}^{,}& {m_{23}}^{,}\\ {m_{31}}^{,}& {m_{32}}^{,}& {m_{33}}^{,}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M^{,}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],$

因此， $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right];$

10)第L号线程提取第i帧图像，提取某个测量点的图像特征，计算该测量点的图像特征中心的位置，并与第1帧图像中的对应的测量点的图像特征中心进行比对，得到测量点的图像位移，设第j个测量点在第i帧图像中的图像坐标为(us_ij,vs_ij)，则第j个测量点的图像位移的计算公式如下：

$d_{\mathrm{uv}}=\sqrt{{({\mathrm{us}}_{\mathrm{ij}}-{\mathrm{us}}_{1j})}^2+{({\mathrm{vs}}_{\mathrm{ij}}-{\mathrm{vs}}_{1j})}^2};$

11)根据步骤9)的计算公式，第j个测量点在第1帧图像中的实际坐标 $\left[\begin{array}{c}{\mathrm{xs}}_{1j}\\ {\mathrm{ys}}_{1j}\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}{\mathrm{us}}_{1j}\\ {\mathrm{vs}}_{1j}\\ 1\end{array}\right],$ 第j个测量点在第i帧图像中的实际坐标 $\left[\begin{array}{c}{\mathrm{xs}}_{\mathrm{ij}}\\ {\mathrm{ys}}_{\mathrm{ij}}\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}{\mathrm{us}}_{\mathrm{ij}}\\ {\mathrm{vs}}_{\mathrm{ij}}\\ 1\end{array}\right],$ 则步骤10中的第j个测量点的实际位移为：

$d_{\mathrm{xy}}=\sqrt{{({\mathrm{xs}}_{\mathrm{ij}}-{\mathrm{xs}}_{1j})}^2+{({\mathrm{ys}}_{\mathrm{ij}}-{\mathrm{ys}}_{1j})}^2};$

12)将所有帧的特征测量点的位移信息分解到x、y两个维度上，可以得到目标振动的位移曲线；

13)根据第12)步获得的两维位移信息做一阶微分运算得到速度信息，可以得到目标振动的速度曲线；

14)根据前面获得的速度信息做一阶微分计算得到加速度信息，可以得到目标振动的加速度曲线；

15)根据前面获得的位移、速度、加速度信息，做快速傅里叶变换运算得到频域信息，可以得到振动的频谱；

16)根据前面得到的时域和频域信息，可以计算物体的振动模态、监控工作状态，进行故障分析与诊断等。

本方法中高速相机拍摄视场内的多个测量点的振动视频可以同时采集，分别建立实际目标物体以及相机图像的坐标系，通过少量特征点获得实际物体与图像间的对应关系矩阵，从而将图像上的任意一点的图像坐标、位移映射出实际坐标、位移的振动图像处理方法，使得对多测点的振动特性进行同步分析快速有效。该方法采用非接触式的测量方式，无负载效应，不会改变测试对象的振动特性。同时，也无需复杂的传感器布置等准备工作，测量精度高，环境适应性强，可对有毒有害、高温、危险环境下的振动物体进行振动特性测量。且线程池并发处理技术的应用使得图像处理速度较快，振动结果可以实时在线传输出来。

实施例2

本实施例中的方法使用步骤及该方法所依赖的装置基本结构同实施例1，不同之处在于，高速相机采用的是CCD高速相机。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (5)

1.一种非接触式的基于影像的实时在线振动测量方法，其特征在于：包括以下步骤：

1)固定平面标靶到被测目标物体上，调整相机方向与镜头焦距，使包含平面标靶的被测目标物体在相机上清晰成像；

2)采用高速相机对目标物体的振动情况进行拍摄，得到目标物体的振动视频；

3)由计算机内置的振动测量软件对步骤2)得到的目标物体的振动视频提取出每一帧图像，图像帧编号为i(i＝1、2……)；

4)对步骤3)得到的第1帧图像，选取平面标靶所在的图像区域，依据标靶特征识别算法，识别出平面标靶的范围区域；

5)以平面标靶的中心点为坐标原点分别在物体上和图像中建立两个坐标系oxy和ouv，根据事先已知的标靶实际尺寸和识别出的标靶特征范围区域在图像上的尺寸，计算出高速相机标定的投影矩阵M，计算公式如下：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 0\\ 1\end{array}\right]$

其中，s为比例因子，令其为1， $M=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& 0& m_{14}\\ m_{21}& m_{22}& 0& m_{24}\\ m_{31}& m_{32}& 0& m_{34}\end{array}\right],$ 根据解一次方程组的基本条件，至少需要标靶上的3个不同特征点的实际物理坐标和图像坐标才可以求解出M矩阵内部的各个元素系数，根据标靶上的3个特征点的坐标值，代入上面的公式中可以得到关于m_pq(p＝1、2、3，q＝1、2、4)的一次方程组，利用高斯消元法可以求解得到M矩阵内部的各个元素系数的值，即求得图像与实际物体尺寸换算矩阵M；

6)由计算机内置的振动测量软件，开辟一块内存池用于保存所拍摄到的目标物体振动的一定数目帧数的图像；

7)创建一个包含多个线程的线程池，该线程池内的线程可以并行运行于不同CPU内核，每个线程都有一个自身编号，该编号为L(L＝1、2、……m，m为线程池的线程总数目)，其中，m为正整数；

8)每一个带有自身编号的线程有序地从内存池中提取相应编号的待分析的图像帧，其提取规则是，第L号线程应分析第i帧图像，其中i＝L+n×m(n＝0、1、2……)；

9)根据步骤5)求解得到的投影矩阵M，可计算出图像上每一个像素所代表的实际物理坐标，振动视频中的任意一帧图像中的任何一点(u,v)映射到实际场景(x,y)的变换公式如下：

由步骤5可得， $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& 0& m_{14}\\ m_{21}& m_{22}& 0& m_{24}\\ m_{31}& m_{32}& 0& m_{34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m_{11}}^{,}& {m_{12}}^{,}& {m_{13}}^{,}\\ {m_{21}}^{,}& {m_{22}}^{,}& {m_{23}}^{,}\\ {m_{31}}^{,}& {m_{32}}^{,}& {m_{33}}^{,}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M^{,}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],$

因此， $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right];$

10)第L号线程提取第i帧图像，提取某个测量点的图像特征，计算该测量点的图像特征中心的位置，并与第1帧图像中的对应的测量点的图像特征中心进行比对，得到测量点的图像位移，设第j个测量点在第i帧图像中的图像坐标为(us_ij,vs_ij)，则第j个测量点的图像位移duv的计算公式如下：

$d_{\mathrm{uv}}=\sqrt{{({\mathrm{us}}_{\mathrm{ij}}-{\mathrm{us}}_{1j})}^2+{({\mathrm{vs}}_{\mathrm{ij}}-{\mathrm{vs}}_{1j})}^2};$

11)根据步骤9)的计算公式，第j个测量点在第1帧图像中的实际坐标 $\left[\begin{array}{c}{\mathrm{xs}}_{1j}\\ {\mathrm{ys}}_{1j}\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}{\mathrm{us}}_{1j}\\ {\mathrm{vs}}_{1j}\\ 1\end{array}\right],$ 第j个测量点在第i帧图像中的实际坐标 $\left[\begin{array}{c}{\mathrm{xs}}_{\mathrm{ij}}\\ {\mathrm{ys}}_{\mathrm{ij}}\\ 1\end{array}\right]={\left[M^{,}\right]}^{-1}\left[\begin{array}{c}{\mathrm{us}}_{\mathrm{ij}}\\ {\mathrm{vs}}_{\mathrm{ij}}\\ 1\end{array}\right],$ 则步骤10中的第j个测量点的实际位移为：

$d_{\mathrm{xy}}=\sqrt{{({\mathrm{xs}}_{\mathrm{ij}}-{\mathrm{xs}}_{1j})}^2+{({\mathrm{ys}}_{\mathrm{ij}}-{\mathrm{ys}}_{1j})}^2};$

12)将所有帧的特征测量点的位移信息分解到x、y两个维度上，可以得到目标振动的位移曲线；

13)根据第12)步获得的两维位移信息做一阶微分运算得到速度信息，可以得到目标振动的速度曲线；

14)根据前面获得的速度信息做一阶微分计算得到加速度信息，可以得到目标振动的加速度曲线；

15)根据前面获得的位移、速度、加速度信息，做快速傅里叶变换运算得到频域信息，可以得到振动的频谱；

16)根据前面得到的时域和频域信息，可以计算物体的振动模态、监控工作状态，进行故障分析与诊断。

2.根据权利要求1所述的一种非接触式的基于影像的实时在线振动测量方法，其特征在于：所述的高速相机采用CCD或CMOS高速相机，高速相机的采样帧率在100fps以上，本方法能测量到的物体最大振动频率是相机采样帧率的1/2。

3.根据权利要求2所述的一种非接触式的基于影像的实时在线振动测量方法，其特征在于：高速相机拍摄视场内的多个测量点的振动视频可以同时采集，上述的测量方法可以对多测点的振动特性进行同步分析。

4.根据权利要求3所述的一种非接触式的基于影像的实时在线振动测量方法，其特征在于：所述的计算机内置的振动测量软件自动获取到计算机的CPU并发内核数目，并创建与CPU并发内核相同数目的线程形成线程池来进行图像分析和计算的并发执行。

5.根据权利要求4所述的一种非接触式的基于影像的实时在线振动测量方法，其特征在于：在求解高速相机标定的图像与实际物体尺寸换算矩阵M时从平面标靶上选取的3个特征点不在一条直线上。