CN105651377A - 一种基于视频数据挖掘的非接触式物体振动频率测量方法 - Google Patents

Abstract

本发明涉及一种基于视频数据挖掘的非接触式物体振动频率测量方法。解决现有技术中采用在物体上安装接触式振动传感器测量物体振动所存在的技术复杂、成本高昂,以及被测物无法安装振动传感器的问题。方法步骤包括构建数字相机理想相机噪声模型，进行拍摄，然后根据理想相机噪声模型计算视频中每个像素振动频率，获取待测物体的振动频率。本发明的优点是克服了传统接触式物体振动频率测量方法的不足；克服了现有基于机器视觉的非接触式物体振动频率测量方法受约束条件限制的不足；既适用于离线视频数据，也适用于在线视频数据；方法采用设备简单、成本低廉、适应性好，适用对象广。

Description

一种基于视频数据挖掘的非接触式物体振动频率测量方法

技术领域

本发明涉及一种视频数据处理技术领域，尤其是涉及一种基于视频数据挖掘的非接触式物体振动频率测量方法。

背景技术

对物体发生振动的频率进行测量具有重要意义，在建筑物健康状态监测、地质灾害预防监测，以及工农业生产与科研的各个领域均具有广泛应用价值。

目前的物体振动频率测量主要采用的是在物体上安装接触式振动传感器的方法。该方法虽然理论上精度较好，但也存在若干问题。首先，对大型待测物体(如大桥)安装接触式传感器，不仅技术复杂、成本高昂，测量系统需要定期维护更新，而且仅能够进行局部监测。其次，对一些小型待测物体安装接触式传感器会改变被测物体的动态性能，从而直接影响振动测量值的可靠性与精度。此外，还有大量待测物体(如细胞)是无法被安装接触式传感器的。因此，研究非接触式的物体振动频率测量方法具有积极的现实意义，它可以有效弥补传统接触式测量方法的不足。

目前，也有采用非接触式物体振动测量的方法，但这种方法仍然较为有限。主要的技术路线有光学方法(如红外光或激光)、声学方法等。本质上，各种非接触式物体振动测量的方法均是先将振动这类空间位移信号映射为另外一类物理信号(如光波或声波)，然后通过测量映射后物理信号的变化频率间接计算出物体的振动频率。近年来，视觉方法被引入非接触式物体振动测量领域。相比于光学或声学方法，基于视觉的方法不依赖于复杂的成套高精密仪器设备，其主要测量工具为可见光数字相机。因此，基于视觉的方法正逐渐成为一个新的研究热点。目前，基于视觉的物体振动频率测量方法主要采用的是机器视觉方法。机器视觉的方法是一种有约束条件(需特定光源与照明配合，甚至需要对被测物设置标志点)的图像处理方法。因此在实际应用中，基于机器视觉的测量方法通常对待测对象和测试环境有具体限定。例如，机器视觉的测量方法很难用于测量几百米距离外的大桥振动情况，因为测试环境的光照条件无法进行配置，而且标志点的设置比较困难。

因此有必要研究研究一种简便、快速、无约束条件的非接触式的物体振动频率测量方法，例如基于视频数据挖掘技术的非接触式的物体振动频率测量方法。研究表明，由于物体振动通常是一个连续时间过程，因此视频分析技术比图像处理技术更适用于基于视觉的物体振动频率测量。由于在记录有物体振动过程的视频中，物体振动的频率是一种隐含的未知信息，因此需要使用特定的视频数据挖掘技术才能够获取该信息。

视频数据挖掘是一种以视频为对象的、无约束条件的数据挖掘方法。该技术不依赖于特定的光源与光照设置，也不对观察对象进行任何干预(如设置标识点)，其主要工作是设计特定算法对视频这种时空联合信号进行解构与分析，从中发现隐藏的未知信息或知识。显然，相较于其他类型的物体振动频率测量方法，基于视频数据挖掘的方法具有设备简单、成本低廉、适应性好，以及适用对象广等优点。

发明内容

本发明主要是解决现有技术中采用在物体上安装接触式振动传感器测量物体振动所存在的技术复杂、成本高昂，以及一些被测物无法安装振动传感器的问题，提供了一种设备简便、成本低廉、适应性好的基于视频数据挖掘的非接触式物体振动频率测量方法。

本发明另一个发明目的是解决了现有技术中非接触式物体振动测量方法存在约束条件的问题，提供了一种设备简便、无约束条件的基于视频数据挖掘的非接触式物体振动频率测量方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于视频数据挖掘的非接触式物体振动频率测量方法，采用可拍摄视频的数字相机和处理视频数据的运算器，包括以下步骤，

S1.构建所使用数字相机的理想相机噪声模型；

S2.设置数字相机拍摄参数，然后对待测物体进行视频拍摄；

S3.根据理想相机噪声模型计算视频中每个像素的振动频率，获取待测物体的振动频率。

本发明仅通过视频分析的手段来测量物体振动频率，无需接触被测物体且无约束条件，克服了传统接触式物体振动频率测量方法的不足，以及基于机器视觉的非接触式物体振动频率测量方法受约束条件限制不足。本发明方法采用的设备简单，实施成本低廉，适应性好，适用对象广。

作为一种优选方案，所述步骤S1中构建数字相机的理想相机噪声模型的步骤包括：

S11.选取零均值加性高斯白噪声模型作为所使用数字相机的理想噪声模型；零均值加性高斯白噪声模型即假设每个像素点处的理想相机噪声的幅值服从均值为零的高斯分布。

S12.计算所选取理想噪声模型的高斯噪声分布标准差。理想噪声模型的高斯噪声分布标准差为理想噪声模型的唯一未知参数。由此构建出所使用数字相机的理想相机噪声模型，该模型服从高斯分布，在视频的每个灰阶上，高斯分布的均值为零，标准差为计算后的数据。

作为一种优选方案，所述步骤S12计算高斯噪声分布标准差的步骤包括：

S121.使用数字相机拍摄一个静态场景；

S122.根据拍摄的静态场景视频，计算出理想相机噪声模型在不同色彩通道中的不同灰阶等级上的标准差：

对红色色彩通道：

${\mathrm{\σ}}_{red}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^r(x,y)-I_{n-1}^r(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

对绿色色彩通道：

${\mathrm{\σ}}_{green}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^g(x,y)-I_{n-1}^g(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

对蓝色色彩通道：

${\mathrm{\σ}}_{blue}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^b(x,y)-I_{n-1}^b(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

设视频共有N帧，其中分别代表视频在红色、绿色、蓝色色彩通道中第n帧中坐标为(x,y)的像素点的值，每个公式中Θ_n代表公式对应颜色色彩通道中视频序列的第n帧中所有像素点的集合，代表Θ_n的一个子集，其中像素点的灰度值均为p且p＝I_n-1(x,y)，#(·)代表取集合的基数即集合中元素的总数，σ_red(p)、σ_green(p)、σ_blue(p)则分别表示数字相机在红色、绿色、蓝色色彩通道中在p灰阶上的理想相机噪声标准差；上述标准差计算方法是基于以下常用假设，即理想相机噪声模型标准差与像素点的灰度值具有相关性。

S123.取σ_red(p)、σ_green(p)和σ_blue(p)中的最大值作为数字相机在p灰阶上的理想相机噪声标准差σ(p)，即：

σ(p)＝max[σ_red(p),σ_green(p),σ_blue(p)]。

由此，构建出所使用数字相机的理想相机噪声模型，该模型服从高斯分布，在视频的每个灰阶p上，高斯分布的均值为零，方差为σ(p)。

作为一种优选方案，所述步骤S121中数字相机拍摄的静态场景为无光照变化和场景内容变化的视频，且要求视频中的像素点亮度值完全涵盖数字相机所具有的全部亮度等级。

作为一种优选方案，步骤S2中数字相机拍摄参数设置步骤包括：

S21.保持数字相机静止且不受外界因素影响发生抖动；

S22.调整数字相机视角，使待测物体全部或其待测局部位于相机有效视场内；

S23.调整相机焦距，保证待测物体的清晰成像；

S24.关闭数字相机自动对焦和自动增益调整功能；

S25.设置数字相机快门速度不低于预估的待测物体振动频率。预先估计待测物体振动频率，然后设置数字相机快门速度。

作为一种优选方案，所述步骤S3中获取待测物体的振动频率的步骤包括：

S31.统计视频中每个像素点位置上像素值发生显著变化的次数，根据以下公式计算：

${\mathrm{\ψ}}_t(x,y)=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& |I_t(x,y)-I_{t-1}(x,y)|>\mathrm{\β}\·\mathrm{\σ}\left(p\right)\end{array}\\ 0,& otherwise\end{array}\right.$

显著性变化是指像素值变化大于σ(p)的某个倍数；其中，β是一个自然数，代表倍数，根据高斯分布的3Sigma原理，β的取值可为3，I_t(x,y)代表视频的第t帧，I_t-1(x,y)代表视频的第t-1帧，ψ_t(x,y)代表视频从起始帧到第t帧这段时间内，视频中每个像素点位置上已发生的振动总次数；

S32.根据计算结果，计算视频中每个像素点位置上发生的振动的频率，根据以下公式计算：

$D_t(x,y)=\frac{\mathrm{\φ}}{t}\underset{n=1}{\overset{t}{\Σ}}{\mathrm{\ψ}}_n(x,y)$

其中，φ代表视频的帧率，其单位为帧/秒，D_t(x,y)∈[0,φ]则代表视频中每个像素点在前t帧时间段内的振动频率；

S33.从视频中确定出待测物体所涵盖的像素点区域，获取这些区域内的像素点振动的频率。这样就获取了待测物体的不同局部位置上的振动频率。

因此，本发明的优点是：1.基于视频挖掘技术实现了非接触式的物体振动频率测量，克服了传统接触式物体振动频率测量方法的不足；2.实现了一种无约束条件的非接触式的物体振动频率测量方法，克服了现有基于机器视觉的非接触式物体振动频率测量方法受约束条件限制的不足；3.既适用于离线视频数据，也适用于在线视频数据；4.方法采用设备简单、成本低廉、适应性好，适用对象广。

附图说明

附图1是本发明的一种流程示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本实施例一种基于视频数据挖掘的非接触式物体振动频率测量方法，如图1所示，包括以下步骤：

S1.构建所使用数字相机的理想相机噪声模型；

构建的步骤具体包括：

S11.选取零均值加性高斯白噪声模型作为所使用数字相机的理想噪声模型；零均值加性高斯白噪声模型即假设每个像素点处的理想相机噪声的幅值服从均值为零的高斯分布。

S12.计算所选取理想噪声模型的高斯噪声分布标准差。理想噪声模型的高斯噪声分布标准差为理想噪声模型的唯一未知参数。由此构建出所使用数字相机的理想相机噪声模型，该模型服从高斯分布，在视频的每个灰阶上，高斯分布的均值为零，标准差为计算后的数据。

理想噪声模型的高斯噪声分布标准差的计算过程包括：

S121.使用数字相机拍摄一个静态场景；静态场景为无光照变化和场景内容变化的视频，且要求视频中的像素点亮度值完全涵盖数字相机所具有的全部亮度等级。

S122.根据拍摄的静态场景视频，计算出理想相机噪声模型在不同色彩通道中的不同灰阶等级上的标准差：

对红色色彩通道：

${\mathrm{\σ}}_{red}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^r(x,y)-I_{n-1}^r(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

标准差计算方法是基于以下常用假设，即理想相机噪声模型标准差与像素点的灰度值具有相关性。设视频一共有N帧，其中代表视频在红色色彩通道中第n帧中坐标为(x,y)的像素点的值，该公式中Θ_n代表红色色彩通道中视频序列的第n帧中所有像素点的集合，而则代表Θ_n的一个子集，其中像素点的灰度值均为p且p＝I_n-1(x,y)，#(·)代表取集合的基数(即集合中元素的总数)，σ_red(p)则表示数字相机在红色色彩通道中在p灰阶上的理想相机噪声标准差；

对绿色色彩通道：

${\mathrm{\σ}}_{green}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^g(x,y)-I_{n-1}^g{g}_1(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

其中代表视频在绿色色彩通道中第n帧中坐标为(x,y)的像素点的值，该公式中Θ_n代表绿色色彩通道中视频序列的第n帧中所有像素点的集合，而则代表Θ_n的一个子集，其中像素点的灰度值均为p且p＝I_n-1(x,y)，#(·)代表取集合的基数(即集合中元素的总数)，σ_green(p)表示数字相机在绿色色彩通道中在p灰阶上的理想相机噪声标准差；

对蓝色色彩通道：

${\mathrm{\σ}}_{blue}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^b(x,y)-I_{n-1}^b(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

其中代表视频在蓝色色彩通道中第n帧中坐标为(x,y)的像素点的值，该公式中Θ_n代表蓝色色彩通道中视频序列的第n帧中所有像素点的集合，而则代表Θ_n的一个子集，其中像素点的灰度值均为p且p＝I_n-1(x,y)，#(·)代表取集合的基数(即集合中元素的总数)，σ_blue(p)表示数字相机在蓝色色彩通道中在p灰阶上的理想相机噪声标准差。

S123.取σ_red(p)、σ_green(p)和σ_blue(p)中的最大值作为数字相机在p灰阶上的理想相机噪声标准差σ(p)，即：

σ(p)＝max[σ_red(p),σ_green(p),σ_blue(p)]。

由此，构建出所使用数字相机的理想相机噪声模型，该模型服从高斯分布，在视频的每个灰阶p上，高斯分布的均值为零，方差为σ(p)。

S2.设置数字相机拍摄参数，然后对待测物体进行视频拍摄。数字相机拍摄参数设置步骤包括：

S21.保持数字相机静止且不受外界因素影响发生抖动；

S22.调整数字相机视角，使待测物体全部或其待测局部位于相机有效视场内；

S23.调整相机焦距，保证待测物体的清晰成像；

S24.关闭数字相机自动对焦和自动增益调整功能；

S25.设置数字相机快门速度不低于预估的待测物体振动频率。

S3.根据理想相机噪声模型计算视频中每个像素的振动频率，获取待测物体的振动频率。具体步骤包括：

S31.统计视频中每个像素点位置上像素值发生显著变化的次数，根据以下公式计算：

${\mathrm{\ψ}}_t(x,y)=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& |I_t(x,y)-I_{t-1}(x,y)|>\mathrm{\β}\·\mathrm{\σ}\left(p\right)\end{array}\\ 0,& otherwise\end{array}\right.$

其中，β是一个自然数，代表倍数，根据高斯分布的3S2gma原理，β的取值可为3，I_t(x,y)代表视频的第t帧，I_t-1(x,y)代表视频的第t-1帧，ψ_t(x,y)代表视频从起始帧到第t帧这段时间内，视频中每个像素点位置上已发生的振动总次数；

S32.根据计算结果，计算视频中每个像素点位置上发生的振动的频率，根据以下公式计算：

$D_t(x,y)=\frac{\mathrm{\φ}}{t}\underset{n=1}{\overset{t}{\Σ}}{\mathrm{\ψ}}_n(x,y)$

其中，φ代表视频的帧率，其单位为帧/秒，D_t(x,y)∈[0,φ]则代表视频中每个像素点在前t帧时间段内的振动频率；

S33.从视频中确定出待测物体所涵盖的像素点区域，获取这些区域内的像素点振动的频率。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于视频数据挖掘的非接触式物体振动频率测量方法，采用可拍摄视频的数字相机和处理视频数据的运算器，其特征在于：包括以下步骤，

S1.构建所使用数字相机的理想相机噪声模型；

S2.设置数字相机拍摄参数，然后对待测物体进行视频拍摄；

S3.根据理想相机噪声模型计算视频中每个像素的振动频率，获取待测物体的振动频率。

2.根据权利要求1所述的一种基于视频数据挖掘的非接触式物体振动频率测量方法，其特征是所述步骤S1中构建数字相机的理想相机噪声模型的步骤包括：

S11.选取零均值加性高斯白噪声模型作为所使用数字相机的理想噪声模型；

S12.计算所选取理想噪声模型的高斯噪声分布标准差。

3.根据权利要求2所述的一种基于视频数据挖掘的非接触式物体振动频率测量方法，其特征是所述步骤S12计算高斯噪声分布标准差的步骤包括：

S121.使用数字相机拍摄一个静态场景；

S122.根据拍摄的静态场景视频，计算出理想相机噪声模型在不同色彩通道中的不同灰阶等级上的标准差：

对红色色彩通道：

${\mathrm{\σ}}_{red}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^r(x,y)-I_{n-1}^r(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

对绿色色彩通道：

${\mathrm{\σ}}_{green}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^g(x,y)-I_{n-1}^g(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

对蓝色色彩通道：

${\mathrm{\σ}}_{blue}\left(p\right)=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}\underset{(x,y)\∈{\mathrm{\Θ}}_n^p}{\Σ}{\[I_n^b(x,y)-I_{n-1}^b(x,y)\]}^2}{\underset{n=1}{\overset{N}{\Σ}}\#\left({\mathrm{\Θ}}_n^p\right)}}$

设视频共有N帧，其中分别代表视频在红色、绿色、蓝色色彩通道中第n帧中坐标为(x,y)的像素点的值，每个公式中Θ_n代表与公式对应的色彩通道中视频序列的第n帧中所有像素点的集合，代表Θ_n的一个子集，其中像素点的灰度值均为p且p＝I_n-1(x,y)，#(·)代表取集合的基数即集合中元素的总数，σ_red(p)、σ_green(p)、σ_blue(p)则分别表示数字相机在红色、绿色、蓝色色彩通道中在p灰阶上的理想相机噪声标准差；

S123.取σ_red(p)、σ_green(p)和σ_blue(p)中的最大值作为数字相机在p灰阶上的理想相机噪声标准差σ(p)，即：

σ(p)＝max[σ_red(p),σ_green(p),σ_blue(p)]。

4.根据权利要求3所述的一种基于视频数据挖掘的非接触式物体振动频率测量方法，其特征是所述步骤S121中数字相机拍摄的静态场景为无光照变化和场景内容变化的视频，且要求视频中的像素点亮度值完全涵盖数字相机所具有的全部亮度等级。

5.根据权利要求1或2或3所述的一种基于视频数据挖掘的非接触式物体振动频率测量方法，其特征是步骤S2中数字相机拍摄参数设置步骤包括：

S21.保持数字相机静止且不受外界因素影响发生抖动；

S22.调整数字相机视角，使待测物体全部或其待测局部位于相机有效视场内；

S23.调整相机焦距，保证待测物体的清晰成像；

S24.关闭数字相机自动对焦和自动增益调整功能；

S25.设置数字相机快门速度不低于预估的待测物体振动频率。

6.根据权利要求1或2或3所述的一种基于视频数据挖掘的非接触式物体振动频率测量方法，其特征是所述步骤S3中获取待测物体的振动频率的步骤包括：

S31.统计视频中每个像素点位置上像素值发生显著变化的次数，根据以下公式计算：

${\mathrm{\ψ}}_t(x,y)=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& |I_t(x,y)-I_{t-1}(x,y)|>\mathrm{\β}\·\mathrm{\σ}\left(p\right)\end{array}\\ 0,& otherwise\end{array}\right.$

其中，β是一个自然数，代表倍数，根据高斯分布的3Sigma原理，β的取值可为3，I_t(x,y)代表视频的第t帧，I_t-1(x,y)代表视频的第t-1帧，ψ_t(x,y)代表视频从起始帧到第t帧这段时间内，视频中每个像素点位置上已发生的振动总次数；

S32.根据计算结果，计算视频中每个像素点位置上发生的振动的频率，根据以下公式计算：

$D_t(x,y)=\frac{\mathrm{\φ}}{t}\underset{n=1}{\overset{t}{\Σ}}{\mathrm{\ψ}}_n(x,y)$

其中，φ代表视频的帧率，其单位为帧/秒，D_t(x,y)∈[0,φ]则代表视频中每个像素点在前t帧时间段内的振动频率；

S33.从视频中确定出待测物体所涵盖的像素点区域，获取这些区域内的像素点振动的频率。