CN106152949A - 一种非接触视频位移测量方法 - Google Patents

Abstract

本发明涉及一种非接触视频位移测量方法，包括如下步骤：(1)采用数码设备拍摄结构物的运动视频并导入处理器；(2)处理器获取运动视频中第一帧图像，以目标点为中心选取目标区域；(3)获取下一帧图像，以上一帧图像中的目标点为中心选取匹配区域，对匹配区域中的各像素点以像素点位置为中心获取与目标区域大小相等的匹配块；(4)将目标区域及各匹配块进行匹配确定与目标区域匹配的匹配块，该匹配块的中心点为目标点在该帧图像中的位置，将该位置作为新的目标点，该匹配块作为新的目标区域；(5)重复执行步骤(3)～(4)得到每一帧图像中目标点所在位置，得到目标点的位移曲线。与现有技术相比，本发明测量设备便宜，测量结果可靠。

Description

一种非接触视频位移测量方法

技术领域

本发明涉及一种位移测量方法，尤其是涉及一种非接触视频位移测量方法。

背景技术

工程结构在荷载作用下会产生挠度、位移，其大小、方向反映结构的刚度，健康和服役情况。挠度、位移的观测是通过位移计量测结构或构件的变形情况，由结构或构件的变形得知结构或构件在此荷载下的工作状态。为此对于关键位移观测点要每一级荷载都进行位移计算、量测，得知结构或构件的变形情况。

位移观测是当今工程结构健康监测中最基础的部分，也是最重要的一部分。基于位移监测在工程结构监测中的广泛应用，针对不同的结构构件，监测环境，运动状态，精度要求，位移测量有许多种方法手段。

视频位移测量作为一种新兴的非接触位移观测手段，相较与传统的接触测量方式有着极大的优越性，它可以测量低频的振动状态的物体，而且自动化程度高，劳动力成本低。现有非接触性测量方式通常采用高频CCD拍摄设备采集视频信息，测量费用高昂，仪器架设复杂。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种非接触视频位移测量方法。

本发明的目的可以通过以下技术方案来实现：

一种非接触视频位移测量方法，该方法包括如下步骤：

(1)采用具有视频拍摄功能的数码设备拍摄结构物的运动视频并导入处理器；

(2)处理器获取运动视频中第一帧图像并标定目标点，以目标点为中心选取目标区域，获取目标区域的直方图反向投影；

(3)处理器获取运动视频中下一帧图像，以上一帧图像中的目标点位置为中心选取大于目标区域的图像区域作为匹配区域，对匹配区域中的各个像素点以像素点位置为中心获取与目标区域大小相等的匹配块，获取各匹配块的直方图反向投影；

(4)根据目标区域的直方图反向投影以及各匹配块的直方图反向投影进行匹配进而确定与目标区域匹配的匹配块，该匹配块的中心点为目标点在该帧图像中的位置，并将该位置作为新的目标点，该匹配块作为新的目标区域；

(5)重复执行步骤(3)～(4)得到每一帧图像中目标点所在位置，进而得到目标点的位移曲线。

所述的数码设备包括数码相机或手机。

步骤(2)中获取目标区域的直方图反向投影具体为：

(201)获取目标区域内的所有像素点并组成像素点点集{x_i}，其中i＝1,2,……n，n为目标区域内像素点总个数；

(202)获取第i个像素点x_i的灰度值c(x_i)，c(x_i)的取值为0～255；

(203)根据下式获取灰度值u在目标区域内的频率q_u：

$q_u=\underset{i=1}{\overset{n}{\Σ}}\mathrm{\δ}\[c\left(x_i\right)-u\]/n,$

其中u＝0,1,2,……255，δ为Kornecker函数，n为目标区域内像素点总个数；

(204)获取目标区域的直方图灰度频率矩阵H₁，矩阵H₁中元素依次为q₀、q₁、q₂……q₂₅₅。

步骤(3)中匹配区域选取为目标区域的1.5～2倍大小。

步骤(3)中获取各匹配块的直方图反向投影具体为：

(301)选取匹配区域左上角像素点为基准点，基准点坐标为(x₀，y₀)，以基准点为坐标原点建立直角坐标系，其中基准点向右延伸为x轴正方向，基准点向下延伸为y轴正方向；

(302)建立状态转移函数：

$f(x,y,k)=\left\{\begin{array}{cc}f(x-1,y,k)+f(x,y-1,k)-f(x-1,y-1,k)& k\≠I(x,y),x>x_0,y>y_0\\ f(x-1,y,k)+f(x,y-1,k)-f(x-1,y-1,k)+1& k=I(x,y),x>x_0,y>y_0\end{array}\right.$

$f(x_0,y,k)=\left\{\begin{array}{cc}f(x_o,y-1,k)& k\≠I(x_0,y),y>y_0\\ f(x_o,y-1,k)+1& k=I(x_0,y),y>y_0\end{array}\right.$

$f(x,y_0,k)=\left\{\begin{array}{cc}f(x-1,y_o,k)& k\≠I(x,y_0),x>x_0\\ f(x-1,y_o,k)+1& k=I(x,y_0),x>x_0\end{array}\right.,$

其中，基准点边界条件为：

$f(x_0,y_0,k)=\left\{\begin{array}{cc}0& k\≠I(x_0,y_0)\\ 1& k=I(x_0,y_0)\end{array}\right.,$

f(x,y,k)为以基准点为左上角，点(x，y)为右下角组成的矩形框内灰度值为k的像素点总个数，k＝0,1,2,……255，I(x,y)为点(x，y)的灰度值；

(303)获取待匹配块左上角像素点坐标为(x₁，y₁)，右下角像素点坐标为(x₂，y₂)，根据下式计算灰度值k在待匹配块内的频率q_k：

q_k＝[f(x₂,y₂,k)-f(x₁,y₂,k)-f(x₂,y₁,k)+f(x₁,y₁,k)]/n，

其中，n为待匹配块内像素点总个数；

(304)获取第p个待匹配块直方图灰度频率矩阵H_p，矩阵H_p中元素依次为q₀、q₁、q₂……q₂₅₅。

步骤(4)中所述的根据目标区域的直方图反向投影以及各匹配块的直方图反向投影进行匹配进而确定与目标区域匹配的匹配块具体为：

(401)根据目标区域的直方图方向投影得到目标区域的直方图灰度频率矩阵H，矩阵H中元素依次为灰度值0～255在目标区域内的频率，求取第p个待匹配块的直方图反向投影获取待匹配块的直方图灰度频率矩阵H_p，矩阵H_p中元素依次为灰度值0～255在待匹配块内的频率，p＝1,2,……m，m为待匹配块总个数；

(402)根据下式分别计算目标区域和第p个待匹配块之间的巴氏距离修正值：

$D(H,H_p)=\frac{1}{{(x_p-x_0)}^2+{(y_p-y_0)}^2+1}\sqrt{1-\frac{1}{\sqrt{\stackrel{\‾}{H}*{\stackrel{\‾}{H}}_p*N^2}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{H\left(j\right)*H_p\left(j\right)}},$

其中，(x₀，y₀)为目标区域中心点的位置坐标，(x_p，y_p)为第p个待匹配块中心点的位置坐标，为矩阵H中所有元素的平均值，为矩阵H_p中所有元素的平均值，N为灰度值总个数，N＝256，H(j)为矩阵H中第j个元素，H_p(j)为矩阵H_p中第j个元素；

(403)选取D(H,H₁)、D(H,H₂)、……D(H,H_m)中的最小值，将该最小值对应的待匹配块确定为与目标区域匹配的匹配块。

与现有技术相比，本发明具有如下优点：

(1)本发明的数码设备采用数码相机或手机等具有视频拍摄功能的数码设备，设备成本低；

(2)本发明通过直方图反向投影来实现距离的测量，直方图反向投影作为一种基本的无参数密度估计方法，不利用有关数据分布的先验知识，对数据分布不附加任何假定，是一种从数据样本本身出发研究数据分布特征的方法，颜色特征具有旋转不变性，且不受结构物大小和形状的变化影响，从而测量结果精度可靠；

(3)本发明中获取各匹配块的直方图反向投影时首先建立状态转移函数，从而使得计算灰度值k在待匹配的匹配块内的频率q_k时只需简单的迭代即可，计算复杂度将低，减少了大量的冗余计算，计算简便快速；

(4)传统的巴氏距离计算公式可看做函数在x→∞时，不利于目标捕捉，因此本发明采用计算目标区域和第p个待匹配块之间的巴氏距离修正值的方式进行目标区域和待匹配块的匹配，其巴氏距离越小，匹配度越高，这种方式捕捉更精准，匹配更准确。

附图说明

图1为本发明非接触视频位移测量方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种非接触视频位移测量方法，该方法包括如下步骤：

步骤1：采用具有视频拍摄功能的数码设备拍摄结构物的运动视频并导入处理器，这里数码设备包括数码相机或手机；

步骤2：处理器获取运动视频中第一帧图像并标定目标点，以目标点为中心选取目标区域，获取目标区域的直方图反向投影；

步骤3：处理器获取运动视频中下一帧图像，以上一帧图像中的目标点位置为中心选取大于目标区域的图像区域作为匹配区域，匹配区域选取为目标区域的1.5～2倍大小，对匹配区域中的各个像素点以像素点位置为中心获取与目标区域大小相等的匹配块，获取各匹配块的直方图反向投影；

步骤4：根据目标区域的直方图反向投影以及各匹配块的直方图反向投影进行匹配进而确定与目标区域匹配的匹配块，该匹配块的中心点为目标点在该帧图像中的位置，并将该位置作为新的目标点，该匹配块作为新的目标区域；

步骤5：重复执行步骤3～4得到每一帧图像中目标点所在位置，进而得到目标点的位移曲线。

实际工程检测中，RGB(Red，Green，Blue)空间中一般结构物待测位置R、G、B变化较小。而在HSV(Hue,Saturation,Value)空间中，由于短时间测量光照影响小，不需要特意采用H分量作为特征减少光照影响，且由于现在的图像机制都是RGB图像，RGB图像转化为HSV图像会影响图像质量，当图像的饱和度或亮度都很小的时候，所提取的色相噪点多，并且所提取的色相并不稳定，波动性大。因此选用灰度这一特征可更为方便简洁的进行处理，因此步骤2中获取目标区域的直方图反向投影具体为：

(201)获取目标区域内的所有像素点并组成像素点点集{x_i}，其中i＝1,2,……n，n为目标区域内像素点总个数；

(202)获取第i个像素点x_i的灰度值c(x_i)，c(x_i)的取值为0～255；

(203)根据下式获取灰度值u在目标区域内的频率q_u：

$q_u=\underset{i=1}{\overset{n}{\Σ}}\mathrm{\δ}\[c\left(x_i\right)-u\]/n,$

其中u＝0,1,2,……255，δ为Kornecker函数，n为目标区域内像素点总个数；

(204)获取目标区域的直方图灰度频率矩阵H₁，矩阵H₁中元素依次为q₀、q₁、q₂……q₂₅₅。

步骤4的各匹配块的直方图反向投影过程中，如果采用简单的枚举统计方法，会进行大量的冗余计算。算法需要计算直方图的区域并不是整个图像。即使计算了整个图像以每一个像素点为中心的诸多子区域的像素统计数据，并据此得出了所有点的对模板的反向投影值，最终需要进行密度计算与匹配的区域也并不是整个图像。这是因为在实际工程问题中，所处理的目标对象，运动速度都不会呈高速或超高速，换言之，在摄像设备对微小时间反映的极限上，也就是最极限的两帧之间，目标物体被假定不会有大大超越本身尺度的大位移。如果出现这样的大位移，那么只可能有两种情况:第一，摄像设备的条件限制，可能该摄像设备的摄制的帧率不足，这样拍摄视频的质量无法保证，这种情况下，应该主要考虑硬件条件对于实验的客观影响与限制因素；第二，摄像设备本身条件较好，但运动物体速度过快，在两帧之间还是出现了大位移，在这种情况下，即运动物体在不满足假定的两帧间小位移之前，在单一帧的拍摄过程中，就已经因在曝光时间内的较大位移而使自身图像变得模糊，这是在理论上就超出本算法的设计要求。

于是需要在优化之前先进行相关假定，使用该算法进行的运动图像分析建立在目标图像稳定良好的基础上，这里的稳定的定义是，由于采样频率充分大，物体运动图像不会在两帧之间出现“跳跃”，具体来说假定物体位移不超过自身尺寸的50％。当然，如果采样频率不足，这个假定的位移比例能够适当扩大，与此同时，算法的计算量也会扩大。这样，在进行像素特征值的直方统计以及反向投影值的生成过程中，就只要对缩减后的区域进行计算，这个区域的大小就只与采样模版的大小有关，由此，算法的复杂度由Ο(MNHW)降为Ο(H²W²)，其中，M、N为全图尺寸，H、W为目标尺寸。

在使用枚举统计的方法计算统计直方图的过程中，会出现大量的冗余枚举。如果对每一个点都要计算以该点为中心的区域的像素统计直方图，显而易见，相邻的两个点，它们的对应计算区域有绝大部分是重叠的，而对于这个重叠区域的反复枚举统计，正是简单的枚举统计算法低效的根源。通过引入算法学中基本的动态规划思想，可以将简单枚举用计算状态函数来取代，在对整个计算区域进行预处理求得所有状态函数之后，快速计算每个点的像素统计直方数据，避免了所有的冗余枚举统计。因此采用一种改进的方法进行匹配块的直方图反向投影的获取，即步骤3中获取各匹配块的直方图反向投影具体为：

(301)选取匹配区域左上角像素点为基准点，基准点坐标为(x₀，y₀)，以基准点为坐标原点建立直角坐标系，其中基准点向右延伸为x轴正方向，基准点向下延伸为y轴正方向；

(302)建立状态转移函数：

$f(x,y,k)=\left\{\begin{array}{cc}f(x-1,y,k)+f(x,y-1,k)-f(x-1,y-1,k)& k\≠I(x,y),x>x_0,y>y_0\\ f(x-1,y,k)+f(x,y-1,k)-f(x-1,y-1,k)+1& k=I(x,y),x>x_0,y>y_0\end{array}\right.$

$f(x_0,y,k)=\left\{\begin{array}{cc}f(x_o,y-1,k)& k\≠I(x_0,y),y>y_0\\ f(x_o,y-1,k)+1& k=I(x_0,y),y>y_0\end{array}\right.$

$f(x,y_0,k)=\left\{\begin{array}{cc}f(x-1,y_o,k)& k\≠I(x,y_0),x>x_0\\ f(x-1,y_o,k)+1& k=I(x,y_0),x>x_0\end{array}\right.,$

其中，基准点边界条件为：

$f(x_0,y_0,k)=\{\begin{array}{cc}0& k\≠I(x_0,y_0)\\ 1& k=I(x_0,y_0)\end{array},$

f(x,y,k)为以基准点为左上角，点(x，y)为右下角组成的矩形框内灰度值为k的像素点总个数，k＝0,1,2,……255，I(x,y)为点(x，y)的灰度值；

(303)获取待匹配的匹配块左上角像素点坐标为(x₁，y₁)，右下角像素点坐标为(x₂，y₂)，根据下式计算灰度值k在待匹配的匹配块内的频率q_k：

q_k＝[f(x₂,y₂,k)-f(x₁,y₂,k)-f(x₂,y₁,k)+f(x₁,y₁,k)]/n，

其中，n为待匹配的匹配块内像素点总个数；

(304)获取第p个待匹配块直方图灰度频率矩阵H_p，矩阵H_p中元素依次为q₀、q₁、q₂……q₂₅₅。

步骤4中所述的根据目标区域的直方图反向投影以及各匹配块的直方图反向投影进行匹配进而确定与目标区域匹配的匹配块具体为：

(401)根据目标区域的直方图方向投影得到目标区域的直方图灰度频率矩阵H，矩阵H中元素依次为灰度值0～255在目标区域内的频率，求取第p个待匹配块的直方图反向投影获取待匹配块的直方图灰度频率矩阵H_p，矩阵H_p中元素依次为灰度值1～255在待匹配块内的频率，p＝1,2,……m，m为待匹配块总个数；

(402)根据下式分别计算目标区域和第p个待匹配块之间的巴氏距离修正值：

$D(H,H_p)=\frac{1}{{(x_p-x_0)}^2+{(y_p-y_0)}^2+1}\sqrt{1-\frac{1}{\sqrt{\stackrel{\‾}{H}*{\stackrel{\‾}{H}}_p*N^2}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{H\left(j\right)*H_p\left(j\right)}},$

其中，(x₀，y₀)为目标区域中心点的位置坐标，(x_p，y_p)为第p个待匹配块中心点的位置坐标，为矩阵H中所有元素的平均值，为矩阵H_p中所有元素的平均值，N为灰度值总个数，N＝256，H(j)为矩阵H中第j个元素，H_p(j)为矩阵H_p中第j个元素；

(403)选取D(H,H₁)、D(H,H₂)、……D(H,H_m)中的最小值，将该最小值对应的待匹配块确定为与目标区域匹配的匹配块，修正后D值在0～l之间，D值越小表示目标区域和待匹配块越相似。

采用上述方法进行了实验，将振动台作为结构物，该振动台为标准振源，波形为正弦波，振动波形频率2Hz，全振幅10mm，采用两种数码设备进行运动视频的采集，两种数码设备分别为数码相机和手机。其中，数码相机视频采集选用尼康D7100相机，视频图像序列为标准1080P(1920×1080)。手机视频采集采用小米4c手机视频录制功能完成视频采集，视频图像序列为标准720P(1080×720)。表1为实验结果对比表。

表1实验结果

通过试验得到如下结论：

(1)相同实验环境，保证成像完整清晰的前提下，数码相机与结构物距离越近，数码相机焦距越大，捕捉效果越好，所得位移曲线误差越小。采用单位像素表示的实际距离dis来衡量这一差异：与结构物间隔1m，焦距50mm，自然光拍摄，dis＝0.2831mm；与结构物间隔1m，焦距17mm，自然光拍摄，dis＝0.7496mm，与结构物间隔5m，焦距210mm，自然光拍摄，dis＝0.2228mm，对比实验结果，dis值越大，捕捉效果越差，误差越大，针对远距拍摄，为提高dis值，可换装长焦镜头，并扩大所框选目标区域面积。(2)光照对实验结果影响不大。(3)手机采集可以满足用户近距离位移测量要求。

Claims (6)

1.一种非接触视频位移测量方法，其特征在于，该方法包括如下步骤：

(1)采用具有视频拍摄功能的数码设备拍摄结构物的运动视频并导入处理器；

(2)处理器获取运动视频中第一帧图像并标定目标点，以目标点为中心选取目标区域，获取目标区域的直方图反向投影；

(3)处理器获取运动视频中下一帧图像，以上一帧图像中的目标点位置为中心选取大于目标区域的图像区域作为匹配区域，对匹配区域中的各个像素点以像素点位置为中心获取与目标区域大小相等的匹配块，获取各匹配块的直方图反向投影；

(4)根据目标区域的直方图反向投影以及各匹配块的直方图反向投影进行匹配进而确定与目标区域匹配的匹配块，该匹配块的中心点为目标点在该帧图像中的位置，并将该位置作为新的目标点，该匹配块作为新的目标区域；

(5)重复执行步骤(3)～(4)得到每一帧图像中目标点所在位置，进而得到目标点的位移曲线。

2.根据权利要求1所述的一种非接触视频位移测量方法，其特征在于，所述的数码设备包括数码相机或手机。

3.根据权利要求1所述的一种非接触视频位移测量方法，其特征在于，步骤(2)中获取目标区域的直方图反向投影具体为：

(201)获取目标区域内的所有像素点并组成像素点点集{x_i}，其中i＝1,2,……n，n为目标区域内像素点总个数；

(202)获取第i个像素点x_i的灰度值c(x_i)，c(x_i)的取值为0～255；

(203)根据下式获取灰度值u在目标区域内的频率q_u：

$q_u=\underset{i=1}{\overset{n}{\Σ}}\mathrm{\δ}\[c\left(x_i\right)-u\]/n,$

其中u＝0,1,2,……255，δ为Kornecker函数，n为目标区域内像素点总个数；

(204)获取目标区域的直方图灰度频率矩阵H₁，矩阵H₁中元素依次为q₀、q₁、q₂……q₂₅₅。

4.根据权利要求1所述的一种非接触视频位移测量方法，其特征在于，步骤(3)中匹配区域选取为目标区域的1.5～2倍大小。

5.根据权利要求1所述的一种非接触视频位移测量方法，其特征在于，步骤(3)中获取各匹配块的直方图反向投影具体为：

(301)选取匹配区域左上角像素点为基准点，基准点坐标为(x₀，y₀)，以基准点为坐标原点建立直角坐标系，其中基准点向右延伸为x轴正方向，基准点向下延伸为y轴正方向；

(302)建立状态转移函数：

$f(x,y,k)=\left\{\begin{array}{cc}f(x-1,y,k)+f(x,y-1,k)-f(x-1,y-1,k)& k\≠I(x,y),x>x_0,y>y_0\\ f(x-1,y,k)+f(x,y-1,k)-f(x-1,y-1,k)+1& k=I(x,y),x>x_0,y>y_0\end{array}\right.$

$f(x_0,y,k)=\left\{\begin{array}{cc}f(x_o,y-1,k)& k\≠I(x_0,y),y>y_0\\ f(x_o,y-1,k)+1& k=I(x_0,y),y>y_0\end{array}\right.$

$f(x,y_0,k)=\left\{\begin{array}{cc}f(x-1,y_o,k)& k\≠I(x,y_0),x>x_0\\ f(x-1,y_o,k)+1& k=I(x,y_0),x>x_0\end{array}\right.,$

其中，基准点边界条件为：

$f(x_0,y_0,k)=\left\{\begin{array}{cc}0& k\≠I(x_0,y_0)\\ 1& k=I(x_0,y_0)\end{array}\right.,$

f(x,y,k)为以基准点为左上角，点(x，y)为右下角组成的矩形框内灰度值为k的像素点总个数，k＝0,1,2,……255，I(x,y)为点(x，y)的灰度值；

(303)获取待匹配块左上角像素点坐标为(x₁，y₁)，右下角像素点坐标为(x₂，y₂)，根据下式计算灰度值k在待匹配块内的频率q_k：

q_k＝[f(x₂,y₂,k)-f(x₁,y₂,k)-f(x₂,y₁,k)+f(x₁,y₁,k)]/n，

其中，n为待匹配块内像素点总个数；

(304)获取第p个待匹配块直方图灰度频率矩阵H_p，矩阵H_p中元素依次为q₀、q₁、q₂……q₂₅₅。

6.根据权利要求1所述的一种非接触视频位移测量方法，其特征在于，步骤(4)中所述的根据目标区域的直方图反向投影以及各匹配块的直方图反向投影进行匹配进而确定与目标区域匹配的匹配块具体为：

(401)根据目标区域的直方图方向投影得到目标区域的直方图灰度频率矩阵H，矩阵H中元素依次为灰度值0～255在目标区域内的频率，求取第p个待匹配块的直方图反向投影获取待匹配块的直方图灰度频率矩阵H_p，矩阵H_p中元素依次为灰度值0～255在待匹配块内的频率，p＝1,2,……m，m为待匹配块总个数；

(402)根据下式分别计算目标区域和第p个待匹配块之间的巴氏距离修正值：

$D(H,H_p)=\frac{1}{{(x_p-x_0)}^2+{(y_p-y_0)}^2+1}\sqrt{1-\frac{1}{\sqrt{\stackrel{\‾}{H}*{\stackrel{\‾}{H}}_p*N^2}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{H\left(j\right)*H_p\left(j\right)}},$

其中，(x₀，y₀)为目标区域中心点的位置坐标，(x_p，y_p)为第p个待匹配块中心点的位置坐标，为矩阵H中所有元素的平均值，为矩阵H_p中所有元素的平均值，N为灰度值总个数，N＝256，H(j)为矩阵H中第j个元素，H_p(j)为矩阵H_p中第j个元素；

(403)选取D(H,H₁)、D(H,H₂)、……D(H,H_m)中的最小值，将该最小值对应的待匹配块确定为与目标区域匹配的匹配块。