CN110823358A - 一种基于视觉处理的建筑振动位移测量方法 - Google Patents

Abstract

本发明涉及一种基于视觉处理的建筑振动位移测量方法，属于视觉测量领域，包括：图像增强：对图像像素梯度进行提取，对像素梯度和强度进行融合，生成融合图像；图像匹配：采用相位相关法，将两个相关图像在空间域中的位移转换为频域的线性相位差，利用快速傅里叶变换FFT，将时域信号变换到频域，在频域里得到模板和目标图像的互功率谱，再对互功率谱做IFFT变换得到一个狄拉克函数，即脉冲函数，然后寻找该狄拉克函数的峰值坐标，得到整像素级位移量；亚像素插值法：对整像素级位移量采用亚像素插值法，使位移的测量结果达到亚像素级。本发明避免了梯度信息的损失，增强图像的边缘信息，运算速度更快，测量结果精度更高。

Description

一种基于视觉处理的建筑振动位移测量方法

技术领域

本发明属于视觉测量领域，具体为一种基于视觉处理的建筑振动位移测量方法。

背景技术

地震是自然灾害之一，具有很强的破坏力。即便是小震后，没有造成建筑物坍塌也会对建筑物的结构造成一定程度的损伤。这种损伤会在持续的余震或其它自然环境中进一步加大，因此，建筑物损伤状况的监测尤为重要。建筑物等低频结构在发生振动时，横向运动对建筑物结构的破坏力较大。因此在工程中，人们更加关注建筑物振动时横向运动的相对位移。

位移测量方法根据安装方式可以分为两种：接触式和非接触式。接触式位移传感器诸如千分表、线性位移传感器等，这些位移传感器安装比较繁琐，费时费力，而且还需要在测量点附近有一个固定的平台作为参考。非接触式测量位移的方法有全球定位系统(GPS)和激光多普勒振动仪，但是GPS测量精度一般只能达到厘米级，很难达到毫米及以下，且使用高精度GPS测量位移的成本远远高于基于视觉设备；激光多普勒振动仪虽然对横向运动干扰不敏感，微小位移测量性能好，但是长时间使用激束可能会对人类安全造成影响，且该设备的成本也比基于视频设备要高。

近几年来，基于视频图像处理的位移传感系统被开发出来，比较新的微小位移测量技术有Fukuda等提出的方向码匹配(OCM)技术和Luo等提出的边缘增强匹配(EEM)技术。OCM技术利用量化后的图像梯度方向角跟踪目标，实现位移测量。EEM技术首先结合了图像的梯度大小和方向角信息，并对其进行量化，再将量化后的信息与像素强度进行融合，以达到增强图像边缘的效果。但是这两种方法在梯度信息量化过程中，都会对原始图像信息造成了一定程度的损失，从而对图像的匹配精度也会造成影响，且EEM算法使用归一化互相关法进行匹配运算，计算量大，匹配速度慢。

发明内容

有鉴于此，本发明的目的在于提供一种基于视觉处理的建筑振动位移测量方法，用于实现微小振动位移的测量。

为达到上述目的，本发明提供如下技术方案：

一种基于视觉处理的建筑振动位移测量方法，包括：

图像增强：对图像像素梯度进行提取，对像素梯度和强度进行融合，生成融合图像，增强图像的边缘信息；

图像匹配：采用相位相关法，将两个相关图像在空间域中的位移转换为频域的线性相位差，利用快速傅里叶变换FFT，将时域信号变换到频域，在频域里得到模板和目标图像的互功率谱，再对互功率谱做IFFT变换得到一个狄拉克函数，即脉冲函数，然后寻找该狄拉克函数的峰值坐标，得到整像素级位移量，实现快速计算目标的相对位移的目的；

亚像素插值法：对整像素级位移量采用亚像素插值法，使位移的测量结果达到亚像素级，提高测量精度。

进一步，所述图像增强具体包括以下步骤：

S11：首先将视频图像序列每一帧取出，将其转换成灰度图像，再提取出灰度图像像素的梯度方向和幅度；假设I(x,y)表示灰度图像，其中(x,y)表示当前像素的位置，它的水平方向和垂直方向导数分别为：

S12：为了减少梯度信息的损失，不对梯度信息进行量化，而是仅仅将低于某一阈值Г的部分进行如下处理，增强边缘信息，提高匹配精度：

其中Γ是一个预先设定的阈值，用于忽略低对比度像素，因为低对比度邻域内的像素对噪声更加敏感，Γ值根据具体的实际问题、实际环境设定；L是一个比较大的值，为分配给C(x,y)的无效代码；

S13：将得到的C(x,y)与该处像素强度融合，生成融合图像：

NIEM＝α×C×I+(1-α)×I

融合图像NIEM是基于条件0＜α≤1下的像素级融合函数，I是灰度图像在(x,y)处的像素强度I(x,y)。

进一步，为了降低运算量，选取每帧图片黑白格标靶所在的感兴趣区域ROI(region of interest)；视频序列的第一帧默认为参考图像，假设后续每一帧的位移目标都在ROI范围内，然后在后续视频序列中检测目标坐标，并依次用于更新ROI。

进一步，所述图像匹配具体包括以下步骤：

S21：采用相位相关法，将两个相关图像在空间域中的位移转换为频域的线性相位差；假设f(x,y)、g(x,y)分别是两幅图像的信号，其中g(x,y)是由f(x,y)平移得到，平移距离是(d_x,d_y)，即：

g(x,y)＝f(x-d_x,y-d_y)

S22：对其做傅里叶变换，即：

S23：对G(u,v)左右两边同时除以F(u,v)，得到互功率谱H(u,v)：

其中，G^*是G的复共轭函数，对互功率谱做IFFT变换得到狄拉克函数δ，寻找该δ函数峰值处所对应的坐标，得到图像的整像素级位移量。

进一步，对整像素级位移量利用亚像素插值法，使得测量结果达到1/15像素的亚像素精度。

进一步，在所述亚像素插值法中，将亚像素位移转换成实际物理位移，包括以下步骤：

S31：根据插值得到的亚像素坐标(x_sub,y_sub)与参考模板上目标的原始坐标(x₀,y₀)进行比较，得到亚像素位移；由于该方法只关心横向相对位移，因此这里只列出横向相对位移Δx的计算方法。

Δx＝x_sub-x₀

S32：根据转换因子CF(Conversion Factor)换算成实际物理位移：

Δx_mm＝Δx×CF

其中，CF是给定目标的横向物理尺寸d_mm与该目标在图像上相应像素尺寸d_pixel之比，称为转换因子；通过亚像素位移Δx乘以转换因子CF得到实际物理位移Δx_mm。

进一步，真实位移由激光传感器测出，然后将其与该测量方法计算出的物理位移进行比较。

本发明的有益效果在于：

1.本发明算法提出对像素的梯度信息不进行量化，仅仅将低于某一阈值的部分进行特殊处理后，将其与像素强度融合，避免了梯度信息的损失，增强图像的边缘信息。

2.运算速度更快，相位相关法只取频域里图像的相位信息，时间复杂度降低，匹配速度比归一化互相关法提升了96.1％，算法的整体时间复杂度比OCM降低了43.3％，比EEM降低了19.6％。

3.利用亚像素插值法，使得测量结果达到1/15像素的亚像素精度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所涉基于视觉处理的建筑振动位移测量方法流程示意图；

图2为相位相关法计算流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明设计的一种基于视觉处理的建筑振动位移测量方法包括图像增强技术、图像匹配方法和亚像素插值法三个部分。第一部分是融合图像像素的梯度信息和像素强度，增强图像边缘；第二部分是将融合后的图像使用频域相位相关法，实现快速匹配运算；第三部分是利用亚像素插值法，使测量位移结果达到亚像素精度，再根据转换因子，转换成物理位移。

1.图像增强技术

(1)首先将视频图像序列每一帧取出，将其转换成灰度图像，再提取出灰度图像像素的梯度方向和幅度。假设I(x,y)表示灰度图像，其中(x,y)表示当前像素的位置，它的水平方向和垂直方向导数分别为：

(2)为了减少梯度信息的损失，不对梯度信息进行量化，而是仅仅将低于某一阈值Г的部分进行特殊处理，增强边缘信息，提高匹配精度。处理方式如下：

这里的Γ是一个预先设定的阈值，用于忽略低对比度像素，因为低对比度邻域内的像素对噪声更加敏感。Γ值根据具体的实际问题、实际环境来设定。L是一个比较大的值，作为无效代码分配给C(x,y)。

(3)将得到的C(x,y)与该处像素强度融合，生成融合图像：

NIEM＝α×C×I+(1-α)×I (4)

融合图像NIEM是基于条件0＜α≤1下的像素级融合函数，I是灰度图像在(x,y)处的像素强度I(x,y)。

2.图像匹配方法

如图2所示，相位相关法本质上是将两个相关图像在空间域中的位移转换为频域的线性相位差，利用快速傅里叶变换FFT，将时域信号变换到频域，在频域里得到模板和目标图像的互功率谱，再对互功率谱做IFFT变换得到一个狄拉克函数(脉冲函数)，然后寻找该狄拉克函数的峰值坐标，即可得到偏移量。

假设f(x,y)、g(x,y)分别是两幅图像的信号，其中g(x,y)是由f(x,y)平移得到，平移距离是(d_x,d_y)，即：

g(x,y)＝f(x-d_x,y-d_y) (5)

对其做傅里叶变换，即：

将(6)式左右两边同时除以F(u,v)，得到互功率谱H(u,v)，如(7)式所示：

其中，G^*是G的复共轭函数。对互功率谱做IFFT变换得到狄拉克函数δ，寻找该δ函数峰值处所对应的坐标，即可得到图像的整像素级位移量。

3.亚像素插值法

本发明采用的是亚像素三次方样条数据插值法，选择插值到1/15像素。根据插值得到的亚像素坐标(x_sub,y_sub)与参考模板上目标的原始坐标(x₀,y₀)进行比较，得到亚像素位移。由于该发明只关心建筑物的横向相对位移，因此这里只列出横向相对位移Δx的计算方法。

Δx＝x_sub-x₀ (8)

根据转换因子CF(Conversion Factor)换算成实际物理位移，具体形式如式(9)、(10)所示：

Δx_mm＝Δx×CF (10)

其中，CF是给定目标的横向物理尺寸d_mm与该目标在图像上相应像素尺寸d_pixel之比，又称为转换因子。亚像素位移Δx乘以转换因子CF即可得到实际物理位移Δx_mm。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于视觉处理的建筑振动位移测量方法，其特征在于：包括：

图像增强：对图像像素梯度进行提取，对像素梯度和强度进行融合，生成融合图像；

图像匹配：采用相位相关法，将两个相关图像在空间域中的位移转换为频域的线性相位差，利用快速傅里叶变换FFT，将时域信号变换到频域，在频域里得到模板和目标图像的互功率谱，再对互功率谱做IFFT变换得到一个狄拉克函数，即脉冲函数，然后寻找该狄拉克函数的峰值坐标，得到整像素级位移量；

亚像素插值法：对整像素级位移量采用亚像素插值法，使位移的测量结果达到亚像素级。

2.根据权利要求1所述的基于视觉处理的建筑振动位移测量方法，其特征在于：所述图像增强具体包括以下步骤：

S11：首先将视频图像序列每一帧取出，将其转换成灰度图像，再提取出灰度图像像素的梯度方向和幅度；假设I(x,y)表示灰度图像，其中(x,y)表示当前像素的位置，它的水平方向和垂直方向导数分别为：

S12：将低于某一阈值Г的部分进行如下处理：

其中Γ是一个预先设定的阈值，用于忽略低对比度像素，Γ值根据具体的实际问题、实际环境设定；L为分配给C(x,y)的无效代码；

S13：将得到的C(x,y)与该处像素强度融合，生成融合图像：

NIEM＝α×C×I+(1-α)×I

融合图像NIEM是基于条件0＜α≤1下的像素级融合函数，I是灰度图像在(x,y)处的像素强度I(x,y)。

3.根据权利要求2所述的基于视觉处理的建筑振动位移测量方法，其特征在于：为了降低运算量，选取每帧图片黑白格标靶所在的感兴趣区域ROI；视频序列的第一帧默认为参考图像，假设后续每一帧的位移目标都在ROI范围内，然后在后续视频序列中检测目标坐标，并依次用于更新ROI。

4.根据权利要求1所述的基于视觉处理的建筑振动位移测量方法，其特征在于：所述图像匹配具体包括以下步骤：

S21：采用相位相关法，将两个相关图像在空间域中的位移转换为频域的线性相位差；假设f(x,y)、g(x,y)分别是两幅图像的信号，其中g(x,y)是由f(x,y)平移得到，平移距离是(d_x,d_y)，即：

g(x,y)＝f(x-d_x,y-d_y)

S22：对其做傅里叶变换，即：

S23：对G(u,v)左右两边同时除以F(u,v)，得到互功率谱H(u,v)：

其中，G^*是G的复共轭函数，对互功率谱做IFFT变换得到狄拉克函数δ，寻找该δ函数峰值处所对应的坐标，得到图像的整像素级位移量。

5.根据权利要求1所述的基于视觉处理的建筑振动位移测量方法，其特征在于：对整像素级位移量利用亚像素插值法，使得测量结果达到1/15像素的亚像素精度。

6.根据权利要求5所述的基于视觉处理的建筑振动位移测量方法，其特征在于：在所述亚像素插值法中，将亚像素位移转换成实际物理位移，包括以下步骤：

S31：根据插值得到的亚像素坐标(x_sub,y_sub)与参考模板上目标的原始坐标(x₀,y₀)进行比较，得到亚像素位移；

Δx＝x_sub-x₀

S32：根据转换因子CF换算成实际物理位移：

Δx_mm＝Δx×CF

其中，CF是给定目标的横向物理尺寸d_mm与该目标在图像上相应像素尺寸d_pixel之比，称为转换因子；通过亚像素位移Δx乘以转换因子CF得到实际物理位移Δx_mm。

7.根据权利要求6所述的基于视觉处理的建筑振动位移测量方法，其特征在于：真实位移由激光传感器测出，然后将其与该测量方法计算出的物理位移进行比较。

Images