CN110969601A - 基于视觉特征跟踪算法的结构转动响应非接触式识别方法 - Google Patents

Abstract

本发明涉及一种基于视觉特征跟踪算法的结构转动响应非接触式识别方法，该方法通过获取结构在动力荷载下视觉图像帧序列，利用特征点算法识别目标关键部位周围有效特征点，借助前后帧特征点的仿射变换矩阵可以精准的识别目标区域的转动响应。与现有技术相比，本发明方法弥补了传统转角测量技术需要布置靶点以及计算量大的缺点，为结构关键部位转动响应监测提供一种有效的技术方法。

Description

基于视觉特征跟踪算法的结构转动响应非接触式识别方法

技术领域

本发明涉及基于运动图像的计算机跟踪识别技术领域，尤其是涉及一种基于视觉特征跟踪算法的结构转动响应非接触式识别方法。

背景技术

传统结构响应监测关注水平向位移，通过接触式位移传感器或者通过布置靶点进行量测，较少关注结构转动响应的监测。目前，结构转动响应主要依赖位移计等测量其不同位置处的位移差值，进而反演相应角度。其过程需要接触式或设置人工靶点，手动操作步骤繁琐，后期计算也费时费力，且无法监测对于结构运动下的转角。另外，利用人工靶点与红外等设备的成本较高。

计算机视觉在近年来飞速发展，成为了非常热门的人工智能方向之一。计算机视觉已广泛应用于目标检测和追踪、人脸识别、智能驾驶等领域。在土木方面则多用来进行裂缝识别和定位、结构损伤定性以及识别结构在动力荷载中的转动。然而目前尚未有一套完整的方法来识别和追踪动力荷载作用下结构节点的转动响应。为追踪动力荷载作用下结构节点的转动响应，现有方法大多采用传统转角测量技术，该技术需要布置靶点却计算量，对于结构关键部位转动响应的识别监测效果较差。

现有的运动目标跟踪算法包括基于主动轮廓的跟踪、基于区域的跟踪、基于对运动目标建模的跟踪、基于特征的跟踪。基于主动轮廓的跟踪考虑整体轮廓的几何信息，可靠性强，但其计算量大，对于快速运动的物体跟踪效果较差。当目标未被遮挡时，基于区域的跟踪方法的跟踪精度非常高，且跟踪非常稳定，但目标一旦被遮挡精度则会下降。基于模型的跟踪不易受观测视角的影响，模型匹配跟踪精度高，但分析复杂，计算速度慢，实时性差，准确建立运动模型是模型匹配能否成功的关键。基于特征的跟踪对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务。缺点则是对于图像模糊、噪声等比较敏感。上述跟踪算法各有优缺点，只需对其缺点进行一些改进，便可获得较好的识别效果。目前也存在一些针对上述算法的改进，但如何利用这些算法准确识别并追踪动力荷载中框架结构梁柱节点和联肢剪力墙连梁在内结构关键部位转角响应仍是急需解决的难题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉特征跟踪算法的结构转动响应非接触式识别方法。

本发明的目的可以通过以下技术方案来实现：

基于视觉特征跟踪算法的结构转动响应非接触式识别方法，具体步骤如下：

S1、获取待检测动力荷载中框架结构的视觉图像帧序列。

S2、对获取的视觉图像帧序列进行预处理，选取感兴趣的区域。

S3、对感兴趣的区域截取包括整段动力荷载过程在内的时间段帧序列。

S4、利用特征点检测算法提取动力荷载中框架结构的梁柱节点和联肢剪力墙连梁在内结构关键部位特征点，并筛选跟踪点；随机筛选视频图像帧的三维空间中同一平面的多个有效特征点作为跟踪点。

有效特征点包括梁柱角点附近的点、人工的标定点。

利用的特征点检测算法包括MinEigen特征点检测算法、Harris特征点检测算法、BRISKF特征点检测算法、FAST特征点检测算法、SURF特征点检测算法。

S5、利用视觉特征跟踪算法，基于特征进行特征点跟踪，持续寻找下一帧对应上一帧的特征信息，标记并重复此步骤。优选地，采用KLT追踪算法追踪进行特征点跟踪。

具体内容为：

定义同一特征点出现在两帧图像A、B中，若两帧图像中出现匹配的两个点，则以此两个点为中心，获取窗口存在极小的灰度平方差ε，其表达式为：

ε＝∫∫_W[A(x)-B(x+d)]²ω(x)dx

式中，x＝(x,y)^T为坐标，d＝(dx,dy)^T为偏移量，ω(x)为权重函数；为获取最佳匹配，令ε最小，则找到图像A中的特征点x对应的图像B中的特征点x+d，即实现特征点的跟踪。

S6、逐帧显示图像帧序列，利用特征进行特征点跟踪，并比较前一帧和后一帧特征点的变化，计算前后帧的仿射变换矩阵。

仿射变换矩阵的表达式为：

式中，(s,θ,t_x,t_y)为同一平面内特征点的仿射变换矩阵的四个自由度，其中，s为均匀伸缩量，θ为转角，t_x为x方向的后一帧图像相对于前一帧图像的平面刚体位移，t_y为y方向的后一帧图像相对于前一帧图像的平面刚体位移。

S7、根据仿射变换矩阵计算后一帧相对于前一帧特征点变化的转角大小，将获取的转角大小作为结构关键部位的转角时程。

其中，后一帧相对于前一帧特征点变化的转角大小的表达式为：

式中：

a＝s cos(θ),b＝s sin(θ)

S8、对获取的转角时程进行滤波修正，获取最终动力荷载下结构关键部位转角响应时程。优选地，对获取的转角时程进行傅里叶变换滤波修正。

与现有技术相比，本发明的有益效果为：

一、本发明提供了一种识别和跟踪包括动力荷载过程中框架结构梁柱节点和联肢剪力墙连梁在内结构关键部位转动响应的思路和方法，对于不同的动力荷载，均有良好的识别效果，且能在视频中对侦测结果实施跟踪；

二、本发明方法基于计算机视觉特征跟踪算法，利用一段记录了结构运动过程的视频，便可以识别结构转动响应，监测前期无需布置大量靶点，操作更加简单可行，弥补了传统转角测量技术需要布置靶点以及计算量大的缺点，省时省力，同时节省成本，为结构关键部位转动响应监测提供一种有效的技术方法。

附图说明

图1为实施例中本发明方法的流程示意图；

图2为实施例中利用本发明方法识别的转角响应时程与实际转角相应时程的对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。

本实施例的实施方案使用了KLT追踪算法，但本发明方法不局限于使用KLT追踪算法。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

KLT追踪算法属于一种改进的特征跟踪算法。KLT角点跟踪算法全称Kanade-Lucas-Tomasi Tracking，又称LK跟踪算法，是经典的角点跟踪算法。该方法在满足以下三个条件时能发挥良好的效果：(1)亮度恒定。(2)时间连续或者运动位移小。(3)空间一致性，邻近点有相似运动，保持相邻。

本实施例流程图如图1所示，基于视觉特征跟踪算法的结构转动响应非接触式识别方法，包括如下步骤：

步骤一、利用相机拍摄待检测动力荷载框架结构，获取某一段结构在动力荷载作用下的一个三层框架结构的视觉图像帧序列。

步骤二、对拍摄到的视频进行预处理(包括视频稳定处理、图像去噪与增强处理)，并对视觉图像选取某一感兴趣的区域，其中包含一层梁柱节点。

步骤三、对感兴趣的区域截取感兴趣的时间段帧序列，需要注意的是，截取的时间段帧序列需要保证整个动力荷载过程都在这个时间段中。

步骤四、利用MinEigen、Harris、BRISKF、FAST、SURF等特征点检测算法提取结构关键部位周围的有效特征点，筛选三维空间中同一平面的若干个有效特征点作为跟踪点。

有效特征点是指梁柱角点附近的点、一些人工的标定点。优选地，筛选的有效特征点的个数一般不超过20个。

步骤五、基于特征进行特征点跟踪，不断寻找下一帧对应上一帧的特征信息，标记并重复这一步。具体地：

基于KLT算法追踪特征点的基本原理是：定义同一目标(特征点)出现在两帧图像A、B中，如果图像中两个点匹配，那么以这两个点为中心，求取窗口存在极小的灰度平方差ε，定义为：

ε＝∫∫_W[A(x)-B(x+d)]²ω(x)dx

其中，坐标x＝(x,y)^T，偏移量d＝(dx,dy)^T，一般地设置权重函数ω(x)＝1，为了得到最佳匹配，令ε最小，则可以找到图像A中的特征点x对应的图像B中的特征点x+d，如此便实现了特征点的跟踪。

步骤六、逐帧显示图像帧序列，利用特征进行特征点跟踪，并保证每一帧特征点的个数大于等于2。

步骤七、逐帧比较前一帧和后一帧特征点的变化，计算前后帧的仿射变换矩阵，并记录下所有仿射变换矩阵，每一个仿射变换矩阵对应着后一帧图像相对于前一帧图像的变换方式。

同一平面内特征点的仿射变换矩阵有4个自由度(s,θ,t_x,t_y)，分别是均匀伸缩量s，转角θ(逆时针为正)，x方向的后一帧图像相对于前一帧图像的平面刚体位移t_x，y方向的后一帧图像相对于前一帧图像的平面刚体位移t_y，则仿射变换矩阵如下：

步骤八、利用仿射变换矩阵计算后一帧相对于前一帧特征点变化的转角大小。由于特征点在空间中均属于同一平面，因此特征点变化的转角大小即可近似认为是目标关键部位的转动大小。其转角大小的表达式为：

式中：

a＝s cos(θ),b＝s sin(θ)

每一帧对应的转角大小即为得到结构关键部位的转角时程。

步骤九、利用快速傅里叶变换对转角时程进行滤波，过滤其频率过大和过小的噪声，对转角时程进行修正，最终得到动力荷载下结构关键部位转角响应时程曲线。本实施例对于实际处理的动力荷载下结构关键部位转角响应时程曲线与红外测得的实际转角数据进行了对比，如图2所示，可见本发明最终获取的转角响应时程有着较高的精确度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.基于视觉特征跟踪算法的结构转动响应非接触式识别方法，其特征在于，包括下列步骤：

1)获取待检测动力荷载中框架结构的视觉图像帧序列；

2)对获取的视觉图像帧序列进行预处理，选取感兴趣的区域；

3)对感兴趣的区域截取包括整段动力荷载过程在内的时间段帧序列；

4)利用特征点检测算法提取动力荷载中框架结构的梁柱节点和联肢剪力墙连梁在内结构关键部位特征点，并筛选跟踪点；

5)利用视觉特征跟踪算法，基于特征进行特征点跟踪，持续寻找下一帧对应上一帧的特征信息，标记并重复此步骤；

6)逐帧显示图像帧序列，利用特征进行特征点跟踪，并比较前一帧和后一帧特征点的变化，计算前后帧的仿射变换矩阵；

7)根据仿射变换矩阵计算后一帧相对于前一帧特征点变化的转角大小，将获取的转角大小作为结构关键部位的转角时程；

8)对获取的转角时程进行滤波修正，获取最终动力荷载下结构关键部位转角响应时程。

2.根据权利要求1所述的基于视觉特征跟踪算法的结构转动响应非接触式识别方法，其特征在于，步骤4)中，随机筛选视频图像帧的三维空间中同一平面的多个有效特征点作为跟踪点。

3.根据权利要求1所述的基于视觉特征跟踪算法的结构转动响应非接触式识别方法，步骤4)中，利用的特征点检测算法包括MinEigen特征点检测算法、Harris特征点检测算法、BRISKF特征点检测算法、FAST特征点检测算法、SURF特征点检测算法。

4.根据权利要求1所述的基于视觉特征跟踪算法的结构转动响应非接触式识别方法，其特征在于，步骤5)中，采用KLT追踪算法追踪进行特征点跟踪。

5.根据权利要求4所述的基于视觉特征跟踪算法的结构转动响应非接触式识别方法，其特征在于，采用KLT追踪算法追踪进行特征点跟踪的具体内容为：

定义同一特征点出现在两帧图像A、B中，若两帧图像中出现匹配的两个点，则以此两个点为中心，获取窗口存在极小的灰度平方差ε，其表达式为：

ε＝∫∫_W[A(x)-B(x+d)]²ω(x)dx

式中，x＝(x,y)^T为坐标，d＝(dx,dy)^T为偏移量，ω(x)为权重函数；为获取最佳匹配，令ε最小，则找到图像A中的特征点x对应的图像B中的特征点x+d，即实现特征点的跟踪。

6.根据权利要求1所述的基于视觉特征跟踪算法的结构转动响应非接触式识别方法，其特征在于，步骤6)中，仿射变换矩阵的表达式为：

式中，(s,θ,t_x,t_y)为同一平面内特征点的仿射变换矩阵的四个自由度，其中，s为均匀伸缩量，θ为转角，t_x为x方向的后一帧图像相对于前一帧图像的平面刚体位移，t_y为y方向的后一帧图像相对于前一帧图像的平面刚体位移。

7.根据权利要求6所述的基于视觉特征跟踪算法的结构转动响应非接触式识别方法，其特征在于，步骤7)中，后一帧相对于前一帧特征点变化的转角大小的表达式为：

式中：

a＝s cos(θ),b＝s sin(θ)。

8.根据权利要求1所述的基于视觉特征跟踪算法的结构转动响应非接触式识别方法，其特征在于，步骤8)中，对获取的转角时程进行傅里叶变换滤波修正。

Images