CN116753843B - 工程结构动态位移监测方法、装置、设备及存储介质 - Google Patents
工程结构动态位移监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116753843B CN116753843B CN202310573399.1A CN202310573399A CN116753843B CN 116753843 B CN116753843 B CN 116753843B CN 202310573399 A CN202310573399 A CN 202310573399A CN 116753843 B CN116753843 B CN 116753843B
- Authority
- CN
- China
- Prior art keywords
- displacement
- monitoring target
- monitoring
- pixel
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 412
- 238000012544 monitoring process Methods 0.000 title claims abstract description 254
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims description 44
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012806 monitoring device Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000036541 health Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 21
- 238000004364 calculation method Methods 0.000 description 14
- 238000000691 measurement method Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种工程结构动态位移监测方法、装置、设备及存储介质，该方法包括：获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。也即，通过相机和核相关滤波算法实现高精度的位移测量，检测并连续追踪到物体微小的位移变化，提高工程结构位移监测稳定性与监测精度。
Description
技术领域
本发明涉及土木工程技术领域，尤其涉及一种工程结构动态位移监测方法、装置、设备及存储介质。
背景技术
近20年来，结构健康监测已经成为土木工程领域热门的研究方向，其目的在于通过对目标结构在服役期间的各类荷载和结构响应进行监测、分析和识别，从而实现对其结构性能和安全状态的评估。监测结构的静态和动态位移可以为结构安全评估和维护目的提供定量信息，结构的静、动态特性如承载力、挠度、变形、模态参数等可以通过结构位移进行计算，从而进一步换算为相应的物理指标进行结构安全评估。然而，该方式中传感器及其数据采集系统的安装繁琐、耗时和昂贵，导致其操作成本非常高。
目前常用的位移测量方法包括接触式和非接触式两类，其中接触式位移测量方法中当前应用最广泛的是位移传感器，其量程是固定的，只能进行单点方向位移的测量，同时易受调频干扰和静电干扰，对电压的稳定性要求很高。非接触式位移测量方法中激光测距是比较常用的一种位移测量方式，全站型电子速测仪是激光测量的代表，其激光亮度高、方向性好，但是激光容易受到外部环境的影响，当目标移动时容易丢失目标点，所以速测仪不适合用来连续测量，只适合在某些时刻对静态物体进行测距；
因此，针对当前常用的位移测量方法的问题，迫切需要发展一种智能方法对工程结构动态位移进行实时监测。
发明内容
本发明提供一种工程结构动态位移监测方法、装置、设备及存储介质，用以解决现有技术中工程结构位移监测不稳定、无法连续测量，导致难以准确的对工程结构动态监测的问题，实现通过高分辨率的相机和精密的图像处理算法实现高精度的位移测量，检测并连续追踪到物体微小的位移变化，提高工程结构位移监测稳定性与监测精度。
本发明提供一种工程结构动态位移监测方法，所述方法包括：
获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；
获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；
根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
根据本发明提供的一种工程结构动态位移监测方法，所述根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移的步骤，包括：
计算所述第一坐标与所述第二坐标的位置差值，得到整像素位移；
获取通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪时得到的响应置信图；
基于所述响应置信图中响应值数据，计算出亚像素位移；
对所述整像素位移与所述亚像素位移求和，得到所述监测目标的像素动态位移。
根据本发明提供的一种工程结构动态位移监测方法，所述基于所述响应置信图中响应值数据，计算出亚像素位移的步骤，包括：
基于所述响应置信图中的响应值数据，采用拉格朗日插值法与牛顿迭代法，计算出所述监测目标的亚像素位移。
根据本发明提供的一种工程结构动态位移监测方法，所述将所述像素动态位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果的步骤，包括：
获取预设的比例因子，所述比例因子用于图像坐标系与世界坐标系中位置信息的转换；
计算所述比例因子与像素动态位移的乘积，得到所述监测目标的实际动态位移，基于所述实际动态位移确定工程结构动态位移监测结果。
根据本发明提供的一种工程结构动态位移监测方法，所述将所述像素位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果的步骤之后，所述方法还包括：
获取预设的监测时间内所述监测目标的多个所述实际动态位移，生成所述监测目标的位移曲线图，基于所述位移曲线图中数据分析工程结构健康状态。
根据本发明提供的一种工程结构动态位移监测方法，所述确定所述位移视频的多帧位移图像中监测目标的步骤之前，所述方法还包括：
基于所述相机对预设标定物的成像平面进行标定，得到所述相机的畸变矩阵；
采用所述畸变矩阵对所述位移视频进行畸变校准，得到校准后的位移视频；
所述确定所述位移视频的多帧位移图像中监测目标，包括：
在所述校准后的位移视频中每一帧位移图像中确定监测目标。
本发明还提供一种工程结构动态位移监测装置，包括：
第一获取模块，用于获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；
第二获取模块，用于获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；
位移监测模块，用于根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
本发明还提供一种工程结构动态位移监测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述工程结构动态位移监测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述工程结构动态位移监测方法。
本发明提供的工程结构动态位移监测方法、装置、设备及存储介质，获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。也即，通过相机和核相关滤波算法实现高精度的位移测量，检测并连续追踪到物体微小的位移变化，提高工程结构位移监测稳定性与监测精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的工程结构动态位移监测方法的流程示意图之一；
图2是本发明提供的工程结构动态位移监测方法的流程示意图之二；
图3是本发明提供的工程结构动态位移监测方法中工程结构动态位移监测系统示意图；
图4是本发明提供的工程结构动态位移监测方法中位移曲线图；
图5是本发明提供的工程结构动态位移监测设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的工程结构动态位移监测方法，参照图1、图2，所述工程结构动态位移监测方法包括：
步骤S100，获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；
步骤S200，获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；
步骤S300，根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
本实施例旨在：基于机器视觉的方式，获取工程结构中检测目标的动态位移变化确定工程结构的动态位移，从而为结构健康监测提供可靠的数据来源，实现工程结构监测的效率。
在本实施例中，针对的具体应用场景是：
结构健康监测已经成为土木工程领域热门的研究方向，其目的在于通过对目标结构在服役期间的各类荷载和结构响应进行监测、分析和识别，从而实现对其结构性能和安全状态的评估。监测结构的静态和动态位移可以为结构安全评估和维护目的提供定量信息，结构的静、动态特性如承载力、挠度、变形、模态参数等可以通过结构位移进行计算，从而进一步换算为相应的物理指标进行结构安全评估。然而，该方式中传感器及其数据采集系统的安装繁琐、耗时和昂贵，导致其操作成本非常高。
鉴于上述原因，目前常用的位移测量方法包括接触式和非接触式两类，其中接触式位移测量方法中当前应用最广泛的是位移传感器，其量程是固定的，只能进行单点方向位移的测量，同时易受调频干扰和静电干扰，对电压的稳定性要求很高。其他的接触式位移测量方式，比如采用加速度二次积分、通过测量应变转换成位移以及基于倾角测试的位移测量，结合结构的力学特性和计算模型可以间接获得位移，但复杂的滤波技术和较大的测量误差使其无法广泛推广。此外，接触式位移测量方法需要现场布设管线和安装传感器，对于跨越道路的市政桥梁和跨江跨海的公路桥梁，因其下部有车辆或通航要求，为传感器专门搭建固定的支撑设施难以实现，不仅耗时耗力而且在必要的情况下需要中断交通。
非接触式位移测量方法中激光测距是比较常用的一种位移测量方式，全站型电子速测仪是激光测量的代表，由于激光亮度高、方向性好，所以速测仪的速度快、精度高且安全，但是激光容易受到外部环境的影响，当目标移动时容易丢失目标点，所以速测仪不适合用来连续测量，只适合在某些时刻对静态物体进行测距；超声测量是另一种常用的位移测量方法，超声测距仪的结构比较简单、体积较小且成本不高，但其精度与激光测距和位移传感器测距等相比差距大，并且超声测距对于刚性的动态测量效果不好，多用于柔性物体的位移测量。
作为一种示例，工程结构动态位移监测方法可以应用于工程结构动态位移监测系统，所述工程结构动态位移监测系统应用于工程结构动态位移监测设备中。
作为一种示例，所述工程结构动态位移监测系统包括相机、振动台、工程结构、工程结构动态位移监测装置。
作为一种示例，参照图3，相机固定在放置于振动台一侧三脚架上，工程结构底部通过螺栓安装于振动台上，振动台由输出的地震波驱动，工程结构随着振动台的振动而产生移动。使用相机拍摄工程结构的振动视频，将振动视频实时传输至工程结构动态位移监测装置，通过工程结构动态位移监测装置对工程结构动态位移监测。
作为一种示例，工程结构为土木工程领域中，对服役期内的各类荷载和结构响应进行监测、分析和识别，实现对其结构新能和安全状态评估的结构，如图3所示的六层框架结构。
作为一种示例，工程结构动态位移监测装置可以内置于相机中，或内置于其他移动终端中，或者独立于相机或其他移动终端。例如与相机连接的计算机。
作为一种示例，相机具体可以是：彩色摄像机、黑白摄像机、标清摄像机以及照相机等类型，具体不做具体限定。
作为一种示例，相机是向着工程结构安装的，即相机是面向有附着有监测目标的工程结构移动或运动方向安装，在对工程结构进行拍摄时可拍摄监测目标的正面或侧面图像，如图3所示，10为相机、20为工程结构、30为振动台、40为计算机。
在本实施例中，用于工程结构动态位移监测所需安装的设备数量较少，仅需安装相机和计算机，节省仪器成本，减少安装工作量，其使用方法简单易行，具有较高的性价比，方便在实际工程中运用。
具体步骤如下：
步骤S100，获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标。
作为一种示例，工程结构随着振动台的振动而振动，使得工程结构处于运动状态，通过相机采集运动状态下工程结构的位移视频，并将位移视频实时传输至工程结构动态位移监测装置，该装置获取位移视频后，在位移视频中确定监测目标。
作为一种示例，监测目标可以是一个或多个，可以是点或区域。
作为一种示例，理想状态下，监测目标与工程结构不发生相对运动。例如监测目标可以是工程结构上安装的加速度传感器，或者在工程结构本体上自定义的具有明显特征的目标等。
需要说明的是，为了避免在工程结构运动时，对监测目标追踪失败或产生追踪误差，监测目标为在运动过程中不发生形变的物体。
在本实施例中，可以同时测量多个监测目标的位移，快速、实时获取位移数据，及时反馈被测物体的位移信息，有利于对相关工作进行控制和调整，提高工作效率。并且，其实现过程中无需人工干预，减少了人力成本，具有广阔的应用前景。
作为一种示例，所述确定所述位移视频的多帧位移图像中监测目标的步骤之前，所述方法还包括：
步骤A11，基于所述相机对预设标定物的成像平面进行标定，得到所述相机的畸变矩阵；
步骤A12，采用所述畸变矩阵对所述位移视频进行畸变校准，得到校准后的位移视频；
所述确定所述位移视频的多帧位移图像中监测目标，包括：
步骤S110，在所述校准后的位移视频中每一帧位移图像中确定监测目标。
作为一种示例，由于相机的透镜可能使得光线在传播过程中产生畸变，导致原始图像失真，像素点位置发生偏差，因此，需要对镜头进行畸变校准。
具体的，基于相机对预设标定物的成像平面进行标定，得到相机的畸变矩阵与相机内参。标定可采用张正友标定法，预设标定物可以是黑白棋盘格标定板，标定过程不做具体限定。
通过畸变矩阵对获取的位移视频中每一帧位移图像进行畸变校准，以得到准确的位移图像。在校准后的位移视频的第一帧位移图像中框选一个或多个监测目标。
步骤S200，获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标。
作为一种示例，记录监测目标在第一帧位移图像中的第一坐标Pi(x,y)，i表示第i个监测目标。
使用KCF算法(Kernel Correlation Filter，核相关滤波算法)在第一帧位移图像之后的每一帧位移图像中对框选的监测目标进行追踪，获取监测目标在其他帧位移图像的坐标位置，即第二坐标Pi'(x',y')。
需要说明的是，为了便于计算与追踪，第一坐标与第二坐标用于记录在每一帧位移图像中监测目标左上角的位置信息。
步骤S300，根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
作为一种示例，像素动态位移由整像素位移与亚像素位移确定，用亚像素位移来计算监测目标的位移，使得监测的精度更高。
作为一种示例，所述根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移的步骤，包括：
步骤S310，计算所述第一坐标与所述第二坐标的位置差值，得到整像素位移；
步骤S320，获取通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪时得到的响应置信图；
步骤S330，基于所述响应置信图中响应值数据，计算出亚像素位移；
步骤S340，对所述整像素位移与所述亚像素位移求和，得到所述监测目标的像素动态位移。
作为一种示例，计算整像素位移具体步骤如下：
(1)设训练样本集(xi,yi)，利用求解函数f(z)＝ωTφ(z)和回归目标值yi的最小平方误差下的岭回归来解决目标追踪问题，公式为式中xi为样本数据，yi为回归目标，λ为防止过度拟合的正则化参数，ω是最优系数；
(2))对上述公式求偏导，公式为ω＝(XHX+λI)-1XHy，式中XH是Hermitian转置，表示X在复域中的共轭转置，数据矩阵X是由基础样本xi构造的n×n循环矩阵，I为单位矩阵，向量y表示回归目标值yi；
(3)将数据矩阵X在傅里叶域中进行对角化，公式为式中F是不依赖x的常数矩阵，diag表示对角化，/>是x的离散傅里叶变换，FH为F的Hermitian转置，进而可以在傅里叶域中化简ω，公式为/>式中“⊙”表示元素对位相乘，“*”表示复共轭；
(4)引入高斯核函数对数据进行非线性映射，将低维度空间的不可分问题转化为高维度空间可分问题，使用傅里叶变换后可以得到分类器系数α，表达式为式中“^”表示离散傅里叶变换，/>是样本特征x在傅里叶域的核自相关矩阵；
(5)在第一帧图像进行目标框选，对下一帧图像使用分类器进行滤波计算，其输出为式中/>表示训练样本x与检测区域z在傅里叶域的核互相关矩阵，对于计算输出的响应置信图，其响应值越大，相关性越高，响应值最大处即为目标在下一帧图像的位置，通过对/>使用傅里叶逆变换，获得目标在空间域的坐标位置Pi'(x',y')，监测目标的整像素位移为/>其中/>
作为一种示例，追踪过程中，对每一帧图像进行分类器系数更新，采用双线性插值法对目标分类器系数进行更新，公式为式中α和x分别是当前帧分类器系数向量和目标样本特征，η是学习因子。
作为一种示例，使用相机拍摄工程结构的位移视频，将位移视频图像实时传输至计算机，根据相机的畸变矩阵对位移视频的每一帧位移图像进行畸变校准。在视频第一帧位移图像中框选工程结构上安装的加速度传感器为追踪的监测目标，记录监测目标左上角位置的x坐标为122。
使用Kernel Correlation Filter算法，在之后的每一帧位移图像中对框选的监测目标进行追踪，获取监测目标在每一帧图像的坐标位置x'，计算整像素位移例如取某一帧位移图像，x'＝133，则监测目标水平方向上的整像素位移/>
作为一种示例，根据Kernel Correlation Filter算法追踪目标时输出的响应置信图，采用Lagrange插值(拉格朗日插值法)和Newton-Raphson迭代法(牛顿迭代法)计算亚像素位移δPi(δx,δy)。
作为一种示例，所述基于所述响应置信图中响应值数据，计算出亚像素位移的步骤，包括：
步骤S331，基于所述响应置信图中的响应值数据，采用拉格朗日插值法与牛顿迭代法，计算出所述监测目标的亚像素位移。
作为一种示例，计算监测目标的亚像素位移δx，具体步骤如下：
(1)以响应置信图中响应值最大点为中心，在x方向选取间隔为1个像素的7个点的点位，分别编号为x0～x6，其值分别为0.747，0.858，0.920，0.985，0.936，0.880，0.762，它们与中心点x3＝0.985的距离分别为-3、-2、-1、0、1、2、3个像素。
对以上7个响应值建立Lagrange插值多项式，公式为：R(x)＝0.985+0.007x-0.071x2+0.0006x3+0.016x4-0.0001x5-0.0012x6
(2)运用Newton-Raphson迭代法求解响应值的插值多项式的导函数R'(x)＝0的根，求出亚像素位移δx＝0.051。
可以理解，计算监测目标的亚像素位移δy的具体步骤与亚像素位移δx的具体步骤基本相同，在此不再赘述。
由此可得到监测目标的像素动态位移为ΔPi(Δx,Δy)，其中，
在本实施例中，通过高分辨率的相机和精密的图像处理算法实现高精度的位移测量，检测到微小的位移变化，达到亚像素级别的精度，计算结果更为精确。同时，该工程结构动态位移监测方法、装置、设备及存储介质可以适应各种复杂和变化的环境条件，具有较强的鲁棒性和适应性，可连续测量，以对工程结构进行健康监测。
作为一种示例，所述将所述像素动态位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果的步骤，包括：
步骤S350，获取预设的比例因子，所述比例因子用于图像坐标系与世界坐标系中位置信息的转换；
步骤S360，计算所述比例因子与像素动态位移的乘积，得到所述监测目标的实际动态位移，基于所述实际动态位移确定工程结构动态位移监测结果。
作为一种示例，在使用相机拍摄处于运动状态下工程结构的位移视频之前，记录相机与工程结构表面之间的距离、相机平面与工程结构平面之间的角度、以及相机内参，通过这些数据计算比例因子，该比例因子用于图像坐标系与世界坐标系中位置信息的转换。
例如，若相机与工程结构水平设置，只测量框架的水平位移，则俯仰角对水平位移的测量没有影响，故此处可以不对相机俯仰角进行测量。测量相机与工程框架之间的距离D为680mm，测量相机平面与工程结构平面的水平转角α为13.2度，对相机进行标定，获取到相机内参，其结合预设的计算公式，计算出图像坐标系与世界坐标系之间的比例因子。
作为一种示例，将获得的距离D、水平转角α、相机内参中的焦距f(单位为像素)带入计算比例因子SF，预设的计算公式为：
根据比例因子SF将像素动态位移转化为监测目标在三维世界下的物理位移，即实际动态位移ΔPi'(Δx',Δy')。
式中
将比例因子SF带入公式ΔPx′计算监测目标的实际动态位移中水平位移为：
需要说明的是，监测目标的实际动态位移中竖直位移ΔPy'与ΔPx'计算过程基本相同，在此不再赘述。通过ΔPx'与ΔPy'的计算能够确定运动状态下监测目标在当前帧位移图像中的动态位移状态。
所述将所述像素位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果的步骤之后，所述方法还包括：
步骤S400，获取预设的监测时间内所述监测目标的多个所述实际动态位移，生成所述监测目标的位移曲线图，基于所述位移曲线图中数据分析工程结构健康状态。
在监测时间内的位移视频中有多帧位移图像，对每一帧位移图像中的监测目标进行追踪，确定出监测目标连续性的实际动态位移变化。实际动态位移变化可通过由监测时间内实际动态位移绘制得到的可视化图形展示，参照图4，给出了监测时间内监测目标的位移曲线图，从而基于位移曲线图中数据分析工程结构健康状态。
本发明提供一种工程结构动态位移监测方法、装置、设备及存储介质，与目前工程结构位移监测不稳定、无法连续测量，导致难以准确的对工程结构动态监测相比，在本发明中，获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。也即，通过相机和核相关滤波算法实现高精度的位移测量，检测并连续追踪到物体微小的位移变化，提高工程结构位移监测稳定性与监测精度。
下面对本发明提供的工程结构动态位移监测装置进行描述，下文描述的工程结构动态位移监测装置与上文描述的工程结构动态位移监测方法可相互对应参照。
本发明还提供一种工程结构动态位移监测装置，所述装置包括：
第一获取模块，用于获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；
第二获取模块，用于获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；
位移监测模块，用于根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
和/或，所述位移监测模块还包括：
第一位移计算子模块，用于计算所述第一坐标与所述第二坐标的位置差值，得到整像素位移；
目标追踪子模块，用于获取通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪时得到的响应置信图；
第二位移计算子模块，用于基于所述响应置信图中响应值数据，计算出亚像素位移；
位移监测子模块，用于对所述整像素位移与所述亚像素位移求和，得到所述监测目标的像素动态位移。
和/或，所述第二位移计算子模块还包括：
位移计算单元，用于基于所述响应置信图中的响应值数据，采用拉格朗日插值法与牛顿迭代法，计算出所述监测目标的亚像素位移。
和/或，所述位移监测模块还包括：
数据获取子模块，用于获取预设的比例因子，所述比例因子用于图像坐标系与世界坐标系中位置信息的转换；
数据计算子模块，用于计算所述比例因子与像素动态位移的乘积，得到所述监测目标的实际动态位移，基于所述实际动态位移确定工程结构动态位移监测结果。
和/或，所述装置还包括：
数据处理模块，用于获取预设的监测时间内所述监测目标的多个所述实际动态位移，生成所述监测目标的位移曲线图，基于所述位移曲线图中数据分析工程结构健康状态。
和/或，所述装置还包括：
标定模块，用于基于所述相机对预设标定物的成像平面进行标定，得到所述相机的畸变矩阵；
校准模块，用于采用所述畸变矩阵对所述位移视频进行畸变校准，得到校准后的位移视频；
和/或，所述第一获取模块还包括：
目标确定子模块，用于在所述校准后的位移视频中每一帧位移图像中确定监测目标。
图5示例了一种工程结构动态位移监测设备的实体结构示意图，如图5所示，该工程结构动态位移监测设备可以包括：处理器(processor)810、通信接口(CommunicationsInterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行工程结构动态位移监测方法，该方法包括：获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的工程结构动态位移监测方法，该方法包括：获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的工程结构动态位移监测方法，该方法包括：获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标；根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种工程结构动态位移监测方法，其特征在于，所述方法包括：
获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；
获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标，其中，所述第一坐标与所述第二坐标用于记录在每一帧位移图像中监测目标左上角的位置信息；
根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果；所述像素动态位移由整像素位移与亚像素位移确定；
所述根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移的步骤，包括：
计算所述第一坐标与所述第二坐标的位置差值，得到整像素位移；
获取通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪时得到的响应置信图；
基于所述响应置信图中响应值数据，计算出亚像素位移；
对所述整像素位移与所述亚像素位移求和，得到所述监测目标的像素动态位移；
所述基于所述响应置信图中响应值数据，计算出亚像素位移的步骤，包括：
基于所述响应置信图中的响应值数据，采用拉格朗日插值法与牛顿迭代法，计算出所述监测目标的亚像素位移。
2.根据权利要求1所述的工程结构动态位移监测方法，其特征在于，所述将所述像素动态位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果的步骤，包括：
获取预设的比例因子，所述比例因子用于图像坐标系与世界坐标系中位置信息的转换；
计算所述比例因子与像素动态位移的乘积，得到所述监测目标的实际动态位移，基于所述实际动态位移确定工程结构动态位移监测结果。
3.根据权利要求1所述的工程结构动态位移监测方法，其特征在于，所述将所述像素位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果的步骤之后，所述方法还包括：
获取预设的监测时间内所述监测目标的多个所述实际动态位移，生成所述监测目标的位移曲线图，基于所述位移曲线图中数据分析工程结构健康状态。
4.根据权利要求1所述的工程结构动态位移监测方法，其特征在于，所述确定所述位移视频的多帧位移图像中监测目标的步骤之前，所述方法还包括：
基于所述相机对预设标定物的成像平面进行标定，得到所述相机的畸变矩阵；
采用所述畸变矩阵对所述位移视频进行畸变校准，得到校准后的位移视频；
所述确定所述位移视频的多帧位移图像中监测目标，包括：
在所述校准后的位移视频中每一帧位移图像中确定监测目标。
5.一种工程结构动态位移监测装置，其特征在于，所述装置包括：
第一获取模块，用于获取相机拍摄处于运动状态下工程结构的位移视频，确定所述位移视频的多帧位移图像中监测目标；
第二获取模块，用于获取第一帧位移图像中所述监测目标的第一坐标，通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪，确定所述监测目标的第二坐标，其中，所述第一坐标与所述第二坐标用于记录在每一帧位移图像中监测目标左上角的位置信息；
位移监测模块，用于根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移，并将所述像素动态位移转换为世界坐标系下所述监测目标的实际动态位移，以确定工程结构动态位移监测结果；所述像素动态位移由整像素位移与亚像素位移确定；
所述根据所述第一坐标和所述第二坐标，计算出所述监测目标的像素动态位移的步骤，包括：
计算所述第一坐标与所述第二坐标的位置差值，得到整像素位移；
获取通过核相关滤波算法对其他帧位移图像中所述监测目标进行追踪时得到的响应置信图；
基于所述响应置信图中响应值数据，计算出亚像素位移；
对所述整像素位移与所述亚像素位移求和，得到所述监测目标的像素动态位移；
所述基于所述响应置信图中响应值数据，计算出亚像素位移的步骤，包括：
基于所述响应置信图中的响应值数据，采用拉格朗日插值法与牛顿迭代法，计算出所述监测目标的亚像素位移。
6.一种工程结构动态位移监测设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述工程结构动态位移监测方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述工程结构动态位移监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310573399.1A CN116753843B (zh) | 2023-05-19 | 2023-05-19 | 工程结构动态位移监测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310573399.1A CN116753843B (zh) | 2023-05-19 | 2023-05-19 | 工程结构动态位移监测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116753843A CN116753843A (zh) | 2023-09-15 |
| CN116753843B true CN116753843B (zh) | 2024-04-12 |
Family
ID=87952299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310573399.1A Active CN116753843B (zh) | 2023-05-19 | 2023-05-19 | 工程结构动态位移监测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116753843B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10310849A1 (de) * | 2003-03-11 | 2004-09-30 | Inb Vision Ag | Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung |
| CN102788558A (zh) * | 2012-07-30 | 2012-11-21 | 山东师范大学 | 散斑相关和散斑干涉相结合的三维变形测量系统及方法 |
| WO2019037450A1 (zh) * | 2017-08-24 | 2019-02-28 | 东南大学 | 一种基于Tikhonov正则化的亚像素位移测量方法 |
| CN109584238A (zh) * | 2018-12-07 | 2019-04-05 | 北京航空航天大学 | 一种基于立体视觉的弓网运行状况在线检测系统及方法 |
| CN115289982A (zh) * | 2022-09-28 | 2022-11-04 | 天津大学建筑设计规划研究总院有限公司 | 一种基于ArUco码的结构平面位移视觉监测方法 |
| CN115752250A (zh) * | 2022-11-04 | 2023-03-07 | 重庆交通大学 | 一种融合计算机视觉及加速度的桥梁高精度位移监测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150381972A1 (en) * | 2014-06-30 | 2015-12-31 | Microsoft Corporation | Depth estimation using multi-view stereo and a calibrated projector |
| CN116797703A (zh) * | 2023-07-13 | 2023-09-22 | 广西大学 | 一种基于图像的混凝土裂缝区域应变分布处理方法 |
| CN116740126A (zh) * | 2023-08-09 | 2023-09-12 | 深圳市深视智能科技有限公司 | 目标跟踪方法、高速相机及存储介质 |
-
2023
- 2023-05-19 CN CN202310573399.1A patent/CN116753843B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10310849A1 (de) * | 2003-03-11 | 2004-09-30 | Inb Vision Ag | Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung |
| CN102788558A (zh) * | 2012-07-30 | 2012-11-21 | 山东师范大学 | 散斑相关和散斑干涉相结合的三维变形测量系统及方法 |
| WO2019037450A1 (zh) * | 2017-08-24 | 2019-02-28 | 东南大学 | 一种基于Tikhonov正则化的亚像素位移测量方法 |
| CN109584238A (zh) * | 2018-12-07 | 2019-04-05 | 北京航空航天大学 | 一种基于立体视觉的弓网运行状况在线检测系统及方法 |
| CN115289982A (zh) * | 2022-09-28 | 2022-11-04 | 天津大学建筑设计规划研究总院有限公司 | 一种基于ArUco码的结构平面位移视觉监测方法 |
| CN115752250A (zh) * | 2022-11-04 | 2023-03-07 | 重庆交通大学 | 一种融合计算机视觉及加速度的桥梁高精度位移监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking;Martin Danelljan等;European Conference on Computer Vision;摘要，第2-4节 * |
| 基于机器视觉的桥梁健康监测与状态评估;董传智;中国优秀硕士学位论文全文数据库工程科技Ⅱ辑(第4期);第2.2.1.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116753843A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10380745B2 (en) | Methods and devices for measuring object motion using camera images | |
| KR100927096B1 (ko) | 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법 | |
| CN110823358B (zh) | 一种基于视觉处理的建筑振动位移测量方法 | |
| US8260074B2 (en) | Apparatus and method for measuring depth and method for computing image defocus and blur status | |
| CN107729893B (zh) | 一种合模机的视觉定位方法、系统和存储介质 | |
| JP4941565B2 (ja) | 対応点探索装置および対応点探索方法 | |
| CN102506727B (zh) | 臂架振动位移测量方法、系统及包含其的混凝土泵车 | |
| CN114719770B (zh) | 一种基于图像识别及空间定位技术的变形监测方法及装置 | |
| Liu et al. | Vision-based displacement measurement sensor using modified Taylor approximation approach | |
| CN103389072A (zh) | 一种基于直线拟合的像点定位精度评估方法 | |
| Huang et al. | Measurement method and recent progress of vision-based deflection measurement of bridges: A technical review | |
| KR101395544B1 (ko) | 구조물의 변위 측정을 위한 오브젝트의 캘리브레이션 방법 및 시스템 | |
| CN116753843B (zh) | 工程结构动态位移监测方法、装置、设备及存储介质 | |
| CN110111390A (zh) | 基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统 | |
| JP2010217984A (ja) | 像検出装置及び像検出方法 | |
| CN114754695B (zh) | 多视场桥梁挠度测量装置、方法及存储介质 | |
| WO2020145004A1 (ja) | 撮影ガイド装置 | |
| RU2579532C2 (ru) | Оптико-электронный стереоскопический дальномер | |
| CN114549613A (zh) | 基于深度超分辨率网络的结构位移测量方法及装置 | |
| WO2016194576A1 (ja) | 情報処理装置および方法 | |
| US8294778B2 (en) | Image processor, image acquisition apparatus, and storage medium of image processing program | |
| CN117934636B (zh) | 一种多深度相机动态外参标定方法及其装置 | |
| JP2010230423A (ja) | 変位量測定装置及び同測定方法 | |
| CN117671007B (zh) | 一种位移监测方法、装置、电子设备及存储介质 | |
| Le et al. | Stereovision-based vibration measurement of stay cable using synchronized multi-camera setup and video motion magnification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |