CN109341549A - 一种基于数据融合的相机系统位移监测改进方法 - Google Patents

一种基于数据融合的相机系统位移监测改进方法 Download PDF

Info

Publication number
CN109341549A
CN109341549A CN201811443209.XA CN201811443209A CN109341549A CN 109341549 A CN109341549 A CN 109341549A CN 201811443209 A CN201811443209 A CN 201811443209A CN 109341549 A CN109341549 A CN 109341549A
Authority
CN
China
Prior art keywords
displacement
time
camera
monitoring
data fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811443209.XA
Other languages
English (en)
Inventor
徐燕
郑宝锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811443209.XA priority Critical patent/CN109341549A/zh
Publication of CN109341549A publication Critical patent/CN109341549A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于结构健康监测技术领域，具体公开了一种基于数据融合的相机系统位移监测改进方法，将直接输出的位移数据与同监测点的加速度数据进行数据融合，可有效改善相机监测系统在户外不利环境条件下的测量准确度，同时拓宽了位移时程中的动力特性成分。所得的高准确度和高精度的位移数据，可应用于有限元模型修正、车辆荷载估算、桥梁位移影响线估算等，适用范围广。

Description

一种基于数据融合的相机系统位移监测改进方法
技术领域
本发明属于结构健康监测技术领域，具体涉及一种基于数据融合的相机系统位移监测改进方法。
背景技术
结构位移信息体现结构的整体性，是桥梁结构状态和性能评估的重要参考。比如，服役期间桥梁结构经历的位移极值可能预示着极端荷载条件或结构缺陷的产生；车辆荷载实验下的桥梁位移，可以辅助估计结构的承载能力。
传统的位移监测传感器，如线性位移差分变压器、千分表，安装使用依赖于固定支撑点，但桥梁跨下开放空间往往难以到达；GPS定位系统和智能型全站仪，受测量精度限制，只适用于测量较为柔性的结构，如大跨桥。
基于计算机视觉原理的相机系统，具有非接触、多点同步测量、安装简单、成本低等优点，在桥梁结构位移监测领域受到的关注逐步增多。但相机系统在户外实验中测量精度，往往受环境因素影响大，如光照变化、目标物材质变化、相机支撑系统抖动等，而户外监测过程中往往无法完全避开这些不利测量条件。因此，当前需要一种相机改进系统，实现更精确和稳定的结构位移监测。
发明内容
为解决上述问题，本发明公开了一种基于数据融合的相机系统位移监测改进方法，将直接输出的位移数据与同监测点的加速度数据进行数据融合，可有效改善相机监测系统在户外不利环境条件下的测量准确度，同时拓宽了位移时程中的动力特性成分，为服役期内的桥梁结构状态和性能评估提供参考。
为达到上述目的，本发明的技术方案如下：
一种基于数据融合的相机系统位移监测改进方法，包括以下步骤：
S1：在合适的位置架设相机采集视频，确保结构中待测试的部件位于相机视野范围内；同时，在同一个监测点布设加速度计采集结构振动数据；
S2：基于计算机视觉原理，从采集的视频中提取结构位移时程{dk}；包含三步：确定投影几何关系，定位目标物，求解结构位移；
S21：根据与监测目标在同一平面内的四个或四个以上控制点的实际物理坐标Z＝[p q 1]T及其投影到相机图片平面内的二维坐标m＝[u v 1]T，计算出平面单应矩阵H，其中αm＝HZ，α为任意尺度的比例；
S22：在视频初始帧中选定一矩形区域作为监测目标，左上角边缘点的图片坐标为m1；基于模板匹配法，选用零均值归一化互相关系数作为相似性匹配准则，得到相关矩阵，矩阵中峰值处即为目标物在新的视频帧中的位置mk；
S23：已知投影矩阵H和目标物在图片平面内的坐标mk，利用投影关系αmk＝HZk，得到目标物的物理坐标Zk，与初始坐标Z1的差值即为目标的运动位移dk；
S3：基于卡尔曼滤波，将同测点的位移与加速度时程进行融合，得到改进后的位移时程；
S31：通过找到两个位移信号(即相机测得的位移时程{dk}和加速度{ak}两次积分得到的位移时程)互相关系数的极值，得到相对延迟时间，进而同步两段信号{dk}和{ak}；
S32：建立状态空间表达式；状态变量设为位移和速度，即对应状态方程为Xk+1＝AXk+Bak+nk，输出方程为dk＝GXk+sk，其中，k表示时间步，ak和dk为时间步k时实测加速度和位移值，nk和sk分别表示过程噪声和观测噪声，矩阵 G＝[1 0]，dt为加速度信号的采样间隔；
S33：基于卡尔曼滤波中的时间更新和状态更新，求得状态变量Xk在每一时间步内的最优值及误差协方差Pk|k；
S34：基于卡尔曼平滑，进行时间步的反向迭代，优化状态变量的估值其中N对应时程信号的最后时间步；中的第一个元素即为时间步k时基于数据融合的位移估计值
本发明的有益效果是：
本发明与现有技术相比，具有以下优点：
1、有效提高了相机系统在户外不利监测环境条件下的测量准确度，保证监测数据的稳定性
2、拓宽了相机系统测得的位移时程中的高频成分，测量结果可用于提取结构动力特性；
3、所得的高准确度和高精度的位移数据，可直接应用于有限元模型修正、车辆荷载估算、桥梁位移影响线估算等，适用范围广。
附图说明
图1是本发明方法的流程图；
图2是在一单跨铁路桥的案例中相机系统采集视频的初始帧；
图3是铁路桥在一火车通行下相机直接测得的位移时程；
图4是铁路桥在一火车通行下加速度计采集的时程信号；
图5是铁路桥在一火车通行下相机直接测得的位移时程及数据融合得到的位移时程。
具体实施方式
以下结合技术方案，通过一单跨铁路桥的案例来说明本发明的具体实施方式。
一种基于数据融合的相机系统位移监测改进方法，包括以下步骤：
S1：在合适的位置架设相机采集视频，确保结构中待测试的部件位于相机视野范围内，初始视频帧见图2；同时，在同一个监测点布设加速度计采集结构振动数据；
S2：基于计算机视觉原理，从采集的视频中提取结构位移时程；包含三步：确定投影几何关系，定位目标物，求解结构位移；
S21：根据与监测目标在同一平面内的四个控制点(见图2中圆点注释处)的实际物理坐标及其投影到相机图片平面内的二维坐标，计算出平面单应矩阵；
S22：在视频初始帧中选定一矩形区域作为监测目标，见图2中矩形注释区域；基于模板匹配法，选用零均值归一化互相关系数作为相似性匹配准则，得到目标物在新的视频帧中的位置；
S23：已知投影矩阵和目标物在图片平面内的坐标，利用相机成像投影关系，得到目标物的物理坐标Zk，与初始坐标Z1的差值即为目标的运动位移；相机系统直接输出的位移时程见图3。
S3：基于卡尔曼滤波，将同测点的位移与加速度时程进行融合，得到改进后的位移时程；
S31：通过找到两个位移信号(即相机测得的位移时程和加速度两次积分得到的位移时程)互相关系数的极值，实现时间同步，同步后的加速度时程见图4；
S32：建立状态空间表达式；状态变量设为位移和速度，即对应状态方程为Xk+1＝AXk+Bak+nk，输出方程为dk＝GXk+sk，其中，k表示时间步，ak和dk为时间步k时实测加速度和位移值，nk和sk分别表示过程噪声和观测噪声，矩阵 G＝[1 0]，dt为加速度信号的采样间隔；
S33：基于卡尔曼滤波中的时间更新和状态更新，求得状态变量Xk在每一时间步内的最优值及误差协方差Pk|k；
S34：基于卡尔曼平滑，进行时间步的反向迭代，优化状态变量的估值其中N对应时程信号的最后时间步；中的第一个元素即为时间步k时基于数据融合的位移估计值数据融合后得到的位移时程见图5。

Claims (3)

1.一种基于数据融合的相机系统位移监测改进方法，其特征在于：具体实施步骤如下：
S1：在合适的位置架设相机采集视频，确保结构中待测试的部件位于相机视野范围内；同时，在同一个监测点布设加速度计采集结构振动数据；
S2：基于计算机视觉原理，从采集的视频中提取结构位移时程{dk}；包含三步：确定投影几何关系、定位目标物、求解结构位移；
S3：基于卡尔曼滤波，将同测点的位移与加速度时程进行融合，得到改进后的位移时程。
2.根据权利要求1所述的一种基于数据融合的相机系统位移监测改进方法，其特征在于：步骤S2的具体方法是：
S21：根据与监测目标在同一平面内的四个或四个以上控制点的实际物理坐标Z＝[p q1]T及其投影到相机图片平面内的二维坐标m＝[u v 1]T，计算出平面单应矩阵H，其中αm＝HZ，α为任意尺度的比例；
S22：在视频初始帧中选定一矩形区域作为监测目标，左上角边缘点的图片坐标为m1；基于模板匹配法，选用零均值归一化互相关系数作为相似性匹配准则，得到相关矩阵，矩阵中峰值处即为目标物在新的视频帧中的位置mk；
S23：已知投影矩阵H和目标物在图片平面内的坐标mk，利用投影关系αmk＝HZk，得到目标物的物理坐标Zk，与初始坐标Z1的差值即为目标的运动位移dk。
3.根据权利要求1所述的一种基于数据融合的相机系统位移监测改进方法，其特征在于：步骤S3的具体方法是：
S31：通过找到相机测得的位移时程{dk}和加速度{ak}两次积分得到的位移时程的互相关系数的极值，得到相对延迟时间，进而同步两段信号{dk}和{ak}；
S32：建立状态空间表达式；状态变量设为位移和速度，即对应状态方程为Xk+1＝AXk+Bak+nk，输出方程为dk＝GXk+sk，其中，k表示时间步，ak和dk为时间步k时实测加速度和位移值，nk和sk分别表示过程噪声和观测噪声，矩阵 G＝[10]，dt为加速度信号的采样间隔；
S33：基于卡尔曼滤波中的时间更新和状态更新，求得状态变量Xk在每一时间步内的最优值及误差协方差Pk|k；
S34：基于卡尔曼平滑，进行时间步的反向迭代，优化状态变量的估值其中N对应时程信号的最后时间步；中的第一个元素即为时间步k时基于数据融合的位移估计值
CN201811443209.XA 2018-11-29 2018-11-29 一种基于数据融合的相机系统位移监测改进方法 Pending CN109341549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811443209.XA CN109341549A (zh) 2018-11-29 2018-11-29 一种基于数据融合的相机系统位移监测改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811443209.XA CN109341549A (zh) 2018-11-29 2018-11-29 一种基于数据融合的相机系统位移监测改进方法

Publications (1)

Publication Number Publication Date
CN109341549A true CN109341549A (zh) 2019-02-15

Family

ID=65319345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811443209.XA Pending CN109341549A (zh) 2018-11-29 2018-11-29 一种基于数据融合的相机系统位移监测改进方法

Country Status (1)

Country Link
CN (1) CN109341549A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111272366A (zh) * 2020-03-02 2020-06-12 东南大学 一种基于多传感器数据融合的桥梁位移高精度测量方法
WO2021238058A1 (zh) * 2020-05-28 2021-12-02 长安大学 一种基于数字图像识别的结构振型测试系统及方法
CN113837150A (zh) * 2021-11-25 2021-12-24 湖南大学 基于计算机视觉的非接触式轮胎气压获取方法及相关装置
CN115046490A (zh) * 2022-04-24 2022-09-13 同济大学 一种基于数据融合的结构层间变形监测装置及方法
CN115790401A (zh) * 2023-02-09 2023-03-14 西北工业大学 一种基于视觉测量的位移测量方法及相关设备
CN117473286A (zh) * 2023-12-28 2024-01-30 深圳市城市公共安全技术研究院有限公司 振动时程信号识别方法、系统、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201241A (zh) * 2006-12-15 2008-06-18 中国神华能源股份有限公司 船模运动测量方法和系统
CN101871862A (zh) * 2010-06-18 2010-10-27 北京工业大学 环境激励下剪切型结构层间刚度识别的新方法
CN102721409A (zh) * 2012-05-29 2012-10-10 东南大学 一种基于车身控制点的移动车辆三维运动轨迹的测定方法
CN105403143A (zh) * 2015-10-28 2016-03-16 苏州西博三维科技有限公司 一种获取模拟地震振动台的位移变化的测量方法及其系统
US20160377413A1 (en) * 2015-06-23 2016-12-29 Iakov Goldberg Methods and devices for detection of movements and deformations of bodies or parts thereof
CN106767664A (zh) * 2016-11-29 2017-05-31 中南安全环境技术研究院股份有限公司 基于北斗系统的大跨径桥梁形变实时监测方法
CN206724923U (zh) * 2017-05-09 2017-12-08 南京工业大学 一种大跨桥梁动态位移视频传感器系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201241A (zh) * 2006-12-15 2008-06-18 中国神华能源股份有限公司 船模运动测量方法和系统
CN101871862A (zh) * 2010-06-18 2010-10-27 北京工业大学 环境激励下剪切型结构层间刚度识别的新方法
CN102721409A (zh) * 2012-05-29 2012-10-10 东南大学 一种基于车身控制点的移动车辆三维运动轨迹的测定方法
US20160377413A1 (en) * 2015-06-23 2016-12-29 Iakov Goldberg Methods and devices for detection of movements and deformations of bodies or parts thereof
CN105403143A (zh) * 2015-10-28 2016-03-16 苏州西博三维科技有限公司 一种获取模拟地震振动台的位移变化的测量方法及其系统
CN106767664A (zh) * 2016-11-29 2017-05-31 中南安全环境技术研究院股份有限公司 基于北斗系统的大跨径桥梁形变实时监测方法
CN206724923U (zh) * 2017-05-09 2017-12-08 南京工业大学 一种大跨桥梁动态位移视频传感器系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SMYTH A: "Multirate Kalman filtering for the data fusion of displacement and acceleration measurements", 《PROCEEDINGS OF SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *
董传志: "非接触式结构动力特性识别方法及试验验证", 《振动与冲击》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111272366A (zh) * 2020-03-02 2020-06-12 东南大学 一种基于多传感器数据融合的桥梁位移高精度测量方法
CN111272366B (zh) * 2020-03-02 2021-12-07 东南大学 一种基于多传感器数据融合的桥梁位移高精度测量方法
WO2021238058A1 (zh) * 2020-05-28 2021-12-02 长安大学 一种基于数字图像识别的结构振型测试系统及方法
CN113837150A (zh) * 2021-11-25 2021-12-24 湖南大学 基于计算机视觉的非接触式轮胎气压获取方法及相关装置
CN113837150B (zh) * 2021-11-25 2022-02-11 湖南大学 基于计算机视觉的非接触式轮胎气压获取方法及相关装置
CN115046490A (zh) * 2022-04-24 2022-09-13 同济大学 一种基于数据融合的结构层间变形监测装置及方法
CN115046490B (zh) * 2022-04-24 2023-03-31 同济大学 一种基于数据融合的结构层间变形监测装置及方法
CN115790401A (zh) * 2023-02-09 2023-03-14 西北工业大学 一种基于视觉测量的位移测量方法及相关设备
CN117473286A (zh) * 2023-12-28 2024-01-30 深圳市城市公共安全技术研究院有限公司 振动时程信号识别方法、系统、装置、设备及存储介质
CN117473286B (zh) * 2023-12-28 2024-04-19 深圳市城市公共安全技术研究院有限公司 振动时程信号识别方法、系统、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109341549A (zh) 一种基于数据融合的相机系统位移监测改进方法
Xu et al. Review of machine-vision based methodologies for displacement measurement in civil structures
Brownjohn et al. Vision-based bridge deformation monitoring
Zhao et al. Crowdsourcing and multisource fusion-based fingerprint sensing in smartphone localization
CN103575227B (zh) 一种基于数字散斑的视觉引伸计实现方法
CN106017342B (zh) 基于三维实景模型的建筑物变化自动检测方法及其系统
CN105547635B (zh) 一种用于风洞试验的非接触式结构动力响应测量方法
CN109737883A (zh) 一种基于图像识别的三维形变动态测量系统及测量方法
CN109471096B (zh) 多传感器目标匹配方法、装置及汽车
CN109470238A (zh) 一种定位方法、装置和移动终端
CN103105852A (zh) 位移计算方法和设备及即时定位与地图构建方法和设备
CN110261052A (zh) 采用力锤激励和摄影测量的结构振动模态分析系统及方法
CN109443321A (zh) 一种监测大型结构形变的串并联像机网络测量方法
CN105120517A (zh) 基于多维尺度分析的室内wlan信号平面图构建与定位方法
Li et al. The complementary characteristics of GPS and accelerometer in monitoring structural deformation
CN110231620A (zh) 一种噪声相关系统跟踪滤波方法
KR101803340B1 (ko) 영상 기반 주행거리 측정 시스템 및 방법
Jiang et al. A detailed investigation of uplift and damping of a railway catenary span in traffic using a vision-based line-tracking system
Daniş et al. An indoor localization dataset and data collection framework with high precision position annotation
Le et al. System to measure three-dimensional movements in physical models
CN107328416B (zh) 一种基于地磁的智能手机实时定位方法
CN103345752B (zh) 一种机器人与手机协作跟踪行人的方法
Díez et al. Step length estimation using UWB technology: a preliminary evaluation
Qian et al. Optical flow based step length estimation for indoor pedestrian navigation on a smartphone
KR101136041B1 (ko) 무선 센서 네트워크에서의 센서의 위치 추정 방법 및 이를 구현하기 위한 프로그램을 기록한 기록매체와 센서 위치 추정 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215