CN115046490A - 一种基于数据融合的结构层间变形监测装置及方法 - Google Patents
一种基于数据融合的结构层间变形监测装置及方法 Download PDFInfo
- Publication number
- CN115046490A CN115046490A CN202210436021.2A CN202210436021A CN115046490A CN 115046490 A CN115046490 A CN 115046490A CN 202210436021 A CN202210436021 A CN 202210436021A CN 115046490 A CN115046490 A CN 115046490A
- Authority
- CN
- China
- Prior art keywords
- interlayer
- monitoring
- imu
- deformation
- horizontal displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明涉及一种基于数据融合的结构层间变形监测装置及方法,该装置包括分别设置在建筑中待监测层间变形楼层的天花板和地板上的IMU、通过刚性摄像机支架安装在天花板上的摄像机以及设置在地板上始终位于摄像机拍摄范围内的跟踪靶点,与现有技术相比,本发明弥补了基于视觉识别与基于加速度振动监测等单一测量方式存在的缺点,实现了两种测量方式的互补,提高了监测精度。
Description
技术领域
本发明涉及工程测量技术领域,尤其是涉及一种基于数据融合的结构层间变形监测装置及方法。
背景技术
建筑结构的健康状况不仅会因为材料的自然老化、材料间的粘合和连接变差而降低,还会因强风、地震等自然灾害或不当翻新而降低,结构的性能退化可能会进一步引起结构的固有频率和振动模式的变化或引起结构的轻微变形。结构健康监测能够通过监测结构振动特性或微小变形来感知结构服役状态,从而提供预警和最小化进一步损坏的可能性,楼层层间变形由于能够反映建筑结构的健康状况,成为结构健康监测中的重要参数。
随着位移监测技术的发展,目前出现了许多用于监测层间变形的方法,如GPS、线性可变差动变压器(LVDT)、加速度积分法、基于视觉的层间位移监测等。其中,加速度积分法对测量得到的加速度依次进行数值积分、高通滤波可以得到去除低频漂移后的位移,对得到的相邻两层位移做差可以得到层间水平位移,利用该方法得到的位移仅限于动态位移估计,因为高通滤波消除了建筑物的临界非线性低频行为和永久漂移,但其在高频区域的噪声水平非常低;基于视觉的测量方式通过特征点检测、追踪得到靶点位移后再将其转换为工程单位即可得到层间水平位移,虽然这是一种低成本、非接触式测量方式,但是相机的分辨率在很大程度上取决于可见度(例如,光线条件、物体与相机之间的距离以及焦点),同时相机大多具有有限的帧速率,无法收集高频动态运动,在结构振动频率较高时测得的层间位移误差较大。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于数据融合的结构层间变形监测装置及方法。
本发明的目的可以通过以下技术方案来实现:
一种基于数据融合的结构层间变形监测装置,该装置包括分别设置在建筑中待监测层间变形楼层的天花板和地板上的IMU、通过刚性摄像机支架安装在天花板上的摄像机以及设置在地板上始终位于摄像机拍摄范围内的跟踪靶点。
所述的天花板和地板上的IMU均刚性固定在靠近摄像机的角落处,在初始时刻,两个IMU的坐标系方向与世界坐标系方向重合,且布置在天花板的IMU与布置在地板的IMU处于同一铅垂线上。
一种基于数据融合的结构层间变形监测方法,包括以下步骤:
步骤S1、在待监测层间变形楼层安装层间变形监测装置,在监测前,将标定板放置在跟踪靶点的靶点区域内,根据摄像机拍摄标定板图像,并建立标定板像素坐标(px,py)与世界坐标(x,y)之间的映射关系;
步骤S2、监测开始后,分别对两个IMU测得的加速度数据进行对时间的二重积分得到对应的位移,并以其位移差值作为基于IMU的层间水平位移,根据IMU实时测得的姿态角和角速度数据,构建世界坐标系和IMU坐标系之间的旋转矩阵,建立关于层间转角的方程,采用四元数分量求解得到层间转角;
步骤S3、根据摄像机实时拍摄到待监测层间变形楼层的监测结构视觉图像帧序列并进行预处理后选取感兴趣区域,即靶点区域;
步骤S4、采用Harris特征点检测算法提取靶点区域内的特征点坐标,采用KLT特征追踪算法得到靶点位移时程,通过标定板像素坐标(px,py)与世界坐标(x,y)之间的映射关系得到基于视觉的层间水平位移;
步骤S5、将基于视觉的层间水平位移进行上采样至与IMU相同的采样率,进行低通滤波后计算基于视觉层间水平位移与基于IMU的层间水平位移之间的相关性,并采用具有最大互相关值的时间偏移进行数据同步;
步骤S6、采用滤波器分别对基于视觉层间水平位移以及基于IMU的层间水平位移进行低通滤波和高通滤波,将提取的伪静态分量和动态分量融合得到监测结构层间水平位移;
步骤S7、在得到层间转角以及监测结构层间水平位移后即完成结构层间变形的监测。
所述的步骤S1中,标定板像素坐标(px,py)与世界坐标(x,y)之间的映射关系具体为:
其中,α0、α1、α2、α3、α4、α5、β0、β1、β2、β3、β4、β5分别为待定参数。
所述的步骤S1中,通过跟踪标定板上的多个目标点的多帧画面得到目标点的平均坐标,通过最小二乘法拟合得到待定参数。
所述的步骤S2中,从A帧到B帧的层间转角方程具体为:
Fq(q)=Fp(p,α)
p=[φ0 θ0]T
q=[φα θα]T
Fq(q)=[-sinθα sinφαcosθα cosφαcosθα]T
所述的步骤S5中,通过低通滤波去除高于原始奈奎斯特频率的频率分量。
所述的步骤S5中,上采样具体为三次插值方法。
所述的步骤S5中,相关性的表达式为:
所述的步骤S6中,采用FIR滤波器,分别对基于视觉的层间水平位移进行低通滤波后提取伪静态分量,对基于IMU的层间水平位移经过高通滤波后提取动态分量,将伪静态分量和动态分量加和后得到监测结构层间水平位移。
与现有技术相比,本发明具有以下优点:
本发明可以同时发挥相机捕捉场景下丰富信息以及IMU在短时间内高频获得精准估计的优势,利用相机数据有效地修正IMU在读数中的漂移,并且利用IMU减轻动态物体对相机的影响,从而实现两种传感器的互补,得到更加精确的层间变形监测结果。
附图说明
图1为本发明实施例中层间变形监测装置的结构示意图。
图2为本发明实施例中层间变形监测方法的流程示意图。
图中标记说明:
1、IMU,2、摄像机,3、跟踪靶点。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供一种基于数据融合的结构层间变形监测装置及方法,通过将基于低帧率视觉的测量结果与基于高采样率IMU的测量结果融合,实现两种测量方式的互补达到更加精准的结构层间变形监测。
如图1所示,本实施例的层间变形监测装置包括设置在天花板上的IMU1(惯性测量单元)和摄像机2,以及设置在地板上的IMU1和跟踪靶点3,摄像机2通过摄像机支架固定在天花板上,摄像机支架保持刚性且长度较短,天花板上和地板上的IMU1均刚性固定在靠近摄像机2的角落处,以高层结构坐标系为世界坐标系,初始时刻令两IMU1坐标系方向与世界坐标系重合,且布置在天花板的IMU1与布置在地板的IMU1处于同一铅垂线。
跟踪靶点3为具有高对比度、在图像中沿至少两个不同方向具有边界线的目标;并且设置在地板上的跟踪靶点3数量至少为1,并且跟踪靶点3在监测过程中需要始终处于天花板上的摄像机2的拍摄范围内。
本实施例的实施方案使用了Harris特征点检测算法、KLT特征追踪算法、三次插值算法和FIR滤波器,但本发明方法不局限于使用上述算法及滤波器,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
如图2所示,本实施例的层间变形监测方法包括以下步骤:
步骤一、在待监测层间变形楼层安装层间变形监测装置,将标定板放置在靶点区域,利用摄像机拍摄标定板图像,通过标定板像素坐标与世界坐标建立像素坐标(px,py)与世界坐标(x,y)之间的映射关系,本实施例中假设两者映射关系如下:
其中,α0、α1、α2、α3、α4、α5、β0、β1、β2、β3、β4、β5分别为待定参数。
跟踪20个目标点共30帧画面得到跟踪点的平均坐标,然后通过最小二乘法拟合得到上式中的待定参数。
步骤二、对IMU测得的加速度进行二重积分得到位移,并计算两个IMU的位移差值即为基于IMU的层间水平位移,结构从初始状态到最终状态的旋转可以用四元数表示,载体坐标系采用IMU默认坐标系,利用IMU实时测量得到的姿态角和角速度,构建世界坐标系和载体坐标系的旋转矩阵,建立关于层间转角的方程,利用四元数分量求解楼层转角。
从A帧到B帧的层间转角方程具体为:
Fq(q)=Fp(p,α)
p=[φ0 θ0]T
q=[φα θα]T
Fq(q)=[-sinθα sinφαcosθα cosφαcosθα]T
步骤三、利用摄像机拍摄待监测层间变形楼层,获取监测结构视觉图像帧序列,对获取的视觉图像帧序列进行预处理(包括视频稳定处理、图像去噪与增强处理等),选取感兴趣区域(靶点区域)。
步骤四、利用Harris特征点检测算法提取靶点区域内特征点坐标,利用KLT特征追踪算法得到靶点位移时程,通过像素坐标与世界坐标的映射关系得到基于视觉的层间水平位移。
步骤五、将基于视觉的层间水平位移上采样至与IMU相同采样率,经过低通滤波后计算基于视觉和基于IMU的层间水平位移相关性,并使用具有最大互相关值的时间偏移来同步数据。
进行低通滤波是为了去除高于原始奈奎斯特频率的频率分量,采用的上采样方法为三次插值,采用的相关性计算公式如下:
步骤六、采用FIR滤波器分别对基于视觉和基于IMU的层间水平位移进行低通滤波和高通滤波,将提取的伪静态分量和动态分量融合在一起得到监测结构层间水平位移。
FIR滤波器具有稳定极点和线性相位延迟,非常适合融合两个不同源信号且不会使原始信号失真,基于视觉的层间水平位移经过低通滤波后提取其伪静态分量,基于IMU的层间水平位移经过高通滤波后提取其动态分量,将提取的伪静态分量和动态分量加和融合在一起得到监测结构层间水平位移。
步骤七、在得到层间转角以及监测结构层间水平位移后即完成结构层间变形的监测。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的工作人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于数据融合的结构层间变形监测装置,其特征在于,该装置包括分别设置在建筑中待监测层间变形楼层的天花板和地板上的IMU(1)、通过刚性摄像机支架安装在天花板上的摄像机(2)以及设置在地板上始终位于摄像机(2)拍摄范围内的跟踪靶点(3)。
2.根据权利要求1所述的一种基于数据融合的结构层间变形监测装置,其特征在于,所述的天花板和地板上的IMU(1)均刚性固定在靠近摄像机(2)的角落处,在初始时刻,两个IMU(1)的坐标系方向与世界坐标系方向重合,且布置在天花板的IMU(1)与布置在地板的IMU(1)处于同一铅垂线上。
3.一种基于数据融合的结构层间变形监测方法,其特征在于,包括以下步骤:
步骤S1、在待监测层间变形楼层安装层间变形监测装置,在监测前,将标定板放置在跟踪靶点(3)的靶点区域内,根据摄像机(2)拍摄标定板图像,并建立标定板像素坐标(px,py)与世界坐标(x,y)之间的映射关系;
步骤S2、监测开始后,分别对两个IMU(1)测得的加速度数据进行对时间的二重积分得到对应的位移,并以其位移差值作为基于IMU的层间水平位移,根据IMU(1)实时测得的姿态角和角速度数据,构建世界坐标系和IMU坐标系之间的旋转矩阵,建立关于层间转角的方程,采用四元数分量求解得到层间转角;
步骤S3、根据摄像机(2)实时拍摄到待监测层间变形楼层的监测结构视觉图像帧序列并进行预处理后选取感兴趣区域,即靶点区域;
步骤S4、采用Harris特征点检测算法提取靶点区域内的特征点坐标,采用KLT特征追踪算法得到靶点位移时程,通过标定板像素坐标(px,py)与世界坐标(x,y)之间的映射关系得到基于视觉的层间水平位移;
步骤S5、将基于视觉的层间水平位移进行上采样至与IMU(1)相同的采样率,进行低通滤波后计算基于视觉层间水平位移与基于IMU的层间水平位移之间的相关性,并采用具有最大互相关值的时间偏移进行数据同步;
步骤S6、采用滤波器分别对基于视觉层间水平位移以及基于IMU的层间水平位移进行低通滤波和高通滤波,将提取的伪静态分量和动态分量融合得到监测结构层间水平位移;
步骤S7、在得到层间转角以及监测结构层间水平位移后即完成结构层间变形的监测。
5.根据权利要求4所述的一种基于数据融合的结构层间变形监测装置,其特征在于,所述的步骤S1中,通过跟踪标定板上的多个目标点的多帧画面得到目标点的平均坐标,通过最小二乘法拟合得到待定参数。
7.根据权利要求3所述的一种基于数据融合的结构层间变形监测装置,其特征在于,所述的步骤S5中,通过低通滤波去除高于原始奈奎斯特频率的频率分量。
8.根据权利要求3所述的一种基于数据融合的结构层间变形监测装置,其特征在于,所述的步骤S5中,上采样具体为三次插值方法。
10.根据权利要求3所述的一种基于数据融合的结构层间变形监测装置,其特征在于,所述的步骤S6中,采用FIR滤波器,分别对基于视觉的层间水平位移进行低通滤波后提取伪静态分量,对基于IMU的层间水平位移经过高通滤波后提取动态分量,将伪静态分量和动态分量加和后得到监测结构层间水平位移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210436021.2A CN115046490B (zh) | 2022-04-24 | 2022-04-24 | 一种基于数据融合的结构层间变形监测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210436021.2A CN115046490B (zh) | 2022-04-24 | 2022-04-24 | 一种基于数据融合的结构层间变形监测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115046490A true CN115046490A (zh) | 2022-09-13 |
CN115046490B CN115046490B (zh) | 2023-03-31 |
Family
ID=83158103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210436021.2A Active CN115046490B (zh) | 2022-04-24 | 2022-04-24 | 一种基于数据融合的结构层间变形监测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115046490B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117249811A (zh) * | 2023-11-20 | 2023-12-19 | 中国建筑一局(集团)有限公司 | 一种超高层建筑分布式倾角监测系统及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749065A (zh) * | 2012-06-21 | 2012-10-24 | 中国矿业大学 | 基于惯性测量技术的罐笼轨道变形监测方法 |
CN103542816A (zh) * | 2013-10-16 | 2014-01-29 | 哈尔滨工程大学 | 基于时间延迟补偿的船体变形测量方法 |
CN106595640A (zh) * | 2016-12-27 | 2017-04-26 | 天津大学 | 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统 |
CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
CN207894374U (zh) * | 2018-03-19 | 2018-09-21 | 武汉大学 | 一种基于cmos的超高层建筑相对水平位移在线监测装置 |
CN109029277A (zh) * | 2018-06-27 | 2018-12-18 | 常州沃翌智能科技有限公司 | 一种隧道形变监测系统及方法 |
CN109341549A (zh) * | 2018-11-29 | 2019-02-15 | 东南大学 | 一种基于数据融合的相机系统位移监测改进方法 |
CN110533005A (zh) * | 2019-09-08 | 2019-12-03 | 东南大学 | 一种复杂海况下船体形变测量方法 |
CN110969601A (zh) * | 2019-11-25 | 2020-04-07 | 同济大学 | 基于视觉特征跟踪算法的结构转动响应非接触式识别方法 |
CN111691690A (zh) * | 2020-05-28 | 2020-09-22 | 中铁十局集团青岛工程有限公司 | 一种钢横梁搭建定位检测装置及定位检测方法 |
CN113989699A (zh) * | 2021-09-30 | 2022-01-28 | 哈尔滨工业大学 | 基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质 |
-
2022
- 2022-04-24 CN CN202210436021.2A patent/CN115046490B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749065A (zh) * | 2012-06-21 | 2012-10-24 | 中国矿业大学 | 基于惯性测量技术的罐笼轨道变形监测方法 |
CN103542816A (zh) * | 2013-10-16 | 2014-01-29 | 哈尔滨工程大学 | 基于时间延迟补偿的船体变形测量方法 |
CN106595640A (zh) * | 2016-12-27 | 2017-04-26 | 天津大学 | 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统 |
CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
CN207894374U (zh) * | 2018-03-19 | 2018-09-21 | 武汉大学 | 一种基于cmos的超高层建筑相对水平位移在线监测装置 |
CN109029277A (zh) * | 2018-06-27 | 2018-12-18 | 常州沃翌智能科技有限公司 | 一种隧道形变监测系统及方法 |
CN109341549A (zh) * | 2018-11-29 | 2019-02-15 | 东南大学 | 一种基于数据融合的相机系统位移监测改进方法 |
CN110533005A (zh) * | 2019-09-08 | 2019-12-03 | 东南大学 | 一种复杂海况下船体形变测量方法 |
CN110969601A (zh) * | 2019-11-25 | 2020-04-07 | 同济大学 | 基于视觉特征跟踪算法的结构转动响应非接触式识别方法 |
CN111691690A (zh) * | 2020-05-28 | 2020-09-22 | 中铁十局集团青岛工程有限公司 | 一种钢横梁搭建定位检测装置及定位检测方法 |
CN113989699A (zh) * | 2021-09-30 | 2022-01-28 | 哈尔滨工业大学 | 基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
黄业桃等: "基于投影红外标志点的室内大范围增强现实跟踪方法", 《北京理工大学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117249811A (zh) * | 2023-11-20 | 2023-12-19 | 中国建筑一局(集团)有限公司 | 一种超高层建筑分布式倾角监测系统及方法 |
CN117249811B (zh) * | 2023-11-20 | 2024-03-29 | 中国建筑一局(集团)有限公司 | 一种超高层建筑分布式倾角监测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115046490B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Karpenko et al. | Digital video stabilization and rolling shutter correction using gyroscopes | |
US20200314340A1 (en) | Anti-shake method and apparatus for panoramic video, and portable terminal | |
US20180061063A1 (en) | Methods and devices for measuring object motion using camera images | |
WO2017014071A1 (ja) | カメラモジュール、固体撮像素子、電子機器、および撮像方法 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
WO2010036098A1 (en) | Method of and arrangement for blurring an image | |
CN112116651B (zh) | 一种基于无人机单目视觉的地面目标定位方法和系统 | |
CN112050806B (zh) | 一种移动车辆的定位方法及装置 | |
CN115046490B (zh) | 一种基于数据融合的结构层间变形监测装置及方法 | |
WO2017201266A2 (en) | Real-time visual-inertial motion tracking fault detection | |
Shao et al. | Target-free 3D tiny structural vibration measurement based on deep learning and motion magnification | |
CN113155032A (zh) | 一种基于动态视觉传感器dvs的建筑物结构位移测量方法 | |
CN110749311B (zh) | 定位方法、装置以及存储介质 | |
CN115717867A (zh) | 一种基于机载双相机和目标追踪的桥梁变形测量方法 | |
Buyukozturk et al. | Smaller than the eye can see: Vibration analysis with video cameras | |
Chen et al. | Video camera-based vibration measurement for Condition Assessment of Civil Infrastructure | |
CA3144984A1 (en) | Monocular visual-inertial alignment for scaled distance estimation on mobile devices | |
CN114184127B (zh) | 一种基于单相机无标靶的建筑物全局位移监测方法 | |
McCarthy et al. | Monitoring dynamic structural tests using image deblurring techniques | |
CN113091740B (zh) | 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法 | |
CN112833791B (zh) | 一种自旋转线结构光扫描系统时空标定方法 | |
CN108322698A (zh) | 基于多摄像机和惯性测量单元融合的系统和方法 | |
JP2011122854A (ja) | 音の到来方向判定システム及びプログラム | |
CN111260727B (zh) | 一种基于图像处理的网格定位方法、装置及存储介质 | |
CN114549613A (zh) | 基于深度超分辨率网络的结构位移测量方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |