CN114674231B - 一种基于单片机的便携式在线视觉位移测量系统 - Google Patents
一种基于单片机的便携式在线视觉位移测量系统 Download PDFInfo
- Publication number
- CN114674231B CN114674231B CN202210309281.3A CN202210309281A CN114674231B CN 114674231 B CN114674231 B CN 114674231B CN 202210309281 A CN202210309281 A CN 202210309281A CN 114674231 B CN114674231 B CN 114674231B
- Authority
- CN
- China
- Prior art keywords
- image
- template
- displacement
- target
- processing program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
Abstract
本发明属于光学测量和土木工程监测技术领域，提出了一种基于单片机的便携式在线视觉位移测量系统。该系统包括图像采集设备、图像计算设备和辅助设备；图像计算设备为安装有特定图像处理程序的单片机，特定图像处理程序通过提出的简便公式缩小模板匹配范围进而提高计算效率，通过Lanczos插值方法提高位移计算精度。本发明所提出的系统图像处理程序采用价格低廉的普通单片机即可快速运行，且计算效率很高，进而满足实时性要求。该测量系统一体化程度高、便携性好，无需专门设置人工标志，户外测量省时省力，且确保位移测量精度。
Description
技术领域
本发明涉及光学测量和土木工程监测技术领域，特别涉及一种基于单片机的便携式在线视觉位移测量系统。
背景技术
大跨桥梁、高层建筑等大型土木工程结构在其施工及运营阶段可能受到多种不利荷载(施工临时荷载、运行车辆、强风等)作用，影响结构安全。结构健康监测通过对输入荷载以及结构响应进行测量，为评估结构安全状态提供有用信息。结构动态位移响应是其重要监测指标，通常采用位移传感器测量。位移传感器可分为接触式和非接触式两种。由于接触式位移传感器需要进入结构或安装于静止的参考平台，使其在大型土木结构测量中受到限制。视觉位移测量系统能够克服传统接触式传感器的不足，提供一个远距离、非接触的位移测量途径。
视觉位移测量系统通常由视频采集设备(如相机)、视频图像处理设备(如计算机)以及其他辅助设备(如三脚架等)组成。该系统的工作流程可分为三个阶段。第一阶段，对相机进行标定，矫正镜头畸变后，将相机置于合适位置，使结构上的被测目标全部处于相机视场之内，采集视频。第二阶段，将视频数据传输至计算机，由图像处理程序进行计算，获取被测目标在视频中的像素位移。第三阶段，通过图像平面坐标系与结构物理坐标系之间的关系，将像素位移转换为实际位移。
在线视觉位移测量系统由于无需储存视频数据，且能够实时输出位移数据，在实际工程测量中优势明显。然而，现阶段由于图像处理程序难以兼顾计算精度和计算速度，为满足实时性要求，在线测量系统通常采用高性能计算机进行图像处理，计算结构位移。由于高性能计算机体积、重量较大，且价格昂贵，其与图像采集设备及其他系统组件难以进行一体化，在户外测量时，需要现场安装、联接、调试，费工费时。
发明内容
本发明的目的在于通过提高图像处理程序的计算效率和计算精度，将图像处理程序安装于算力有限、但便携的单片机中，提供一种基于单片机的便携式在线视觉位移测量系统，以克服现有系统的一些缺点。
本发明通过以下技术方案予以实现；
一种基于单片机的便携式在线视觉位移测量系统，该系统包括：图像数据采集设备、图像数据计算设备和辅助设备；
图像数据计算设备为安装有特定图像处理程序的单片机1；
图像数据采集设备为高清摄像头2；
辅助设备主要包括便携式激光测距仪3、便携式显示屏4、一体式鼠标键盘5、移动电源6以及三脚架7；
高清摄像头2、便携式显示屏4、移动电源6分别与单片机1联接；
所有设备均被集成、安装在三脚架7上；
所述系统测量结构位移的流程为：
1)将便携式在线视觉位移测量系统安装于合适位置，使高清摄像头2的光轴与被测目标8垂直；
2)采用激光测距仪3测量摄像头与被测目标8之间的距离；
3)采用所述的特定图像处理程序对被测目标8进行图像采集、分析，实时计算被测目标8位移，特定图像处理程序的特征在于其执行如下步骤：
(a)图像处理程序根据高清摄像头2与被测目标8之间的距离，结合镜头焦距、摄像头靶面单颗像素物理尺寸，计算摄像头单颗像素代表结构实际尺寸，并储存数据；
(b)图像处理程序向高清摄像头2发送指令，采集被测目标8的初始状态图像，记录对应的时间数据，将图像数据和时间数据传输回单片机1；
(c)图像处理程序对步骤(b)中的时间数据进行储存，并将图像数据传输到显示屏4，在特定窗口中显示；
(d)用户在步骤(c)所显示的图像中通过鼠标分别框选出被测目标8，图像处理程序将其作为模板，储存各模板及其在初始状态图像中对应的坐标；
(e)图像处理程序向高清摄像头2发送指令，连续采集被测目标8的图像，记录对应的时间数据，将图像数据和时间数据传输回单片机1；
(f)图像处理程序根据模板在第n-1帧图像中的位置及模板的尺寸，对在第n帧图像中进行模板匹配的区域进行小范围确定。结合土木结构振动特点，按照模板匹配范围计算公式对该区域进行计算、更新：
W＝ξ1w (1)
H＝ξ2h (2)
Xn＝xn-1-W/2 (3)
Yn＝yn-1-H/2 (4)
式中，W为搜索范围的宽；H为搜索范围的高；w为模板的宽；h为模板的高；ξ1为宽度方向放大因子，根据被测结构振动特点取值，以桥梁结构为例，一般取1.5；ξ2为高度方向放大因子，根据被测结构振动特点取值，以桥梁结构为例，一般取2；Xn为搜索范围左上角在第n帧图中的横坐标；Yn为搜索范围左上角在第n帧图中的纵坐标；xn-1为模板左上角在第n-1帧图中的横坐标；yn-1为模板左上角在第n-1帧图中的纵坐标。
(g)图像处理程序对步骤(e)中的时间数据进行储存，在步骤(f)计算得到的区域中，通过零均值归一化互相关匹配算法进行模板匹配。该算法计算模板与区域内每一个可能的且与模板同尺寸的子区域之间的相似系数；
(h)图像处理程序提取步骤(g)中最大相似系数及其对应坐标9×9邻域内的相似系数，形成尺寸为9×9的相似系数地图。采用Lanczos核按照如下公式对该地图进行插值：
式中，L(x)和L(y)分别为沿横向和竖向的Lanczos核；x为相似系数地图横坐标，y为相似系数地图纵坐标；a为Lanczos核半径，本程序该值取4，即L(x)的尺寸为1×9，L(y)的尺寸为9×1；
为向下取整；sij为相似系数地图中坐标(i,j)处的相似系数，i,j均为整数。图像处理程序提取插值后的相似系数地图中最大值的坐标作为被测目标8在第n帧图像中的亚像素坐标。
(i)图像处理程序将步骤(h)中被测目标8在第n帧图像中的亚像素坐标与其在初始状态图像中对应的坐标进行比较，计算被测目标8在图像平面的位移数据；
(j)图像处理程序根据步骤(a)计算的摄像头单颗像素代表被测结构的实际尺寸，将步骤(i)的图像平面坐标系位移数据换算为实际位移，输出数据。
所述的图像处理程序提高计算效率的方法，主要通过步骤(f)中提出的模板匹配范围计算公式来实现。
所述的图像处理程序提高位移计算精度的方法，主要通过步骤(h)中的Lanczos插值方法来实现。
所述的步骤(f)中模板匹配范围计算公式中ξ1和ξ2的默认值均为2。
所述的步骤(h)中基于Lanczos核进行相似系数地图插值，其插值分辨率一般为1/100像素或者更高。
所述的激光测距仪3、三脚架7等辅助设备在某些测量场景中可以省去。
所述的被测目标8为被测结构表面本身的、具有区别于背景的特征纹理或图案，无需在结构表面安装任何人工标志。如果方便设置人工标志作为被测目标8，效果可能更好。
本发明所提供的一种基于单片机的便携式在线视觉位移测量系统具有以下优点及有益效果：(1)图像处理程序计算效率高；(2)采用普通单片机即可快速运行，满足实时性要求；(3)一体化程度高、便携性好，户外测量省时省力；(4)位移测量精度高；(5)一般无需专门设置人工标志。
附图说明
图1为采用本系统对户外桥梁结构上一个位移时程已知的运动靶标进行测量的示意图。
图2为本发明中图像处理程序的工作流程图。
其中，1-单片机；2-高清摄像头；3-便携式激光测距仪；4-便携式显示屏；5-一体式鼠标键盘；6-移动电源；7-三脚架；8-被测目标。
具体实施方式
下面结合附图和具体实施例对本发明的工作流程作进一步的说明，并展示本发明在计算速度、精度以及现场安装方面的优势。
如图1所示，一种基于单片机的便携式在线视觉位移测量系统对户外桥梁结构测量，该系统包括图像数据采集设备、图像数据计算设备和辅助设备；
图像数据计算设备为安装有特定图像处理程序的单片机1，本实施例中采用的单片机型号为A；
图像数据采集设备为高清摄像头2，本实施例中采用的型号为B，其靶面单颗像素物理尺寸为C毫米，拍摄的图像分辨率为D，镜头焦距为E毫米；
所述的辅助设备包括便携式激光测距仪3、便携式显示屏4、一体式鼠标键盘5、移动电源6以及三脚架7；
所述的高清摄像头2、便携式显示屏4、移动电源6分别与单片机1联接；
所述的所有设备均被集成、安装在三脚架7上；
所述的被测目标8为一座桥梁上一个位移时程已知的运动靶标，许福友等人的“一种验证结构平面位移视觉测量系统精度的方法”描述了该运动靶标真实位移时程的获取方式；
所述系统测量结构位移的流程为：
1)将系统置于合适位置，使高清摄像头2光轴垂直于被测目标8，无需其他现场安装、联接、调试工作；
2)采用激光测距仪3测量摄像头2与被测目标8之间的距离为F米，计算摄像头2单颗像素代表结构实际尺寸为G毫米；
3)采用所述的特定图像处理程序对被测目标8进行图像采集、分析，计算靶标位移，特定图像处理程序工作流程如图2所示，其特征在于该程序执行如下步骤：
(a)输入高清摄像头2单颗像素代表结构实际尺寸G毫米，并储存数据；
(b)图像处理程序向高清摄像头2发送指令，高清摄像头2采集靶标的初始状态图像，记录对应的时间数据，将图像数据和时间数据传输回单片机1；
(c)图像处理程序对步骤(b)中的时间数据进行储存，并将图像数据传输到显示屏4，在特定窗口中显示；
(d)在步骤(c)所显示的图像中通过鼠标框选出被测目标8，图像处理程序将其作为模板，本实施例模板尺寸为J×J像素，储存模板以及其在初始状态图像中对应的坐标；
(e)图像处理程序向高清摄像头发送指令，高清摄像头连续采集被测目标8的图像，记录对应的时间数据，将图像数据和时间数据传输回单片机1；
(f)图像处理程序根据模板在第n-1帧图像中的位置及模板的尺寸，对在第n帧图像中进行模板匹配的区域进行小范围确定。按照如下公式对该区域进行计算、更新：
W＝ξ1w (1)
H＝ξ2h (2)
Xn＝xn-1-W/2 (3)
Yn＝yn-1-H/2 (4)
式中，W为搜索范围的宽；H为搜索范围的高；w为模板的宽；h为模板的高；ξ1为宽度方向放大因子，根据被测结构振动特点取值，本实施例中，该值取1.5；ξ2为高度方向放大因子，根据被测结构振动特点取值，本实施例中，该值取2；Xn为搜索范围左上角在第n帧图中的横坐标；Yn为搜索范围左上角在第n帧图中的纵坐标；xn-1为模板左上角在第n-1帧图中的横坐标；yn-1为模板左上角在第n-1帧图中的纵坐标。
(g)图像处理程序对步骤(e)中的时间数据进行储存，在步骤(f)计算得到的区域中，通过零均值归一化互相关匹配算法进行模板匹配。该算法计算模板与区域内每一个可能的且与模板同尺寸的子区域之间的相似系数；
(h)图像处理程序提取步骤(g)中最大相似系数及其对应坐标9×9邻域内的相似系数，形成尺寸为9×9的相似系数地图。采用Lanczos核按照如下公式对该地图进行插值：
式中，L(x)和L(y)分别为沿横向和竖向的Lanczos核；a为Lanczos核半径，本程序该值取4，即L(x)的尺寸为1×9，L(y)的尺寸为9×1；
为向下取整；sij为相似系数地图中坐标(i,j)处的相似系数，i,j均为整数。本实施例中，插值分辨率为1/100像素。图像处理程序提取插值后的相似系数地图中最大值的坐标作为被测目标8在第n帧图像中的亚像素坐标。
(i)图像处理程序将步骤(h)中被测目标8在第n帧图像中的亚像素坐标与其在初始状态图像中对应的坐标进行比较，计算被测目标8在图像平面的位移数据；
(j)图像处理程序根据步骤(a)输入的摄像头单颗像素代表被测结构的实际尺寸，将步骤(i)的图像平面坐标系位移数据换算为实际位移，输出数据。
所述的激光测距仪3、三脚架7等辅助设备在某些测量场景中可以省去。
当A为Raspberry Pi 4，B为Raspberry Pi High Quality Camera，C为0.00155，D为1280×640，E为75，F为181，G为11.86，J为40时，采用步骤(f)所述方法每帧图像平均处理时间为34.3毫秒，而采用传统方法(即模板匹配区域为整幅图像)的平均处理时间为85.7毫秒，所提方法的计算时间相较于传统方法减少60.0％，计算速度大幅提高。采用传统双线性插值法得到本次测量的均方根误差为2.37mm，而采用步骤(h)所述方法的均方根误差为0.658mm，测量误差减小72.2％，测量精度大幅提高。并且，本系统无需现场安装、联接、调试工作，大幅提高测量效率，省工省时。
Claims (3)
1.一种基于单片机的便携式在线视觉位移测量系统，其特征在于，该便携式在线视觉位移测量系统包括图像采集设备、图像计算设备和辅助设备；
图像计算设备为安装有图像处理程序的单片机(1)；
图像采集设备为高清摄像头(2)；
辅助设备包括便携式激光测距仪(3)、便携式显示屏(4)、一体式鼠标键盘(5)、移动电源(6)以及三脚架(7)；
高清摄像头(2)、便携式显示屏(4)、移动电源(6)分别与单片机(1)联接；
所有设备均被集成、安装在三脚架(7)上；
系统测量结构位移的具体步骤为：
1)将便携式在线视觉位移测量系统安装固定，使高清摄像头(2)的光轴与被测目标(8)垂直；
2)采用便携式激光测距仪(3)测量高清摄像头(2)与被测目标(8)之间的距离；
3)采用图像处理程序对被测目标(8)进行图像采集、分析，实时计算被测目标(8)位移；
图像处理程序的具体步骤如下：
(a)根据高清摄像头(2)与被测目标(8)之间的距离，结合镜头焦距、摄像头靶面单颗像素物理尺寸，计算摄像头单颗像素代表结构实际尺寸，并储存数据；
(b)根据设定，高清摄像头(2)采集被测目标(8)的初始状态图像，记录对应的时间数据，将图像和时间数据传输回单片机(1)；
(c)对步骤(b)中的时间数据进行储存，并将图像传输到便携式显示屏(4)，在窗口中显示；
(d)用户在步骤(c)所显示的图像中通过鼠标分别框选出被测目标(8)，将其作为模板，储存各模板及其在初始状态图像中对应的坐标；
(e)高清摄像头(2)连续采集被测目标(8)的图像，记录对应的时间数据，将图像和时间数据传输回单片机(1)；
(f)根据模板在第n-1帧图像中的位置及模板的尺寸，在第n帧图像中小范围确定与模板匹配的区域，按照如下模板匹配范围计算公式对该区域进行计算、更新：
W＝ξ1w 1)
H＝ξ2h 2)
Xn＝xn-1-W/2 3)
Yn＝yn-1-H/2 4)
式中，W为搜索范围的宽；H为搜索范围的高；w为模板的宽；h为模板的高；ξ1为宽度方向放大因子，根据被测结构振动特点取值；ξ2为高度方向放大因子，根据被测结构振动特点取值；Xn为搜索范围左上角在第n帧图中的横坐标；Yn为搜索范围左上角在第n帧图中的纵坐标；xn-1为模板左上角在第n-1帧图中的横坐标；yn-1为模板左上角在第n-1帧图中的纵坐标；
(g)对步骤(e)中的时间数据进行储存，在步骤(f)计算得到的区域中，通过零均值归一化互相关匹配算法进行模板匹配，该算法计算模板与区域内每一个具有可能性的且与模板同尺寸的子区域之间相似系数；
(h)提取步骤(g)中最大相似系数及其对应坐标9×9邻域内的相似系数，形成尺寸为9×9的相似系数地图；采用Lanczos对相似系数地图进行插值，计算被测目标(8)的亚像素坐标；
(i)将步骤(h)中被测目标(8)在第n帧图像中的亚像素坐标与其在初始状态图像中对应的坐标进行比较，计算被测目标(8)在图像平面的位移数据；
(j)根据步骤(a)计算的摄像头单颗像素代表被测结构的实际尺寸，将步骤(i)的图像平面坐标系位移数据换算为实际位移，输出数据。
2.根据权利要求1所述基于单片机的便携式在线视觉位移测量系统，其特征在于，所述步骤(f)中模板匹配范围计算公式中ξ1和ξ2的默认值均为2。
3.根据权利要求1或2所述基于单片机的便携式在线视觉位移测量系统，其特征在于，所述步骤(h)中的插值分辨率不低于1/100像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210309281.3A CN114674231B (zh) | 2022-03-28 | 2022-03-28 | 一种基于单片机的便携式在线视觉位移测量系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210309281.3A CN114674231B (zh) | 2022-03-28 | 2022-03-28 | 一种基于单片机的便携式在线视觉位移测量系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114674231A CN114674231A (zh) | 2022-06-28 |
| CN114674231B true CN114674231B (zh) | 2022-12-20 |
Family
ID=82076031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210309281.3A Active CN114674231B (zh) | 2022-03-28 | 2022-03-28 | 一种基于单片机的便携式在线视觉位移测量系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114674231B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009053815A (ja) * | 2007-08-24 | 2009-03-12 | Nikon Corp | 被写体追跡プログラム、および被写体追跡装置 |
| CN105302151B (zh) * | 2014-08-01 | 2018-07-13 | 深圳中集天达空港设备有限公司 | 一种飞机入坞引导和机型识别的系统及方法 |
| CN110411408A (zh) * | 2019-07-11 | 2019-11-05 | 浙江大学 | 一种基于计算机视觉的地表沉降监测方法 |
| CN113240747B (zh) * | 2021-04-21 | 2022-08-26 | 浙江大学 | 一种基于计算机视觉的户外结构振动位移自动化监测方法 |
| CN114066828B (zh) * | 2021-11-03 | 2022-09-02 | 深圳市创科自动化控制技术有限公司 | 一种基于多功能底层算法的图像处理方法及系统 |
-
2022
- 2022-03-28 CN CN202210309281.3A patent/CN114674231B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114674231A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110108348B (zh) | 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统 | |
| CN109341903B (zh) | 一种基于计算机视觉中边缘识别的拉索索力测量方法 | |
| JP5097765B2 (ja) | 計測方法および計測プログラムならびに計測装置 | |
| CN111272366B (zh) | 一种基于多传感器数据融合的桥梁位移高精度测量方法 | |
| CN111174961B (zh) | 一种基于模态分析的索力光学测量方法及其测量系统 | |
| KR101309443B1 (ko) | 모션 캡처를 이용한 구조물 모니터링 장치 및 방법 | |
| CN112629431B (zh) | 土木结构变形监测方法及相关设备 | |
| CN109632085A (zh) | 一种基于单目视觉的低频振动校准方法 | |
| CN109191533B (zh) | 基于装配式建筑的塔吊高空施工方法 | |
| Tan et al. | Target-free vision-based approach for modal identification of a simply-supported bridge | |
| CN110135011B (zh) | 一种基于视觉的柔性板振动形态可视化方法 | |
| CN114674231B (zh) | 一种基于单片机的便携式在线视觉位移测量系统 | |
| KR20060018909A (ko) | 구조물 감시, 진단을 위한 이미지 프로세싱에 기반한구조물의 동적영상변위계측시스템 | |
| CN115993094B (zh) | 一种基于ccd相机的大型膜结构屋顶位移监测方法及系统 | |
| CN110532725B (zh) | 基于数字图像的工程结构力学参数识别方法及系统 | |
| KR20140024745A (ko) | 구조물의 변위 측정을 위한 오브젝트의 캘리브레이션 방법 및 시스템 | |
| KR20060018910A (ko) | 구조물 감시, 진단을 위한 이미지 프로세싱에 기반한구조물의 정적영상변위계측시스템 | |
| CN112419287A (zh) | 一种建筑挠度确定方法、装置及电子设备 | |
| Wang et al. | Vision technique for deflection measurements based on laser positioning | |
| CN114754695B (zh) | 多视场桥梁挠度测量装置、方法及存储介质 | |
| Hang et al. | Eulerian fast motion identification algorithm for deformation measurement of cable-stayed bridge | |
| WO2022126339A1 (zh) | 土木结构变形监测方法及相关设备 | |
| CN112906095B (zh) | 基于激光条纹中心追踪的桥梁模态识别方法及其系统 | |
| CN114018167A (zh) | 一种基于单目三维视觉的桥梁挠度测量方法 | |
| CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |