CN115289982A

CN115289982A - 一种基于ArUco码的结构平面位移视觉监测方法

Info

Publication number: CN115289982A
Application number: CN202211186976.3A
Authority: CN
Inventors: 张锡治; 栗庶斌; 章少华; 闫城东; 闫翔宇
Original assignee: Tianjin University; Tianjin University Research Institute of Architectrual Design and Urban Planning
Current assignee: Tianjin University; Tianjin University Research Institute of Architectrual Design and Urban Planning
Priority date: 2022-09-28
Filing date: 2022-09-28
Publication date: 2022-11-04

Abstract

本发明公开了一种基于ArUco码的结构平面位移视觉监测方法，包括：ArUco码标识点的生成与安装、监测系统的搭建、实时图像处理与数据处理以及监测数据的保存与输出。本发明专利用工业相机进行图像采集，利用图像处理技术进行ArUco码标识点的定位与角点提取，同时通过亚像素细化将角点的坐标精确到亚像素值，确定标识点的中心坐标，通过世界‑图像坐标系对应的转换关系最终得到标识点的实际位移。该方法为非接触测量，可以实时得到各标识点的位移数据，精度高，鲁棒性强，有很强的应用价值。

Description

一种基于ArUco码的结构平面位移视觉监测方法

技术领域

本发明涉及计算机视觉领域与结构位移监测领域，尤其涉及一种基于ArUco码的结构平面位移视觉监测方法。

背景技术

随着高层建筑、大跨度桥梁、空间网架等各种结构的发展，结构工程专业对结构整体的工作性能和结构的非线性性能等问题的研究日益突出，对结构试验的测量要求也日益增加。目前国内关于结构试验的测量方法有很多，主要是以传统的接触式测量仪器（LVDT型位移计、拉线式位移计）为主，这类方法通过传感器与被测物体测点接触，结构发生位移时引起接触点的移动，从而实现位移的测量，传统方法费工、费时、存在一定的安全隐患，且测量精度往往与仪器是否正确安装有关。对于非接触测量方法，主要包括非接触式位移传感器和基于光学原理进行位移量测。

随着计算机视觉技术和图像采集设备的不断发展，基于计算机视觉的结构位移测量方法不断涌现，其因远距离、非接触、高精度、多点测量、省时省力等众多优点越来越受到科研工作者和工程人员的关注。但目前结构试验中，由于环境影响因素较多，大多都无法做到实时高精度的测量，同时由于测试时间长，测点的鲁棒性较差，实时测量就显得更加困难，无法很好的适应试验场所复杂环境的影响。

因此，现有测量方式需要一种实时、鲁棒性强、精确度高的方法来提高非接触测量的实用性，并且需要一种可编码的人工标识点来提高复杂，多测点图像处理的效率。

发明内容

针对上述问题，本发明提供一种基于ArUco码的结构平面位移视觉监测方法，通过非接触的方式对结构位移进行实时的高精度的测量，可适应复杂多变的环境，装置简单，成本低、安装与使用要求低、适用范围广。

本发明提供一种基于ArUco码的结构平面位移视觉监测方法，包括如下步骤：

S1：首先生成测量所需要的ArUco码标识点，大小和数量根据实际项目设置。

S2：将准备好的ArUco码标识点粘贴在待测结构需要测量的部位。

S3：搭建工业相机视觉监测装置，包括处理与显示设备、工业相机、云台支架以及连接工业相机与处理设备的USB数据线；将工业相机正对ArUco码标识点，打开工业相机，进行设备调试，确保待测部位位于视野中央。

S4：根据单相机模型中世界坐标系与图像坐标系的关系确定转换系数，转换系数公式如下式所示：

其中D_mm是世界坐标系下的实际距离，D_pixel是图像坐标系下的像素距离。

世界坐标系与图像坐标系的关系如下式所示：

其中，X_c、Y_c、Z_c为图像坐标系中的点的坐标，X_w、Y_w、Z_w为世界坐标系下的点的坐标，M为根据转换系数SF确定的转换矩阵。

S5：通过转换系数，对所采集到的每一帧图像进行实时图像处理，得到每个ArUco码标识点中心的实际位移。

S6：对所得到的实际位移同步进行实时数据处理，并将监测数据进行保存。

进一步地，所述S1中采用ArUco码自动生成器生成不同大小和数量的ArUco码标识点，ArUco码标识点采用二进制编码，边界为黑色，呈正方形。

进一步地，所述S2中将S1中生成的ArUco码标识点打印在哑光白卡纸上，粘贴时需保证粘贴表面平整。

进一步地，工业相机采用定焦相机，从而消除镜头畸变带来的影响。

进一步地，工业相机单独架设构成单目视觉，仅测量结构试验中发生的平面内变形，并且设定图像平面X_c、Y_c与世界平面X_w、Y_w平行，不考虑Z方向位移。

进一步地，所述S4中，试验前对粘贴ArUco码标识点的待测结构进行抓拍，转换系数通过试验前连续采集n帧包含ArUco码标识点的待测结构图像，对每帧图像进行亚像素角点检测，得到标识点的四个角点坐标，进而求出正方形ArUco码标识点的四条像素边长b_n1、b_n2、b_n3、b_n4，取平均得到第n帧图像ArUco码标识点的平均像素边长b_n=(b_n1+b_n2+b_n3+b_n4)/4，通过对n帧图像求得的像素边长再取平均得到总的平均像素边长b=(b₁+b₂+...+b_n)/n，ArUco码标识点的物理尺寸为a，则图像坐标系到世界坐标系的转换系数SF=D_mm/D_pixel=a/b。

进一步地，所述S5中实时图像处理包含下列步骤：

（1）在监测过程中实时传入工业相机所采集到的每一帧图像；

（2）实时检测并识别每一帧图像中的ArUco码标识点；具体地，首先进行图像灰度化，采用局部自适应阈值方法提取灰度图像中最突出的轮廓；采用多边形近似对阈值图像进行轮廓提取；采用单应性矩阵去除透视投影，使用Otsu方法对生成图像进行阈值处理以分离白色和黑色位，从而确定ArUco码标识点代表的含义；通过对轮廓像素进行线性回归，根据ArUco码标识点四条轮廓边的交点得到四个角点位置；

（3）对所得到的整像素角点进行亚像素细化，得到四个角点的亚像素坐标值，进而计算出ArUco码标识点中心的亚像素坐标值；后一帧图像中心点坐标减去初始图像中心点坐标即为该ArUco码标识点中心所发生的像素位移大小；像素位移乘以转换系数即可得到实际位移大小值。

进一步地，所述S6中对所得到的实际位移同步进行实时数据处理包括：数据传出与实时绘制并显示ArUco码标识点中心的位移曲线，监测结束后输出每个ArUco码标识点全过程的时间-位移数据，保存在.csv格式文件中供后续数据处理。

本发明的有益效果是：该种基于ArUco码的结构平面位移视觉监测方法，在不影响结构本身的基础上即可布置监测系统进行非接触式测量；对所需装置的安装方式没有特殊要求，只需在测试物表面粘贴ArUco码标识点，可以实现多点实时测量，实时掌握结构的整个位移监测过程。本发明涉及的试验装置安装方面，工作量少，安装便捷，对试验人员要求低，操作简单；同时，根据实际项目测试验证了其精度高，效果好，在试验室的噪声影响和光照变化的复杂环境之中，无需额外操作，标识点识别的鲁棒性很好，且试验结束之后可采用相应的溶胶剂将标识点进行无损去除，对待测结构本身没有任何影响。

附图说明

图1为ArUco码标识点自动生成器示意图。

图2为ArUco码标识点示意图。

图3为监测系统示意图。

图4为工业相机安装示意图，其中（a）为正视图，（b）为俯视图。

图5为基于ArUco码的结构平面位移视觉监测方法流程图。

图6为具体试验中采用位移传感器测量与本发明监测方法测量的位移对比图，其中（a）图为试件一测量方式试验对比图，（b）图为试件二测量方式试验对比图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅限于解释本发明，并不限定本发明。

S1：首先生成测量所需要的ArUco码标识点5，大小和数量根据实际项目设置。

S2：将准备好的ArUco码标识点5粘贴在待测结构6需要测量的部位。如图2所示为4×4_1000中ID为1的ArUco码标识点5。

S3：搭建工业相机视觉监测装置，如图3所示，包括处理与显示设备1，工业相机2，云台支架3，连接工业相机与处理设备的USB数据线4。将工业相机2正对ArUco码标识点5，打开工业相机2，进行设备调试，确保待测部位位于视野中央。如图4所示，（a）图为正视图，（b）图为俯视图，设备调试主要包括调节云台支架3水平与垂直度，确保工业相机2自身保持上下的垂直以及左右的水平，调节工业相机2测试画面与待测结构6表面平行，调节工业相机2光圈与清晰度。

世界坐标系与图像坐标系的关系如下式所示：

S5：通过转换系数，对所采集到的每一帧图像进行实时图像处理，得到每个ArUco码标识点5中心的实际位移。

基于ArUco码的结构平面位移视觉监测方法整体流程图如图5所示。

进一步地，所述S1中采用ArUco码自动生成器生成ArUco码标识点5，如图1所示，图中Dictionary代表预定义的标记词典，每个词典中所有的ArUco码标识点5均包含相同数量的块或者位，例如4×4、5×5、6×6，且每个词典中ArUco码标识点5的数量固定，例如50、100、250、1000，MarkerID表示所生成ArUco码标识点5的ID，Markersize表示ArUco码标识点5的尺寸。

进一步地，所述S4中，试验前对粘贴ArUco码标识点5的待测结构6进行抓拍，转换系数通过试验前连续采集n帧包含ArUco码标识点5的待测结构图像，对每帧图像进行亚像素角点检测，得到标识点的四个角点坐标，进而求出正方形ArUco码标识点5的四条像素边长b_n1、b_n2、b_n3、b_n4，取平均得到第n帧图像ArUco码标识点5的平均像素边长b_n=(b_n1+b_n2+b_n3+b_n4)/4，通过对n帧图像求得的像素边长再取平均得到总的平均像素边长b=(b₁+b₂+...+b_n)/n，ArUco码标识点5的物理尺寸为a，则图像坐标系到世界坐标系的转换系数SF=D_mm/D_pixel=a/b。

进一步地，所述S5中实时图像处理包含下列步骤：

（2）实时检测并识别每一帧图像中的ArUco码标识点5；具体地，首先进行图像灰度化，采用局部自适应阈值方法提取灰度图像中最突出的轮廓；采用多边形近似对阈值图像进行轮廓提取；采用单应性矩阵去除透视投影，使用Otsu方法对生成图像进行阈值处理以分离白色和黑色位，从而确定ArUco码标识点5代表的含义；通过对轮廓像素进行线性回归，根据ArUco码标识点5四条轮廓边的交点得到四个角点位置；

（3）对所得到的整像素角点进行亚像素细化，得到四个角点的亚像素坐标值，进而计算出ArUco码标识点5中心的亚像素坐标值；后一帧图像中心点坐标减去初始图像中心点坐标即为该ArUco码标识点5中心所发生的像素位移大小；像素位移乘以转换系数即可得到实际位移大小值。

进一步地，所述S6中对所得到的实际位移同步进行实时数据处理包括：数据传出与实时绘制并显示ArUco码标识点5中心的位移曲线，监测结束后输出每个ArUco码标识点5全过程的时间-位移数据，保存在.csv格式文件中供后续数据处理。

本发明专利中的方法已经经过具体试验验证，如图6所示，（a）图和（b）图分别显示了试件一和试件二使用基于ArUco码的结构平面位移视觉监测方法所测到的位移与其对应位置下使用传统接触式位移计测得的位移之间的对比，其中横坐标代表加载水平，纵坐标代表测点水平位移的大小。可以看到，本发明专利所采取的方法测得的结果与传统接触式位移计测量方法相比十分接近，平均误差在2%左右，有着很好的效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详尽的说明，对于本领域的技术人员来说依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护范围之内。

Claims

1.一种基于ArUco码的结构平面位移视觉监测方法，其特征在于：包括如下步骤：

S1：首先生成测量所需要的ArUco码标识点，大小和数量根据实际项目确定；

S2：将准备好的ArUco码标识点粘贴在待测结构需要测量的部位；

S3：搭建工业相机视觉监测装置，包括处理与显示设备、工业相机、云台支架以及连接工业相机与处理设备的USB数据线；将工业相机正对ArUco码标识点，打开工业相机，进行设备调试，确保待测部位位于视野中央；

其中D_mm是世界坐标系下的实际距离，D_pixel是图像坐标系下的像素距离；

S5：通过转换系数，对所采集到的每一帧图像进行实时图像处理，得到每个ArUco码标识点中心的实际位移；

2.根据权利要求1所述的一种基于ArUco码的结构平面位移视觉监测方法，其特征在于：所述S4中，转换系数通过试验前连续采集n帧包含ArUco码标识点的待测结构图像，对每帧图像进行亚像素角点检测，得到标识点的四个角点坐标，进而求出正方形ArUco码标识点的四条像素边长b_n1、b_n2、b_n3、b_n4，取平均得到第n帧图像ArUco码标识点的平均像素边长b_n=(b_n1+b_n2+b_n3+b_n4)/4，通过对n帧图像求得的像素边长再取平均得到总的平均像素边长b=(b₁+b₂+...+b_n)/n，ArUco码标识点的物理尺寸为a，则图像坐标系到世界坐标系的转换系数SF=D_mm/D_pixel=a/b。

3.根据权利要求1所述的一种基于ArUco码的结构平面位移视觉监测方法，其特征在于：所述S5中实时图像处理包含下列步骤：

4.根据权利要求1所述的一种基于ArUco码的结构平面位移视觉监测方法，其特征在于：所述S6中对所得到的实际位移同步进行实时数据处理，包括数据传出与实时绘制并显示ArUco码标识点中心的位移曲线，监测结束后输出每个ArUco码标识点全过程的时间-位移数据，保存在.csv格式文件中供后续数据处理。