CN114998717B - 一种钢箱梁表观疲劳裂纹发展趋势视频监测方法 - Google Patents

Abstract

本发明公开了一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，本发明基于单个具备两轴云台及高倍光学变焦性能的高精度视频摄像机对钢箱梁已发现表观疲劳裂纹的区域进行定期的高精度实时成像，并基于数字图像处理技术得到裂纹不同时期的几何尺寸，构建裂纹动态监测机制。本发明涉及的方法能替代现有的人工巡查抵近测量的手段，节省人力成本，提高裂纹观测的效率，提供一种非接触式、长期、精准、高效、低成本的钢箱梁表观疲劳裂纹发展趋势监测解决方案，为钢箱梁病害科学处置及管养提供实时、客观、翔实的证据。

Description

一种钢箱梁表观疲劳裂纹发展趋势视频监测方法

技术领域

本发明属于桥梁结构健康监测领域，尤其提供了一种钢箱梁表观疲劳裂纹发展趋势视频监测方法。

背景技术

近年来钢箱梁广泛应用于大跨度桥梁建设中，由于自然环境较恶劣，长期承受车辆荷载风荷载等动力荷载作用，钢箱梁易出现腐蚀和疲劳损伤，导致疲劳强度下降产生裂纹，随着桥梁服役年限的增长，最终可能因裂纹的扩展导致桥梁结构失效，发生断裂垮塌。据统计数据显示，90％的损坏桥梁由桥梁裂纹引起，桥梁裂纹检测数据是桥梁耐久性评估的重要参考之一，能够为养护部门提供有效依据，进而保障工程安全与行车效率。对桥梁裂纹进行实时监测，观察其扩展趋势能有效掌握桥梁的安全状况，防止早期桥梁病害的进一步发展。

现有的桥梁裂纹监测手段主要有人工抵近测量、裂纹图像观测仪观测和接触式裂纹计观测三种方式。人工抵近测量工作量大，检测成本高，存在安全隐患，检测结果受人为主观因素影响较大，测量结果不能客观反应桥梁裂纹真实状态，数字化和可视化效果差；裂纹图像观测仪的视场一般较小，无法进行整条裂纹发展趋势的观测，并且也需要抵近安装和观测，施工难度较大；接触式裂缝计可监测裂缝深度、宽度和开合度，但量程小，市面上现有裂缝计最大量程为300mm，并且需要接触式安装，精度容易受桥梁震动和温度因素的干扰，数字化和可视化效果差。

发明内容

基于现有桥梁裂纹主要监测手段存在的弊端，本发明提供了一种钢箱梁表观疲劳裂纹发展趋势视频监测方法。本发明在已发现表观疲劳裂纹的区域附近固定安装单个带有两轴云台高倍光学变焦性能的高精度视频摄像机，对表观疲劳裂纹及其周边区域进行长期的高精度成像，利用图像处理技术检测不同时期的表观疲劳裂纹长度和宽度，掌握裂纹发展趋势。实现非接触式、长期、精准、高效、低成本的钢箱梁表观疲劳裂纹发展趋势监测。

本发明中涉及的视频摄像机的高倍光学变焦功能可以观察到足够细微的图像特征，以便满足细小裂纹的观测需求，宽视角的两轴云台功能可以观察足够广泛的区域，以便满足表观疲劳裂纹发展的观测需求。由于具备高变倍光学镜头和宽视角的两轴云台，摄像机安装位置较为灵活自由，可以根据现场实际情况布置在距离裂纹0.5m-3m的空间范围之内。

为达到上述技术效果，本发明的技术方案是：

一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，包括如下步骤：

步骤一、根据疲劳裂纹监测区域幅面，疲劳裂纹监测精度要求，摄像机安装位置，摄像机内参数，规划摄像机的初次采集路线以及每次采集图像时的采集路线更新方式；

步骤二、在钢箱梁表面布置分散若干人工合作编码标志，确定全局空间坐标系，执行步骤一中的采集路线对人工合作标志进行多站成像，获取摄像机在采集路线不同点位处的外参数；

步骤三、根据步骤一中规划的采集路线进行图像自动采集，并对采集得到的图像序列进行无损图像拼接；

步骤四、利用基于图像处理的裂纹提取技术提取单张图像上的钢箱梁表观疲劳裂纹的几何尺寸；

步骤五、基于步骤二中标定的点位外参数将以像素为单位的几何尺寸转换为实际空间中的物理几何尺寸，将并对物理几何尺寸赋予时间维度；

步骤六、对多张图像上的疲劳裂纹提取结果进行遍历，逐张进行单张图像与拼接大图的匹配，并将单张图像上提取的疲劳裂纹投影至拼接大图上；

步骤七、在拼接大图上对疲劳裂纹进行合并和融合，删除冗余及重叠裂纹，获取精确的裂纹尺寸及空间走向；

步骤八、通过定期重复步骤三-步骤七实现钢箱梁表观裂纹病害发展趋势的长期监测。

进一步的改进，所述步骤一包括如下步骤：

1.3)根据疲劳裂纹监测区域幅面，疲劳裂纹监测精度要求，摄像机安装位置，摄像机内参数，划分子采集区域：

云台摄像机的图像分辨率和靶面尺寸为已知量，云台摄像机镜头为高倍光学变焦镜头；确定摄像机安装位置，测量摄像机离监测区域幅面的距离WD，首先通过疲劳裂纹的精度设置相机的焦距f；

根据疲劳裂纹监测精度要求λ和云台摄像机水平方向图像分辨率P_h，垂直方向图像分辨率高P_v，求解水平方向视野范围FOV_h和垂直方向视野范围FOV_v。

根据水平方向视野范围FOV_h和垂直方向视野范围FOV_v求解相机的焦距 f；

其中，T_h为云台摄像机靶面尺寸的宽，T_v为云台摄像机靶面尺寸的高。为了保证疲劳裂纹检测精度，取f_h,f_v中最大值；如果f_h≥f_v，则取f＝f_h，否则，取f＝f_v；

为了便于后续图像拼接，设置云台相机进行扫描采集中有重叠区域，设水平扫描的相邻图像之间重叠区域为1/3FOV_h，垂直扫描的相邻图像之间重叠区域为1/3FOV_v；以疲劳裂纹监测区域幅面L×W左上角为扫描起点，为了保证幅面扫描的完整性，扫描的相机视场大于幅面L×W，左右两边扩充1/6FOV_h，上下两边扩充1/6FOV_v，左右方向以2/3FOV_h步长进行扫描，上下方向以 2/3FOV_v步长进行扫描，则疲劳裂纹监测区域幅面划分子采集区域的关系表达为：

子采集区域列数：

子采集区域行数：

其中，L为疲劳裂纹监测区域幅面的长度，W为疲劳裂纹监测区域幅面的宽度；其中，当子采集区域列数、行数计算结果为小数时，M、N进一位取整数；

通过上述方法将疲劳裂纹监测区域幅面划分成N*M个子采集区域，即N*M 个采集点位；

1.4)规划摄像机初次采集路线；

以疲劳裂纹监测区域幅面左上角子采集区域为云台摄像机起始采集点位，水平方向以2/3FOV_h步长进行采集，垂直方向以2/3FOV_v步长进行采集；云台摄像机采用“之字形”采集路线对N*M个采集点位进行图像序列采集，获得N*M 个图像数据，在采集过程中记录云台摄像机每个采集点位相对于起始采集点位的转动角α和俯仰角β。

进一步的改进，疲劳裂纹监测区域整个幅面划分成N*M个子采集区域，将 N*M个子采集区域按顺序命名为A_1,1,A_1,2...A_1,M；A_2,1,A_2,2...A_2,M... A_N,1,A_N,2...A_N,M；其中，A_i,j表示位于第i行，第j列的子采集区域，1≤i≤N， 1≤j≤M。

进一步的改进，每次采集图像时的采集路线更新方式具体包括如下步骤； 1.2.1)得到疲劳裂纹监测区域整个幅面的图像序列；

1.2.2)对采集的疲劳裂纹监测区域整个幅面的图像序列进行图像拼接，通过裂纹检测定位裂纹所在的子采集区域；

1.2.3)更新子采集区域并重新规划采集路线；将裂纹所在的子采集区域以及与裂纹所在子采集区域邻近的所有子采集区域作为下一次云台摄像机需采集的子采集区域，重新规划更新后的子采集区域的采集路线；

1.2.4)对步骤1.2.3)中更新子采集区域后采集的图像序列进行裂纹发展趋势计算，判断是否需要更新云台摄像机的子采集区域和采集路线，若需要拍摄的子采集区域和采集路线发生了变化则进行更新，否则不进行更新。

进一步的改进，所述步骤1.2.1)规划摄像机采集路线进行疲劳裂纹监测区域整个幅面的图像序列采集包括如下步骤：

1.2.1.1)云台摄像机从疲劳裂纹监测区域幅面左上角的采集点位开始采集，设行号i＝1；

1.2.1.2)云台转动角旋转从左到右水平移动进行图像采集，移动到i行最右端的采集点位，完成第i行子采集区域A_i,1，A_i,2...A_i,M的图像采集，得到 A_i,1,A_i,2...A_i,Mi＝1,3,5...N区域的图像，记录第i行M个采集点位相对于起始采集点位的转动角α_i,j和俯仰角β_i,j；

1.2.1.3)云台俯仰角旋转向下移动，运动到i+1行最右端的采集点位；

1.2.1.4)云台转动角旋转从右到左水平移动进行图像采集，移动到i+1行最左端的预设点，完成第i+1行子采集区域A_i+1,M，A_i+1,M-1...A_i+1,1的图像采集，得到A_i+1,M,A_{i+1,M- 1}...A_i+1,1i＝1,3,5...区域的图像；记录第i+1行M个采集点位相对于起始采集点位的转动角α_i+1,j和俯仰角β_i+1,j；

1.2.1.5)云台摄像机如步骤1.2.1.2)至步骤1.2.1.4)所示，以“之字形”轨迹依次扫描到A_N,M子采集区域，完成裂纹图像采集，得到疲劳裂纹监测区域整个幅面的图像序列。

进一步的改进，所述步骤1.2.3)中，下一次云台摄像机需采集的子采集区域确定方法如下：

1)对云台摄像机采集裂纹图像序列进行图像拼接和裂纹检测定位，得到裂纹所在的子采集区域A_i,j的索引(i,j)集合S1，将集合S1复制到集合S_new；

2)遍历集合S1，S1中裂纹所在的子采集区域A_i,j的八邻域为 A_i-1,j-1,A_i-1,j,A_i-1,j+1,A_i,j-1,A_i,j+1,A_i+1,j-1,A_i+1,j,A_i+1,j+1；在S_new中依次查找A_i,j的八邻域索引(i-1,j-1)，(i-1,j)，(i-1,j+1)，(i,j-1)，(i,j+1)，(i+1,j-1)，(i+1,j)， (i+1,j+1)，如果上述索引在集合S_new中不存在，则将该邻域索引添加到集合S_new中；八邻域扫描区域扩充满足约束条件：行索引1≤i≤N，列索引1≤j≤M；集合S_new中的子采集区域即下一次云台摄像机需采集的子采集区域。

进一步的改进，所述步骤1.2.3)中，重新规划更新后的子采集区域的采集路线如下：

步骤1.2.3.1：对S_new中的索引进行排序；

步骤1.2.3.1.1：遍历S_new中的行索引i，计算行索引的最小值Min_cols和最大值Max_cols，令i＝Min_cols；

步骤1.2.3.1.2：查找i行的所有子采集区域，按列号从小到大排列，并将排序后的A_i,j存入到新的集合B中；

步骤1.2.3.1.3：如果i＜Max_cols，查找i+1行的所有子采集区域，按列号从大到小排列，并将排序后的索引存入到新的集合B中，否则，结束；

步骤1.2.3.1.4：如果i+1＜Max_cols，查找i+2行的所有子采集区域，按列号从大到小排列，并将排序后的索引存入到新的集合B中，如是重复，直至第 Max_cols行，结束；

步骤1.2.3.2：按新的集合B中的索引顺序对进行采集，以左上角的采集点位为起点，采用“之字形”采集路线对集合中的索引对应的子采集区域进行采集：

步骤1.2.3.2.1：将云台摄像机移动到集合B中第一个索引位置(i,j)，即左上角的采集点位，i＝Min_cols，转动云台摄像机转动角从左到右水平移动进行图像采集，完成第i行子采集区域的图像采集，并记录第i行最大的列索引如果Min_cols≠Max_cols，执行步骤1.2.3.2.2，否则，结束；

步骤1.2.3.2.2：令i＝i+1，转动云台摄像机俯仰角向下移动，运动到i行，判断(i-Min_cols)mod2＝0，如果满足，执行步骤1.2.3.2.2.1，否则，执行步骤 1.2.3.2.2.2；

步骤1.2.3.2.2.1：比对第i-1行最大的列索引和第i行最大的列索引的大小，当/>云台摄像机水平向右移动到/>索引对应的采集点位；当/>云台摄像机水平向左移动到/>索引对应的采集点位；当/>云台摄像机不移动；以/>索引对应的采集点位为第i行的起点，云台摄像机从右到左水平移动进行采集，完成第i行子采集区域的图像采集，并记录第i行最小的列索引/>

步骤1.2.3.2.2.2：比对第i-1行最小的列索引和第i行最小的列索引的大小，当/>云台摄像机水平向左移动到/>索引对应的采集点位；当/>云台摄像机水平向右移动到/>索引对应的采集点位；当/>云台摄像机不移动；以/>索引对应的采集点位为第i行的起点，云台摄像机从左到右水平移动进行采集，完成第i行子采集区域的图像采集，并记录第i行最大的列索引/>

步骤1.2.3.2.3：判断i＜Max_cols，满足条件，执行步骤1.2.3.2.2，否则，结束。

进一步的改进，所述步骤1.2.4)中，判断是否需要更新云台摄像机的子采集区域和采集路线的方法如下：对步骤1.2.3)中更新子采集区域后采集的图像序列进行拼接，定位裂纹所在子采集区域，与前期存储的裂纹所在的子采集区域A_i,j的索引(i,j)集合S1进行比对，判断疲劳裂纹是否扩展到了新的子采集区域，如果疲劳裂纹扩展到了新的子采集区域，则更新需要拍摄的子采集区域和采集路线。

进一步的改进，所述步骤二包括如下步骤：

2.1)在钢箱梁表面布置分散若干人工合作编码标志：在疲劳裂纹监测区域幅面左上角子采集区域布置人工合作编码标志，若疲劳裂纹监测区域幅面存在异面的情况，则在与左上角子采集区域异面的子采集区域内布置至少一个人工合作编码标志；

2.2)采集多张布置人工合作编码标志的疲劳裂纹监测区域幅面左上角子采集区域的图像；

2.3)通过张正友标定算法计算起始采集点位摄像机的内参K和初始外参 [R,T]；

2.4)根据初始外参和记录的每个采集点位相对于起使采集点位的转动角α_i,j和俯仰角β_i,j计算每个采集点位的外参；

步骤一中确定了云台摄像机的焦距f，则相机内参为固定参数K；按步骤一规划的采集路线和记录的转动角和俯仰角进行旋转，水平移动的转动角对应的旋转矩阵上下移动的俯仰角对应的旋转矩阵/>

相机旋转过程中外参旋转矩阵的变换表示为：

其中，[R₁ T₁]为摄像机旋转前的外参,[R₂ T₂]为摄像机旋转后的外参，R_T为两处相机位置对应的摄像机旋转矩阵表示为：

通过采集的人工合作编码标志获得起始采集点位摄像机的内外参数，以起始采集点位摄像机外参为旋转前参数，步骤1中记录的每个采集点位相对于起使采集点位的转动角α_i,j和俯仰角β_i,j通过公式2-1计算出每个采集点位的外参。

进一步的改进，所述步骤五包括如下步骤：

步骤四中计算的钢箱梁疲劳裂纹的几何尺寸是以像素为单位，通过步骤二标定的子采集区域的外参将以像素为单位的几何尺寸转换为实际空间中的物理几何尺寸；像素点到空间坐标系的转换表达为：

其中，像素坐标系的某点P像素坐标为(u,v)，是点P在相机坐标系对应的X、Y、Z轴坐标，K为摄像机内参，R为相机外参中的旋转矩阵，t为相机外参中的平移向量，/>是点P在空间坐标系对应的X、Y、Z轴坐标；首先将点的像素通过内参矩阵从像素坐标系转换到相机坐标系，然后通过标定的摄像机外参将相机坐标系转换到空间坐标系；通过各个采集点位标定的相机外参将对应的区域的裂纹像素点转换到空间坐标系，计算裂纹的物理几何尺寸。

本发明的优点：

本发明通过单个具备两轴云台及高倍光学变焦性能的高精度视频摄像机对钢箱梁已发现表观疲劳裂纹的区域进行定期的高精度实时成像，视频摄像机的高倍光学变焦功能可以观察到足够细微的图像特征，满足细小裂纹的观测需求，宽视角的两轴云台功能可以观察足够广泛的区域，并基于数字图像处理技术得到裂纹不同时期裂纹的几何尺寸，构建裂纹动态监测机制。通过定位的裂纹位置和裂纹长度、宽度变化趋势重新规划视频摄像机的子采集区域和采集路线，在不影响裂纹监测的情况下，减少图像数据的采集和计算量，实现非接触式、长期、精准、高效、低成本的钢箱梁表观疲劳裂纹发展趋势监测。

附图说明

图1钢箱梁表观疲劳裂纹视频监测系统总体设计框图；

图2钢箱梁表观疲劳裂纹发展趋势算法计算模块框图；

图3杭州湾跨海大桥某处人工标注的钢箱梁表观疲劳裂纹；

图4云台摄像机进行裂纹监测区域完整幅面子采集区域划分示意图；

图5相邻采集点位云台摄像机拍摄视场示意图；

图6裂纹监测区域完整幅面图像序列采集路线规划示意图；

图7裂纹检测定位的子采集区域示意图；

图8八邻域扩充示意图；

图9八邻域扩充后的裂纹检测定位子采集区域示意图；

图10需采集的子采集区域采集路径规划示意图；

图11需采集的子采集区域更新和采集路线规划整体框图；

图12检测裂纹扩展示意图；

图13根据扩展的裂纹更新需采集的子采集区域示意图；

图14根据更新后需采集的子采集区域重新规划采集路线示意图；

图15法线方向交点求解法；

图16异面人工合作编码标志布置示意图；

具体实施方式

以下通过具体实施方式对本发明的技术方案作具体说明。

一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，总体设计框图如图1所示，图像采集系统负责采集光学信息，并将其转化为数字图像信息传送给图像计算单元，图像计算单元对图像采集系统传送的数字图像进行图像处理和图像分析，得到钢箱梁表观疲劳裂纹的特征信息，实现钢箱梁表观疲劳裂纹的动态监测。钢箱梁表观疲劳裂纹发展趋势算法计算模块框图如图2所示。

本实施例以图3-2020年检测到的杭州湾跨海大桥主跨某处出现的表观疲劳裂纹为例，其钢箱梁疲劳裂纹监测区域幅面L×W为1500mm*1100mm。

在图3已发现表观疲劳裂纹位置的附近固定安装带有两轴云台高倍光学变焦的高精度视频摄像机，通过两轴云台水平和垂直方向运动实现全方位图像采集，满足大范围的监测区域图像数据采集；高倍光学变焦镜头焦距范围 5mm-165mm，500万像素高精度成像。

包括如下步骤：

步骤一、根据疲劳裂纹监测区域幅面，疲劳裂纹监测精度要求，摄像机安装位置，摄像机内参数，规划摄像机的初次采集路线以及每次采集图像时的采集路线更新方式；

步骤二、在钢箱梁表面布置分散若干人工合作编码标志，确定全局空间坐标系，执行步骤一中的采集路线对人工合作标志进行多站成像，获取摄像机在采集路线不同点位处的外参数；

步骤三、根据步骤一中规划的采集路线进行图像自动采集，并对采集得到的图像序列进行无损图像拼接；

步骤四、利用基于图像处理的裂纹提取技术提取单张图像上的钢箱梁表观疲劳裂纹的几何尺寸；

步骤五、基于步骤二中标定的点位外参数将以像素为单位的几何尺寸转换为实际空间中的物理几何尺寸，将并对物理几何尺寸赋予时间维度；

步骤六、对多张图像上的疲劳裂纹提取结果进行遍历，逐张进行单张图像与拼接大图的匹配，并将单张图像上提取的疲劳裂纹投影至拼接大图上；

步骤七、在拼接大图上对疲劳裂纹进行合并和融合，删除冗余及重叠裂纹，获取精确的裂纹尺寸及空间走向；

步骤八、通过定期重复步骤三-步骤七实现钢箱梁表观裂纹病害发展趋势的长期监测。

步骤一包括如下步骤：

1.5)根据疲劳裂纹监测区域幅面，疲劳裂纹监测精度要求，摄像机安装位置，摄像机内参数，划分子采集区域：

云台摄像机的图像分辨率和靶面尺寸为已知量，云台摄像机镜头为高倍光学变焦镜头；确定摄像机安装位置，测量摄像机离监测区域幅面的距离WD，首先通过疲劳裂纹的精度设置相机的焦距f；

根据疲劳裂纹监测精度要求λ和云台摄像机水平方向图像分辨率P_h，垂直方向图像分辨率高P_v，求解水平方向视野范围FOV_h和垂直方向视野范围FOV_v。

根据水平方向视野范围FOV_h和垂直方向视野范围FOV_v求解相机的焦距 f；

其中，T_h为云台摄像机靶面尺寸的宽，T_v为云台摄像机靶面尺寸的高。为了保证疲劳裂纹检测精度，取f_h,f_v中最大值；如果f_h≥f_v，则取f＝f_h，否则，取f＝f_v；

为了便于后续图像拼接，设置云台相机进行扫描采集中有重叠区域，设水平扫描的相邻图像之间重叠区域为1/3FOV_h，垂直扫描的相邻图像之间重叠区域为1/3FOV_v；以疲劳裂纹监测区域幅面L×W左上角为扫描起点，为了保证幅面扫描的完整性，扫描的相机视场大于幅面L×W，左右两边扩充1/6FOV_h，上下两边扩充1/6FOV_v，左右方向以2/3FOV_h步长进行扫描，上下方向以 2/3FOV_v步长进行扫描，则疲劳裂纹监测区域幅面划分子采集区域的关系表达为：

子采集区域列数：

子采集区域行数：

其中，L为疲劳裂纹监测区域幅面的长度，W为疲劳裂纹监测区域幅面的宽度；其中，当子采集区域列数、行数计算结果为小数时，M、N进一位取整数；

通过上述方法将疲劳裂纹监测区域幅面划分成N*M个子采集区域，即N*M 个采集点位；

1.6)规划摄像机初次采集路线；

以疲劳裂纹监测区域幅面左上角子采集区域为云台摄像机起始采集点位，水平方向以2/3FOV_h步长进行采集，垂直方向以2/3FOV_v步长进行采集；云台摄像机采用“之字形”采集路线对N*M个采集点位进行图像序列采集，获得N*M 个图像数据，在采集过程中记录云台摄像机每个采集点位相对于起始采集点位的转动角α和俯仰角β。

疲劳裂纹监测区域整个幅面划分成N*M个子采集区域，将N*M个子采集区域按顺序命名为A_1,1,A_1,2...A_1,M；A_2,1,A_2,2...A_2,M...A_N,1,A_N,2...A_N,M；其中，A_i,j表示位于第i行，第j列的子采集区域，1≤i≤N，1≤j≤M。

每次采集图像时的采集路线更新方式具体包括如下步骤；

1.2.1)得到疲劳裂纹监测区域整个幅面的图像序列；

1.2.2)对采集的疲劳裂纹监测区域整个幅面的图像序列进行图像拼接，通过裂纹检测定位裂纹所在的子采集区域；

1.2.3)更新子采集区域并重新规划采集路线；将裂纹所在的子采集区域以及与裂纹所在子采集区域邻近的所有子采集区域作为下一次云台摄像机需采集的子采集区域，重新规划更新后的子采集区域的采集路线；

1.2.4)对步骤1.2.3)中更新子采集区域后采集的图像序列进行裂纹发展趋势计算，判断是否需要更新云台摄像机的子采集区域和采集路线，若需要拍摄的子采集区域和采集路线发生了变化则进行更新，否则不进行更新。

步骤1.2.1)规划摄像机采集路线进行疲劳裂纹监测区域整个幅面的图像序列采集包括如下步骤：

1.2.1.1)云台摄像机从疲劳裂纹监测区域幅面左上角的采集点位开始采集，设行号i＝1；

1.2.1.2)云台转动角旋转从左到右水平移动进行图像采集，移动到i行最右端的采集点位，完成第i行子采集区域A_i,1，A_i,2...A_i,M的图像采集，得到 A_i,1,A_i,2...A_i,Mi＝1,3,5...N区域的图像，记录第i行M个采集点位相对于起始采集点位的转动角α_i,j和俯仰角β_i,j；

1.2.1.3)云台俯仰角旋转向下移动，运动到i+1行最右端的采集点位；

1.2.1.4)云台转动角旋转从右到左水平移动进行图像采集，移动到i+1行最左端的预设点，完成第i+1行子采集区域A_i+1,M，A_i+1,M-1...A_i+1,1的图像采集，得到A_i+1,M,A_{i+1,M- 1}...A_i+1,1i＝1,3,5...区域的图像；记录第i+1行M个采集点位相对于起始采集点位的转动角α_i+1,j和俯仰角β_i+1,j；

1.2.1.5)云台摄像机如步骤1.2.1.2)至步骤1.2.1.4)所示，以“之字形”轨迹依次扫描到A_N,M子采集区域，完成裂纹图像采集，得到疲劳裂纹监测区域整个幅面的图像序列。

步骤1.2.3)中，下一次云台摄像机需采集的子采集区域确定方法如下：

1)对云台摄像机采集裂纹图像序列进行图像拼接和裂纹检测定位，得到裂纹所在的子采集区域A_i,j的索引(i,j)集合S1，将集合S1复制到集合S_new；

2)遍历集合S1，S1中裂纹所在的子采集区域A_i,j的八邻域为 A_i-1,j-1,A_i-1,j,A_i-1,j+1,A_i,j-1,A_i,j+1,A_i+1,j-1,A_i+1,j,A_i+1,j+1；在S_new中依次查找A_i,j的八邻域索引(i-1,j-1)，(i-1,j)，(i-1,j+1)，(i,j-1)，(i,j+1)，(i+1,j-1)，(i+1,j)， (i+1,j+1)，如果上述索引在集合S_new中不存在，则将该邻域索引添加到集合S_new中；八邻域扫描区域扩充满足约束条件：行索引1≤i≤N，列索引1≤j≤M；集合S_new中的子采集区域即下一次云台摄像机需采集的子采集区域。

步骤1.2.3)中，重新规划更新后的子采集区域的采集路线如下：

步骤1.2.3.1：对S_new中的索引进行排序；

步骤1.2.3.1.1：遍历S_new中的行索引i，计算行索引的最小值Min_cols和最大值Max_cols，令i＝Min_cols；

步骤1.2.3.1.2：查找i行的所有子采集区域，按列号从小到大排列，并将排序后的A_i,j存入到新的集合B中；

步骤1.2.3.1.3：如果i＜Max_cols，查找i+1行的所有子采集区域，按列号从大到小排列，并将排序后的索引存入到新的集合B中，否则，结束；

步骤1.2.3.1.4：如果i+1＜Max_cols，查找i+2行的所有子采集区域，按列号从大到小排列，并将排序后的索引存入到新的集合B中，如是重复，直至第 Max_cols行，结束；

步骤1.2.3.2：按新的集合B中的索引顺序对进行采集，以左上角的采集点位为起点，采用“之字形”采集路线对集合中的索引对应的子采集区域进行采集：

步骤1.2.3.2.1：将云台摄像机移动到集合B中第一个索引位置(i,j)，即左上角的采集点位，i＝Min_cols，转动云台摄像机转动角从左到右水平移动进行图像采集，完成第i行子采集区域的图像采集，并记录第i行最大的列索引如果Min_cols≠Max_cols，执行步骤1.2.3.2.2，否则，结束；

步骤1.2.3.2.2：令i＝i+1，转动云台摄像机俯仰角向下移动，运动到i行，判断(i-Min_cols)mod2＝0，如果满足，执行步骤1.2.3.2.2.1，否则，执行步骤 1.2.3.2.2.2；

步骤1.2.3.2.2.1：比对第i-1行最大的列索引和第i行最大的列索引的大小，当/>云台摄像机水平向右移动到/>索引对应的采集点位；当/>云台摄像机水平向左移动到/>索引对应的采集点位；当/>云台摄像机不移动；以/>索引对应的采集点位为第i行的起点，云台摄像机从右到左水平移动进行采集，完成第i行子采集区域的图像采集，并记录第i行最小的列索引/>

步骤1.2.3.2.2.2：比对第i-1行最小的列索引和第i行最小的列索引的大小，当/>云台摄像机水平向左移动到/>索引对应的采集点位；当/>云台摄像机水平向右移动到/>索引对应的采集点位；当/>云台摄像机不移动；以/>索引对应的采集点位为第i行的起点，云台摄像机从左到右水平移动进行采集，完成第i行子采集区域的图像采集，并记录第i行最大的列索引/>

步骤1.2.3.2.3：判断i＜Max_cols，满足条件，执行步骤1.2.3.2.2，否则，结束。

步骤1.2.4)中，判断是否需要更新云台摄像机的子采集区域和采集路线的方法如下：对步骤1.2.3)中更新子采集区域后采集的图像序列进行拼接，定位裂纹所在子采集区域，与前期存储的裂纹所在的子采集区域A_i,j的索引(i,j)集合S1进行比对，判断疲劳裂纹是否扩展到了新的子采集区域，如果疲劳裂纹扩展到了新的子采集区域，则更新需要拍摄的子采集区域和采集路线。

步骤二包括如下步骤：

2.1)在钢箱梁表面布置分散若干人工合作编码标志：在疲劳裂纹监测区域幅面左上角子采集区域布置人工合作编码标志，若疲劳裂纹监测区域幅面存在异面的情况，则在与左上角子采集区域异面的子采集区域内布置至少一个人工合作编码标志；

2.2)采集多张布置人工合作编码标志的疲劳裂纹监测区域幅面左上角子采集区域的图像；

2.3)通过张正友标定算法计算起始采集点位摄像机的内参K和初始外参 [R,T]；

2.4)根据初始外参和记录的每个采集点位相对于起使采集点位的转动角α_i,j和俯仰角β_i,j计算每个采集点位的外参；

步骤一中确定了云台摄像机的焦距f，则相机内参为固定参数K；按步骤一规划的采集路线和记录的转动角和俯仰角进行旋转，水平移动的转动角对应的旋转矩阵上下移动的俯仰角对应的旋转矩阵/>

相机旋转过程中外参旋转矩阵的变换表示为：

其中，[R₁ T₁]为摄像机旋转前的外参,[R₂ T₂]为摄像机旋转后的外参，R_T为两处相机位置对应的摄像机旋转矩阵表示为：

通过采集的人工合作编码标志获得起始采集点位摄像机的内外参数，以起始采集点位摄像机外参为旋转前参数，步骤1中记录的每个采集点位相对于起使采集点位的转动角α_i,j和俯仰角β_i,j通过公式2-1计算出每个采集点位的外参。

步骤五包括如下步骤：

步骤四中计算的钢箱梁疲劳裂纹的几何尺寸是以像素为单位，通过步骤二标定的子采集区域的外参将以像素为单位的几何尺寸转换为实际空间中的物理几何尺寸；像素点到空间坐标系的转换表达为：

/>

其中，像素坐标系的某点P像素坐标为(u,v)，是点P在相机坐标系对应的X、Y、Z轴坐标，K为摄像机内参，R为相机外参中的旋转矩阵，t为相机外参中的平移向量，/>是点P在空间坐标系对应的X、Y、Z轴坐标；首先将点的像素通过内参矩阵从像素坐标系转换到相机坐标系，然后通过标定的摄像机外参将相机坐标系转换到空间坐标系；通过各个采集点位标定的相机外参将对应的区域的裂纹像素点转换到空间坐标系，计算裂纹的物理几何尺寸。/>

Claims (10)

1.一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，包括如下步骤：

步骤一、根据疲劳裂纹监测区域幅面，疲劳裂纹监测精度要求，摄像机安装位置，摄像机内参数，规划摄像机的初次采集路线以及每次采集图像时的采集路线更新方式；

步骤二、在钢箱梁表面布置分散若干人工合作编码标志，确定全局空间坐标系，执行步骤一中的采集路线对人工合作标志进行多站成像，获取摄像机在采集路线不同点位处的外参数；

步骤三、根据步骤一中规划的采集路线进行图像自动采集，并对采集得到的图像序列进行无损图像拼接；

步骤四、利用基于图像处理的裂纹提取技术提取单张图像上的钢箱梁表观疲劳裂纹的几何尺寸；

步骤五、基于步骤二中标定的点位外参数将以像素为单位的几何尺寸转换为实际空间中的物理几何尺寸，将并对物理几何尺寸赋予时间维度；

步骤六、对多张图像上的疲劳裂纹提取结果进行遍历，逐张进行单张图像与拼接大图的匹配，并将单张图像上提取的疲劳裂纹投影至拼接大图上；

步骤七、在拼接大图上对疲劳裂纹进行合并和融合，删除冗余及重叠裂纹，获取精确的裂纹尺寸及空间走向；

步骤八、通过定期重复步骤三-步骤七实现钢箱梁表观裂纹病害发展趋势的长期监测。

2.如权利要求1所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，所述步骤一包括如下步骤：

1.1)根据疲劳裂纹监测区域幅面，疲劳裂纹监测精度要求，摄像机安装位置，摄像机内参数，划分子采集区域：

云台摄像机的图像分辨率和靶面尺寸为已知量，云台摄像机镜头为高倍光学变焦镜头；确定摄像机安装位置，测量摄像机离监测区域幅面的距离WD，首先通过疲劳裂纹的精度设置相机的焦距f；

根据疲劳裂纹监测精度要求λ和云台摄像机水平方向图像分辨率P_h，垂直方向图像分辨率高P_v，求解水平方向视野范围FOV_h和垂直方向视野范围FOV_v；

根据水平方向视野范围FOV_h和垂直方向视野范围FOV_v求解相机的焦距f；

其中，T_h为云台摄像机靶面尺寸的宽，T_v为云台摄像机靶面尺寸的高；为了保证疲劳裂纹检测精度，取f_h,f_v中最大值；如果f_h≥f_v，则取f＝f_h，否则，取f＝f_v；

为了便于后续图像拼接，设置云台相机进行扫描采集中有重叠区域，设水平扫描的相邻图像之间重叠区域为1/3FOV_h，垂直扫描的相邻图像之间重叠区域为1/3FOV_v；以疲劳裂纹监测区域幅面L×W左上角为扫描起点，为了保证幅面扫描的完整性，扫描的相机视场大于幅面L×W，左右两边扩充1/6FOV_h，上下两边扩充1/6FOV_v，左右方向以2/3FOV_h步长进行扫描，上下方向以2/3FOV_v步长进行扫描，则疲劳裂纹监测区域幅面划分子采集区域的关系表达为：

子采集区域列数：

子采集区域行数：

其中，L为疲劳裂纹监测区域幅面的长度，W为疲劳裂纹监测区域幅面的宽度；其中，当子采集区域列数、行数计算结果为小数时，M、N进一位取整数；

通过上述方法将疲劳裂纹监测区域幅面划分成N*M个子采集区域，即N*M个采集点位；

1.2)规划摄像机初次采集路线；

以疲劳裂纹监测区域幅面左上角子采集区域为云台摄像机起始采集点位，水平方向以2/3FOV_h步长进行采集，垂直方向以2/3FOV_v步长进行采集；云台摄像机采用“之字形”采集路线对N*M个采集点位进行图像序列采集，获得N*M个图像数据，在采集过程中记录云台摄像机每个采集点位相对于起始采集点位的转动角α和俯仰角β。

3.如权利要求2所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，疲劳裂纹监测区域整个幅面划分成N*M个子采集区域，将N*M个子采集区域按顺序命名为A_1,1,A_1,2...A_1,M；A_2,1,A_2,2...A_2,M...A_N,1,A_N,2...A_N,M；其中，A_i,j表示位于第i行，第j列的子采集区域，1≤i≤N，1≤j≤M。

4.如权利要求2所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，每次采集图像时的采集路线更新方式具体包括如下步骤；

1.2.1)得到疲劳裂纹监测区域整个幅面的图像序列；

1.2.2)对采集的疲劳裂纹监测区域整个幅面的图像序列进行图像拼接，通过裂纹检测定位裂纹所在的子采集区域；

1.2.3)更新子采集区域并重新规划采集路线；将裂纹所在的子采集区域以及与裂纹所在子采集区域邻近的所有子采集区域作为下一次云台摄像机需采集的子采集区域，重新规划更新后的子采集区域的采集路线；

1.2.4)对步骤1.2.3)中更新子采集区域后采集的图像序列进行裂纹发展趋势计算，判断是否需要更新云台摄像机的子采集区域和采集路线，若需要拍摄的子采集区域和采集路线发生了变化则进行更新，否则不进行更新。

5.如权利要求4所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，所述步骤1.2.1)规划摄像机采集路线进行疲劳裂纹监测区域整个幅面的图像序列采集包括如下步骤：

1.2.1.1)云台摄像机从疲劳裂纹监测区域幅面左上角的采集点位开始采集，设行号i＝1；

1.2.1.2)云台转动角旋转从左到右水平移动进行图像采集，移动到i行最右端的采集点位，完成第i行子采集区域A_i,1，A_i,2...A_i,M的图像采集，得到A_i,1,A_i,2...A_i,Mi＝1,3,5...N区域的图像，记录第i行M个采集点位相对于起始采集点位的转动角α_i,j和俯仰角β_i,j；

1.2.1.3)云台俯仰角旋转向下移动，运动到i+1行最右端的采集点位；

1.2.1.4)云台转动角旋转从右到左水平移动进行图像采集，移动到i+1行最左端的预设点，完成第i+1行子采集区域A_i+1,M，A_i+1,M-1...A_i+1,1的图像采集，得到A_i+1,M,A_i+1,M-1...A_i+1,1i＝1,3,5...区域的图像；记录第i+1行M个采集点位相对于起始采集点位的转动角α_i+1,j和俯仰角β_i+1,j；

1.2.1.5)云台摄像机如步骤1.2.1.2)至步骤1.2.1.4)所示，以“之字形”轨迹依次扫描到A_N,M子采集区域，完成裂纹图像采集，得到疲劳裂纹监测区域整个幅面的图像序列。

6.如权利要求4所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，所述步骤1.2.3)中，下一次云台摄像机需采集的子采集区域确定方法如下：

1)对云台摄像机采集裂纹图像序列进行图像拼接和裂纹检测定位，得到裂纹所在的子采集区域A_i,j的索引(i,j)集合S1，将集合S1复制到集合S_new；

2)遍历集合S1，S1中裂纹所在的子采集区域A_i,j的八邻域为A_i-1,j-1,A_i-1,j,A_i-1,j+1,A_i,j-1,A_i,j+1,A_i+1,j-1,A_i+1,j,A_i+1,j+1；在S_new中依次查找A_i,j的八邻域索引(i-1,j-1)，(i-1,j)，(i-1,j+1)，(i,j-1)，(i,j+1)，(i+1,j-1)，(i+1,j)，(i+1,j+1)，如果上述索引在集合S_new中不存在，则将该邻域索引添加到集合S_new中；八邻域扫描区域扩充满足约束条件：行索引1≤i≤N，列索引1≤j≤M；集合S_new中的子采集区域即下一次云台摄像机需采集的子采集区域。

7.如权利要求4所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，所述步骤1.2.3)中，重新规划更新后的子采集区域的采集路线如下：

步骤1.2.3.1：对S_new中的索引进行排序；

步骤1.2.3.1.1：遍历S_new中的行索引i，计算行索引的最小值Min_cols和最大值Max_cols，令i＝Min_cols；

步骤1.2.3.1.2：查找i行的所有子采集区域，按列号从小到大排列，并将排序后的A_i,j存入到新的集合B中；

步骤1.2.3.1.3：如果i＜Max_cols，查找i+1行的所有子采集区域，按列号从大到小排列，并将排序后的索引存入到新的集合B中，否则，结束；

步骤1.2.3.1.4：如果i+1＜Max_cols，查找i+2行的所有子采集区域，按列号从大到小排列，并将排序后的索引存入到新的集合B中，如是重复，直至第Max_cols行，结束；

步骤1.2.3.2：按新的集合B中的索引顺序对进行采集，以左上角的采集点位为起点，采用“之字形”采集路线对集合中的索引对应的子采集区域进行采集：

步骤1.2.3.2.1：将云台摄像机移动到集合B中第一个索引位置(i,j)，即左上角的采集点位，i＝Min_cols，转动云台摄像机转动角从左到右水平移动进行图像采集，完成第i行子采集区域的图像采集，并记录第i行最大的列索引如果Min_cols≠Max_cols，执行步骤1.2.3.2.2，否则，结束；

步骤1.2.3.2.2：令i＝i+1，转动云台摄像机俯仰角向下移动，运动到i行，判断(i-Min_cols)mod2＝0，如果满足，执行步骤1.2.3.2.2.1，否则，执行步骤1.2.3.2.2.2；

步骤1.2.3.2.2.1：比对第i-1行最大的列索引和第i行最大的列索引/>的大小，当/>云台摄像机水平向右移动到/>索引对应的采集点位；当/>云台摄像机水平向左移动到/>索引对应的采集点位；当云台摄像机不移动；以/>索引对应的采集点位为第i行的起点，云台摄像机从右到左水平移动进行采集，完成第i行子采集区域的图像采集，并记录第i行最小的列索引/>

步骤1.2.3.2.2.2：比对第i-1行最小的列索引和第i行最小的列索引/>的大小，当/>云台摄像机水平向左移动到/>索引对应的采集点位；当/>云台摄像机水平向右移动到/>索引对应的采集点位；当云台摄像机不移动；以/>索引对应的采集点位为第i行的起点，云台摄像机从左到右水平移动进行采集，完成第i行子采集区域的图像采集，并记录第i行最大的列索引/>

步骤1.2.3.2.3：判断i＜Max_cols，满足条件，执行步骤1.2.3.2.2，否则，结束。

8.如权利要求4所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，所述步骤1.2.4)中，判断是否需要更新云台摄像机的子采集区域和采集路线的方法如下：对步骤1.2.3)中更新子采集区域后采集的图像序列进行拼接，定位裂纹所在子采集区域，与前期存储的裂纹所在的子采集区域A_i,j的索引(i,j)集合S1进行比对，判断疲劳裂纹是否扩展到了新的子采集区域，如果疲劳裂纹扩展到了新的子采集区域，则更新需要拍摄的子采集区域和采集路线。

9.如权利要求1所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，所述步骤二包括如下步骤：

2.1)在钢箱梁表面布置分散若干人工合作编码标志：在疲劳裂纹监测区域幅面左上角子采集区域布置人工合作编码标志，若疲劳裂纹监测区域幅面存在异面的情况，则在与左上角子采集区域异面的子采集区域内布置至少一个人工合作编码标志；

2.2)采集多张布置人工合作编码标志的疲劳裂纹监测区域幅面左上角子采集区域的图像；

2.3)通过张正友标定算法计算起始采集点位摄像机的内参K和初始外参[R,T]；

2.4)根据初始外参和记录的每个采集点位相对于起使采集点位的转动角α_i,j和俯仰角β_i,j计算每个采集点位的外参；

步骤一中确定了云台摄像机的焦距f，则相机内参为固定参数K；按步骤一规划的采集路线和记录的转动角和俯仰角进行旋转，水平移动的转动角对应的旋转矩阵上下移动的俯仰角对应的旋转矩阵/>

相机旋转过程中外参旋转矩阵的变换表示为：

其中，[R₁ T₁]为摄像机旋转前的外参,[R₂ T₂]为摄像机旋转后的外参，R_T为两处相机位置对应的摄像机旋转矩阵表示为：

通过采集的人工合作编码标志获得起始采集点位摄像机的内外参数，以起始采集点位摄像机外参为旋转前参数，步骤1中记录的每个采集点位相对于起使采集点位的转动角α_i,j和俯仰角β_i,j通过公式2-1计算出每个采集点位的外参。

10.如权利要求1所述的一种钢箱梁表观疲劳裂纹发展趋势视频监测方法，其特征在于，所述步骤五包括如下步骤：

步骤四中计算的钢箱梁疲劳裂纹的几何尺寸是以像素为单位，通过步骤二标定的子采集区域的外参将以像素为单位的几何尺寸转换为实际空间中的物理几何尺寸；像素点到空间坐标系的转换表达为：

其中，像素坐标系的某点P像素坐标为(u,v)，是点P在相机坐标系对应的X、Y、Z轴坐标，K为摄像机内参，R为相机外参中的旋转矩阵，t为相机外参中的平移向量，/>是点P在空间坐标系对应的X、Y、Z轴坐标；首先将点的像素通过内参矩阵从像素坐标系转换到相机坐标系，然后通过标定的摄像机外参将相机坐标系转换到空间坐标系；通过各个采集点位标定的相机外参将对应的区域的裂纹像素点转换到空间坐标系，计算裂纹的物理几何尺寸。