CN116894775A - 基于相机运动模型恢复和超分辨率的螺栓图像预处理方法 - Google Patents

Abstract

本发明公开了一种基于相机运动模型恢复和超分辨率的螺栓图像预处理方法，包括步骤：S1，组装搭载有在线检测机载计算机和超长焦距的变焦航拍相机的无人机；S2，按照桥梁类型和检测部位，规划无人机飞行路线和飞行拍摄模式，采集各检测部位的螺栓图像；S3，采用光流算法自动计算相邻帧的位移和方向，筛选出模糊帧；对模糊帧根据计算的模糊核大小和方向，采用逆滤波方法去除模糊；S4，通过自适应尺度分割方法对采集的螺栓图像进行处理，将不同距离拍摄的螺栓图像进行缩放，使缩放后的螺栓图像中单个螺栓的尺度接近分类模型的输入尺寸。本发明克服了无人机采集的固有缺点，能稳定、准确、快速地完成桥梁整体大量螺栓的图像预处理工作。

Description

基于相机运动模型恢复和超分辨率的螺栓图像预处理方法

技术领域

本发明涉及图像预处理领域，尤其涉及一种基于相机运动模型恢复和超分辨率的螺栓图像预处理方法。

背景技术

传统的螺栓检测是通过检测人员的视觉判断，然后进一步发展为使用应变计、扭矩扳手等，但这些方式经验证后证明并不可靠。螺栓在服役过程中受到各种动荷载、环境因素的影响，处于一个动态的变化过程。所以它的松落过程主要分为两个阶段：先是预紧力的损失导致螺栓连接界面摩擦力变小；然后螺纹产生塑性变形，最终导致松落现象。所以大部分早期的螺栓检测都是通过使用接触式传感器检测螺栓预紧力来判断螺栓是否存在松落情况。

基于接触式传感器的方法主要有基于声学、压电主动感应、阻抗、导波等传感器方法。这些能够得到关于螺栓详细的力学特征、甚至能够检测螺栓内部是否存在微裂缝，检测精度高。而且基于传感器的力学性能信息，能够对螺栓进行建模，Tao Yin(2019)利用谱元法和基于传递矩阵的方法建立了带有螺栓法兰连接的全周期系统动力学模型。但是基于接触式传感器方法容易受到温度、湿度等环境因素的影响，导致最终的结果存在较大的误差。而且并不适用于大型桥梁的螺栓检测，因为桥梁中螺栓数量庞大，如果使用基于接触式传感器的方法，需要布置大量的传感器，成本高，安装过程费时费力。

为了解决接触式传感器存在的问题，进一步发展了非接触式螺栓检测的方法。Feblil Huda(2013)提出了一种用于检测螺栓松落的基于激光激发脉冲响应的振动检测和健康监测系统。JayKumar Shaha（2019）使用超声波脉冲传输技术对螺栓连接进行检测，研究了螺栓扭矩，腐蚀和连接处力学性能之间的相关性。但是由于此方法需要对螺栓进行逐个检测，所以实用性较差。

对于桥梁结构，以上方法均无法达到快速、大范围的检测要求。机器视觉技术的发展，为突破这个难题带来了希望。Jae-Hyung Park (2015）使用Canny边缘检测器和圆形Hough变换分割每个螺母的图像，然后使用Hough变换螺母特征，估计每个螺母的旋转角，最后通过参考图像和当前图像的对比来检测螺栓的松动。Young-Jin Cha（2016） 用智能手机作为图像手机装置，然后使用霍夫变换对图像中的螺栓特征特征提取，将提取的特征用于SVM训练，最终形成螺栓松、紧分类器。经过实验分析，得出该方法对于相机的角度和距离有一定的限制。Lovedeep Ramana（2018） 使用Viola–Jones算法对图像中的螺栓进行定位，然后使用训练后的支持向量机（SVM）对定位到的螺栓进行松、紧分类。

以上的方法对于现场的适应性不强， Xuefeng Zhao(2018)结合深度学习和机器视觉，使用SSD模型进行目标检测，然后用图像处理技术进行角度分析来判断螺栓松落。Thanh-Canh Huynh（2019）使用RCNN神经网络对目标图像进行识别与裁剪，然后使用HLC算法对裁剪的图像进行特征提取（螺栓旋转角度）来进行松紧判断。由于在图像校正阶段需要人为干涉，所以需要进一步地进行改善。Hai Chien Pham（2020）使用由图形模型生成的螺栓合成图像来训练用于松动螺栓检测的深度学习模型，使用基于深度学习（RCNN）进行螺栓检测，然后基于霍夫变换的图像处理估计检测到的螺栓的旋转角度来对螺栓松动进行评估。Yang Zhang（2020） 使用FasterR-CNN 对螺栓进行识别、定位、分类，最终能够实现使用网络摄像对传输视频中的螺栓进行实时的检测，但分类精度会受到照明条件、拍摄角度的影响，且该方法只在实验室内进行验证。

上述的大部分研究都集中于通过螺栓旋转角度来判断螺栓松动，其实这不是必要的，因为螺栓锈蚀和松落都是具有发展阶段的破坏，并不是突然形成的，对于具有轻微锈蚀或松落倾向的螺栓对桥梁结构基本上是不会产生不利的影响。因为一般的大型桥梁下是水域，摄像装置只能置于岸边进行拍摄，以上基于视觉的螺栓技术，大部分都受限于拍摄角度、光照条件的影响，使得一般基于视觉的方法只适用于某个角度、距离区间内，从而导致大部分的方法无法适用于桥梁中的螺栓检测。

发明内容

发明目的：本发明的目的是提供一种能实现螺栓病害判别结果稳定的基于相机运动模型恢复和超分辨率的螺栓图像预处理方法。

技术方案：本发明的螺栓图像预处理方法，包括步骤如下：

S1，组装无人机，该无人机搭载有在线检测机载计算机和超长焦距的变焦航拍相机；

S2，按照桥梁类型和检测部位，规划无人机飞行路线和飞行拍摄模式，采集各检测部位的螺栓图像；

S3，采用光流算法自动计算相邻帧的位移和方向，筛选出模糊帧；对模糊帧根据所计算的模糊核大小和方向，采用逆滤波方法直接去除模糊；

S4，通过自适应尺度分割方法对采集的螺栓图像进行处理，将不同距离拍摄的螺栓图像进行缩放，使缩放后的螺栓图像中单个螺栓的尺度接近分类模型的输入尺寸。

进一步，步骤S2中，无人机飞行路线和飞行拍摄模式的分类如下：

（A1）对钢桁架桥桥梁侧面螺栓的检测，根据桥梁走向规划若干条平行于桥梁侧面的航线，分别为桥梁侧面上端高程、中部高程和底部高程的航线，且三条航线平面重叠；

（A2）对悬索桥桥梁拉索上索夹的螺栓的检测，采取无人机定点悬停、控制相机旋转拍摄索夹；

（A3）对桥梁底部螺栓的检测，采取无人机定点悬停，控制相机旋转拍摄。

进一步，步骤S3中，筛选出模糊帧的实现步骤如下：

S31，在无人机成像时，由相机运动、拍摄噪声引起的退化图像 的表达式为：

其中，/> 为无干扰图像，/> 为点扩散函数，的卷积加上 /> 为环境噪声，/>表示卷积；

设相机与被摄桥面的相对位移为匀速直线运动，忽略光照引起的噪声，则在匀速直线运动下，图像拍摄时的曝光量表示为：

其中，/> 为无人机水平运动速度；/> 为相机在/>时刻的曝光量，在 /> 时为 /> ，则在任意 /> 时刻表达为 ，此时感光元件上获取的图像为该时刻的累积曝光，为：

令 /> ，则上式变换为：

上式表明所发生的运动模糊是 /> 时刻在 区间上的多个影像叠加的结果；

若无人机为悬停拍摄， ，此时则有：/>表示无人机相机在持续拍摄同一张图像；

若无人机运动方向不为水平，而是以任意 角作速度 /> 的匀速飞行，则有：

是由相机模型和无人机飞行速度 /> 换算的像素位移速度；

S32，根据选择的变焦相机型号，在拍摄时按照光照情况设置相机参数，同时设定像素位移速度 的最大值 /> ；如像素位移速度大于 /> ，判断无人机视频发生运动模糊；

S33，确定运动方向 ：

对于桥梁侧面螺栓检测，无人机以水平飞行的方式连续拍摄，运动方向为0°或180°；

对于桥梁底部螺栓拍摄，无人机悬停相机水平转动拍摄，相机在每一时刻转动角度都很小，运动方向为90°或270°；

对于索夹螺栓检测，相机按水平转动的方式拍摄，运动方向为0°或180°；

S34，确定模糊核尺寸：确定每一时刻图像中像素的运动量，当运动量大于20pixel时，该运动量减去20pixel则为模糊像素的数量；当运动量小于等于20pixel时，则认为无模糊像素。

进一步，步骤S4中，所述自适应尺度分割方法的实现步骤如下：

S41，对无人机采集的源图像采用多尺度模板匹配方法寻找图像中最小螺栓的外接矩形尺寸，该外接矩形尺寸的长边与224像素的比例为源图像的缩放比例；

S42，将缩放比例取整，与2倍、4倍、8倍进行对比，取最接近的倍数，然后采用预训练的ESRGAN网络对源图像进行相应的2倍、4倍或8倍超分辨率放大；

S43，采用滑动窗的方式以20%重叠率截取放大后的图像，所截取的图像为自适应尺度分割的图像。

进一步，所述多尺度模板匹配方法的实现如下：首先预设几个常见的螺栓图像，对预设的螺栓图像进行从0.8倍到8倍的缩放，在每一个缩放倍数下分别进行模板匹配，所选用的匹配方法为误差平方和算法，表达式为：

其中，/> 为大小为 的搜索图像， /> 为大小为 /> 的模板图像，/> 为搜索图像遍历过程中左上角坐标；

在遍历完成后，选取 最大的匹配区域为螺栓的位置，此后对比 />最大的预设图像缩放比例则为螺栓图像的尺寸。

本发明与现有技术相比，其显著效果如下：

1、本发明提出了针对桥梁侧面、底面、索夹螺栓的拍摄方法，并依据拍摄时无人机的运动形式建立了运动模糊模型，采用逆滤波算法消除拍摄图像的运动模糊，解决了无人机在快速移动、转动拍摄桥梁各部位螺栓时造成的运动模糊问题；

2、本发明提出了一种基于多尺度模板匹配和超分辨率的自适应尺度统一分割方法，首先根据多尺度模板匹配确定图像中最小螺栓尺寸，该尺寸与判别模型的输入尺寸相比即为图像需放大的倍数；而后采用基于ESRGAN网络的图像超分辨率方法对图像进行放大，并按螺栓识别网络的输入尺寸和20%的重叠率分割所放大的图像，分割后的图像即为螺栓尺度统一的图像，解决了无人机拍摄螺栓时拍摄距离不固定，使螺栓图像中单个螺栓所占的尺寸不统一，造成后面工作中螺栓病害判别结果不稳定的问题；

3、本发明对桥梁螺栓检测过程中螺栓图像通过自动获取、图像去模糊、图像超分辨率和自适应分割以完成图像预处理等环节，减少了人力成本和设备的投入，且工程实用性强。

附图说明

图1为本发明的基于无人机桥梁螺栓快速检测方法框架示意图；

图2为本发明的桥梁螺栓无人机拍摄方法示意图；

图3为本发明的变焦相机模型及运动模糊原理示意图；

图4为本发明的基于光流算法自动计算相邻帧的位移和方向的流程示意图；

图5为本发明的采用逆滤波方法直接去除模糊的流程示意图；

图6为本发明的自适应尺度分割方法处理流程示意图；

图7为本发明的ESRGAN网络结构示意图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明使用无人机对螺栓进行一个近距离全方面的拍摄，来克服角度与距离造成的不良影响；对于光照，可以使用无人机上的光进行补偿。本发明采用对无人机获取到的模糊的螺栓图像进行识别，再使用基于超分辨率和自适应分割的深度学习方法对图像进行预处理。

本发明借助无人机平台提出一种针对螺栓自动拍摄的航线规划拍摄方法，并针对无人机高速飞行拍摄时造成图像运动模糊的问题，通过分析拍摄时相机的运动方式将图像去模糊，再运用超分辨率算法提升图像分辨率来保证单个螺栓应具有足够像素尺寸。

本发明基于无人机桥梁螺栓快速检测方法的框架如图1所示，详细步骤如下。

步骤1，组装无人机

本发明在选择桥梁螺栓图像获取的无人机平台时，从续航能力、定位精度、相机焦距和计算平台四个方面综合考虑，最终组装的检测无人机系统构成包括：机身为大疆M600pro多旋翼无人机平台，相机为禅思Z30变焦相机，同时搭载manifold 2-G机载计算机实现在线检测。其中，大疆M600pro是一款专业的大型无人机平台，其具备三套冗余的飞控系统，以及六套高效动力系统，使无人机能在突发的系统故障下仍保持正常工作，此外其具备6kg以上的额外载重能力，可搭载大量任务所需荷载；禅思Z30变焦相机是一块具备超长焦距的变焦航拍相机，其35mm等效焦距可在29mm-872mm之间切换，使无人机无须靠近桥梁表面也可以获取高清的螺栓图像；manifold 2-G机载计算机可通过大疆OSDK协议直接读取无人机相机的视频，再通过其核心的NVIDIA jetson TX2处理器实时分析。

步骤2，无人机拍摄桥梁螺栓

无人机检测桥梁时具有无需中断交通的优势，但飞行作业中需要时刻将安全放在第一位考虑，基于此，本发明在规划飞行路线时按照桥梁类型和检测部位设计了三种飞行拍摄模式：

（1）侧面螺栓检测：针对桥梁侧面螺栓的检测时，本发明根据桥梁走向规划若干条平行于桥梁侧面的航线，以钢桁架桥为例，一般侧面桁架的螺栓连接节点为桥梁侧面的上端、中部和底部，因此侧面航线分别为桥梁侧面上端高程、中部高程和底部高程的航线，且三条航线的平面重叠。

（2）索夹螺栓检测：针对桥梁拉索上索夹的螺栓检测，以悬索桥为例，由于拉索走向并非直线形，要控制无人机完全平行地按拉索走向飞行难度很大，因此采取无人机定点悬停、控制相机旋转拍摄的方法拍摄索夹。

（3）底部螺栓检测：针对桥梁底部螺栓的检测，由于桥梁底部环境复杂，采取悬停拍摄的方式安全性最高，因此采取与拉索拍摄类似的方法，无人机定点悬停，控制相机旋转拍摄。

以上三种螺栓的无人机拍摄方法如图2所示，拍摄侧面螺栓时，无人机航线距离桥梁约30m；拍摄桥梁底部时，无人机与桥梁底部距离约10m。

步骤3，变焦相机成像与去运动模糊

相机最常用的成像模型是小孔模型，与小孔成像模型类似的，本发明所采用的是变焦相机，因此其模型在小孔模型的基础上焦距f 可为变量，如图3所示，因此对小孔成像模型作修正。在小孔成像模型的基础上，若被测物在拍摄瞬间，即电子快门控制电荷耦合元件在感光片竖直方向产生光电感应的瞬间存在位移，与第一行光敏物质所获取的物体像素相比，第N 行光敏物质所获取的物体像素位移：

其中 为无人机水平运动速度，/> 为相机获取1帧图像的曝光时间，对于采集频率为30fps的视频 /> ，/> 为相机拍摄时的焦距。

其中，采用基于光流和逆滤波的无人机图像运动模糊检测和去模糊方法进行图像处理，原理和步骤如下:

在无人机成像时由相机运动、拍摄噪声引起的退化图像 可以认为是无干扰图像 /> 与点扩散函数 /> 的卷积加上环境噪声 /> ，表达为:

由于无人机在飞行过程中速度不会瞬时发生明显改变，且相机拍摄时曝光时间短，无人机位移极小，可以认为相机与被摄桥面的相对位移为匀速直线运动。此外，无人机拍摄时一般选择光照优良的检测条件，因此由光照等条件引起的噪声也可忽略不计，在这种匀速线形运动下，图像拍摄时的曝光量可表示为：

其中 /> 为相机在 /> 时刻的曝光量，在 /> 时为/> ，则在任意 /> 时刻可表达为 ，此时感光元件上获取的图像为该时刻的累积曝光，为：

令 ，则上式变换为

式（5）表明所发生的运动模糊是 /> 时刻在 /> 区间上的多个影像叠加的结果，若无人机为悬停拍摄，即 /> ，此时

表示无人机相机在持续拍摄同一张图像。

进一步推广，若无人机运动方向不为水平，而是以任意 角作速度 /> 的匀速飞行，则

是由相机模型和无人机飞行速度 /> 换算的像素位移速度，由此可见，运动方向 /> 和运动速度 /> 是确定运动模糊图像的两个关键参数，要消除运动模糊首先需要确定这两个参数。

由于检测时采用的是Z30变焦相机，在拍摄时需要按照光照情况设置相机参数，在实际检测中一般设置曝光时间为 ，相机分辨率为w×h=1920×1080，因此在每张图像的曝光时间内，光电传感器的感应速度 /> 为：

一般认为图像的模糊像素运动达到6pixel则人眼能感受到图像的运动模糊，因此相机与被摄桥梁的相对像素运动速度 ，那么在无人机以30fps拍摄螺栓视频时单帧相对于上一帧的像素移动不应超过20pixel，该指标可以作为判断无人机视频是否发生运动模糊。

对于运动方向 的确定，由前述的无人机螺栓检测时的飞行检测方式容易看出，对于桥梁侧面螺栓检测，无人机以水平飞行的方式连续拍摄，因此运动方向应为0°或180°；对于桥梁底部螺栓拍摄，无人机悬停相机水平转动拍摄，相机在每一时刻转动角度都很小，因此可以认为运动方向 /> 为90°或270°；对于索夹螺栓检测，相机基本按水平转动的方式拍摄，因此运动方向与侧面螺栓拍摄时相似。

对于模糊核尺寸的确定，其关键是确定每一时刻图像中像素的运动量，当运动量大于20pixel时，该运动量减去20pixel则为模糊像素的数量。当运动量小于等于20pixel时，则认为无模糊像素。

以上问题可概括为既需要评估所采集视频中哪些帧存在运动模糊，又需要对模糊的图像计算模糊方向和模糊核尺寸，该问题可总结为计算视频中相邻帧之间的位移差和位移矢量方向，因此提出此方法：首先采用Lucas-Kanade (LK)光流算法自动计算相邻帧的位移和方向，进而筛选出模糊帧；接着对模糊帧根据所计算的模糊核大小和方向，采用逆滤波方法直接去除模糊，操作步骤与实施效果如图4、图5所示。

步骤4，自适应尺度分割：对采集的螺丝图像进行自适应尺度分割的目的是尽可能将螺栓识别后分割出的单个螺栓尺寸统一，并尽可能增强细节以保证最后螺栓情况判别时能保持稳定、高精度的评判。所设计的自适应尺度分割方法的核心是将不同距离拍摄的螺栓图像进行缩放，使缩放后的螺栓图像中单个螺栓的尺度接近分类模型的输入尺寸，即224×224。实现该目的的操作步骤为：首先对无人机采集的源图像采用多尺度模板匹配方法寻找图像中最小螺栓的外接矩形尺寸，该尺寸的长边与224像素的比例即为源图像的缩放比例。接着将缩放比例取整，与2倍、4倍、8倍进行对比，取最接近的倍数，然后采用预训练的ESRGAN网络对源图像进行相应的2倍、4倍或8倍超分辨率放大。最后采用滑动窗的方式以20%重叠率截取放大后的图像，所截取的图像即为自适应尺度分割的图像，操作流程如图6所示。

螺栓自适应尺度统一分割方法的实现步骤如下：

步骤41，需要从任一采集的图像中得到螺栓的尺寸，考虑到算法的时效性，采用多尺度模板匹配方法，首先预设几个常见的螺栓图像，然后从采集的图像中按一定尺寸遍历寻找与预设螺栓图像匹配度最高的区域，所得到的最高匹配区域的尺寸即为该图像中螺栓的尺寸。考虑到传统模板匹配不适用于具有尺度缩放的图像匹配，本发明在传统模板匹配的前端增加了预设图像的多尺度变换，通过选择最优匹配自适应筛选出最优地尺度变换比例，进而确定螺栓尺寸。模板匹配方法的具体步骤为：首先对预设螺栓图像进行从0.8倍到8倍的缩放，在每一个缩放倍数下分别进行模板匹配，所选用的匹配方法为误差平方和算法（Sum of Squared Differences），计算方法为：

其中 /> 为大小为 /> 的搜索图像，/> 为大小为 /> 的模板图像， 为搜索图像遍历过程中左上角坐标。在遍历完成后选取 /> 最大的匹配区域即为螺栓的位置，此后对比 /> 最大的预设图像缩放比例则为螺栓图像的尺寸。

步骤42，使用模板匹配方法得到螺栓图像的尺寸后，将螺栓图像的尺寸与分类网络的输入尺寸（240×240 pixel）作比则为该螺栓图像所需要超分辨率的倍数。由于所训练的超分辨率网络一般只具备2倍、4倍和8倍的放大比例，因此需要对计算的倍数取2倍、4倍或8倍整。图像或视频的超分辨率是深度学习的早期也是较成熟的应用场景之一，超分辨率的目的是从小尺寸低分辨率图像中恢复出大尺寸高分辨率图像，从而使图像拥有更多细节。基于深度学习的超分辨率方法一般是基于单张低分辨率的重建方法Single ImageSuper-Resolution (SISR)，利用网络在训练集中的若干对低-高分辨率图像中学习低分辨率图像到高分辨率图像的端到端的映射函数，进而能处理与训练集中图像类似的超分辨率任务。

本发明采用ESRGAN（Enhanced Super-Resolution Generative AdversarialNetworks）网络作为超分辨率的网络，其网络结构如图7所示。由于螺栓图像的特征与现有的超分辨率开源数据库中的图像完全不同，因此需要建立螺栓的超分辨率数据库。考虑到数据必须尽可能接近实际工程检测的环境与场景，本实施中对三座在役桥梁采用无人机采集了31087张包含螺栓的图像，从每座桥的数据中抽取500张原图作为训练集中的HR图像，采用MATLAB的resize函数将1500张HR图像分别缩小0.5倍、0.25倍和0.125倍作为2倍、4倍和8倍超分辨率的LR图像。由此制成本发明超分辨的螺栓数据库。在训练过程中，需要评价模型的超分辨率效果，采用最常用的峰值信噪比Peak Signal-to-Noise Ratio（PSNR）和结构相似性评价Structural Similarity Index（SSIM）作为评价指标。PSNR是信号的最大功率和信号噪声功率之比，来测量已经被压缩的重构图像的质量，其计算方法为：

其中 />表示的是图像中像素值中的最大值，/> 表示的两个图像之间对应像素之间差值的平方的均值，对于尺寸为 /> 的两张图像 /> 和 /> 计算方法为：

其中，/>分别表示图像 /> 和 /> 的像素；

SSIM表示图像失真程度，其计算方法为：

其中 /> 和 分别为图像 /> 和 /> 的均值， />和/> 分别为两图像的标准差，/> 和 分别是两图像的方差，/> 为两图像的协方差，/> 和 /> 为常数；公式(12)中参数均采用高斯函数计算。

模型的训练采用在tensorflow框架下进行，其中ESRGAN的生成器网络为RDDBNet网络，判别器网络采用VGG-19网络，训练步数为5万步，学习率为0.0001。训练完成后，再从桥梁的螺栓图像中随机抽取100张分别计算所训练的ESRGAN的2倍、4倍、8倍超分辨率放大的图像与原图像的PSNR指标和SSIM指标，并用双三次插值算法(bicubic interpolation)和在同样条件下训练的Very Deep Convolutional Networks（VDSR）的结果作对比结果如表1所示。

表1 超分辨率网络效果对比

从表1结果可知，使用ESRGAN对桥梁螺栓图像进行超分辨率放大，在各个倍数上都显示了更好的图像质量。ESRGAN在三座在役桥梁的螺栓图像超分辨率恢复上都具有更高的还原度，特别是对螺栓边缘、螺纹纹理以及锈蚀纹理的恢复上，这种优点为后面的识别和判别提供了稳定可靠的源数据。

为充分验证本发明的实用性与检测效率，以在役桥梁作为测试对象，检验所提出方法是否满足工程检测要求。本实施例中主要介绍本发明在一座在役桥梁的测试结果，主要检测桥梁底部和索夹螺栓。

（一）桥梁概况

测试桥梁为淮安入海水道工程中的人行悬索桥，该桥梁总长197.7米，中间跨径115.7米，桥面宽2.7米。桥面系为纵横槽钢结构，其中桥梁横向短槽钢总计53根，纵向槽钢5根，索夹106个。检测中关注的螺栓为桥梁底部槽钢连接螺栓和吊索索夹固定螺栓，其中槽钢连接螺栓371颗，索夹螺栓742颗。桥梁已服役18年，一部分螺栓已经出现松动和锈蚀，但由于桥梁位于入海水道上空，因此人工难以快速检测。

无人机的拍摄过程按照本发明的拍摄方法，对于桥梁侧面的拉索，无人机分布悬停在靠桥梁两端和中间的三个位置，控制相机移动拍摄索夹螺栓；对于桥梁底部，同样悬停在底部两端和中间位置，向上拍摄。检测过程中总共拍摄了约94分钟的螺栓视频，覆盖所需检测的所有螺栓。视频分辨率为1920×1080pixel，帧率为30fps，拍摄时为使图像曝光等参数一致，设置快门速度为1/100s，感光度为自动。

（二）无人机视频预处理

在采集完桥梁整体螺栓视频后，首先采用基于光流和逆滤波的方法自动去除所拍摄视频中包含的运动模糊，由于所拍摄的视频的曝光时间一致，因此对于视频的去模糊处理无需人工调整参数，可自动处理。

在自动消除视频运动模糊后，对图像进行自适应尺度分割。在使用自适应模板匹配后，计算得到索夹螺栓的尺寸在120×80pixel～300×200pixel之间，螺栓尺寸大多数在50×100pixel～200×250pixel之间，对于绝大多数图像来说，要使分辨率达到240×240pixel只需要将图像放大2倍，因此采用2倍超分辨率ESRGAN网络批量处理无人机视频。具体为：对于由多尺度模板匹配方法计算的放大比例大于1的，采用2倍超分辨率放大到2倍后，再调整图像大小到螺栓尺寸统一比例；对于螺栓尺寸原本就大于240×240pixel的，即比例参数小于1的，直接调整图像大小到统一比例。统一比例后，再按照640×604pixel的尺寸，以20%重叠率分割图像。

Claims (5)

1.一种基于相机运动模型恢复和超分辨率的螺栓图像预处理方法，其特征在于，包括步骤如下：

S1，组装无人机，该无人机搭载有在线检测机载计算机和超长焦距的变焦航拍相机；

S2，按照桥梁类型和检测部位，规划无人机飞行路线和飞行拍摄模式，采集各检测部位的螺栓图像；

S3，采用光流算法自动计算相邻帧的位移和方向，筛选出模糊帧；对模糊帧根据所计算的模糊核大小和方向，采用逆滤波方法直接去除模糊；

S4，通过自适应尺度分割方法对采集的螺栓图像进行处理，将不同距离拍摄的螺栓图像进行缩放，使缩放后的螺栓图像中单个螺栓的尺度接近分类模型的输入尺寸。

2.根据权利要求1所述基于相机运动模型恢复和超分辨率的螺栓图像预处理方法，其特征在于，步骤S2中，无人机飞行路线和飞行拍摄模式的分类如下：

（A1）对钢桁架桥桥梁侧面螺栓的检测，根据桥梁走向规划若干条平行于桥梁侧面的航线，分别为桥梁侧面上端高程、中部高程和底部高程的航线，且三条航线平面重叠；

（A2）对悬索桥桥梁拉索上索夹的螺栓的检测，采取无人机定点悬停、控制相机旋转拍摄索夹；

（A3）对桥梁底部螺栓的检测，采取无人机定点悬停，控制相机旋转拍摄。

3.根据权利要求1所述基于相机运动模型恢复和超分辨率的螺栓图像预处理方法，其特征在于，步骤S3中，筛选出模糊帧的实现步骤如下：

S31，在无人机成像时，由相机运动、拍摄噪声引起的退化图像 的表达式为：

其中， />为无干扰图像， />为点扩散函数，的卷积加上 />为环境噪声， />表示卷积；

设相机与被摄桥面的相对位移为匀速直线运动，忽略光照引起的噪声，则在匀速直线运动下，图像拍摄时的曝光量表示为：

其中，/>为无人机水平运动速度；/>为相机在/>时刻的曝光量，在 />时为 />，则在任意/>时刻表达为/>，此时感光元件上获取的图像为该时刻的累积曝光，为：

令/> ，则上式变换为：

上式表明所发生的运动模糊是/> 时刻在/>区间上的多个影像叠加的结果；

若无人机为悬停拍摄，，此时则有：

表示无人机相机在持续拍摄同一张图像；

若无人机运动方向不为水平，而是以任意 角作速度/>的匀速飞行，则有：

是由相机模型和无人机飞行速度 />换算的像素位移速度；

S32，根据选择的变焦相机型号，在拍摄时按照光照情况设置相机参数，同时设定像素位移速度 的最大值/>；如像素位移速度大于/>，判断无人机视频发生运动模糊；

S33，确定运动方向：

对于桥梁侧面螺栓检测，无人机以水平飞行的方式连续拍摄，运动方向为0°或180°；

对于桥梁底部螺栓拍摄，无人机悬停相机水平转动拍摄，相机在每一时刻转动角度都很小，运动方向为90°或270°；

对于索夹螺栓检测，相机按水平转动的方式拍摄，运动方向为0°或180°；

S34，确定模糊核尺寸：确定每一时刻图像中像素的运动量，当运动量大于20pixel时，该运动量减去20pixel则为模糊像素的数量；当运动量小于等于20pixel时，则认为无模糊像素。

4.根据权利要求1所述基于相机运动模型恢复和超分辨率的螺栓图像预处理方法，其特征在于，步骤S4中，所述自适应尺度分割方法的实现步骤如下：

S41，对无人机采集的源图像采用多尺度模板匹配方法寻找图像中最小螺栓的外接矩形尺寸，该外接矩形尺寸的长边与224像素的比例为源图像的缩放比例；

S42，将缩放比例取整，与2倍、4倍、8倍进行对比，取最接近的倍数，然后采用预训练的ESRGAN网络对源图像进行相应的2倍、4倍或8倍超分辨率放大；

S43，采用滑动窗的方式以20%重叠率截取放大后的图像，所截取的图像为自适应尺度分割的图像。

5.根据权利要求4所述基于相机运动模型恢复和超分辨率的螺栓图像预处理方法，其特征在于，所述多尺度模板匹配方法的实现如下：首先预设几个常见的螺栓图像，对预设的螺栓图像进行从0.8倍到8倍的缩放，在每一个缩放倍数下分别进行模板匹配，所选用的匹配方法为误差平方和算法，表达式为：

其中， />为大小为/> 的搜索图像， />为大小为 /> 的模板图像， />为搜索图像遍历过程中左上角坐标；

在遍历完成后，选取 最大的匹配区域为螺栓的位置，此后对比 />最大的预设图像缩放比例则为螺栓图像的尺寸。