CN116678337A - 基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统及方法 - Google Patents

Abstract

本发明提供了一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统及方法，包括标靶、图像采集模块、输入模块、目标检测模块、图像分割模块、畸变矫正模块、架桥机主梁前后支点处高差和主梁变形计算模块和预警模块。该系统基于计算机视觉技术的架桥机监测预警技术，可利用架桥机现有的视频监控设备，对架桥机架梁过程前后支点处高差、主梁变形等影响架梁过程架桥机稳定性的指标进行监测，可避免复杂的监测设备的和电缆的布置，方便现场使用。

Description

基于图像识别的架桥机主梁前后支点处高差和主梁变形监测 预警系统及方法

技术领域

本发明涉及安全预警技术领域，尤其涉及一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统及方法。

背景技术

对于架桥机架梁过程前后支点处高差、主梁变形等影响架桥机架梁过程稳定性的关键指标的监测，目前工程现场常见的做法是架梁之前采用水准仪测量，甚至采用标尺粗略测量，对架梁过程上述指标的变化情况，缺少相应的监测方法和系统，无法保证架梁过程架桥机安全状态的监测感知。同时，现有的监控技术，需要在架桥机上布置复杂的传感器、电缆、采集仪，对于架梁工程现场干扰大，同时也常被施工过程破坏，严重影响实际使用效果。

发明内容

本发明的目的在于提供一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统及方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统，包括图像采集模块、输入模块、目标检测模块、图像分割模块、畸变矫正模块、前后支点处高差和主梁变形计算模块以及预警模块，所述图像采集模块通过采集安装在架桥机主梁端部标靶的图像，获取待监测架桥机主梁的原始数据，并传输给所述输入模块；所述输入模块动态控制图像采集模块输入的原始数据，预选出符合条件的图像数据并传输给所述目标检测模块；所述目标检测模块采用训练好的目标检测模型快速锁定标靶在图像中的位置，并标注标靶区域位置；所述图像分割模块对标注出的标靶区域位置进行像素分割，得到分割后的标靶图像；所述畸变矫正模块采用张正友标定法对分割后的标靶图像进行畸变矫正，得到水平矩形竖直位移和竖直矩形水平位移；所述前后支点处高差和主梁变形计算模块根据畸变矫正后的水平矩形竖直位移计算前后支点处高差，根据畸变矫正后的竖直矩形水平位移计算主梁变形；所述预警模块将计算出的架桥机主梁前后支点处高差和主梁变形与预设的限值进行比对，若大于限值，则发出预警。

优选的，所述目标检测模块采用训练好的目标检测模型快速锁定标靶在图像中的位置，并标注标靶区域位置，具体包括：

训练目标检测模型：

获取任意位置的标靶图片并进行标注，标出标靶在图片中的位置作为数据集；将得到的数据集划分为训练集、验证集对目标检测模型进行训练和验证；得到训练后的目标检测模型；

标靶目标检测：

将图像采集模块采集到的图像分别输入到训练后的目标检测模型中进行标靶检测，分别得到每张图像的左上角坐标和右下角坐标以及由左上角坐标和右下角坐标确定的矩形区域，即为标靶区域。

优选的，所述图像分割模块使用Mask rcnn分割网络，在检测到的标靶区域分割出精细的标靶位置，具体包括：

从原始图像中裁剪出标靶区域输入到分割网络中，分割出由若干像素位置组成的标靶区域，得到分割后的图像；将分割后的图像中非标靶区域像素值设置为(0，0，0)，标靶区域的像素值为图像中相应区域的像素值；通过Sobel算子提取标靶中棋盘格各个格子的边界。

优选的，所述畸变矫正模块通过张正友标定法对分割出来的图像区域进行畸变矫正，具体包括以下内容：

将人为定义的世界坐标系固定于分割好的标靶中的棋盘格上，由于世界坐标系标定板上的每个格子大小已知，棋盘格上任一点的物理坐标W＝0，计算出棋盘格上每个角点在世界坐标系下的物理坐标为(U,V,W＝0)，对应的像素坐标为(u,v)；

通过张正友标定法计算出内外参矩阵、畸变参数，并对分割后的图像进行畸变矫正，得到矫正后的图像。

优选的，所述前后支点处高差和主梁变形计算模块将矫正后的图像依据转换规则转化为二值图，并分别计算棋盘格区域的中心位置坐标(x,y)；

转换规则如下：

计算棋盘格区域的中心位置坐标(x,y)的公式为：

i和j表示图像中像素位置的横坐标和纵坐标；

将棋盘格区域的中心位置坐标映射到原始图像中，得到架桥机主梁变形前后标靶在原始图像中的位置；

(x₇,y₇)＝(x₁+x₅,y₁+y₅)

(x₈,y₈)＝(x₂+x₆,y₂+y₆)

通过两个坐标之间的差计算架桥机主梁前后支点处高差和主梁变形：架桥机主梁前后支点处的像素高差d_{pixl_h}＝abs(y₇-y₈)，架桥机主梁像素位移d_{pixl_l}＝abs(x₇-x₈)；

将上面计算的像素距离通过比例因子映射到现实距离，已知棋盘格区域中白色区域所占的面积area_real，统计第五张图像、第六张图像中白色区域的面积area_pixl：

架桥机主梁前后支点处的实际高差为：d_{real_h}＝ratio×d_{pixl_h}，架桥机主梁实际位移为：d_{real_l}＝ratio×d_{pixl_l}，比例因子的具体计算过程如下：

本发明的另一个目的在于提供了一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警方法，包括以下步骤：

S1，采用图像采集模块先后获取两张架梁过程中带有标靶的架桥机主梁图像，通过输入模块传输给目标检测模块，记为第一张图像、第二张图像；

S2，目标检测模块采用训练后的目标检测模型分别对第一张图像和第二张图像进行标靶检测，得到第一张图像中的标靶区域为(x₁,y₁)、(x₂,y₂)所确定的矩形区域，(x₁,y₁)为矩形区域的左上角坐标，(x₂,y₂)为矩形区域的右下角坐标；第二张图像中的标靶区域为(x₃,y₃)、(x₄,y₄)所确定的矩形区域，(x₃,y₃)为矩形区域的左上角坐标，(x₄,y₄)为矩形区域的右下角坐标；

S3，图像分割模块分别对第一张图像、第二张图像的标靶区域裁剪出来作为第三张图像、第四章图像，输入到Mask rcnn分割网络中分割成列像素位置，将第三张图像、第四张图像中的非标靶区域像素值设置为(0，0，0)，标靶区域的像素值为图像中相应区域的像素值；

通过Sobel算子提取标靶中棋盘格各个格子的边界；

S4，采用畸变矫正模块通过张正友标定法对分割出来的图像区域进行畸变矫正，得到矫正后的第三张图像、第四张图像；

S5，采用前后支点处高差和主梁变形计算模块将畸变矫正后的第三张图像、第四张图像转化为二值图，得到第五张图像、第六张图像，计算第五张图像、第六张图像在棋盘格区域的中心位置(x₅,y₅)、(x₆,y₆)，将棋盘格区域的中心位置映射到原图中，得到架桥机主梁变形前后标靶在图像中的位置(x₇,y₇)、(x₈,y₈)；

S6，通过两个坐标之间的差计算架桥机主梁前后支点处像素高差d_{pixl_h}＝abs(y₇-y₈)和主梁像素位移d_{pixl_l}＝abs(x₇-x₈)，通过比例因子映射到现实距离，已知棋盘格区域中白色区域所占的面积area_real，统计第五张图像、第六张图像中白色区域的面积area_pixl；

S7，计算架桥机主梁前后支点处的实际高差为：d_{real_h}＝ratio×d_{pixl_h}，架桥机主梁实际位移为：d_{real_l}＝ratio×d_{pixl_l}，

Ratio为比例因子，具体计算过程如下：

优选的，步骤S4中具体包括：

将人为定义的世界坐标系固定于分割好的标靶中的棋盘格上，由于世界坐标系标定板上的每个格子大小已知，棋盘格上任一点的物理坐标W＝0，计算出棋盘格上每个角点在世界坐标系下的物理坐标为(U,V,W＝0)，对应的像素坐标为(u,v)；

利用每一个角点的像素坐标(u,v)和每一个角点在世界坐标系下的物理坐标(U,V,W＝0)，来计算内外参矩阵、畸变参数，通过内外参矩阵、畸变参数对第三张图像、第四张图像进行畸变矫正。

优选的，步骤S5中计算第五张图像、第六张图像在棋盘格区域的中心位置(x₅,y₅)、(x₆,y₆)，具体包括：

将棋盘格区域的中心位置映射到原图中，得到架桥机主梁变形前后标靶在第一张图像、第二张图像中的位置(x₇,y₇)、(x₈,y₈)，计算公式如下：

(x₇,y₇)＝(x₁+x₅,y₁+y₅)

(x₈,y₈)＝(x₂+x₆,y₂+y₆)。

步骤S6中统计第五张图像、第六张图像中白色区域的面积area_pixl，计算公式为：

优选的，预警方法还包括步骤S8，

S8，预警模块将计算出的架桥机主梁前后支点处高差和主梁变形与预设的限值进行比对，如果任意值大于限值，则发送报警信号，由报警装置通知作业人员结果。

本发明的有益效果是：

本发明提供了一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统及方法，该系统基于计算机视觉技术的架桥机监测预警技术，可利用架桥机现有的视频监控设备，对架桥机架梁过程前后支点处高差、主梁变形等影响架梁过程架桥机稳定性的指标进行监测，可避免复杂的监测设备的和电缆的布置，方便现场使用。

附图说明

图1是实施例1中提供的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统原理示意图；

图2是实施例1中采用的标靶；

图3是畸变矫正后的图像转化的二值图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例提供了一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统，如图1所示，包括标靶、图像采集模块、输入模块、目标检测模块、图像分割模块、畸变矫正模块、架桥机主梁前后支点处高差和主梁变形计算模块和预警模块。

本实施例中的标靶是一块黑色背板，背板上有一个nxn的棋盘格标定板，棋盘格标定板可以位于背板的任意位置，棋盘格标定板的每边需要距离背板边界有一定距离，标靶如图2所示。标靶放置于要检测主梁前后支点处高差和主梁变形的架桥机一端上。

图像采集模块、目标检测模块、图像分割模块、畸变矫正模块、架桥机主梁前后支点处高差和主梁变形计算模块安装在摄像头端，放置在架桥机的另一端；预警模块安装在距离工作人员较近的提示装置端。摄像头端采集图像并通过一个计算装置进行架桥机主梁前后支点处高差和主梁变形计算，然后通过网络将结果传给预警装置，所述预警装置对架桥机主梁前后支点处高差和主梁变形情况进行报警。

本实施例中的图像采集模块由相机和传输端口组成，通过usb、网络等方式与计算装置相连，图像采集模块在收到拍摄的命令后进行拍摄，并将拍摄到的图片传输到计算装置存储并后续传输给其它模块。

输入模块主要用于动态控制模板图像和缓存图像，根据时间、间隔以及显著视觉变化控制缓存图像增删逻辑，将摄像头新采集的图像传输到计算装置预设存储空间，进入待执行队列，并删除相关出队列数据。

本实施例中的目标检测模块使用yolov5检测网络，使其在采集到的图像中快速定位标靶区域的位置，具体方法如下：

将标靶放在真实环境中的任意位置采集一批图片，对采集的图片进行标注，标出标靶在图像中的位置。将得到的数据集进行划分训练集、验证集对模型进行训练和验证。模型训练好以后将模型部署到计算设备上得到目标检测模块。目标检测模块将图像采集模块采集到的两张图像分别输入到目标检测模块中进行标靶的检测。

目标检测后得到的第一张图像中的标靶区域为(x₁,y₁)、(x₂,y₂)所确定的矩形区域，(x₁,y₁)为矩形区域的左上角坐标，(x₂,y₂)为矩形区域的右下角坐标；得到第二张图像中的标靶区域为(x₃,y₃)、(x₄,y₄)所确定的矩形区域，(x₃,y₃)为矩形区域的左上角坐标，(x₄,y₄)为矩形区域的右下角坐标。

本实施例中的图像分割模块使用Mask rcnn分割网络，在检测到的标靶区域分割出精细的标靶位置。

将第一张图像中检测到的标靶区域(由(x₁,y₁)、(x₂,y₂)组成的矩形区域)从原始图像中裁剪出来作为第三张图像；

将第三张图像输入到分割网络中分割出精细的标靶区域，标靶区域由一些像素位置组成；

将第三张图像中的非标靶区域像素值设置为(0，0，0)，标靶区域的像素值为图像中相应区域的像素值；

通过Sobel算子提取标靶中棋盘格各个格子的边界。

对第二张图像也进行上述处理，得到第四张图像及标靶中棋盘格各个格子的边界。

本实施例中的畸变矫正模块，通过张正友标定法对分割出来的图像区域进行畸变矫正。张正友标定法将世界坐标系固定于棋盘格上，棋盘格上任一点的物理坐标W＝0，由于标定板的世界坐标系是人为事先定义好的，标定板上每一个格子的大小是已知的，可以计算得到每一个角点在世界坐标系下的物理坐标(U,V,W＝0)。

通过上面分割出来的棋盘格区域计算得到每一个角点的像素坐标(u,v)。利用每一个角点的像素坐标(u,v)和每一个角点在世界坐标系下的物理坐标(U,V,W＝0)，来计算内外参矩阵、畸变参数。然后通过内外参矩阵、畸变参数对第三张图像、第四张图像进行畸变矫正。

本实施例中的前后支点处高差和主梁变形计算模块，根据畸变矫正后的水平矩形竖直位移计算前后支点处高差，根据畸变矫正后的竖直矩形水平位移计算主梁变形。

将畸变矫正后的第三张图像、第四张图像转化为二值图，得到第五张图像、第六张图像，具体转换规则如下：

得到如图3所示的图像。

对第五张图像、第六张图像分别计算棋盘格区域的中心位置(x₅,y₅)、(x₆,y₆)，计算公式如下：

将棋盘格区域的中心位置映射到原图中，得到架桥机主梁变形前后标靶在图像中的位置(x₇,y₇)、(x₈,y₈)。

(x₇,y₇)＝(x₁+x₅,y₁+y₅)

(x₈,y₈)＝(x₂+x₆,y₂+y₆)

通过两个坐标之间的差计算架桥机主梁前后支点处高差和主梁变形。架桥机主梁前后支点处的像素高差d_{pixl_h}＝abs(y₇-y₈)，架桥机主梁像素位移d_{pixl_l}＝abs(x₇-x₈)。

将上面计算的像素距离通过比例因子映射到现实距离，已知棋盘格区域中白色区域所占的面积area_real，统计第五张图像、第六张图像中白色区域的面积area_pixl：

比例因子的具体计算过程如下：

架桥机主梁前后支点处的实际高差为：d_{real_h}＝ratio×d_{pixl_h}，架桥机主梁实际位移为：d_{real_l}＝ratio×d_{pixl_l}。

本实施例中的预警模块将计算出的架桥机主梁前后支点处高差和主梁变形与预设的限值进行比对，如果任意值大于限值，则由计算装置给报警装置发送报警信号，由报警装置通知作业人员结果。

架桥机主梁跨中处挠度限值为S/400，(S为主梁支撑跨度)，架桥机主梁前后支点处高差限值，一般由架桥机厂家给出，例如某架桥机要求，主梁前支点处高于后支点处0-20cm。可取限值的60％为安全值，限值的60％-80％为预警值，超过限值80％为警戒值。

实施例2

本实施例提供了一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警方法，包括以下步骤：

S1，采用图像采集模块先后获取两张架梁过程中带有标靶的架桥机主梁图像，通过输入模块传输给目标检测模块，记为第一张图像、第二张图像；

S2，目标检测模块采用训练后的目标检测模型分别对第一张图像和第二张图像进行标靶检测，得到第一张图像中的标靶区域为(x₁,y₁)、(x₂,y₂)所确定的矩形区域，(x₁,y₁)为矩形区域的左上角坐标，(x₂,y₂)为矩形区域的右下角坐标；第二张图像中的标靶区域为(x₃,y₃)、(x₄,y₄)所确定的矩形区域，(x₃,y₃)为矩形区域的左上角坐标，(x₄,y₄)为矩形区域的右下角坐标；

S3，图像分割模块分别对第一张图像、第二张图像的标靶区域裁剪出来作为第三张图像、第四章图像，输入到Mask rcnn分割网络中分割成列像素位置，将第三张图像、第四张图像中的非标靶区域像素值设置为(0，0，0)，标靶区域的像素值为图像中相应区域的像素值；

通过Sobel算子提取标靶中棋盘格各个格子的边界；

S4，采用畸变矫正模块通过张正友标定法对分割出来的图像区域进行畸变矫正，得到矫正后的第三张图像、第四张图像；

S5，采用前后支点处高差和主梁变形计算模块将畸变矫正后的第三张图像、第四张图像转化为二值图，得到第五张图像、第六张图像，计算第五张图像、第六张图像在棋盘格区域的中心位置(x₅,y₅)、(x₆,y₆)，将棋盘格区域的中心位置映射到原图中，得到架桥机主梁变形前后标靶在图像中的位置(x₇,y₇)、(x₈,y₈)；

S6，通过两个坐标之间的差计算架桥机主梁前后支点处像素高差d_{pixl_h}＝abs(y₇-y₈)和主梁像素位移d_{pixl_l}＝abs(x₇-x₈)，通过比例因子映射到现实距离，已知棋盘格区域中白色区域所占的面积area_real，统计第五张图像、第六张图像中白色区域的面积area_pixl；

S7，计算架桥机主梁前后支点处的实际高差为：d_{real_h}＝ratio×d_{pixl_h}，架桥机主梁实际位移为：d_{real_l}＝ratio×d_{pixl_l}，

Ratio为比例因子，具体计算过程如下：

本实施例中，步骤S4中具体包括：

将人为定义的世界坐标系固定于分割好的标靶中的棋盘格上，由于世界坐标系标定板上的每个格子大小已知，棋盘格上任一点的物理坐标W＝0，计算出棋盘格上每个角点在世界坐标系下的物理坐标为(U,V,W＝0)，对应的像素坐标为(u,v)；

利用每一个角点的像素坐标(u,v)和每一个角点在世界坐标系下的物理坐标(U,V,W＝0)，来计算内外参矩阵、畸变参数，通过内外参矩阵、畸变参数对第三张图像、第四张图像进行畸变矫正。

本实施例中步骤S5中计算第五张图像、第六张图像在棋盘格区域的中心位置(x₅,y₅)、(x₆,y₆)，计算公式具体包括：

将棋盘格区域的中心位置映射到原图中，得到架桥机主梁变形前后标靶在第一张图像、第二张图像中的位置(x₇,y₇)、(x₈,y₈)，计算公式如下：

(x₇,y₇)＝(x₁+x₅,y₁+y₅)

(x₈,y₈)＝(x₂+x₆,y₂+y₆)。

本实施例中，步骤S6中统计第五张图像、第六张图像中白色区域的面积area_pixl，计算公式为：

i和j表示图像中像素位置的横坐标和纵坐标。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统及方法，该系统基于计算机视觉技术的架桥机监测预警技术，可利用架桥机现有的视频监控设备，对架桥机架梁过程前后支点处高差、主梁变形等影响架梁过程架桥机稳定性的指标进行监测，可避免复杂的监测设备的和电缆的布置，方便现场使用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (9)

1.一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统，其特征在于，包括图像采集模块、输入模块、目标检测模块、图像分割模块、畸变矫正模块、前后支点处高差和主梁变形计算模块以及预警模块，所述图像采集模块通过采集安装在架桥机主梁端部标靶的图像，获取待监测架桥机主梁的原始数据，并传输给所述输入模块；所述输入模块动态控制图像采集模块输入的原始数据，预选出符合条件的图像数据并传输给所述目标检测模块；所述目标检测模块采用训练好的目标检测模型快速锁定标靶在图像中的位置，并标注标靶区域位置；所述图像分割模块对标注出的标靶区域位置进行像素分割，得到分割后的标靶图像；所述畸变矫正模块采用张正友标定法对分割后的标靶图像进行畸变矫正，得到水平矩形竖直位移和竖直矩形水平位移；所述前后支点处高差和主梁变形计算模块根据畸变矫正后的水平矩形竖直位移计算前后支点处高差，根据畸变矫正后的竖直矩形水平位移计算主梁变形；所述预警模块将计算出的架桥机主梁前后支点处高差和主梁变形与预设的限值进行比对，若大于限值，则发出预警。

2.根据权利要求1所述的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统，其特征在于，所述目标检测模块采用训练好的目标检测模型快速锁定标靶在图像中的位置，并标注标靶区域位置，具体包括：

训练目标检测模型：

获取任意位置的标靶图片并进行标注，标出标靶在图片中的位置作为数据集；将得到的数据集划分为训练集、验证集对目标检测模型进行训练和验证；得到训练后的目标检测模型；

标靶目标检测：

将图像采集模块采集到的图像分别输入到训练后的目标检测模型中进行标靶检测，分别得到每张图像的左上角坐标和右下角坐标以及由左上角坐标和右下角坐标确定的矩形区域，即为标靶区域。

3.根据权利要求2所述的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统，其特征在于，所述图像分割模块使用Mask rcnn分割网络，在检测到的标靶区域分割出精细的标靶位置，具体包括：

从原始图像中裁剪出标靶区域输入到分割网络中，分割出由若干像素位置组成的标靶区域，得到分割后的图像；将分割后的图像中非标靶区域像素值设置为(0，0，0)，标靶区域的像素值为图像中相应区域的像素值；通过Sobel算子提取标靶中棋盘格各个格子的边界。

4.根据权利要求3所述的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统，其特征在于，所述畸变矫正模块通过张正友标定法对分割出来的图像区域进行畸变矫正，具体包括以下内容：

将人为定义的世界坐标系固定于分割好的标靶中的棋盘格上，由于世界坐标系标定板上的每个格子大小已知，棋盘格上任一点的物理坐标W＝0，计算出棋盘格上每个角点在世界坐标系下的物理坐标为(U,V,W＝0)，对应的像素坐标为(u,v)；

通过张正友标定法计算出内外参矩阵、畸变参数，并对分割后的图像进行畸变矫正，得到矫正后的图像。

5.根据权利要求4所述的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警系统，其特征在于，所述前后支点处高差和主梁变形计算模块将矫正后的图像依据转换规则转化为二值图，并分别计算棋盘格区域的中心位置坐标(x,y)；

转换规则如下：

计算棋盘格区域的中心位置坐标(x,y)的公式为：

i和j表示图像中像素位置的横坐标和纵坐标；

将棋盘格区域的中心位置坐标映射到原始图像中，得到架桥机主梁变形前后标靶在原始图像中的位置；

(x₇,y₇)＝(x₁+x₅,y₁+y₅)

(x₈,y₈)＝(x₂+x₆,y₂+y₆)

通过两个坐标之间的差计算架桥机主梁前后支点处高差和主梁变形：架桥机主梁前后支点处的像素高差d_{pixl_h}＝abs(y₇-y₈)，架桥机主梁像素位移d_{pixl_l}＝abs(x₇-x₈)；

将上面计算的像素距离通过比例因子映射到现实距离，已知棋盘格区域中白色区域所占的面积area_real，统计第五张图像、第六张图像中白色区域的面积area_pixl：

架桥机主梁前后支点处的实际高差为：d_{real_h}＝ratio×d_{pixl_h}，架桥机主梁实际位移为：d_{real_l}＝ratio×d_{pixl_l}，比例因子的具体计算过程如下：

6.一种基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警方法，其特征在于，包括以下步骤：

S1，采用图像采集模块先后获取两张架梁过程中带有标靶的架桥机主梁图像，通过输入模块传输给目标检测模块，记为第一张图像、第二张图像；

S2，目标检测模块采用训练后的目标检测模型分别对第一张图像和第二张图像进行标靶检测，得到第一张图像中的标靶区域为(x₁,y₁)、(x₂,y₂)所确定的矩形区域，(x₁,y₁)为矩形区域的左上角坐标，(x₂,y₂)为矩形区域的右下角坐标；第二张图像中的标靶区域为(x₃,y₃)、(x₄,y₄)所确定的矩形区域，(x₃,y₃)为矩形区域的左上角坐标，(x₄,y₄)为矩形区域的右下角坐标；

S3，图像分割模块分别对第一张图像、第二张图像的标靶区域裁剪出来作为第三张图像、第四章图像，输入到Mask rcnn分割网络中分割成列像素位置，将第三张图像、第四张图像中的非标靶区域像素值设置为(0，0，0)，标靶区域的像素值为图像中相应区域的像素值；

通过Sobel算子提取标靶中棋盘格各个格子的边界；

S4，采用畸变矫正模块通过张正友标定法对分割出来的图像区域进行畸变矫正，得到矫正后的第三张图像、第四张图像；

S5，采用前后支点处高差和主梁变形计算模块将畸变矫正后的第三张图像、第四张图像转化为二值图，得到第五张图像、第六张图像，计算第五张图像、第六张图像在棋盘格区域的中心位置(x₅,y₅)、(x₆,y₆)，将棋盘格区域的中心位置映射到原图中，得到架桥机主梁变形前后标靶在图像中的位置(x₇,y₇)、(x₈,y₈)；

S6，通过两个坐标之间的差计算架桥机主梁前后支点处像素高差d_{pixl_h}＝abs(y₇-y₈)和主梁像素位移d_{pixl_l}＝abs(x₇-x₈)，通过比例因子映射到现实距离，已知棋盘格区域中白色区域所占的面积area_real，统计第五张图像、第六张图像中白色区域的面积area_pixl；

S7，计算架桥机主梁前后支点处的实际高差为：d_{real_h}＝ratio×d_{pixl_h}，架桥机主梁实际位移为：d_{real_l}＝ratio×d_{pixl_l}，

Ratio为比例因子，具体计算过程如下：

7.根据权利要求6所述的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警方法，其特征在于，步骤S4中具体包括：

将人为定义的世界坐标系固定于分割好的标靶中的棋盘格上，由于世界坐标系标定板上的每个格子大小已知，棋盘格上任一点的物理坐标W＝0，计算出棋盘格上每个角点在世界坐标系下的物理坐标为(U,V,W＝0)，对应的像素坐标为(u,v)；

利用每一个角点的像素坐标(u,v)和每一个角点在世界坐标系下的物理坐标(U,V,W＝0)，来计算内外参矩阵、畸变参数，通过内外参矩阵、畸变参数对第三张图像、第四张图像进行畸变矫正。

8.根据权利要求7所述的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警方法，其特征在于，步骤S5中计算第五张图像、第六张图像在棋盘格区域的中心位置(x₅,y₅)、(x₆,y₆)，具体包括：

将棋盘格区域的中心位置映射到原图中，得到架桥机主梁变形前后标靶在第一张图像、第二张图像中的位置(x₇,y₇)、(x₈,y₈)，计算公式如下：

(x₇,y₇)＝(x₁+x₅,y₁+y₅)

(x₈,y₈)＝(x₂+x₆,y₂+y₆)；

步骤S6中统计第五张图像、第六张图像中白色区域的面积area_pixl，计算公式为：

9.根据权利要求6所述的基于图像识别的架桥机主梁前后支点处高差和主梁变形监测预警方法，其特征在于，还包括步骤S8，

S8，预警模块将计算出的架桥机主梁前后支点处高差和主梁变形与预设的限值进行比对，如果任意值大于限值，则发送报警信号，由报警装置通知作业人员结果。