CN115908951B - 一种机器视觉实时识别预紧螺栓状态的方法 - Google Patents

Abstract

本发明采用的技术方案是：一种机器视觉实时识别预紧螺栓状态的方法，包括以下步骤：连续获取待测紧固螺栓及固定部位的图像；所述待测紧固螺栓应用于水电站；所述待测紧固螺栓应用于水电站；所述紧固螺栓及固定部位上敷设有连续特征图纹；图像中包含紧固螺栓及固定部位和所敷设的连续特征图纹两种类型的图形；基于双边滤波方法对图像进行噪声的去除和局部边缘的平滑；基于迭代阈值选择算法实现图像的二值化，并基于此对连续特征图纹进行轮廓检测；基于获取的轮廓信息计算紧固螺栓在水平方向和垂直方向上的位移。本发明可以无时延识别螺栓松动、滑丝、紧固力下降等危险状态。

Description

一种机器视觉实时识别预紧螺栓状态的方法

技术领域

本发明属于水利水电及人工智能技术领域，具体涉及一种机器视觉实时识别预紧螺栓状态的方法。

背景技术

在水利水电工程中，有各种各样的涉及关键部位、重要部件、工程安全的紧固螺栓的应用。如水电站水轮机顶盖紧固螺栓、蜗壳检修进人孔密封紧固螺栓、发电机定子铁心拉紧螺栓、转子磁轭拉紧螺栓等，这些部位的螺栓具有高应力、高强度的特点，而且一旦发生松动或预紧力下降，常常会导致受力不均、影响范围扩大，最终导致及其严重的后果。如国外某大型水电站在一般事故工况，机组进水流道压力上升，由于水轮机顶盖长期运行导致的部分螺栓松动，使顶盖整体螺栓密封紧固力下降，最终导致严重的螺栓断裂、顶盖透水并水淹厂房的严重事故。再如，某大型电站发电机定子铁心下齿压板紧固螺栓松动，造成铁心拉紧力下降，导致铁心叠片外移，最终发展成与转子碰撞的“扫膛”事故，发电机定、转子等设备损失严重。

上述螺栓在设备长期运行过程中发生的松动、移位等现象具有一定的隐蔽性和趋势性，在实际的日常运行中很难被运行人员发现，且大多数重要部位螺栓由于数量多、分布广而无法有效巡视，因此成为电站、电厂日常运行维护工作的难点，也容易导致各种隐患产生。

发明内容

本发明的目的就是为了解决上述背景技术存在的不足，提供一种机器视觉实时识别预紧螺栓状态的方法，可以无时延识别螺栓松动、滑丝、紧固力下降等危险状态。

本发明采用的技术方案是：一种机器视觉实时识别预紧螺栓状态的方法，包括以下步骤：

连续获取待测紧固螺栓及固定部位的图像；所述待测紧固螺栓应用于水电站；所述待测紧固螺栓应用于水电站；所述紧固螺栓及固定部位上敷设有连续特征图纹；图像中包含紧固螺栓及固定部位和所敷设的连续特征图纹两种类型的图形；

基于双边滤波方法对图像进行噪声的去除和局部边缘的平滑；

基于迭代阈值选择算法实现图像的二值化，并基于此对连续特征图纹进行轮廓检测；

基于获取的轮廓信息计算紧固螺栓在水平方向和垂直方向上的位移。

上述技术方案中，还包括以下步骤：将计算得到的位移与预警阈值相比较，选择是否发出预警信号。

上述技术方案中，还包括以下步骤：基于获得的紧固螺栓在不同时刻的位移变化数据，采用CNN-LSTM网络混合模型预测螺栓松动、位移和预紧力下降趋势。

上述技术方案中，基于双边滤波方法对图像进行噪声的去除和局部边缘的平滑的过程包括：采用空域滤波器和值域滤波器对图像进行处理，使图像在平滑高频率的波动信号的同时保留大幅值变化的信号波动。

上述技术方案中，基于迭代阈值选择算法实现图像的二值化的过程包括：

连续特征图纹在紧固螺栓后的分界面为光滑连续的图形特征；

选择近似阈值T₀作为初值，对图像上所有位置的灰度值取加权平均；

基于阈值初值将图像分割为两部分，图像中像素灰度值大于阈值初值T₀的部分记为P₁ ¹，小于阈值初值T₀的部分记为P₂ ¹，然后分别对两个区域P₁ ¹和P₂ ¹的灰度值取加权平均，得到其灰度均值G₁ ¹和G₂ ¹后，对其次取平均作为新的分割阈值T₁；

基于分割阈值T₁将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值T₁的部分记为P₁ ²，小于阈值初值T₁的部分记为P₂ ²，根据上式重新计算两个区域P₁ ²和P₂ ²的灰度均值G₁ ²和G₂ ²，将其与G₁ ¹和G₂ ¹进行比较，若值分别相同，则阈值为T₁ ，若不相同重复此步骤；

依此循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同而发生变化，则该分割阈值为计算得到二值图像的分割阈值；

利用分割阈值获取所述紧固螺栓及固定部位图像的二值图像；紧固螺栓及固定部位的图像为白色，连续特征图纹的颜色为黑色。

上述技术方案中，基于二值化的图像对连续特征图纹进行轮廓检测的过程包括：

定义二值图像位置(i,j)处像素值为I(i,j)；

按照从左至右、自上而下的顺序遍历二值图像，直至搜索到边界跟踪的连续特征图纹的外边界起始点与孔边界起始点时暂停扫描；判断某像素点是否为连续特征图纹边界起始点的主要依据是位置(i,j)、(i,j-1)和(i,j+1)处的像素值，若I(i,j-1)=0且I(i,j)=1，则位置(i,j)为外边界起始点，若I(i,j)>=1且I(i,j+1)=0，则位置(i,j)为孔边界起始点；每次新分到的边界均会被分配唯一的ID值，该值被记为N_NBD，数值每次增加1；

从找到新边界的起始点开始跟踪此边界，并以此标记边界上的点；若当前跟踪点的位置表示为(p,q)，当I(p,q)=1且I(p,q+1)=1时，说明跟踪到了边界的终止点，此时I(p,q)=-N_NBD，否则，(p,q)不为任何已完成跟踪的边界上的点，I(p,q)=N_NBD；

当整条边界的跟踪和标记完成后继续扫描下一条边界，直到遍历完整幅图像时算法结束；提取到的边界即为连续特征图纹的外轮廓。

上述技术方案中，基于二值化的图像对连续特征图纹进行轮廓检测的过程还包括：

通过提取到的连续特征图纹的外轮廓计算出连续特征图纹的个数、位置几何信息；连续特征图纹的个数即为跟踪到的外轮廓的个数，连续特征图纹的位置坐标表示为其外接矩形对角线上的端点的坐标(x ₁ ,y ₁ )和(x ₂ ,y ₂ )，其中x ₁ <x ₂ ，y ₁ <y ₂ ；连续特征图纹的外接矩形通过连续特征图纹的外轮廓的点中的最小坐标值和最大坐标值确定,目外接矩形的周长c即为轮廓的像素点的个数。

上述技术方案中，基于获取的轮廓信息计算紧固螺栓在水平方向和垂直方向上的位移的过程包括：

若得到的连续特征图纹轮廓数目为一个，且基于位置坐标(x ₁ ,y ₁ )和(x ₂ ,y ₂ )计算得到的周长值2*(x ₂ +y ₂ -x ₁ -y ₁ )与直接通过计算轮廓的像素点总数得到的周长值c相同，则说明螺栓完全没有松动；

若得到的连续特征图纹轮廓数目为一个，且基于位置坐标(x ₁ ,y ₁ )和(x ₂ ,y ₂ )计算得到的周长值2*(x ₂ +y ₂ -x ₁ -y ₁ )大于直接通过计算轮廓的像素点总数得到的周长值c，则说明螺栓仅发生了垂直轴上的松动，垂直位移△Y=(x ₂ +y ₂ -x ₁ -y ₁ )-c/2；

若得到的连续特征图纹轮廓数目为两个，说明螺栓发生了至少大于90度的松动；其中一个轮廓的位置坐标为(x ¹ ₁ ,y ¹ ₁ )和(x ¹ ₂ ,y ¹ ₂ )，另一个轮廓的位置坐标为(x ² ₁ ,y ² ₁ )和(x ² ₂ ,y ² ₂ )；水平位移分别由两个轮廓的位置坐标(x ¹ ₂ ,y ¹ ₂ )和(x ² ₁ ,y ² ₁ )进行计算，其中x ¹ ₂ <x ² ₁ ，水平位移△X=x ² ₁ -x ¹ ₂ 。

上述技术方案中，基于获得的历史位移数据，采用CNN-LSTM网络混合模型预测螺栓松动、位移和预紧力下降趋势的过程包括：基于获得的紧固螺栓在不同时刻时的位移数据，将每个时刻紧固螺栓在水平和垂直方向上的位移的特征串联成向量表示，形成新的时间序列数据；CNN网络采用局部连接和共享权值的方式提取时间序列数据特征，通过卷积层和池化层交替使用来获取有效表征，自动提取时间序列数据的局部特征并建立特征向量；当采用CNN网络对紧固螺栓的历史位移变化量进行特征提取后，LSTM网络基于时间序列数据，通过历史位移变化量的特征数据预测未来的位移变化量；根据未来的位移变化量判定紧固螺栓松动情况；基于未来的位移变化量达到设定阈值的时间判定预紧力下降出现的时间进行预测。

本发明提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述技术方案中所述机器视觉实时识别预紧螺栓状态的方法步骤

本发明的有益效果是：结合水利水电工程中大量应用的高强度、预紧力螺栓易松动、滑丝、位移现象提出的一种基于机器视觉和人工智能算法的高精度、在线识别其状态的方法。在该方法下，可以通过本发明的机器视觉算法无时延识别螺栓松动、滑丝、紧固力下降等危险状态，通过对状态的高精度（高分辨率）识别和机器视觉及深度学习，可实现提前预知螺栓的状态及趋势，并通过趋势分析和安全阙值的设定发出相关的预警、预报或检修提示。

该方法在螺栓紧固对象的固定部位和活动部分（螺栓、螺帽、垫片）设置可通过人工智能算法机器视觉识别的连续图纹（特征），当螺栓发生松动、松脱、滑丝等现象时会产生微小的旋转位移、轴向位移，两个方向的位移或旋转都可通过在活动和固定部位上的特征图纹标识表现出来，即由连续性图纹变为带突变的间断性图纹特征。通过机器视觉的图像二值化、轮廓检测和边界跟踪算法高精度识别两个方向上的位移，从而识别螺栓的紧固状态，当发生超过安全系数范围内紧固力最小限值（预警阙值）的位移发生时，发出预警。进一步地，还可以基于输出的紧固螺栓在不同时刻的位移变化值构成历史数据库，采用卷积神经网络（CNN）和长短期记忆（LSTM）网络结合的预测方法，挖掘海量数据中蕴含的有效信息，对紧固螺栓的松动、位移、预紧力下降等状态趋势进行预测，得到螺栓松动和预紧力下降出现的时间预测值，发出相关的预警、预报或检修提示。

本发明的机器视觉人工智能算法可对单个螺栓进行状态识别和趋势分析，也可对相机视域范围内的多个螺栓紧固状态进行识别和整体紧固效果趋势分析。从而实现无传感器、无接触、实时在线的螺栓状态监测，特别对水电站如水轮机顶盖紧固螺栓、蜗壳检修进人孔密封紧固螺栓、发电机定子铁心拉紧螺栓、转子磁轭拉紧螺栓等高应力、高安全要求的设备设施处的螺栓状态采用不同的图纹特征及高精度识别，能有效的获得螺栓的状态（包括疲劳、松动、旋转等）和发展趋势，避免螺栓松动、预紧力下降甚至断裂、失效等危险情况发生，保证工程安全、设备安全、运行安全。

本发明的方法可用在水力水电工程上述重要、涉及紧固设备安全的场景，也可用于其他高强度、高应力、振动频繁（包括机械振动、电气振动、水力振动）、易疲劳的螺栓应用场合。

附图说明

图1为本发明的流程示意图；

图2为具体实施例连续特征图纹（贯穿螺栓螺母、被固定件）初始图像特征（未松动发生位移）示意图；

图3为具体实施例连续特征图纹（贯穿螺栓螺母、被固定件）发生Y轴方向移动图像特征示意图；

图4为具体实施例连续特征图纹（贯穿螺栓螺母、被固定件）发生X轴方向移动图像特征示意图；

图5为具体实施例采用的连续特征图纹（对称导向直方形）/连续特征图纹（单导向直方形）/连续特征图纹（锯齿形）/ 连续特征图纹（错位色块图纹）/连续特征图纹（精确标尺对称图纹）；

图6为具体实施例中水电站水轮机蜗壳进人孔密封门螺栓及相机布置正视示意图；

图7为具体实施例中水电站水轮机蜗壳进人孔密封门螺栓及相机布置侧视示意图。

其中，1-螺栓螺杆，2-螺栓螺母，3-被紧固对象，4-连续特征图纹；5-螺栓基础，6-工业相机。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。

如图1所示，本发明提供了一种机器视觉实时识别预紧螺栓状态的方法，包括以下步骤：

连续获取待测紧固螺栓及固定部位的图像；所述待测紧固螺栓应用于水电站；所述紧固螺栓及固定部位敷设连续特征图纹；图像中包含紧固螺栓及固定部位和所敷设的连续特征图纹两种类型的图形；

基于双边滤波方法对图像进行噪声的去除和局部边缘的平滑；

基于迭代阈值选择算法实现图像的二值化，并基于此对连续特征图纹进行轮廓检测；

基于获取的轮廓信息计算紧固螺栓在水平方向和垂直方向上的位移；

将计算得到的位移与预警阈值相比较，选择是否发出预警信号；

基于获得的紧固螺栓在不同时刻的位移变化数据，采用CNN-LSTM网络混合模型预测螺栓松动、位移和预紧力下降趋势。

本发明针对高强度、预紧力螺栓易松动、滑丝、位移现象提出的一种基于机器视觉和人工智能算法的高精度、在线识别其状态的方法。该方法在螺栓紧固对象的固定部位和活动部分（螺栓、螺帽、垫片）设置可通过人工智能算法机器视觉识别的连续图纹（特征），当螺栓发生松动、松脱、滑丝等现象时会产生微小的旋转位移、轴向位移，两个方向的位移或旋转都可通过在活动和固定部位上的特征图纹标识表现出来，即由连续性图纹变为带突变的间断性图纹特征。通过机器视觉的图像二值化、轮廓检测和边界跟踪算法高精度识别两个方向上的位移，从而识别螺栓的紧固状态，当发生超过安全系数范围内紧固力最小限值（预警阙值）的位移发生时，发出预警。进一步地，还可以基于输出的紧固螺栓在不同时刻的位移变化值构成历史数据库，采用卷积神经网络（CNN）和长短期记忆（LSTM）网络结合的预测方法，挖掘海量数据中蕴含的有效信息，对紧固螺栓的松动、位移、预紧力下降等状态趋势进行预测，得到螺栓松动和预紧力下降出现的时间预测值，发出相关的预警、预报或检修提示。

本发明提供了一种机器视觉实时识别预紧螺栓状态的系统，包括：工业级相机（单目或多目）；专用光源；连续特征图纹标识；螺栓及配套装置（包括螺杆、螺帽、垫片可活动部分）；被紧固对象（相对固定部分）；图像采集卡；机器识别及AI算法处理单元；预警装置；趋势状态输出显示装置；电源及控制电缆。

如图6和7所示，工业级相机可选择面阵相机或线阵相机，用于连续获取连续获取待测紧固螺栓及固定部位的图像。对本具体实施例多个螺栓、需要全局图像进行分布和趋势分析时，选用面阵相机。在识别特征图像连续性变化的情景下，可选用黑白相机，当需要用颜色辅助识别时，选用彩色相机。相机分辨率根据实际图像幅宽与精度要求计算，本例要求高精度识别螺栓连接处的图纹变化，因此选择较高分辨率1920像素×1080像素。本具体实施例为长期状态监测，帧率可选用低帧率如1fps。由于本具体实施例相机一般位置固定，因此镜头采用定焦、固定光圈。

专用光源是考虑识别螺栓对象所在环境光线不足时的必要补充光源，本具体实施例为识别目标对象的连续性图案特征变化，因此可选用正面或正侧面光源。

如图2所示，连续特征图纹标识为贯穿螺栓活动和被紧固对象固定部分的标识。当待测紧固螺栓未松动发生位移时，连续特征图纹为连续的带状图纹。当待测紧固螺栓发生X/Y轴方向移动时，如图3和4所示，原始连续特征图纹变为非连续状，从而基于获取的针对连续特征图纹的图像即可实现紧固螺栓的位移。连续特征图纹可为水平带状纹理，锯齿状（分界面处尖对尖）、标尺状（分界面处对称）、色斑状（分界面错位对称）,如图5所示。

螺栓及配套装置即为本具体实施例中的待测紧固螺栓，为工程、工业用紧固螺栓，通常由螺杆、螺母、螺帽、垫片组成，本具体实施例为普通钢质高强度紧固螺栓。

本具体实施例的被紧固对象（相对固定部分）为水轮机蜗壳进人门密封结构，为厚钢板圆形结构，通过外侧一圈螺栓紧固封闭，该密封结构需承受水轮发电机蜗壳内的水压力和运行发电时各种工况下的水流冲击力。

图像采集卡用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据分辨率和帧率决定传输带宽，结合传输距离可选择USB3.0、Camera Link或GigE接口。本具体实施例选择USB3.0接口。

所述机器识别及AI算法处理单元用于执行机器视觉实时识别预紧螺栓状态的方法程序。通过处理基于相机反馈的图像，对于螺栓及其连接紧固部件上的专用连续性特征图纹进行高精度识别，在图像增强、边缘及轮廓像素级识别算法应用后，可识别连续性图纹细微的间断变化及幅值，包括水平、垂直两个方向上的位移。通过相机帧率及时间间隔，获得螺栓松动、位移、预紧力下降等状态趋势。

所述预警装置用于当发生超过安全系数范围内紧固力最小限值（预警阙值）的位移或变化量时，发出预警信号。

所述趋势状态输出显示装置用于输出螺栓松动、位移、预紧力下降等状态趋势。

所述电源及控制电缆用于连接上述设备的动力电缆接入和控制电缆连接。

本发明的具体实施例以水电站水轮机蜗壳进人门密封盖板紧固螺栓状态的机器视觉及AI识别为例（其他场景螺栓状态机器视觉识别方法同理类推）。某水电站700MW水轮机发电组蜗壳进人门密封结构，为厚钢板圆形结构，通过外侧法兰一圈16个螺栓紧固，该密封结构需承受水轮发电机蜗壳内的约114m水头水压力和运行发电时各种工况下的水流冲击力。此处的螺栓为长期预紧力紧固状态，仅在水轮机蜗壳进人检修时开启，内部为水轮机压力流道，外部为电站厂房蜗壳层，若螺栓松动易导致其他螺栓受力不均，渐变为多个螺栓松动，最终可导致密封结构失效而发生该处检修门透水、水淹厂房的极端事故。

具体实施实例如下：

首先在水轮机蜗壳进入门处设置机器视觉光学系统，对准进人门孔密封法兰上的螺栓（孔）设置正面相机或正侧面相机，使全部16个螺栓的X轴和Y轴两个方向上的图像在标定相机视域范围内。对应相机镜头图像范围，设置LED光源补光，满足现场高清晰成像的照度要求。相机为工业级，1920像素×1080像素，选用1fps帧率。采用图像采集卡用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据上述分辨率和帧率所决定传输带宽选择USB3.0接口。

然后在紧固螺栓及固定部位敷设专用带状特征图纹（即连续特征图纹），该带状图纹在螺栓紧固后的分界面为光滑连续的图形特征，本例为平直的线条，即无高度差。带状特征图纹敷设方式可为粘贴涂层法或直接一次性喷涂着色，形成紧固螺栓（活动部分）和密封法兰（固定部分）的连续、一致性图案标识。

采用相机系统对紧固螺栓及固定部位进行高质量成像后，需要对前述专用连续性特征图纹进行高精度识别，运用图像二值化、轮廓检测、边界跟踪算法应用后，识别并测量连续性图纹细在分解面处的微小变化及幅值，包括水平、垂直两个方向上的位移。通过相机帧率及时间间隔，以△X/week、△Y/week或△X/month、△Y/month输出。

最后基于输出的紧固螺栓在不同时刻的位移变化值构成历史数据库，采用卷积神经网络（CNN）和长短期记忆（LSTM）网络结合的预测方法，挖掘海量数据中蕴含的有效信息，对紧固螺栓的松动、位移、预紧力下降等状态趋势进行预测，得到螺栓松动和预紧力下降出现的时间预测值，发出相关的预警、预报或检修提示。

当安全系数范围内紧固力最小限值（预警阙值）的位移变化量超过2mm~3mm时，发出预警信号。并根据△X/week、△Y/week或△X/month、△Y/month输出提出检修周期预案。

本具体实施例的图像数据流程具体如下：

首先基于双边滤波方法对前述图像进行噪声的去除和局部边缘的平滑，然后基于迭代阈值选择算法实现所述图像的二值化，并基于此对连续性特性图纹进行轮廓检测，最后基于获取的轮廓信息计算螺栓在水平方向和垂直方向上的位移。

为了能够更多地保留紧固螺栓及固定部位图像的边缘信息，本发明结合了空域滤波器和值域滤波器，采用双边滤波的方法对图像进行处理，能够在平滑高频率的波动信号的同时保留大幅值变化的信号波动。其数学原理可表示为以下公式：

其中，f(i,j)表示为过滤前的图像，g(i,j)为过滤后的图像，

为加权系 数，（i,j）和(k,.l)分别表示图像中当前点和中心点的位置。d(i,j,k,l)表示空域滤波器，

表示空域的平滑，r(i,j,k,l)表示值域滤波器，

表示值域的差别。

由于图像中主要包含紧固螺栓及固定部位和所敷设的专用带状特征图纹两种类型的图形，前者的颜色主要属于灰白色系，而后者的颜色主要属于亮红色系。因此若想实现对于连续性特性图纹的识别和计算，可以将获取的非二值图像转化为二值图像。迭代阈值选择算法的具体实施步骤为：

1）先选择近似阈值T₀作为初值，其计算方式为对前述紧固螺栓及固定部位图像上所有位置的灰度值取加权平均；

式中，N表示图像上的所有像素点，K_n(i,j)表示第n个像素点上的灰度值，(i,j)表示像素点在图像上的位置。

2）基于阈值初值将图像分割为两部分，图像中像素灰度值大于阈值初值T₀的部分记为P₁ ¹，小于阈值初值T₀的部分记为P₂ ¹，然后分别对两个区域P₁ ¹和P₂ ¹的灰度值取加权平均，得到其灰度均值G₁ ¹和G₂ ¹后，对其次取平均作为新的分割阈值T₁；

3）基于分割阈值T₁将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值T₁的部分记为P₁ ²，小于阈值初值T₁的部分记为P₂ ²，根据上式重新计算两个区域P₁ ²和P₂ ²的灰度均值G₁ ²和G₂ ²，将其与G₁ ¹和G₂ ¹进行比较，若值分别相同，则阈值为T₁ ，若不相同重复此步骤。

4）依此类推，循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同 而发生变化，则该分割阈值为计算得到二值图像的分割阈值。即若

，则

。r表示迭代次数。

利用上述方法最终得到的分割阈值获取所述紧固螺栓及固定部位图像的二值图像，紧固螺栓及固定部位的图像为白色，专用带状特征图纹的颜色为黑色。

基于所得到的二值图像，对专用带状特征图纹进行轮廓检测，其具体步骤为：首先提取图像中表征专用带状特征图纹边界轮廓的一系列坐标点或者链码形式，边界表示二值图像中1像素连通域(黑色)和0像素连通域（白色)之间的边界。边界轮廓包括图形的外层轮廓和孔洞轮廓，本方法使用轮廓检测是为了提取出所敷设专用带状特征图纹在垂直和水平上的位移信息，因此对于用带状特征图纹的轮廓检测主要指的是提取其外层轮廓，采用的方法是边界跟踪算法，该方法能够跟踪二值图像中专用带状特征图纹的外边界，并确定外边界表示的各轮廓之间的层次包含关系。

若二值图像位置(i,j)处像素值为I(i,j)，则获取专用带状特征图纹外层轮廓的边界跟踪算法原理的主要步骤如下:

1）按照从左至右、自上而下的顺序遍历二值图像，直至搜索到边界跟踪的专用带状特征图纹的外边界起始点与孔边界起始点时暂停扫描。判断某像素点是否为专用带状特征图纹边界起始点的主要依据是位置(i,j)、(i,j-1)和(i,j+1)处的像素值，若I(i,j-1)=0且I(i,j)=1，则位置(i,j)为外边界起始点，若I(i,j)>=1且I(i,j+1)=0，则位置(i,j)为孔边界起始点。每次新分到的边界均会被分配唯一的ID值，该值被记为N _NBD ，数值每次增加1。

2）根据新边界类型（外边界或者孔边界）和最新找到的上一条边界类型确定新边界的父边界，从而获取不同边界之间的关系。由于本发明中所述专用带状特征图纹不存在包含的边界，因此这一步可以省略。

3）从找到新边界的起始点开始跟踪此边界，并以此标记边界上的点。若当前跟踪点的位置表示为(p,q)，当I(p,q)=1且I(p,q+1)=1时，说明跟踪到了边界的终止点，此时I(p,q)=-N _NBD ，否则，(p,q)不为任何已完成跟踪的边界上的点，I(p,q)=N _NBD 。当整条边界的跟踪和标记完成后继续扫描下一条边界，直到遍历完整幅图像时算法结束。

由此，可以在二值图像中提取到较完整的专用带状特征图纹的外轮廓，在此基础上可计算出专用带状特征图纹的个数、位置等几何信息。专用带状特征图纹的个数即为跟踪到的外轮廓的个数，专用带状特征图纹的位置可表示为其外接矩形对角线上的端点的坐标(x ₁ ,y ₁ )和(x ₂ ,y ₂ )，其中x ₁ <x ₂ ，y ₁ <y ₂ ；连续特征图纹的外接矩形通过连续特征图纹的外轮廓的点中的最小坐标值和最大坐标值确定,目标的周长c即为轮廓的像素点的个数。

根据上述方法中得到的专用带状特征图纹轮廓数目，位置及周长值可以确定螺栓松动状态，并计算出专用带状特征图纹在水平和垂直反向上的位移大小，原理的数学表示如下：

其具体步骤如下：

1）若得到的专用带状特征图纹轮廓数目为一个，且基于位置坐标(x ₁ ,y ₁ )和(x ₂ ,y ₂ )计算得到的周长值2*(x ₂ +y ₂ -x ₁ -y ₁ )与直接通过计算轮廓的像素点总数得到的周长值c相同，则说明螺栓完全没有松动。

2）若得到的专用带状特征图纹轮廓数目为一个，且基于位置坐标(x ₁ ,y ₁ )和(x ₂ ,y ₂ )计算得到的周长值2*(x ₂ +y ₂ -x ₁ -y ₁ )大于直接通过计算轮廓的像素点总数得到的周长值c，则说明螺栓仅发生了垂直轴上的松动，垂直位移△Y=(x ₂ +y ₂ -x ₁ -y ₁ )-c/2。

3）若得到的专用带状特征图纹轮廓数目为两个，说明螺栓发生了至少大于90度的松动，其中一个轮廓的位置坐标为(x ¹ ₁ ,y ¹ ₁ )和(x ¹ ₂ ,y ¹ ₂ )，另一个轮廓的位置坐标为(x ² ₁ ,y ² ₁ )和(x ² ₂ ,y ² ₂ )；水平位移分别由两个轮廓的位置坐标(x ¹ ₂ ,y ¹ ₂ )和(x ² ₁ ,y ² ₁ )进行计算，其中x ¹ ₂ <x ² ₁ ，水平位移△X=x ² ₁ -x ¹ ₂ 。

基于获得的大量紧固螺栓在不同时刻时的位移数据，采用CNN-LSTM网络混合模型提取当前位移量的变化趋势，并预测螺栓松动和预紧力下降出现的时间。其以位移的时间序列特征图作为网络的输入，紧固螺栓在水平和垂直方向上的位移等数据实际上都是相互独立的时间序列。为了耦合这些影响预测的特征信息,本发明参考词向量表示方法，将某一时刻紧固螺栓在水平和垂直方向上的位移的特征串联成向量表示,进而形成一个全新的时间序列数据。CNN模型采用局部连接和共享权值的方式来提取数据特征,直接从原始数据中通过卷积层和池化层交替使用来获取有效表征，自动提取数据的局部特征，并建立稠密、完备的特征向量。

当采用CNN网络对紧固螺栓的历史位移变化量进行特征提取后，LSTM网络基于时间序列数据，通过历史位移变化量的特征数据预测未来的位移变化量及其对应出现的时间；根据不同时刻未来的位移变化量判定不同时刻的紧固螺栓松动情况；基于未来的位移变化量达到设定阈值的时间判定预紧力下降出现的时间进行预测。

LSTM网络是一种改进的时间循环神经网络，通过增加额外的遗忘门解决在模型训练中“梯度消失”的问题，其计算公式如下：

式中，

分别表示网络中遗忘门、输入门、输入节点、 输出门、状态单元和中间输出的状态，

分别表示sigmoid函数变化和tanh函数变化，

分别表示与输入与中间输出相乘的矩阵权重，

分别表示偏置项，

表示各向量按元素相乘。

当采用CNN模型紧固螺栓的位移变化量进行特征提取后，LSTM网络主要负责对螺栓松动和预紧力下降出现的时间进行预测。本发明中设置了4层LSTM网络层，并通过随机失活方法用于防止模型的过拟合，在全连接层可以输出指定格式的向量，即螺栓松动、位移、预紧力下降等状态趋势，并根据该趋势发出相关的预警、预报或检修提示。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种机器视觉实时识别预紧螺栓状态的方法，其特征在于：包括以下步骤：

连续获取待测紧固螺栓及固定部位的图像；所述待测紧固螺栓应用于水电站；所述紧固螺栓及固定部位上敷设有连续特征图纹；图像中包含紧固螺栓及固定部位和所敷设的连续特征图纹两种类型的图形；

基于双边滤波方法对图像进行噪声的去除和局部边缘的平滑；

基于迭代阈值选择算法实现图像的二值化，并基于二值化后的图像对连续特征图纹进行轮廓检测；

其中，通过提取到的连续特征图纹的外轮廓计算出连续特征图纹的个数、位置几何信息；连续特征图纹的个数即为跟踪到的外轮廓的个数，连续特征图纹的位置坐标表示为其外接矩形对角线上的端点的坐标(x₁,y₁)和(x₂,y₂)，其中x₁<x₂，y₁<y₂；连续特征图纹的外接矩形通过连续特征图纹的外轮廓的点中的最小坐标值和最大坐标值确定,且外接矩形的周长c即为外轮廓的像素点的个数；

基于获取的轮廓信息计算紧固螺栓在水平方向和垂直方向上的位移；

若得到的连续特征图纹外轮廓数目为一个，且基于位置坐标(x₁,y₁)和(x₂,y₂)计算得到的周长值2*(x₂+y₂-x₁-y₁)与直接通过计算外轮廓的像素点总数得到的周长值c相同，则说明螺栓完全没有松动；

若得到的连续特征图纹外轮廓数目为一个，且基于位置坐标(x₁,y₁)和(x₂,y₂)计算得到的周长值2*(x₂+y₂-x₁-y₁)大于直接通过计算外轮廓的像素点总数得到的周长值c，则说明螺栓仅发生了垂直轴上的松动，垂直位移△Y＝(x₂+y₂-x₁-y₁)-c/2；

若得到的连续特征图纹外轮廓数目为两个，说明螺栓发生了至少大于90度的松动；其中一个外轮廓的位置坐标为(x¹ ₁,y¹ ₁)和(x¹ ₂,y¹ ₂)，另一个轮廓的位置坐标为(x² ₁,y² ₁)和(x² ₂,y² ₂)；水平位移分别由两个轮廓的位置坐标(x¹ ₂,y¹ ₂)和(x² ₁,y² ₁)进行计算，其中x¹ ₂<x² ₁，水平位移△X＝x² ₁-x¹ ₂。

2.根据权利要求1所述的一种机器视觉实时识别预紧螺栓状态的方法，其特征在于：还包括以下步骤：将计算得到的位移与预警阈值相比较，选择是否发出预警信号。

3.根据权利要求1所述的一种机器视觉实时识别预紧螺栓状态的方法，其特征在于：还包括以下步骤：基于获得的紧固螺栓在不同时刻的位移变化数据，采用CNN-LSTM网络混合模型预测螺栓松动、位移和预紧力下降趋势。

4.根据权利要求1所述的一种机器视觉实时识别预紧螺栓状态的方法，其特征在于：基于双边滤波方法对图像进行噪声的去除和局部边缘的平滑的过程包括：采用空域滤波器和值域滤波器对图像进行处理，使图像在平滑高频率的波动信号的同时保留大幅值变化的信号波动。

5.根据权利要求1所述的一种机器视觉实时识别预紧螺栓状态的方法，其特征在于：基于二值化的图像对连续特征图纹进行轮廓检测的过程包括：

定义二值图像位置(i,j)处像素值为I(i,j)；

按照从左至右、自上而下的顺序遍历二值图像，直至搜索到边界跟踪的连续特征图纹的外边界起始点与孔边界起始点时暂停扫描；判断某像素点是否为连续特征图纹边界起始点的主要依据是位置(i,j)、(i,j-1)和(i,j+1)处的像素值，若I(i,j-1)＝0且I(i,j)＝1，则位置(i,j)为外边界起始点，若I(i,j)>＝1且I(i,j+1)＝0，则位置(i,j)为孔边界起始点；每次新分到的边界均会被分配唯一的ID值，该值被记为N_NBD，数值每次增加1；

从找到新边界的起始点开始跟踪此边界，并以此标记边界上的点；若当前跟踪点的位置表示为(p,q)，当I(p,q)＝1且I(p,q+1)＝1时，说明跟踪到了边界的终止点，此时I(p,q)＝-N_NBD，否则，(p,q)不为任何已完成跟踪的边界上的点，I(p,q)＝N_NBD；

当整条边界的跟踪和标记完成后继续扫描下一条边界，直到遍历完整幅图像时算法结束；提取到的边界即为连续特征图纹的外轮廓。

6.根据权利要求3所述的一种机器视觉实时识别预紧螺栓状态的方法，其特征在于：基于获得的历史位移数据，采用CNN-LSTM网络混合模型预测螺栓松动、位移和预紧力下降趋势的过程包括：基于获得的紧固螺栓在不同时刻时的位移数据，将每个时刻紧固螺栓在水平和垂直方向上的位移的特征串联成向量表示，形成新的时间序列数据；CNN网络采用局部连接和共享权值的方式提取时间序列数据特征，通过卷积层和池化层交替使用来获取有效表征，自动提取时间序列数据的局部特征并建立特征向量；当采用CNN网络对紧固螺栓的历史位移变化量进行特征提取后，LSTM网络基于时间序列数据，通过历史位移变化量的特征数据预测未来的位移变化量；根据未来的位移变化量判定紧固螺栓松动情况；基于未来的位移变化量达到设定阈值的时间判定预紧力下降出现的时间进行预测。

7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述机器视觉实时识别预紧螺栓状态的方法步骤。

Images