CN113128400A - 螺栓松动角度识别方法及系统 - Google Patents

Abstract

本申请涉及一种螺栓松动角度识别方法及系统，其中，该螺栓松动角度识别方法包括：设备图像获取步骤，用于获取待识别设备图像；螺栓定位检测步骤，用于基于一螺栓检测模型定位所述待识别设备图像中的螺栓区域并获取螺栓图像；区域检测步骤，用于基于一分割模型对所述螺栓图像中螺栓防松线区域、螺母防松线区域及螺栓区域进行检测；螺栓松动角度识别步骤，用于根据所述螺栓防松线区域、螺母防松线区域的质心坐标及所述螺栓区域的中心坐标计算得到螺栓的松动角度，以基于一预设松动阈值及所述松动角度判断所述螺栓是否需要故障修复。通过本申请，解决了防松线不清晰导致的螺栓松动误报和漏报，提高螺栓松动角度识别的鲁棒性，实现精准检测螺栓防松线。

Description

螺栓松动角度识别方法及系统

技术领域

本申请涉及螺栓检测技术领域，特别是涉及螺栓松动角度识别方法、系统、计算机设备和计算机可读存储介质。

背景技术

螺栓作为一种常见的机械零部件，被广泛应用在日常生活和工业生产制造中，如汽车制造、轨道交通、航空航天等，螺栓的故障检测对设备健康正常运行有重要意义。

螺栓的故障检测通常包含螺栓脱落和螺栓松动，而螺栓松动检测可以起到防止螺栓进一步脱落的目的。以轨道交通为例，地铁作为日常生活中非常重要的交通工具，其安全性不可忽略。为保证地铁的安全运行，工作人员需要每天对其进行各项状态检查，其中一项就是检查螺栓是否松动。通常情况下，一节车厢安装了上百的螺栓，对螺栓松动的检测是一件极其繁重的工作。传统的螺栓松动采用二种模式的人工检测：一种是针对全部螺栓进行螺栓松动检测；另一种是依靠防松线(松动标记线)进行松动判别，在拧紧的螺栓和螺母上用线标记拧紧的状态，检查时只需查看是螺栓和螺母上的划线是否对齐，如果不对齐则拧紧至其对齐。这两种人工检测方式的主观依赖性强，易使工人产生视觉疲劳，导致错检、漏检。人工方式进行螺栓松动检测的时间成本和人工成本较高，因此需要探索新的方法对螺栓的松动状态进行检测，达到降本增效的目的。

如专利CN104680517B公开的一种螺栓松动的检测方法，但该方法螺栓松动检测和松动角度计算均依赖防松线的检测，设备在实际使用过程中通常很难保持干净清洁，防松线无法保持标记时的清晰度。如地铁运行过程中，车轮通常会受到油渍等污染，导致防松线的颜色变暗，失去原有的鲜明色彩，此时采用传统的图像分析技术很难精准识别防松线的位置，容易导致螺栓松动的漏报和误报，鲁棒性较差。

发明内容

本申请实施例提供了一种螺栓松动角度识别方法、系统、计算机设备和计算机可读存储介质，通过定位螺栓并基于深度学习进行螺栓、螺母的放松线和螺栓区域检测，提高螺栓松动角度识别的鲁棒性，实现精准检测螺栓防松线。

第一方面，本申请实施例提供了一种螺栓松动角度识别方法，包括：

设备图像获取步骤，用于获取待识别设备图像；

螺栓定位检测步骤，用于基于一螺栓检测模型定位所述待识别设备图像中的螺栓区域并获取螺栓图像；可选的，本申请实施例的螺栓检测模型采用基于YOLOv3网络的螺栓检测方法，实现螺栓精准定位；

区域检测步骤，用于基于一分割模型对所述螺栓图像中螺栓防松线区域、螺母防松线区域及螺栓区域进行检测；

螺栓松动角度识别步骤，用于根据所述螺栓防松线区域、螺母防松线区域的质心坐标及所述螺栓区域的中心坐标计算得到螺栓的松动角度，以基于一预设松动阈值及所述松动角度判断所述螺栓是否需要故障修复。

在其中一些实施例中，所述螺栓定位检测步骤进一步包括：

设备图像数据集获取步骤，用于获取至少一设备图像数据集，所述设备图像数据集中的设备均包含螺栓；

测试数据集获取步骤，用于通过标注所述设备图像数据集中设备图像上的螺栓位置作为训练数据集和测试数据集；具体的，采用LabelImg工具进行标注，所述LabelImg工具是一个可视化的图像标定工具。Faster R-CNN、YOLO、SSD等目标检测网络所需要的数据集，均需要借此工具标定图像中的目标。该工具生成的XML文件是遵循PASCAL VOC的格式的。

数据增强步骤，用于对所述训练数据集和测试数据集经图像镜像操作和/或图像旋转操作进行数据增强，得到增强后的训练数据集和测试数据集；

螺栓检测模型构建步骤，用于基于YOLOv3网络对所述增强后的训练数据集和测试数据集进行训练，得到所述螺栓检测模型。

在其中一些实施例中，所述区域检测步骤进一步包括：

螺栓图像数据集获取步骤，用于利用所述螺栓检测模型对所述设备数据集进行螺栓检测，得到螺栓图像数据集；

区域标注步骤，用于对所述螺栓图像数据集中螺栓防松线区域、螺母防松线区域及螺栓区域进行标注，得到标注后的螺栓图像数据集，具体的，Labelme工具对螺栓轮廓及螺栓的防松线轮廓进行标注，所述Labelme是一个开源图像标注工具；

螺栓图像增强步骤，用于对所述标注后的螺栓图像数据集经图像镜像、图像对比度调整和/或图像旋转操作进行数据增强，得到增强后的螺栓图像数据集；

分割模型构建步骤，用于基于Unet网络对所述增强后的螺栓图像数据集进行训练，得到所述分割模型。

在其中一些实施例中，所述螺栓松动角度识别步骤进一步包括：

坐标获取步骤，用于通过计算获取螺栓图像中所述螺栓防松线区域、螺母防松线区域的质心坐标A、B及所述螺栓区域的中心坐标C；

松动角度获取步骤，用于根据所述质心坐标A、质心坐标B及中心坐标C计算得到螺栓的松动角度；

故障修复判断步骤，用于将所述松动角度与预设松动阈值进行比较，若所述松动角度大于所述预设松动阈值，则生成一预警信息并返回所述松动角度及预警信息，以提示工人进行松动故障修复；否则，返回所述松动角度。

在其中一些实施例中，所述螺栓松动角度的计算基于如下表达式：

其中，a、b、c分别为质心坐标B与中心坐标C之间、质心坐标A与中心坐标C之间及质心坐标A与质心坐标B之间的距离。

第二方面，本申请实施例提供了一种螺栓松动角度识别系统，包括：

设备图像获取模块，用于获取待识别设备图像；

螺栓定位检测模块，用于基于一螺栓检测模型定位所述待识别设备图像中的螺栓区域并获取螺栓图像；可选的，本申请实施例的螺栓检测模型采用基于YOLOv3网络的螺栓检测方法，实现螺栓精准定位；

区域检测模块，用于基于一分割模型对所述螺栓图像中螺栓防松线区域、螺母防松线区域及螺栓区域进行检测；

螺栓松动角度识别模块，用于根据所述螺栓防松线区域、螺母防松线区域的质心坐标及所述螺栓区域的中心坐标计算得到螺栓的松动角度，以基于一预设松动阈值及所述松动角度判断所述螺栓是否需要故障修复。

在其中一些实施例中，所述螺栓定位检测模块进一步包括：

设备图像数据集获取模块，用于获取至少一设备图像数据集，所述设备图像数据集中的设备均包含螺栓；

测试数据集获取模块，用于通过标注所述设备图像数据集中设备图像上的螺栓位置作为训练数据集和测试数据集；具体的，采用LabelImg工具进行标注，所述LabelImg工具是一个可视化的图像标定工具。Faster R-CNN、YOLO、SSD等目标检测网络所需要的数据集，均需要借此工具标定图像中的目标。该工具生成的XML文件是遵循PASCAL VOC的格式的。

数据增强模块，用于对所述训练数据集和测试数据集经图像镜像操作和/或图像旋转操作进行数据增强，得到增强后的训练数据集和测试数据集；

螺栓检测模型构建模块，用于基于YOLOv3网络对所述增强后的训练数据集和测试数据集进行训练，得到所述螺栓检测模型。

在其中一些实施例中，所述区域检测模块进一步包括：

螺栓图像数据集获取模块，用于利用所述螺栓检测模型对所述设备数据集进行螺栓检测，得到螺栓图像数据集；

区域标注模块，用于对所述螺栓图像数据集中螺栓防松线区域、螺母防松线区域及螺栓区域进行标注，得到标注后的螺栓图像数据集，具体的，Labelme工具对螺栓轮廓及螺栓的防松线轮廓进行标注，所述Labelme是一个开源图像标注工具；

螺栓图像增强模块，用于对所述标注后的螺栓图像数据集经图像镜像、图像对比度调整和/或图像旋转操作进行数据增强，得到增强后的螺栓图像数据集；

分割模型构建模块，用于基于Unet网络对所述增强后的螺栓图像数据集进行训练，得到所述分割模型。

在其中一些实施例中，所述螺栓松动角度识别模块进一步包括：

坐标获取模块，用于通过计算获取螺栓图像中所述螺栓防松线区域、螺母防松线区域的质心坐标A、B及所述螺栓区域的中心坐标C；

松动角度获取模块，用于根据所述质心坐标A、质心坐标B及中心坐标C计算得到螺栓的松动角度；

故障修复判断模块，用于将所述松动角度与预设松动阈值进行比较，若所述松动角度大于所述预设松动阈值，则生成一预警信息并返回所述松动角度及预警信息，以提示工人进行松动故障修复；否则，返回所述松动角度。

在其中一些实施例中，所述螺栓松动角度的计算基于如下表达式：

其中，a、b、c分别为质心坐标B与中心坐标C之间、质心坐标A与中心坐标C之间及质心坐标A与质心坐标B之间的距离。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的螺栓松动角度识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的螺栓松动角度识别方法。

相比于相关技术，本申请实施例应用于深度学习技术，本申请实施例提供的螺栓松动角度识别方法、系统、计算机设备及计算机可读存储介质，采用深度学习进行螺栓、螺母的放松线和螺栓区域检测，进而采用几何算法进行螺栓松动角度计算，针对防松线不清晰、颜色暗淡等情况具有较强鲁棒性，可以精准检测防松线的位置，从而提高松动角度的计算精度，基于本申请可对待识别设备进行快速、高效地进行点检，减少待识别设备停产时间，减少重复作业，延长螺栓的使用寿命，提高设备运行时间，有效的降低生产成本。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的螺栓松动角度识别方法的流程图；

图2是根据本申请实施例的螺栓松动角度识别方法的分步骤流程图；

图3是根据本申请实施例的螺栓松动角度识别方法的分步骤流程图；

图4是根据本申请实施例的螺栓松动角度识别方法的分步骤流程图；

图5是根据本申请优选实施例的螺栓松动角度识别方法的流程图；

图6是根据本申请实施例的螺栓松动角度识别系统的结构框图。

附图说明：

1、设备图像获取模块；2、螺栓定位检测模块；3、区域检测模块；

4、螺栓松动角度识别模块；

201、设备图像数据集获取模块；202、测试数据集获取模块；

203、数据增强模块；204、螺栓检测模型构建模块；

301、螺栓图像数据集获取模块；302、区域标注模块；

303、螺栓图像增强模块；304、分割模型构建模块；401、坐标获取模块；

402、松动角度获取模块；403、故障修复判断模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请所涉及的螺栓松动角度识别方法、系统、计算机设备或计算机可读存储介质不仅可用于设备螺栓松动检测，还可用于其他因长期处于振动、冲击、长期负荷状态，螺栓容易出现疲劳松动、脱落断裂或严重影响结构设备正常运行的领域，如机械制造、航天器械零部件、电力发电塔、军用设备、交通运输等各个领域。本申请所涉及的方法、系统、计算机设备或者计算机可读存储存储介质既可以与上述系统集成在一起，也可以是相对独立的。

下面将以螺栓松动角度识别方法为例对本申请实施例进行说明。图1-4是根据本申请实施例的螺栓松动角度识别方法的流程图，如图1-4所示，该流程包括如下步骤：

设备图像获取步骤S1，用于获取待识别设备图像；

螺栓定位检测步骤S2，用于基于一螺栓检测模型定位待识别设备图像中的螺栓区域并获取螺栓图像；可选的，本申请实施例的螺栓检测模型采用基于YOLOv3网络的螺栓检测方法，实现螺栓精准定位；

区域检测步骤S3，用于基于一分割模型对螺栓图像中螺栓防松线区域、螺母防松线区域及螺栓区域进行检测；

螺栓松动角度识别步骤S4，用于根据螺栓防松线区域、螺母防松线区域的质心坐标及螺栓区域的中心坐标计算得到螺栓的松动角度，以基于一预设松动阈值及松动角度判断螺栓是否需要故障修复。

其中，螺栓定位检测步骤S2进一步包括：设备图像数据集获取步骤S201，用于获取至少一设备图像数据集，设备图像数据集中的设备均包含螺栓；测试数据集获取步骤S202，用于通过标注设备图像数据集中设备图像上的螺栓位置作为训练数据集和测试数据集；具体的，采用LabelImg工具进行标注，LabelImg工具是一个可视化的图像标定工具。FasterR-CNN、YOLO、SSD等目标检测网络所需要的数据集，均需要借此工具标定图像中的目标。该工具生成的XML文件是遵循PASCAL VOC的格式的。数据增强步骤S203，用于对训练数据集和测试数据集经图像镜像操作和/或图像旋转操作进行数据增强，得到增强后的训练数据集和测试数据集；及螺栓检测模型构建步骤S204，用于基于YOLOv3网络对增强后的训练数据集和测试数据集进行训练，得到螺栓检测模型。

区域检测步骤S3进一步包括：

螺栓图像数据集获取步骤S301，用于利用螺栓检测模型对设备数据集进行螺栓检测，得到螺栓图像数据集；

区域标注步骤S302，用于对螺栓图像数据集中螺栓防松线区域、螺母防松线区域及螺栓区域进行标注，得到标注后的螺栓图像数据集，具体的，Labelme工具对螺栓轮廓及螺栓的防松线轮廓进行标注，Labelme是一个开源图像标注工具；螺栓图像增强步骤S303，用于对标注后的螺栓图像数据集经图像镜像、图像对比度调整和/或图像旋转操作进行数据增强，得到增强后的螺栓图像数据集；及分割模型构建步骤S304，用于基于Unet网络对增强后的螺栓图像数据集进行训练，得到分割模型。

基于上述步骤，本申请采用深度学习进行螺栓防松线区域、螺母防松线区域及螺栓区域检测，实现了精准检测防松线位置，针对现有技术中防松线不清晰、颜色暗淡等情况具有较强的鲁棒性。

在其中一些实施例中，螺栓松动角度识别步骤S4进一步包括：

坐标获取步骤S401，用于通过计算获取螺栓图像中螺栓防松线区域、螺母防松线区域的质心坐标A、B及螺栓区域的中心坐标C；

松动角度获取步骤S402，用于根据质心坐标A、质心坐标B及中心坐标C计算得到螺栓的松动角度；

故障修复判断步骤S403，用于将松动角度与预设松动阈值进行比较，若松动角度大于预设松动阈值，则生成一预警信息并返回松动角度及预警信息，以提示工人进行松动故障修复；否则，返回松动角度。

具体的，上述螺栓松动角度的计算基于如下表达式：

其中，a、b、c分别为质心坐标B与中心坐标C之间、质心坐标A与中心坐标C之间及质心坐标A与质心坐标B之间的距离。

下面通过优选实施例对本申请实施例进行描述和说明。图5是根据本申请优选实施例的螺栓松动角度识别方法的流程图，如图5所示，该螺栓松动角度识别方法包括如下步骤：

步骤S501，考虑到螺栓的体积较小，因此不直接采集螺栓图像，首先采集设备图像；

步骤S502，螺栓检测。该步骤基于YOLOv3网络从设备图像中定位螺栓位置，以便于实现螺栓精准定位，进一步有助于螺栓故障检测。具体的，首先，收集包含螺栓的设备图像数据集；然后，使用开源工具lableimg在设备图像上标注螺栓位置，制作训练数据集和测试数据集；随后，采用图像镜像、图像旋转对训练数据集和测试数据集进行数据增强；最后，采用增强后的训练数据集和测试数据集训练YOLOv3网络，得到螺栓检测模型。

步骤S503，获取螺栓图像。具体的，使用上述螺栓检测模型对设备图像进行螺栓检测，提取螺栓区域并保持螺栓图像。

步骤S504，防松线和螺栓区域检测。可选的，采用基于Unet的防松线和螺栓区域分割，以实现防松线和螺栓轮廓和位置的精准检测。具体的，首先，对设备图像数据集进行螺栓检测并保存螺栓图像，得到螺栓图像数据集；然后，采用Labelme工具对螺栓图像数据集中的螺栓防松线轮廓标注和螺栓轮廓标注，并采用图像镜像、图像对比度调整、图像旋转对螺栓图像数据集进行数据增强；随后，采用经标注、增强后的螺栓图像数据集对Unet网络进行训练，得到分割模型；利用该分割模型可以对步骤S503得到的螺栓图像进行防松线区域、螺栓区域的分割，得到螺栓防松线区域、螺母防松线区域及螺栓区域。

步骤S505，螺栓松动角度计算。具体的，首先，分别计算螺栓和螺母的防松线区域的质心坐标A和B、螺栓区域中心坐标C；然后基于上述实施例中表达式(1)计算松动角度θ。

步骤S506，将步骤S505的计算结果与预设的螺栓松动阈值进行比较，如果大于阈值，则返回螺栓松动角度和报警信息，提示工人进行松动故障修复，否则只返回螺栓松动角度。

基于上述实施例，本申请提高螺栓松动检测效率、降低人工成本和检测时间，有效减少螺栓松动的漏报和误报现象。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种螺栓松动角度识别系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本申请实施例的螺栓松动角度识别系统的结构框图，如图6所示，该系统包括：

设备图像获取模块1，用于获取待识别设备图像；

螺栓定位检测模块2，用于基于一螺栓检测模型定位待识别设备图像中的螺栓区域并获取螺栓图像；可选的，本申请实施例的螺栓检测模型采用基于YOLOv3网络的螺栓检测方法，实现螺栓精准定位；其中，螺栓定位检测模块2进一步包括：设备图像数据集获取模块201，用于获取至少一设备图像数据集，设备图像数据集中的设备均包含螺栓；测试数据集获取模块202，用于通过标注设备图像数据集中设备图像上的螺栓位置作为训练数据集和测试数据集；具体的，采用LabelImg工具进行标注，LabelImg工具是一个可视化的图像标定工具。Faster R-CNN、YOLO、SSD等目标检测网络所需要的数据集，均需要借此工具标定图像中的目标。该工具生成的XML文件是遵循PASCAL VOC的格式的。数据增强模块203，用于对训练数据集和测试数据集经图像镜像操作和/或图像旋转操作进行数据增强，得到增强后的训练数据集和测试数据集；螺栓检测模型构建模块204，用于基于YOLOv3网络对增强后的训练数据集和测试数据集进行训练，得到螺栓检测模型。

区域检测模块3，用于基于一分割模型对螺栓图像中螺栓防松线区域、螺母防松线区域及螺栓区域进行检测；其中，区域检测模块3进一步包括：螺栓图像数据集获取模块301，用于利用螺栓检测模型对设备数据集进行螺栓检测，得到螺栓图像数据集；区域标注模块302，用于对螺栓图像数据集中螺栓防松线区域、螺母防松线区域及螺栓区域进行标注，得到标注后的螺栓图像数据集，具体的，Labelme工具对螺栓轮廓及螺栓的防松线轮廓进行标注，Labelme是一个开源图像标注工具；螺栓图像增强模块303，用于对标注后的螺栓图像数据集经图像镜像、图像对比度调整和图像旋转操作进行数据增强，得到增强后的螺栓图像数据集；分割模型构建模块304，用于基于Unet网络对增强后的螺栓图像数据集进行训练，得到分割模型。

螺栓松动角度识别模块4，用于根据螺栓防松线区域、螺母防松线区域的质心坐标及螺栓区域的中心坐标计算得到螺栓的松动角度，以基于一预设松动阈值及松动角度判断螺栓是否需要故障修复。其中，螺栓松动角度识别模块4进一步包括：坐标获取模块401，用于通过计算获取螺栓图像中螺栓防松线区域、螺母防松线区域的质心坐标A、B及螺栓区域的中心坐标C；松动角度获取模块402，用于根据质心坐标A、质心坐标B及中心坐标C计算得到螺栓的松动角度；故障修复判断模块403，用于将松动角度与预设松动阈值进行比较，若松动角度大于预设松动阈值，则生成一预警信息并返回松动角度及预警信息，以提示工人进行松动故障修复；否则，返回松动角度。具体的，螺栓松动角度的计算基于如下表达式：

其中，a、b、c分别为质心坐标B与中心坐标C之间、质心坐标A与中心坐标C之间及质心坐标A与质心坐标B之间的距离。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

另外，结合图1描述的本申请实施例螺栓松动角度识别方法可以由计算机设备来实现。计算机设备可以包括处理器以及存储有计算机程序指令的存储器。

具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性(Non-Volatile)存储器。在特定实施例中，存储器包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random AccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。

处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种螺栓松动角度识别方法。

另外，结合上述实施例中的螺栓松动角度识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种螺栓松动角度识别方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种螺栓松动角度识别方法，其特征在于，包括：

设备图像获取步骤，用于获取待识别设备图像；

螺栓定位检测步骤，用于基于一螺栓检测模型定位所述待识别设备图像中的螺栓区域并获取螺栓图像；

区域检测步骤，用于基于一分割模型对所述螺栓图像中螺栓防松线区域、螺母防松线区域及螺栓区域进行检测；

螺栓松动角度识别步骤，用于根据所述螺栓防松线区域、螺母防松线区域的质心坐标及所述螺栓区域的中心坐标计算得到螺栓的松动角度，以基于一预设松动阈值及所述松动角度判断所述螺栓是否需要故障修复。

2.根据权利要求1所述的螺栓松动角度识别方法，其特征在于，所述螺栓定位检测步骤进一步包括：

设备图像数据集获取步骤，用于获取至少一设备图像数据集；

测试数据集获取步骤，用于通过标注所述设备图像数据集中设备图像上的螺栓位置作为训练数据集和测试数据集；

数据增强步骤，用于对所述训练数据集和测试数据集经图像镜像操作和/或图像旋转操作进行数据增强，得到增强后的训练数据集和测试数据集；

螺栓检测模型构建步骤，用于基于YOLOv3网络对所述增强后的训练数据集和测试数据集进行训练，得到所述螺栓检测模型。

3.根据权利要求2所述的螺栓松动角度识别方法，其特征在于，所述区域检测步骤进一步包括：

螺栓图像数据集获取步骤，用于利用所述螺栓检测模型对所述设备数据集进行螺栓检测，得到螺栓图像数据集；

区域标注步骤，用于对所述螺栓图像数据集中螺栓防松线区域、螺母防松线区域及螺栓区域进行标注，得到标注后的螺栓图像数据集；

螺栓图像增强步骤，用于对所述标注后的螺栓图像数据集经图像镜像、图像对比度调整和/或图像旋转操作进行数据增强，得到增强后的螺栓图像数据集；

分割模型构建步骤，用于基于Unet网络对所述增强后的螺栓图像数据集进行训练，得到所述分割模型。

4.根据权利要求1或3所述的螺栓松动角度识别方法，其特征在于，所述螺栓松动角度识别步骤进一步包括：

坐标获取步骤，用于通过计算获取螺栓图像中所述螺栓防松线区域、螺母防松线区域的质心坐标A、B及所述螺栓区域的中心坐标C；

松动角度获取步骤，用于根据所述质心坐标A、质心坐标B及中心坐标C计算得到螺栓的松动角度；

故障修复判断步骤，用于将所述松动角度与预设松动阈值进行比较，若所述松动角度大于所述预设松动阈值，则生成一预警信息并返回所述松动角度及预警信息；否则，返回所述松动角度。

5.根据权利要求4所述的螺栓松动角度识别方法，其特征在于，所述螺栓松动角度的计算基于如下表达式：

其中，a、b、c分别为质心坐标B与中心坐标C之间、质心坐标A与中心坐标C之间及质心坐标A与质心坐标B之间的距离。

6.一种螺栓松动角度识别系统，其特征在于，包括：

设备图像获取模块，用于获取待识别设备图像；

螺栓定位检测模块，用于基于一螺栓检测模型定位所述待识别设备图像中的螺栓区域并获取螺栓图像；

区域检测模块，用于基于一分割模型对所述螺栓图像中螺栓防松线区域、螺母防松线区域及螺栓区域进行检测；

螺栓松动角度识别模块，用于根据所述螺栓防松线区域、螺母防松线区域的质心坐标及所述螺栓区域的中心坐标计算得到螺栓的松动角度，以基于一预设松动阈值及所述松动角度判断所述螺栓是否需要故障修复。

7.根据权利要求6所述的螺栓松动角度识别系统，其特征在于，所述螺栓定位检测模块进一步包括：

设备图像数据集获取模块，用于获取至少一设备图像数据集；

测试数据集获取模块，用于通过标注所述设备图像数据集中设备图像上的螺栓位置作为训练数据集和测试数据集；

数据增强模块，用于对所述训练数据集和测试数据集经图像镜像操作和/或图像旋转操作进行数据增强，得到增强后的训练数据集和测试数据集；

螺栓检测模型构建模块，用于基于YOLOv3网络对所述增强后的训练数据集和测试数据集进行训练，得到所述螺栓检测模型。

8.根据权利要求7所述的螺栓松动角度识别系统，其特征在于，所述区域检测模块进一步包括：

螺栓图像数据集获取模块，用于利用所述螺栓检测模型对所述设备数据集进行螺栓检测，得到螺栓图像数据集；

区域标注模块，用于对所述螺栓图像数据集中螺栓防松线区域、螺母防松线区域及螺栓区域进行标注，得到标注后的螺栓图像数据集；

螺栓图像增强模块，用于对所述标注后的螺栓图像数据集经图像镜像、图像对比度调整和/或图像旋转操作进行数据增强，得到增强后的螺栓图像数据集；

分割模型构建模块，用于基于Unet网络对所述增强后的螺栓图像数据集进行训练，得到所述分割模型。

9.根据权利要求6或8所述的螺栓松动角度识别系统，其特征在于，所述螺栓松动角度识别模块进一步包括：

坐标获取模块，用于通过计算获取螺栓图像中所述螺栓防松线区域、螺母防松线区域的质心坐标A、B及所述螺栓区域的中心坐标C；

松动角度获取模块，用于根据所述质心坐标A、质心坐标B及中心坐标C计算得到螺栓的松动角度；

故障修复判断模块，用于将所述松动角度与预设松动阈值进行比较，若所述松动角度大于所述预设松动阈值，则生成一预警信息并返回所述松动角度及预警信息；否则，返回所述松动角度。

10.根据权利要求9所述的螺栓松动角度识别系统，其特征在于，所述螺栓松动角度的计算基于如下表达式：

其中，a、b、c分别为质心坐标B与中心坐标C之间、质心坐标A与中心坐标C之间及质心坐标A与质心坐标B之间的距离。

Images