CN112539866B - 一种基于视觉深度学习的螺栓轴力监测系统及监测方法 - Google Patents

一种基于视觉深度学习的螺栓轴力监测系统及监测方法 Download PDF

Info

Publication number
CN112539866B
CN112539866B CN202011309708.7A CN202011309708A CN112539866B CN 112539866 B CN112539866 B CN 112539866B CN 202011309708 A CN202011309708 A CN 202011309708A CN 112539866 B CN112539866 B CN 112539866B
Authority
CN
China
Prior art keywords
bolt
axial force
deep learning
camera
bolt axial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011309708.7A
Other languages
English (en)
Other versions
CN112539866A (zh
Inventor
杜青阳
申文涛
常明亮
刘坤
杜祖良
任海
蔡莉慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ifast Technology Development Co ltd
Original Assignee
Beijing Ifast Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ifast Technology Development Co ltd filed Critical Beijing Ifast Technology Development Co ltd
Priority to CN202011309708.7A priority Critical patent/CN112539866B/zh
Publication of CN112539866A publication Critical patent/CN112539866A/zh
Application granted granted Critical
Publication of CN112539866B publication Critical patent/CN112539866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/24—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for determining value of torque or twisting moment for tightening a nut or other member which is similarly stressed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/24—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for determining value of torque or twisting moment for tightening a nut or other member which is similarly stressed
    • G01L5/246—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for determining value of torque or twisting moment for tightening a nut or other member which is similarly stressed using acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

本发明属于螺栓轴力信息监测技术领域，公开了一种基于视觉深度学习的螺栓轴力监测系统及监测方法，摄像头对螺栓进行拍照或者录像，并可将视频分解为以帧格式的图像；螺栓标记装置安装在螺栓连接附近的可视范围内，标记装置可以唯一确定一个或多个螺栓连接，用于在不同角度拍摄多个螺栓中，识别、测量不同螺栓个体；螺栓轴力监测模块通过深度学习算法自动辨识、提取图像中的螺栓连接，测量螺母反旋的角度，计算螺栓的伸长量变化，获得螺栓轴力衰减值；其中，螺栓伸长量和螺栓轴力的对应关系由超声螺栓轴力测量技术标定、获取。本发明利用视觉非接触的方式和深度学习算法检测或者监测螺栓或螺栓组轴力或其衰减情况。

Description

一种基于视觉深度学习的螺栓轴力监测系统及监测方法
技术领域
本发明属于螺栓轴力信息监测技术领域，尤其涉及一种基于视觉深度学习的螺栓轴力监测系统及监测方法。
背景技术
目前，螺栓连接受到外界因素的影响，如：振动、热冲击，会发生轴力松弛，提前发生失效、断裂。结构往往具有较多甚至是海量的螺栓连接，对于接触式的螺栓轴力监测手段，如：超声、力环、应变片、光栅等方式，在经济性、工程性的限制下，均无法对数量众多的螺栓进行轴力监测，导致监测的应用意义大打折扣。
综上所述，现有技术存在的问题是：
(1)监测成本高：使用如超声、力环、应变片、光栅等接触式的螺栓轴力监测技术，需要对所监测的螺栓增加传感器部分，对数量众多螺栓的监测会导致成本大幅增加；
(2)工程实施复杂：对于每一根使用接触式的螺栓轴力监测技术的螺栓，都需要使用导线或者无线的方式，导致现场施工复杂、工程成本大幅增加；
(3)改变螺栓连接结构：某些接触式的螺栓监测技术，如：应变片、光栅、力环的方式，会改变或损坏螺栓连接结构，使得螺栓监测的必要性大幅降低；
(4)监测螺栓的数量：由于监测成本的限制，接触式螺栓监测技术只能对螺栓进行抽样监测，无法做到对螺栓群中大部分螺栓进行监测，导致监测的意义大幅降低。
解决上述技术问题的难度：
螺栓连接是一种工业中使用最为广泛的组装、装配方式，其轴力是结构健康的重要指标，但是由于螺栓连接的设计、螺栓质量、紧固工艺等方面的原因，螺栓连接的质量往往难以受控，大量结构失效情况都是由螺栓连接失效导致的；由于螺栓连接数量巨大，其轴力衰减又难以进行快速、有效、低成本地测量，使之成为工业界的一个棘手难题。由于接触式螺栓轴力监测技术的内在性限制，所有接触式的螺栓监测技术都无法解决以上1-4的问题，导致接触式螺栓轴力测量技术只能使用在产品结构的设计验证、样机阶段，而很难在工程实际中大规模地使用。能够满足准确测量、快速方便且能够低成本大规模使用的需求，是螺栓轴力检测、监测的真正难度所在。
解决上述技术问题的意义：
螺栓被成为“工业之米”，是工业领域使用最广泛、数量最大的结构连接形式。螺栓轴力是螺栓连接设计和使用的唯一指标。一种准确、高效、低成本的螺栓轴力检测、监测技术可以代替目前工业领域中定期检修、复拧、更换，大幅提高结构健康水平和产品可靠性、降低结构失效损失、削减产品的维护成本。
发明内容
针对现有技术存在的问题，本发明提供了一种基于视觉深度学习的螺栓轴力监测系统及监测方法。本发明具有优良的技术性、经济性和工程性，可以有效解决现有技术上的螺栓监测需求中的问题。
本发明是这样实现的，一种基于视觉深度学习的螺栓轴力监测系统，包括：摄像头，用于对螺栓进行拍照或者录像，并将视频分解为以帧格式的图像；
螺栓标记装置，安装在螺栓连接附近的可视范围内，用于在不同角度拍摄多个螺栓中，识别、测量不同螺栓个体；
螺栓轴力监测模块，通过深度学习算法自动辨识、提取图像中的螺栓连接，测量螺母反旋的角度，计算螺栓的伸长量变化，获得螺栓轴力衰减值；螺栓伸长量和螺栓轴力的对应关系由超声螺栓轴力测量技术标定、获取。
进一步，所述摄像头包括监控摄像头、手机摄像头或无人机摄像头、带有摄像头的智能眼镜，或者说任何具有摄像头的设备；获取图像的方法可以为拍照或者录像，如果采用录像的方式，系统会自动将视频分解为以帧格式的图像；根据环境特点，使用全彩(照明)模式、红外模式进行拍照或录像；
螺栓标记装置是辨识螺栓标记的统称，安置在摄像头可拍照的螺栓连接附近；螺栓标记装置起到标识唯一确定待测螺栓连接的作用。螺栓标记，通常情况采用可打印、喷涂的标识形式，包括二维码；
螺栓标记装置标识一个或一组螺栓；对于待监测的螺栓群，为每一个待监测螺栓配有唯一的螺栓标记，既不经济也不美观；在这种情况下，可以对此螺栓群进行标记，通过标记装置与螺栓群中每个螺栓之间的空间关系进行识别，同时也为整个螺栓群提供了标识。
进一步，螺栓轴力监测模块包括：深度学习算法模块、角度测量算法模块和螺栓轴力算法模块；
深度学习算法模块，用于定位摄像头所拍摄图像中的待测量螺栓连接，识别标记装置唯一确定的待测螺栓和此螺栓连接的特征点，提取其特征点的空间相对位置坐标；
角度测量算法模块，用于通过螺栓或螺母特征点的相对坐标，将此坐标转换为空间三维坐标，计算与初始状态相比较的旋转角度，通过其旋转角度获取螺栓伸长量变化；
螺栓轴力算法模块，用于依据超声波螺栓轴力测量技术所建立螺栓伸长量和螺栓轴力的关系，计算螺母反转角度所代表的螺栓轴力衰减值。
本发明的另一目的在于提供一种基于视觉深度学习的螺栓轴力监测方法，包括：
利用深度学习算法定位摄像头所拍摄图像中的待测量螺栓，识别标记装置所唯一确定的待测螺栓编号和此螺栓连接的特征点，提取特征点的空间相对位置坐标；
利用角度测量算法通过螺栓连接的特征点，依据已知的螺栓连接尺寸，将此图像中的特征点坐标转换为空间三维坐标，与螺栓安装后的初始状态比较，获取螺母反转的角度；
结合超声螺栓轴力测量技术，将螺栓轴力算法导入螺栓伸长量和螺栓轴力的关系，在输入待监测螺栓的螺距后，建立螺母反转角度和螺栓轴力之间的对应关系，提供螺栓轴力衰减值。
进一步，角度测量算法对摄像头的拍摄位置及角度与螺栓安装位置进行解耦，即：不对摄像头拍摄位置和角度有要求，获取螺母反转的角度。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于视觉深度学习的螺栓轴力检测、监测方法。
本发明的另一目的在于提供一种搭载所述基于视觉深度学习的螺栓轴力监测系统的监测仪。
本发明的另一目的在于提供一种搭载所述基于视觉深度学习的螺栓轴力检测测系统的监控手机应用程序。
本发明的另一目的在于提供一种搭载所述基于视觉深度学习的螺栓轴力检测系统的监控无人机。
本发明的另一目的在于提供一种搭载所述基于视觉深度学习的螺栓轴力监测系统的智能眼镜。
综上所述，本发明的优点及积极效果为：本发明利用视觉非接触的方式和深度学习的算法监测螺栓或螺栓组的轴力(预紧力)衰减(松动程度)的情况。
本发明提供的监测系统采用了视觉深度学习技术，对螺栓连接进行非接触式螺栓轴力监测，对摄像头的拍摄位置与螺栓连接的安装位置做到了无依赖的解耦，使得使用各种摄像产品进行监测成为可能，极大便利了工程使用和最大限度地降低了成本。
对于需要无人值守的结构，如海上风机，可以使用通用的监控摄像头进行自动拍摄、监测；对于螺栓连接空间分布范围大的结构，如：吊车，最终用户可以使用手机拍摄；对于视线难以达到的螺栓监测位置，如：桥梁螺栓，可以使用无人机对螺栓连接进行近距离拍摄。
附图说明
图1是本发明实施例提供的基于视觉深度学习的螺栓轴力监测系统示意图。
图中：1、摄像头；2、螺栓标记装置；3、螺栓轴力监测模块；3-1、深度学习算法模块；3-2、角度测量算法模块；3-3、螺栓轴力算法模块。
图2是本发明实施例提供的监测系统摄像头和待监测螺栓效果图。
图3是本发明实施例提供的带有螺栓标记装置的螺栓连接效果图。
图4是本发明实施例提供的图像坐标到空间三维坐标的转换示意图。
图5是本发明实施例提供的基于视觉深度学习的螺栓轴力监测方法实施示意图。
图6是本发明实施例提供的螺栓连接在振动条件下螺母反转角度和轴力之间的关系图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，无法对数量众多的螺栓进行轴力监测，而且现有技术监测中，技术性差、花费成本高，工程实用性差。
针对现有技术存在的问题，本发明提供了一种基于视觉深度学习的螺栓轴力监测系统及检测方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于视觉深度学习的螺栓轴力监测系统，包括：
摄像头1，用于对螺栓进行拍照或者录像，并将视频分解为以帧格式的图像。
螺栓标记装置2，螺栓标记装置是辨识螺栓标记的统称，可以安置在摄像设备可拍照的螺栓连接附近，起到唯一标识螺栓连接个体的作用。螺栓标记装置可以以二维码的形式，成为待测螺栓识别的唯一基础。
螺栓轴力监测模块3，通过深度学习算法自动辨识、提取图像中的螺栓连接，测量螺母反旋的角度，计算螺栓的伸长量变化，获得螺栓轴力衰减值；螺栓伸长量和螺栓轴力的对应关系由超声螺栓轴力测量技术标定、获取。
在本发明实施例中，所述摄像头1包括监控摄像头、手机摄像头、无人机摄像头、智能眼镜摄像头。
在本发明实施例中，螺栓标记装置2是辨识螺栓标记的统称，可以安置在摄像头可拍照的螺栓连接附近，起到唯一标识螺栓个体的作用。螺栓标记可以以二维码的形式，成为待测螺栓识别的唯一基础。
在本发明实施例中，螺栓轴力监测模块3包括：深度学习算法模块3-1、角度测量算法模块3-2和螺栓轴力算法模块3-3。
深度学习算法模块，用于定位摄像头所拍摄图像中的待测量螺栓，识别标记装置所唯一确认的待测螺栓和此螺栓连接的特征点，提取特征点的空间相对位置坐标。
角度测量算法模块，用于通过螺栓连接特征点的相对坐标，将此坐标转换为空间三维坐标，计算与初始状态相比较的旋转角度，通过螺栓或螺母旋转角度获取螺栓伸长量的变化。
螺栓轴力算法模块，用于依据超声波螺栓轴力测量技术所建立螺栓伸长量和螺栓轴力的关系，计算螺母反转角度所代表的螺栓轴力衰减值。
在本发明实施例中，本发明提供一种基于视觉深度学习的螺栓轴力监测方法包括：
利用深度学习算法定位摄像头所拍摄图像中的待测量螺栓，识别标记装置所确认的待测螺栓和此螺栓连接的特征点，提取特征点的空间相对位置坐标；
利用角度测量算法通过螺栓连接的特征点，依据已知的螺栓连接尺寸，将此图像中的特征点坐标转换为空间三维坐标，与螺栓安装后的初始状态比较，获取螺母反转的角度。对摄像头的拍摄位置和螺栓安装位置进行解耦，获取螺母反转的角度。
结合超声螺栓轴力测量技术，将螺栓轴力算法导入螺栓伸长量和螺栓轴力的关系，在输入待监测螺栓的螺距后，建立螺栓或螺母反转角度和螺栓轴力之间的对应关系，提供螺栓轴力衰减值。
下面结合具体实施例对本发明作进一步描述。
实施例
本发明实施例提供的基于视觉深度学习的螺栓轴力监测系统包括：摄像头、螺栓标记装置、软件算法部分。
螺栓在紧固时，螺母在扭矩的作用下顺时针转动，在螺栓中产生轴力。与此过程相反，螺栓轴力衰减分为两个部分：非旋转性螺栓轴力衰减和旋转性螺栓轴力衰减。其中非旋转性轴力衰减是指在螺母并不发生反旋的情况下，轴力发生衰减，这主要是由于被夹持物在螺栓轴力的作用下，其表面发生嵌入或称之为被压溃现象所导致，还有一部分为旋合螺纹的塑性变形导致；非旋转性轴力衰减一般发生在螺栓紧固后的24小时之内或初次循环载荷作用下完成，衰减幅度大致为螺栓轴力的10％；非旋转性螺栓轴力衰减是需要在设计阶段纳入设计的因素之一，即：螺栓连接的设计轴力是去除了非旋转性轴力衰减的残余值。旋转性螺栓轴力衰减发生在螺栓连接的服役过程中，在振动条件下，由于螺母反旋导致的轴力衰减，如图6所示，其中螺栓轴力和其反转角度呈现线性正比的关系。所以，非旋转性螺栓轴力衰减已经为螺栓连接设计和工艺所考虑，而真正需要检测、监测的对象为旋转性螺栓轴力衰减部分。
螺栓连接由螺栓、螺母和被夹持物组成，在发生旋转性轴力松弛的过程中，螺栓不发生；螺母相对于螺栓发生反旋。监测系统使用摄像头(监控摄像头、手机摄像头、无人机摄像头、智能眼镜的摄像头)对螺栓连接进行拍照，见图2所示，通过深度学习算法自动辨识、提取图像中螺栓连接的特征点，测量螺母反旋的角度，计算其螺栓的伸长量变化，进而获得精确的螺栓轴力衰减值；其中螺栓伸长量和螺栓轴力的对应关系由超声螺栓轴力测量技术标定、获取。
在本发明实施例中，螺栓标记装置可安装在待测螺栓连接的可视范围内，以保证监测系统在不同角度拍摄众多螺栓时，能够识别、测量不同螺栓连接个体。
监测系统的软件部分有为三个个部分，分别为：深度学习算法、角度测量算法和螺栓轴力算法，其中深度学习算法负责定位摄像头所拍摄图像中的待测量螺栓连接，识别标记装置所唯一确认的待测螺栓和此螺栓连接的特征点，提取特征点的空间相对位置坐标。测量算法通过螺栓、螺母特征点的相对坐标，将此坐标转换为空间三维坐标，计算与初始状态相比较的旋转角度。由于螺距为螺母旋转360°的轴向行程，通过旋转角度获取螺栓伸长量的变化，螺栓轴力算法依据超声波螺栓轴力测量技术所建立螺栓伸长量和螺栓轴力的关系，计算螺母反转角度所代表的螺栓轴力衰减值。
在本发明实施例中，螺栓标记装置起到唯一标识螺栓个体和待测螺栓连接定子(螺栓)作用，可以以二维码的形式出现，，成为待测螺栓识别的唯一基础。。在本发明实施例中，监测系统使用图像作为输入，其图像捕获设备为摄像头。依据不同的使用条件和限制，摄像头可以为监控摄像头、手机摄像头、无人机摄像头等；获取图像的方法可以为拍照或者录像，如果采用录像的方式，监测系统会自动将视频分解为以帧格式的图像；根据环境特点，可以使用全彩(照明)模式、红外模式。
在本发明实施例中，深度学习算法通过训练海量螺栓样本，获得螺栓识别的数学模型，在摄像头拍摄的图片中自动识别、检测螺栓、并依据螺栓标记装置对其建立编号，提取螺栓连接的特征信息。
在本发明实施例中，角度测量算法通过螺栓连接的特征点，依据已知的螺栓连接尺寸，将此图像中的特征点坐标转换为空间三维坐标，如图5所示。和螺栓安装后的初始状态比较，获取螺母反转的角度。此算法并不要求固定的拍摄位置，将拍摄位置和螺栓安装位置解耦，使此监测系统最大限度地适应各种监测需求，如：监控摄像头定点监测、监控摄像头拍摄运动部件上的螺栓连接、使用手机、无人机、智能眼镜摄像头对螺栓进行定期检测。
在本发明实施例中，结合超声螺栓轴力测量技术，螺栓轴力算法可以导入螺栓伸长量和螺栓轴力的关系，在输入待监测螺栓的螺距后，直接建立螺母反转角度和螺栓轴力之间的对应关系，以向用户提供最直接、精确的螺栓轴力衰减值。
图6螺栓连接在振动条件下螺母反转角度和轴力之间的关系。
下面结合应用实例对本发明作进一步描述。
应用例
此监测系统采用了视觉深度学习技术，对螺栓连接进行非接触式螺栓轴力监测，对摄像头的拍摄位置、螺栓连接的安装位置做到了无依托的解耦，使得使用各种摄像产品进行监测成为可能。
对于需要无人值守的结构，如海上风机，可以使用通用的监控摄像头进行自动拍摄、监测；对于螺栓连接空间分布范围大的结构，如：吊车，最终用户可以使用手机拍摄；对于视线难以达到的螺栓监测位置，如：桥梁螺栓，可以使用无人机对螺栓连接进行近距离拍摄。
下面结合具体实验数据对本发明作进一步描述。
(1)nutFACE是一种基于视觉深度学习的螺栓轴力检测、监测系统，摄像头对螺栓进行拍照或者录像，并可将视频分解为以帧格式的图像；螺栓标记装置安装在螺栓附近的可视范围内，标记装置唯一确定螺栓连接的空间相对位置，以用于在不同角度拍摄多个螺栓中，识别、测量不同螺栓个体；nutFACE通过深度学习算法自动辨识、提取图像中的螺栓连接，测量螺母反旋的角度，计算螺栓的伸长量变化，获得螺栓轴力衰减值。
nutFACE是一种基于视觉深度学习的螺栓轴力监测系统，下称：监测系统，包括：摄像头、螺栓标记、软件算法部分。
螺栓在紧固时，螺母在扭矩的作用下顺时针转动，在螺栓中产生轴力。与此过程相反，螺栓轴力衰减分为两个部分：非旋转性螺栓轴力衰减和旋转性螺栓轴力衰减。其中非旋转性轴力衰减是指在螺母并不发生反旋的情况下，轴力发生衰减，这主要是由于被夹持物在螺栓轴力的作用下，其表面发生嵌入或称之为被压溃现象所导致，还有一部分为旋合螺纹的塑性变形导致；非旋转性轴力衰减一般发生在螺栓紧固后的24小时之内或初次循环载荷作用下完成，衰减幅度大致为螺栓轴力的10％；非旋转性螺栓轴力衰减是需要在设计阶段纳入设计的因素之一，即：螺栓连接的设计轴力是去除了非旋转性轴力衰减的残余值。旋转性螺栓轴力衰减发生在螺栓连接的服役过程中，在振动条件下，由于螺母反旋导致的轴力衰减，其中螺栓轴力和其反转角度呈现线性正比的关系。所以，非旋转性螺栓轴力衰减已经为螺栓连接设计和工艺所考虑，而真正需要检测、监测的对象为旋转性螺栓轴力衰减部分。
螺栓连接由螺栓、螺母和被夹持物组成，在发生旋转性轴力松弛的过程中，螺栓或夹持物不发生自转；螺母相对于螺栓或被夹持物发生反旋。监测系统使用监控摄像头、手机摄像头或无人机摄像头，后统称为为摄像头，对螺栓连接进行拍照，通过深度学习算法自动辨识、提取图像中的一个或多个螺栓连接，测量螺栓或者螺母的反旋角度，计算其螺栓的伸长量变化，进而获得精确的螺栓轴力衰减值；其中螺栓伸长量和螺栓轴力的对应关系由超声螺栓轴力测量技术标定、获取。
尤其需要指出的是：nutFACE使用视觉深度学习的方法，具有强大的螺栓连接的自动识别、检测能力，同时具备了技术上最强的适用性，以适用在极端复杂的应用条件下。深度学习算法通过训练海量螺栓连接的样本，获得螺栓连接识别的数学模型，在摄像头拍摄的图片中自动识别、检测螺栓标记装置及螺栓连接，对其形成虚拟编号，同时提取螺栓连接的特征信息，如：标记与螺母的特征点以及其空间位置关系，由于nutFACE深度学习算法可以精确地标记螺栓、螺母特征点的空间位置关系，进而螺母反转测量算法的测量精度获得了保证。
(2)试验条件及对象
nutFACE系统(测试台拍摄照片并未参与深度学习的样本训练，训练样本均来自于风机塔架螺栓的实际拍摄)；
200像素监测球机，测试台，包括4个螺栓连接和带角度刻度的垫片。
其中，为了精确转动螺母以验证测量精度，采用了带有刻度标识的垫片，每个分度为15°。
由于试验台螺栓共计有4根规格一致的螺栓连接，彼此之间存在测试的互换性，故此试验的对象为第一个螺栓连接的螺母，即：图3中的左下角第一根螺栓连接。
(3)精度验证方法
在螺母未反旋的状态下，在测试台正前方、侧方进行多次拍摄，以验证其系统误差；
在螺母反旋15°、30°的状态下，在测试台正前方、侧方进行多次拍摄，以验证测量误差。
(4)试验数据及分析
系统误差
在螺母未反旋状态下，测试台正前方拍摄7张照片(拍摄角度略有不同)，识别效果从正、斜拍的组图中各选取一张，试验数据见表1。
由于拍摄角度的不同，会导致螺母在照片中呈现不同的侧面，nutFACE系统会自动对测量值以60°的模进行修正，输出为修正值。
表1正、斜前方拍摄的测试数据
Figure GDA0003939507280000111
通过表1进行数据分析，可以获得如下初步分析和结论：
正拍的测量数据离散带(±1.5°)小于斜拍的数据离散带(+-4.5°)，主要原因为正拍可以获得更高的螺母特征准确度；
正拍与斜拍的测量数据均值相差很小，分别为14.61°和14.42°。
测量误差
依据带刻度垫片的标线，旋转螺母15°，通过正、斜拍两种方式分别进行4次拍摄，测量数据见表2。
表2反向旋转15°的测量数据
Figure GDA0003939507280000121
依据带刻度垫片的标线，再次旋转螺母15°，即：累计旋转30°，通过正、斜拍两种方式分别进行4次拍摄，测量数据见表3。
表3反向旋转15°的测量数据
Figure GDA0003939507280000122
Figure GDA0003939507280000131
通过一次拍摄地点的多次测量的平均值进行统计，修正值与绝对误差见表4.
表4反旋角度的平均值及绝对误差
拍摄角度 旋转角度0° 旋转角度15° 旋转角度30°
正拍 14.61 0.55 -15.05
斜拍 14.42 -3.35 -19.75
正拍误差 -0.94 0.6
斜拍误差 2.77 1.4
通过表2、表3进行数据分析，可以获得如下初步分析和结论：
正拍测量误差小于斜拍误差，主要因为正拍可以获得更好的螺母特征的准确度；
无论是正拍或斜拍的方式，测量误差均在±2°以内。
本发明通过nutFACE在测试台上的精度验证，可以获得如下结论：
nutFACE系统具有±2°的螺栓或螺母反旋角度的测量误差；
螺栓的轴力与旋转角度的关系存在线性关系，一般螺栓连接的设计轴力处于紧固旋转角度66°至200°之间，所以以最低限度进行评估，nutFACE对于螺栓连接的轴力衰减测量误差处于±3％内。
同时，依据试验数据在测量工程条件允许的条件下，为了获取更高的测量精度，采用正拍方式进行；
在同一地点拍摄时，可以调整拍摄角度和相机位置，多次拍摄，获取更多的测量值，以通过平均值的方式获得更高的测量精度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视觉深度学习的螺栓轴力监测系统，其特征在于，所述基于视觉深度学习的螺栓轴力监测系统包括：摄像头，用于对螺栓进行拍照或者录像，并将视频分解为以帧格式的图像；
螺栓标记装置，安装在螺栓连接附近的可视范围内，用于在不同角度拍摄多个螺栓中，识别、测量不同螺栓个体；
螺栓轴力监测模块，通过深度学习算法自动辨识、提取图像中的螺栓连接，测量螺母反旋的角度，计算螺栓的伸长量变化，获得螺栓轴力衰减值；螺栓伸长量和螺栓轴力的对应关系由超声螺栓轴力测量技术标定、获取；
所述摄像头包括监控摄像头、手机摄像头或无人机摄像头、带有摄像头的智能眼镜，或者说任何具有摄像头的设备；获取图像的方法为拍照或者录像，如果采用录像的方式，自动将视频分解为以帧格式的图像；根据环境特点，使用全彩模式、红外模式进行拍照或录像；
螺栓标记装置是辨识螺栓标记的统称，安置在摄像头可拍照的螺栓连接附近；螺栓标记装置起到标识唯一确定待测螺栓连接的作用；螺栓标记，通常情况采用可打印、喷涂的标识形式，包括二维码；
螺栓标记装置标识一个或一组螺栓；对于待监测的螺栓群，为每一个待监测螺栓配有唯一的螺栓标记，对所述螺栓群进行标记，通过标记装置与螺栓群中每个螺栓之间的空间关系进行识别，同时也为整个螺栓群提供标识；
螺栓轴力监测模块包括：深度学习算法模块、角度测量算法模块和螺栓轴力算法模块；
深度学习算法模块，用于定位摄像头所拍摄图像中的待测量螺栓连接，识别标记装置唯一确定的待测螺栓和此螺栓连接的特征点，提取其特征点的空间相对位置坐标；
角度测量算法模块，用于通过螺栓或螺母特征点的相对坐标，将此坐标转换为空间三维坐标，计算与初始状态相比较的旋转角度，通过其旋转角度获取螺栓伸长量变化；
螺栓轴力算法模块，用于依据超声波螺栓轴力测量技术所建立螺栓伸长量和螺栓轴力的关系，计算螺母反转角度所代表的螺栓轴力衰减值；
所述基于视觉深度学习的螺栓轴力监测系统的螺栓轴力监测方法包括：
利用深度学习算法定位摄像头所拍摄图像中的待测量螺栓，识别标记装置所唯一确定的待测螺栓编号和此螺栓连接的特征点，提取特征点的空间相对位置坐标；
利用角度测量算法通过螺栓连接的特征点，依据已知的螺栓连接尺寸，将此图像中的特征点坐标转换为空间三维坐标，与螺栓安装后的初始状态比较，获取螺母反转的角度；
结合超声螺栓轴力测量技术，将螺栓轴力算法导入螺栓伸长量和螺栓轴力的关系，在输入待监测螺栓的螺距后，建立螺母反转角度和螺栓轴力之间的对应关系，提供螺栓轴力衰减值；
角度测量算法对摄像头的拍摄位置及角度与螺栓安装位置进行解耦：不对摄像头拍摄位置和角度有要求，获取螺母反转的角度。
2.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1所述基于视觉深度学习的螺栓轴力监测系统的螺栓轴力监测方法。
3.一种搭载权利要求1所述基于视觉深度学习的螺栓轴力监测系统的监测仪。
4.一种搭载权利要求1所述基于视觉深度学习的螺栓轴力监测系统的监控手机应用程序。
5.一种搭载权利要求1所述基于视觉深度学习的螺栓轴力监测系统的监控无人机。
6.一种搭载权利要求1所述基于视觉深度学习的螺栓轴力监测系统的智能眼镜。
CN202011309708.7A 2020-11-20 2020-11-20 一种基于视觉深度学习的螺栓轴力监测系统及监测方法 Active CN112539866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011309708.7A CN112539866B (zh) 2020-11-20 2020-11-20 一种基于视觉深度学习的螺栓轴力监测系统及监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011309708.7A CN112539866B (zh) 2020-11-20 2020-11-20 一种基于视觉深度学习的螺栓轴力监测系统及监测方法

Publications (2)

Publication Number Publication Date
CN112539866A CN112539866A (zh) 2021-03-23
CN112539866B true CN112539866B (zh) 2023-01-24

Family

ID=75014502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011309708.7A Active CN112539866B (zh) 2020-11-20 2020-11-20 一种基于视觉深度学习的螺栓轴力监测系统及监测方法

Country Status (1)

Country Link
CN (1) CN112539866B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113933393B (zh) * 2021-10-16 2024-04-02 北京创程科技有限公司 一种基于电磁超声与3d相控阵的螺栓监测系统
CN114092542A (zh) * 2021-11-22 2022-02-25 华侨大学 一种基于二维视觉的螺栓测量方法以及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5835300B2 (ja) * 2013-10-21 2015-12-24 トヨタ自動車株式会社 軸力測定方法
CN108572040B (zh) * 2018-04-23 2019-06-25 北京交通大学 一种在役螺栓轴力的检测方法、检测系统及检测装置
CN110579305A (zh) * 2018-06-11 2019-12-17 北京艾法斯特科技发展有限公司 一种超声实时测量螺栓轴力的智能套筒系统
CN209246868U (zh) * 2018-12-27 2019-08-13 中核核电运行管理有限公司 一种通用的测量螺栓伸长量的工具
CN109858551A (zh) * 2019-01-31 2019-06-07 湖南大学 基于图像识别检测结构应力的方法、装置、设备及介质
EP3919880B1 (en) * 2019-03-08 2023-08-30 Panasonic Intellectual Property Management Co., Ltd. Stress properties measurement method, stress properties measurement device, and stress properties measurement system
US20200301510A1 (en) * 2019-03-19 2020-09-24 Nvidia Corporation Force estimation using deep learning
CN110044594A (zh) * 2019-04-25 2019-07-23 华南理工大学 一种基于无人机图像识别的建筑塔机螺栓松紧监测方法
CN111751040A (zh) * 2020-05-15 2020-10-09 国网浙江省电力有限公司台州供电公司 一种基于无人机图像的电力铁塔螺栓松动检测系统及方法

Also Published As

Publication number Publication date
CN112539866A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
Wu et al. Health monitoring of wind turbine blades in operation using three-dimensional digital image correlation
CN112539866B (zh) 一种基于视觉深度学习的螺栓轴力监测系统及监测方法
CN109186902A (zh) 一种基于视觉传感的桥梁结构健康检测系统
CN112818988A (zh) 一种指针式仪表自动识别读数方法及系统
CN110910383A (zh) 基于红外图像识别的调相机故障监测方法和系统
CN111947578A (zh) 一种结构物位移测量系统及其测量方法
CN115294145B (zh) 一种输电线路弧垂的测量方法及系统
CN110930382A (zh) 基于标定板特征点提取的点云拼接精度评估方法及系统
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN102075736A (zh) 一种用于高清智能网络摄像机的摄像头标定方法
CN112001880B (zh) 一种平面构件的特征参数检测方法及装置
CN107907064A (zh) 一种裂隙监测系统及方法
CN116866723B (zh) 一种管道安全实时监控预警系统
CN106682579B (zh) 用于检测输电线路覆冰的无人机双目视觉图像处理系统
CN110544276A (zh) 最小二乘法椭圆拟合活塞裙部最大点处尺寸测量方法
CN111475016A (zh) 一种基于计算机视觉的装配过程几何参数自适应测量系统及方法
CN114782852A (zh) 指针式工业仪表的读数方法、读数装置与读数系统
Liu et al. Computer Vision-Based Structural Displacement Monitoring and Modal Identification with Subpixel Localization Refinement
CN113343554B (zh) 一种拱坝水下毁伤识别方法、终端设备及存储介质
CN210625840U (zh) 一种新型振动测量装置
CN109059790B (zh) 一种基于傅里叶变换的弹簧节距测量方法
CN115100443A (zh) 一种基于高速模版匹配计算的电缆缺陷识别方法
CN113838120A (zh) 一种基于数字图像相关的大转角运动位移测量方法
CN114693705A (zh) 一种指针式仪表测量值读取方法、装置及系统
CN113465549A (zh) 基于视觉的无标记点轴承保持架接触角测量系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant