CN116433673A - 紧固件松动检测方法、装置、电子设备和可读存储介质 - Google Patents

紧固件松动检测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN116433673A
CN116433673A CN202310707337.5A CN202310707337A CN116433673A CN 116433673 A CN116433673 A CN 116433673A CN 202310707337 A CN202310707337 A CN 202310707337A CN 116433673 A CN116433673 A CN 116433673A
Authority
CN
China
Prior art keywords
fastener
image
original
target
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310707337.5A
Other languages
English (en)
Inventor
许孝先
姚结兵
张培
程真
汪湘湘
宗承治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Ronds Science & Technology Inc Co
Original Assignee
Anhui Ronds Science & Technology Inc Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Ronds Science & Technology Inc Co filed Critical Anhui Ronds Science & Technology Inc Co
Priority to CN202310707337.5A priority Critical patent/CN116433673A/zh
Publication of CN116433673A publication Critical patent/CN116433673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请提供一种紧固件松动检测方法、装置、电子设备和可读存储介质，涉及紧固件松动检测领域。该紧固件松动检测方法包括：将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图；其中，多个2D投影图为目标紧固件的3D模型在多个角度下的投影图像，实际图像为目标紧固件的当前实际状态图像；计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度；根据旋转角度，判断目标紧固件是否松动。使用本申请实施例提供的紧固件检测方法能够更准确、快速地识别紧固件的位置和边界，进而准确地判断出紧固件是否松动，提高了紧固件松动检测的可靠性和效率。

Description

紧固件松动检测方法、装置、电子设备和可读存储介质
技术领域
本申请涉及紧固件松动检测领域，具体而言，涉及一种紧固件松动检测方法、装置、电子设备和可读存储介质。
背景技术
在工业场景中，紧固件起着维持稳定的重大作用；机器内部结构的紧固，机器运行位置的固定都需要紧固件。常见的紧固件包括螺栓、螺钉等；在动态载荷如振动、冲击以及循环载荷等作用下，常常会导致紧固件松动。及时监测出松动的紧固件，对安全施工和提高生产效率具有重大作用。
目前，对于紧固件松动的检测主要包括基于传感技术的检测方法和基于标记线图像的检测方法；其中，基于传感技术的检测方法主要包括压电阻抗法、光栅光纤法、超声波时差法和电压主动传导法；基于标记线图像的检测方法的原理为通过拍摄含有标记线的紧固件图像，在图像中提取标记线信息，然后进行图像处理和计算，得到紧固件的松动程度。
但是基于传感技术的检测方法存在受数据处理方法、环境变化、安装条件影响，耐用性差等问题，从而导致检测结果准确性不高；而基于标记线图像的检测方法由于对标记线要求高、受图像质量影响等问题，导致降低紧固件松动检测的可靠性和效率。
发明内容
本申请实施例的目的在于提供一种紧固件松动检测方法、装置、电子设备和可读存储介质，通过目标紧固件的3D模型获得多个投影角度下的2D投影图；将多张2D投影图中与实际图像相似度最大的图像最为原始2D投影图，计算实际图像中目标紧固件相对于原始2D投影图中的目标紧固件的旋转角度，通过旋转角度来判断目标紧固件是否发生了松动。使用本申请实施例提供的紧固件检测方法能够更准确、快速地识别紧固件的位置和边界，进而准确地判断出紧固件是否松动，提高了紧固件松动检测的可靠性和效率。
第一方面，本申请实施例提供一种紧固件松动检测方法，该紧固件松动方法包括：将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图；其中，多个2D投影图为目标紧固件的3D模型在多个角度下的投影图像，实际图像为目标紧固件的当前实际状态图像；计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度；根据旋转角度，判断目标紧固件是否松动。
在上述实现过程中，使用本申请实施例提供的紧固件松动检测方法，通过目标紧固件的3D模型获得多个投影角度下的2D投影图；将多张2D投影图中与实际图像相似度最大的图像最为原始2D投影图，计算实际图像中目标紧固件相对于原始2D投影图中的目标紧固件的旋转角度，通过旋转角度来判断目标紧固件是否发生了松动。由于检测只需要获取目标紧固件任意角度的实际图像，且同时可检测多个目标紧固件；实现了对紧固件松动情况的低成本、高效率、高精确度地检测，也提高了检测方法的广泛易用性。
可选地，在本申请实施例中，将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图，包括：对实际图像进行紧固件识别，获得至少一个单紧固件图像；将多个2D投影图和至少一个单紧固件图像输入孪生神经网络，提取多个2D投影图对应的多组原始特征向量和至少一个单紧固件图像对应的实际特征向量，并分别计算每个单紧固件图像对应的实际特征向量与多组原始特征向量之间的相似度；针对每个单紧固件图像对应的实际特征向量，将与该实际特征向量相似度最大的原始特征向量对应的2D投影图，作为实际图像中的该单紧固件图像对应的原始2D投影图。
在上述实现过程中，采用孪生神经网络计算实际图像中的单紧固件图像与多个2D投影图像的距离相似度，可以更加准确地找出最接近当前目标紧固件拍摄视角的2D投影图像；另一方面，孪生神经网络的架构可以扩展到处理更多的2D投影图像，以适应不同的视角和视图数量，增强了本申请实施例提供紧固件松动检测方法的可扩展性。
可选地，在本申请实施例中，对实际图像进行紧固件识别，获得至少一个单紧固件图像，包括：利用区域卷积神经网络执行以下操作：利用目标搜索算法在实际图像中搜索目标紧固件，得到多个目标建议框；其中，每个目标建议框代表目标紧固件可能出现的一个位置；提取多个目标建议框的图像特征；根据图像特征，将识别出包含目标紧固件的至少一个目标建议框确定为至少一个单紧固件图像。
在上述实现过程中，本申请实施例提供的紧固件松动检测方法为了获取单紧固件图像，将实际图像输入了区域卷积神经网络模型；首先进行了目标搜索，搜索出了可能的建议框；再根据建议框的图像特征，确定建议框是否可以被认定为一个单紧固件图像。由此可知，本申请实施例提供的紧固件松动检测方法采用Selective Search方法预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上(采用CNN)提取图像特征，判断建议框中是否为目标紧固件。可以更准确、快速地识别螺栓的位置和边界，避免了传统图像处理中常见的误检和漏检问题。
可选地，在本申请实施例中，计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度，包括：将原始2D投影图输入边缘提取算法，以获得原始边缘图像；将实际图像输入边缘提取算法，以获得实际边缘图像；根据原始边缘图像和实际边缘图像，计算旋转角度。
在上述实现过程中，本申请实施例提供的紧固件松动检测方法分别获取原始2D投影图中的边缘和实际图像（实际图像中的单紧固件图像）的边缘；根据体原始边缘图像和实际边缘图像计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度，从而实现了对紧固件松动情况的低成本、高效率、高精确度地检测，也提高了检测方法的广泛易用性。
可选地，在本申请实施例中，将原始2D投影图输入边缘提取算法，以获得原始边缘图像，包括：将原始2D投影图输入Canny算法，以获得原始边缘图像；其中，Canny算法使用的下限阈值阈值下限和上限阈值阈值上限根据原始二值图像的像素均值和像素标准差确定，原始二值图像为根据原始2D投影图进行梯度计算并反向后得到的图像。
在上述实现过程中，本申请实施例通过Canny算法提取原始2D图像和单紧固件图像中的边缘图像；可以实现边缘检测、目标轮廓提取、去除不相关信息和简化形状分析等；从而能够有效地检测到真实边缘，并且对具有噪声的图像也可实现有效地检测。
可选地，在本申请实施例中，阈值下限和阈值上限的确定包括：以
Figure SMS_1
，确定阈值下限；以/>
Figure SMS_2
，确定阈值上限；其中，/>
Figure SMS_3
为阈值下限，/>
Figure SMS_4
为阈值上限，/>
Figure SMS_5
为像素均值，/>
Figure SMS_6
为像素标准差；c为阈值参数。
在上述实现过程中，在本申请实施例中通过自适应地估计阈值，可以根据图像的灰度统计特征来确定合适的Canny边缘检测的阈值范围，参数c的选择可以根据实际应用中的需求来进行调整。阈值会根据图像的灰度分布进行动态调整，适应不同图像的特征；从而提高了算法在各种图像条件下的性能和鲁棒性，实现了紧固件松动检测方法的完全自动化。
可选地，在本申请实施例中，根据原始边缘图像和实际边缘图像，计算旋转角度，包括：分别对原始边缘图像和实际边缘图像的边缘线进行霍夫变换，以获得霍夫空间中的曲线；将霍夫空间中的曲线的交点确定为紧固件边缘线，以获得原始边缘图像中的原始紧固件边缘线和实际边缘图像中的实际紧固件边缘线；根据原始紧固件边缘线计算原始紧固件角度；根据实际紧固件边缘线计算实际紧固件角度；计算原始紧固件角度和实际紧固件角度的差值，并将差值确定为述目标紧固件的旋转角度。
在上述实现过程中，本申请实施例为了计算目标紧固件的转旋转角度，分别实际边缘图像和原始边缘图像进行霍夫变换；从而确定实际边缘图像和原始边缘图像中目标紧固件的边缘线，根据边缘线分别计算原始紧固件角度和实际紧固件角度，进而获得目标紧固件的旋转角度。在上述过程中，在旋转角度计算过程中，结合使用了霍夫变换，能够准确地识别出目标紧固件的边缘线，进而精确地计算出旋转角度。
可选地，在本申请实施例中，根据原始紧固件边缘线计算原始紧固件角度，包括：分别获取多条原始紧固件边缘线相对于坐标原点的边缘线角度；根据边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将目标角度的平均值作为原始紧固件角度。
在上述实现过程中，为了计算原始紧固件角度和实际紧固件角度，可获取多条原始紧固件边缘线相对于坐标原点的边缘线角度；根据边缘线角度计算至少一条原始紧固件边缘线对应的至少一个目标角度，在根据目标角度的平均值作为原始紧固件的角度，从而准确地计算出实际紧固件角度或原始紧固件角度。
可选地，在本申请实施例中，目标紧固件为正六边形紧固件；根据边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将目标角度的平均值作为原始紧固件角度，包括：根据公式
Figure SMS_7
计算原始紧固件角度/>
Figure SMS_8
；其中，j为第j条原始紧固件边缘线，/>
Figure SMS_9
为第j条原始紧固件边缘线对应的边缘线角度；k为参与计算原始紧固件角度的原始紧固件边缘线的数量。
在上述实现过程中，本申请实施例通过基于霍夫变换的方法计算紧固件的角度，可以更加准确地检测原始紧固件角度和实际紧固件角度，通过计算原始紧固件角度和实际紧固件角度之差来判断目标紧固件的松动情况，从而提高了紧固件松动检测的准确度。
可选地，在本申请实施例中，目标紧固件的3D模型通过根据目标紧固件的紧固件参数对目标紧固件进行3D建模获得。
在上述实现过程中，使用例如Autodesk 3ds Max的软件，并利用紧固件的原始参数构建紧固件的3D模型，使得紧固件的形状、大小等细节能够更加真实地反映出来，提高了紧固件松动检测的准确性和可靠性。
第二方面，本申请实施例提供一种紧固件松动检测装置，装置包括原始图像确定模块、角度计算模块和松动判断模块；原始图像确定模块用于将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图；其中，多个2D投影图为目标紧固件的3D模型在多个角度下的投影图像，实际图像为目标紧固件的当前实际状态图像；角度计算模块用于计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度；松动判断模块用于根据旋转角度，判断目标紧固件是否松动。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的紧固件松动检测的流程图；
图2为本申请实施例提供的确定原始2D投影图的流程图；
图3为本申请实施例提供的紧固件识别流程图；
图4为本申请实施例提供的CNN流程图；
图5为本申请实施例提供的旋转角度计算的第一流程图；
图6为本申请实施例提供的旋转角度计算的第二流程图；
图7为本申请实施例提供的紧固件松动检测装置的模块示意图；
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在工业场景中，紧固件起着维持稳定的重大作用；机器内部结构的紧固，机器运行位置的固定都需要紧固件。常见的紧固件包括螺栓、螺钉等；在动态载荷如振动、冲击以及循环载荷等作用下，常常会导致紧固件松动。例如螺栓松动，螺栓松动是螺栓连接结构的主要失效形式，其不仅会引发机械异响或介质泄漏等问题，甚至还会造成严重的工业事故。因此，及时监测出松动的如螺栓这样的紧固件，对安全施工，提高生产效率具有重大作用。
申请人在研究过程中发现，目前对于紧固件松动的检测主要包括基于传感技术的检测方法和基于标记线图像的检测方法。
基于传感技术的检测方法主要包括压电阻抗法、光栅光纤法、超声波时差法和电压主动传导法。
压电阻抗法，利用压电材料的正逆压电效应实现结构损伤的无损检测；正压电效应使得外部压力转化为电能，逆压电效应则使得压电材料表面的外加电场产生机械应力。通过将压电材料粘贴在被测结构上，并施加激励电压，实现被测结构的振动，并检测压电材料两端产生的响应电压。但是压电阻抗法对环境条件要求较高，比较容易受环境条件的影响。
光栅光纤法，利用光纤纤芯与包层的光敏性不同，通过相位掩膜、全息干涉法等技术在纤芯内形成折射率周期性永久变化的相位光栅。但由于随着时间的推移，光纤光栅材料的反射光波长会发生漂移，从而导致测量结果产生较大的误差。另外，光纤光栅传感器的使用方法和安装条件也限制了其在实际中情况中的应用。
超声波时差法，在对紧固件进行检测时，超声波在其内部传播时会因为缺陷处的传播介质发生变化，导致缺陷特征以回波信号的形式反射回来。由于其需要使用高精密仪器进行波速测量，因此超声波时差法存在安装成本高、不适用于需要测量大量紧固件运行状态检测的工程中等缺陷。
电压主动传导法，使用至少一对压电片，其中一个作为驱动器产生超声波，另一个作为传感器接收系统响应信号，通过检测超声波传播中的能量损失来间接确定紧固件的连接状态。但是该方法的传感器采用一发一收模式，在实际应用中容易受到安装位置的限制。
基于标记线图像的检测方法的原理为通过拍摄含有标记线的紧固件图像，在图像中提取标记线信息，然后进行图像处理和计算，得到紧固件的松动程度。以螺栓检测为例将基于标记图像的检测方法进行简单介绍，首先给螺栓加上标记线；获取存在标记线的螺栓的图像，对图像进行预处理和滤波等操作后，提取标记线的信息；计算提取的标记线信息和刚标记的标记线信息之间的距离，根据标记线之间的距离计算螺栓的松动程度。
但基于标记线图像的检测方法存在以下问题：该方法对标记线的要求高，需要在紧固件的两侧都加上标记线，若标记线不准确，会影响松动检测的准确性。该方法一次只能检测单个的紧固件，当紧固件较多的时候，检测效率较低。另外地，该方法受图像质量影响，图像质量较低的情况下，检测的精度会降低；并且需要对图像进行处理和计算，难以实现对紧固件的实时检测。
基于此，本申请提供一种紧固件松动检测方法、装置、电子设备和可读存储介质；该紧固件松动检测方法结合了3D建模、图像处理和深度学习，实现了对紧固件松动情况的低成本、高效率、高精确度地检测，也提高了检测方法的广泛易用性。
请参看图1，图1为本申请实施例提供的紧固件松动检测的流程图；本申请提供的紧固件松动检测方法包括：
步骤S100：将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图。
在上述步骤S100中，将多个2D投影图与实际图像中相似度最大的图像确定为原始2D图像。
多个2D投影图为目标紧固件的3D模型在多个角度下的投影图像，实际图像为目标紧固件的当前实际状态图像。需要说明的是，实际图像可以通过图像获取设备进行获取，得到任意角度的当前状态下包括目标紧固件的图像，不需要获取多个角度的实际图像。
在三维建模软件中（如Autodesk 3ds Max），使用虚拟相机视图或渲染视图进行自动渲染，在紧固件的3D模型上使用虚拟相机视图自动渲染，生成螺栓在各个视角下的2D投影图像。
步骤S101：计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度。
在上述步骤S101-S102中，通过计算实际图像中目标紧固件相对于原始2D投影图中的目标紧固件的旋转角度。也就是说，分别计算原始2D投影图和实际图像中目标紧固件的角度，二者相比较（例如作差）得到旋转角度；进一步地，可以通过旋转角度来判断目标紧固件是否松动。
步骤S102：根据旋转角度，判断目标紧固件是否松动。
通过图1可知，使用本申请实施例提供的紧固件松动检测方法，通过目标紧固件的3D模型获得多个投影角度下的2D投影图；将多张2D投影图中与实际图像相似度最大的图像最为原始2D投影图，计算实际图像中目标紧固件相对于原始2D投影图中的目标紧固件的旋转角度，通过旋转角度来判断目标紧固件是否发生了松动。由于检测只需要获取目标紧固件任意角度的实际图像，且同时可检测多个目标紧固件；实现了对紧固件松动情况的低成本、高效率、高精确度地检测，也提高了检测方法的广泛易用性。
请参看图2，图2为本申请实施例提供的确定原始2D投影图的流程图；在本申请实施例的可选实施方式中，将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图，可以通过以下步骤实现：
步骤S200：对实际图像进行紧固件识别，获得至少一个单紧固件图像。
在上述步骤S200中，对实际图像进行紧固件识别，识别出至少一个的单紧固件图像。
当实际图像中包括多个目标紧固件时，通过对实际图像进行紧固件识别，能够识别出实际图像中的所有目标紧固件。
步骤S201：将多个2D投影图和至少一个单紧固件图像输入孪生神经网络，提取多个2D投影图对应的多组原始特征向量和至少一个单紧固件图像对应的实际特征向量，并分别计算每个单紧固件图像对应的实际特征向量与多组原始特征向量之间的相似度。
在上述步骤S201中，将多个2D投影图和至少一个单紧固件图像分别输入孪生神经网络模型，并分别提取2D投影图中对应的原始特征向量和单紧固件图像中的实际特征向量；进一步地，计算每个单紧固件图像对应的实际特征向量和多组原始特征向量之间的相似度。
上述过程中的孪生神经网络模型，有
Figure SMS_10
个输入通道（/>
Figure SMS_11
目标紧固件的2D投影图像总数），一个用于输入实际图像/>
Figure SMS_12
，/>
Figure SMS_13
个分别用于输入2D投影图/>
Figure SMS_14
。
该卷积神经网络包含卷积层、池化层和全连接层等结构，各分支权重共享；其中，在网络的主干部分，可以交替使用卷积层和池化层来提取特征；在提取了卷积和池化层之后，可以添加全连接层来进一步处理提取的特征；全连接层将前一层的输出作为输入，并通过权重矩阵进行线性变换，并可以选择使用非线性激活函数如ReLU来引入非线性性。
这些层可以共享权重以保持参数的共享性，具体的层数和大小可以根据实际情况来设计，以获得适当的特征表示。
步骤S202：针对每个单紧固件图像对应的实际特征向量，将与该实际特征向量相似度最大的原始特征向量对应的2D投影图，作为实际图像中的该单紧固件图像对应的原始2D投影图。
在上述步骤S202中，针对每个单紧固件对应的实际特征向量，将和该实际特征向量相似度最大的原始特征向量对应的2D投影图作为该实际图像中该单紧固件图像对应的原始2D投影图。
示例性地，若实际图像中某单个紧固件图像
Figure SMS_17
的特征向量为/>
Figure SMS_20
、第/>
Figure SMS_23
张2D投影图/>
Figure SMS_18
的特征向量为/>
Figure SMS_21
；则对于第/>
Figure SMS_24
个2D投影图，使用/>
Figure SMS_26
范数计算它与诗实际图像之间的距离相似度；公式为/>
Figure SMS_15
计算最小
Figure SMS_22
，最小/>
Figure SMS_25
所对应的第/>
Figure SMS_27
张2D投影图/>
Figure SMS_16
即为与实际图像/>
Figure SMS_19
最相似的2D投影，将该图像选择为原始2D投影图。
通过图2可知，采用孪生神经网络计算实际图像中的单紧固件图像与多个2D投影图像的距离相似度，可以更加准确地找出最接近当前目标紧固件拍摄视角的2D投影图像；另一方面，孪生神经网络的架构可以扩展到处理更多的2D投影图像，以适应不同的视角和视图数量，增强了本申请实施例提供紧固件松动检测方法的可扩展性。
请参看图3，图3为本申请实施例提供的紧固件识别流程图；在本申请实施例的可选实施方式中，对实际图像进行紧固件识别，获得至少一个单紧固件图像，可以利用区域卷积神经网络执行以下操作：
步骤S300：利用目标搜索算法在实际图像中搜索目标紧固件，得到多个目标建议框。
在上述步骤S300中，将实际图像输入区域卷积神经网络，利用目标搜索算法在实际图像中搜索目标紧固件，在搜索的过程中，会得到大量目标建议框，这些目标建议框表示实际图像中的候选区域。
选择性搜索（Selective Search）算法是一种用于图像分割和目标检测的计算机视觉算法。它通过生成具有高质量区域提议（Region Proposals）来减少需要进行全图像扫描的计算量，从而提高目标检测的效率。将图像分割为多个区域，这些区域可能包含待检测的目标；基于图像的颜色、纹理、边缘等特征，并使用分割合并的策略生成具有潜在目标的候选区域。
步骤S301：提取多个目标建议框的图像特征。
在上述步骤S301中，重新调整识别出的多个目标建议框的大小，再将其输入卷积神经网络模型，提取目标建议框的图像特征。
选择性搜索算法生成的目标建议可能具有不同的大小和宽高比。为了将它们作为CNN的输入，将目标建议的图像进行尺寸调整，例如变形为固定尺寸227x227，并进行均值归一化处理，从而每个建议框都可以作为CNN的标准输入。
步骤S302：根据图像特征，将识别出包含目标紧固件的至少一个目标建议框确定为至少一个单紧固件图像。
在上述步骤S302中，根据图像特征识别出包含目标紧固件的至少一个目标建议框，并将其确定为至少一个单紧固件图像。
请结合参看图4，图4为本申请实施例提供的CNN流程图。
如图4所示，输入层，作为模型的输入，接收重新调整大小的目标建议图像。
Conv层（卷积层），共三个卷积层，每个卷积层应用一组卷积核对输入进行卷积操作。卷积层可以提取图像的局部特征，每个卷积层通常包括卷积操作、偏置项和非线性激活函数（如ReLU）。
MaxPool层（最大池化层），共三个最大池化层，用于减小特征图的空间尺寸。最大池化层将每个特征图的区域划分为不重叠的子区域，并选择每个子区域中的最大值作为输出。从而能够在减少特征图的尺寸，同时保留主要的特征。
ReLU层（整流线性单元层），共四个ReLU层，用于引入非线性激活函数，增加模型的非线性能力。
FC层（全连接层），共两个全连接层，每个全连接层将前一层的特征图展平为向量，并将其与权重矩阵相乘，产生一系列输出。全连接层用于将卷积层提取的特征映射转换为用于分类的特征向量。
Softmax层：将全连接层的输出输入到Softmax函数中，将输出转化为表示不同类别概率的向量。
输出层，根据目标检测的需求，输出层可以是一个分类层，用于判断目标建议框是目标紧固件还是非目标紧固件；或者是一个回归层，用于预测目标建议框的边界框位置。
通过图3和图4可知，本申请实施例提供的紧固件松动检测方法为了获取单紧固件图像，将实际图像输入了区域卷积神经网络模型；首先进行了目标搜索，搜索出了可能的建议框；再根据建议框的图像特征，确定建议框是否可以被认定为一个单紧固件图像。由此可知，本申请实施例提供的紧固件松动检测方法采用Selective Search方法预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上(采用CNN)提取图像特征，判断建议框中是否为目标紧固件。可以更准确、快速地识别螺栓的位置和边界，避免了传统图像处理中常见的误检和漏检问题。
请参看图5，图5为本申请实施例提供的旋转角度计算的第一流程图；在本申请实例的可选实施方式中，计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度，包括以下步骤：
步骤S400：将原始2D投影图输入边缘提取算法，以获得原始边缘图像。
在上述步骤S400中，将原始2D投影图输入边缘提取算法，从而得到原始边缘图像。
步骤S401：将实际图像输入边缘提取算法，以获得实际边缘图像。
在上述步骤S401中，类似地，可以将单紧固件图像输入边缘提取算法，得到单紧固件图像中的实际边缘图像。
步骤S402：根据原始边缘图像和实际边缘图像，计算旋转角度。
通过图5可知，本申请实施例提供的紧固件松动检测方法分别获取原始2D投影图中的边缘和实际图像（实际图像中的单紧固件图像）的边缘；根据体原始边缘图像和实际边缘图像计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度，从而实现了对紧固件松动情况的低成本、高效率、高精确度地检测，也提高了检测方法的广泛易用性。
在一可选地实施方式中，将原始2D投影图输入边缘提取算法，以获得原始边缘图像，包括：
将原始2D投影图输入Canny算法，以获得原始边缘图像。
其中，Canny算法使用的下限阈值阈值下限和上限阈值阈值上限根据原始二值图像的像素均值和像素标准差确定，原始二值图像为根据原始2D投影图进行梯度计算并反向后得到的图像。
需要说明的是，Canny算法是一种经典的边缘检测算法，该算法旨在寻找图像中显著的边缘，并以较高的准确性和低的错误率进行边缘检测。
在使用Canny算法检测原始2D投影图像的原始边缘时，首先，使用高斯滤波器从图像中消除高频噪声，以减少噪声对边缘检测的干扰。
然后，对平滑后的图像应用Sobel算子或其他梯度算子来计算图像中每个像素的梯度幅值和方向；其中，梯度幅值表示像素的变化强度，梯度方向表示变化的方向。
进一步地，利用非极大值抑制，以去除边缘检测带来的错误响应；根据梯度方向，对图像中的每个像素进行检查，并将其与其周围的像素进行比较。只有在沿着梯度方向上具有最大梯度幅值的像素才被保留，其余像素被抑制，以获得细化的边缘。
进一步地，应用双阈值检测来确定真实的和潜在的边缘；将像素分为强边缘、弱边缘和非边缘三类。根据两个阈值，分别为阈值上限和阈值下限，像素的梯度幅值被划分为强边缘（大于阈值上限）、弱边缘（介于阈值上限和阈值下限之间）和非边缘（小于阈值下限）。
最后，通过抑制孤立的弱边缘最终完成边缘检测。
类似地，对于单紧固件中的边缘提取可以利用Canny算法进行提取，获得实际边缘图像。
由此可知，本申请实施例通过Canny算法提取原始2D图像和单紧固件图像中的边缘图像；可以实现边缘检测、目标轮廓提取、去除不相关信息和简化形状分析等；从而能够有效地检测到真实边缘，并且对具有噪声的图像也可实现有效地检测。
在一可选地实施方式中，为了实现紧固件松动检测方法的完全自动化，提供一种确定上述过程中阈值上限和阈值下限的方法；利用公式：
Figure SMS_28
，确定阈值下限；利用公式：/>
Figure SMS_29
，确定阈值上限；其中，/>
Figure SMS_30
为阈值下限，/>
Figure SMS_31
为阈值上限，/>
Figure SMS_32
为像素均值，/>
Figure SMS_33
为像素标准差；c为阈值参数。
也就是说，利用灰度图像像素点的
Figure SMS_34
均值和标准差/>
Figure SMS_35
自适应估计阈值。具体地，计算灰度图像像素点的均值/>
Figure SMS_36
和标准差/>
Figure SMS_37
，以反映了图像灰度分布的中心位置和离散程度。下限阈值阈值下限为用均值减去标准差，并根据参数c进行调整；当灰度值高于该阈值时，被认为是边缘的一部分。阈值上限用均值加上标准差，并根据参数c进行调整；当灰度值低于该阈值时，被认为是边缘的一部分。
由此可知，在本申请实施例中通过自适应地估计阈值，可以根据图像的灰度统计特征来确定合适的Canny边缘检测的阈值范围，参数c的选择可以根据实际应用中的需求来进行调整。阈值会根据图像的灰度分布进行动态调整，适应不同图像的特征；从而提高了算法在各种图像条件下的性能和鲁棒性，实现了紧固件松动检测方法的完全自动化。
请参看图6，图6为本申请实施例提供的旋转角度计算的第二流程图；在本申请实施例的可选实施方式中，根据原始边缘图像和实际边缘图像，计算目标紧固件的旋转角度，可以通过以下步骤实现：
步骤S500：分别对原始边缘图像和实际边缘图像的边缘线进行霍夫变换，以获得霍夫空间中的曲线。
在上述步骤S500中，分别对原始边缘图像和实际边缘图像中的边缘线进行霍夫变换，从而获得霍夫空间中的曲线。
霍夫变换用于检测几何形状（如直线、圆等）在图像中的存在和位置，通过将图像空间中的特定几何形状表示转换到霍夫空间，从而在霍夫空间中检测出这些形状。
步骤S501：将霍夫空间中的曲线的交点确定为紧固件边缘线，以获得原始边缘图像中的原始紧固件边缘线和实际边缘图像中的实际紧固件边缘线。
在上述步骤S501中，转换后的曲线可能在霍夫空间中的某些点相交，而曲线相交最多的点潜在地对应了紧固件的现实边缘。
步骤S502：根据原始紧固件边缘线计算原始紧固件角度。
步骤S503：根据实际紧固件边缘线计算实际紧固件角度。
在上述步骤S502-S503中，分别计算出目标紧固件的边缘和实际紧固件的边缘之后，根据原始紧固件边缘线计算原始紧固件角度，根据实际紧固件边缘线计算实际紧固件角度。
步骤S504：计算原始紧固件角度和实际紧固件角度的差值，并将差值确定为述目标紧固件的旋转角度。
在上述步骤S504中，进一步地，计算原始紧固件角度和实际紧固件角度之间的差值，以确定目标紧固件的旋转角度。
可选地，本申请实施例在计算出旋转角度之后，可以将旋转角度与松动阈值对比，在旋转角度超过松动阈值的情况下，可判定目标紧固件发生了松动。
通过图6可知，本申请实施例为了计算目标紧固件的转旋转角度，分别实际边缘图像和原始边缘图像进行霍夫变换；从而确定实际边缘图像和原始边缘图像中目标紧固件的边缘线，根据边缘线分别计算原始紧固件角度和实际紧固件角度，进而获得目标紧固件的旋转角度。在上述过程中，在旋转角度计算过程中，结合使用了霍夫变换，能够准确地识别出目标紧固件的边缘线，进而精确地计算出旋转角度。
在一可选地实施方式中，根据原始紧固件边缘线计算原始紧固件角度，包括：
分别获取多条原始紧固件边缘线相对于坐标原点的边缘线角度。
根据边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将目标角度的平均值作为原始紧固件角度。
具体地，在霍夫变化的过程中，可以利用式d=xcosθ+ysinθ，将图像空间中的点转换到霍夫空间；其中，θ是直线的角度，d为直线到原点的距离；θ可代表边缘线角度。
由此可知，为了计算原始紧固件角度和实际紧固件角度，可获取多条原始紧固件边缘线相对于坐标原点的边缘线角度；根据边缘线角度计算至少一条原始紧固件边缘线对应的至少一个目标角度，在根据目标角度的平均值作为原始紧固件的角度，从而准确地计算出实际紧固件角度或原始紧固件角度。
在一可选地实施方式中，目标紧固件可以是六边形紧固件；根据边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将目标角度的平均值作为原始紧固件角度，包括：
根据公式
Figure SMS_38
计算原始紧固件角度/>
Figure SMS_39
；其中，j为第j条原始紧固件边缘线，/>
Figure SMS_40
为第j条原始紧固件边缘线对应的边缘线角度；k为参与计算原始紧固件角度的原始紧固件边缘线的数量。
若实际图像中存在多个目标紧固件，那么可以提取出螺栓的
Figure SMS_41
条边(对于六边形紧固件，/>
Figure SMS_45
)。对于第/>
Figure SMS_48
个目标紧固件，第/>
Figure SMS_42
条边的提取线描述为/>
Figure SMS_46
，第j条边对应的紧固件角度定义为/>
Figure SMS_49
。考虑所有/>
Figure SMS_51
条检测边，第/>
Figure SMS_44
个紧固件/>
Figure SMS_47
的最终角度，即旋转角度，可估计为:/>
Figure SMS_50
，其中/>
Figure SMS_52
是求除法后余数的取模运算。需要注意的是，/>
Figure SMS_43
的值是由于六角螺栓的固有形状。
由此可知，本申请实施例通过基于霍夫变换的方法计算紧固件的角度，可以更加准确地检测原始紧固件角度和实际紧固件角度，通过计算原始紧固件角度和实际紧固件角度之差来判断目标紧固件的松动情况，从而提高了紧固件松动检测的准确度。
在一可选地实施方式中，目标紧固件的3D模型通过根据目标紧固件的紧固件参数对目标紧固件进行3D建模获得。
首先，对目标紧固件进行数据采集，对于需要检测的目标紧固件都包括紧固件的原始参数；示例性地，若紧固件为螺栓，那么紧固件的原始参数可以为螺栓的直径、螺距、长度等尺寸参数。
可以使用3D建模软件（如Autodesk 3ds Max）对目标紧固件进行3D模型的建立。例如，通过螺栓的原始参数，在Autodesk 3ds Max中，创建一个圆柱体作为螺栓的主体，并在圆柱体表面绘制螺纹，然后将螺母添加到螺栓的一端。最后将螺栓放置在当前环境中进行渲染，以展示其外观和细节。
由此可知，使用例如Autodesk 3ds Max的软件，并利用紧固件的原始参数构建紧固件的3D模型，使得紧固件的形状、大小等细节能够更加真实地反映出来，提高了紧固件松动检测的准确性和可靠性。
总地来说，本申请采用R-CNN（区域卷积神经网络）和Siamese network（孪生神经网络）挑选出与实际图像最接近的2D投影图像，然后使用霍夫变换分别估计实际图像和2D投影图像的目标紧固件的角度，从二者角度差来判断当前状态下目标紧固件是否发生松动；可以更准确、快速地识别目标紧固件的位置和边界，且可以同时对多个目标紧固件进行监测。通过基于霍夫变换的方法估计目标紧固件的角度，可以更加准确地检测当前状态下目标紧固件的角度和原始状态下的角度，并对角度差进行判断是否超过阈值从而提升目标紧固件松动监测的准确度。
请参看7，图7为本申请实施例提供的紧固件松动检测装置的模块示意图；本申请的第二方面提供一种紧固件松动检测装置100，该紧固件松动检测装置100包括原始图像确定模块110、角度计算模块120和松动判断模块130。
原始图像确定模块110用于将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图；其中，多个2D投影图为目标紧固件的3D模型在多个角度下的投影图像，实际图像为目标紧固件的当前实际状态图像。
角度计算模块120用于计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度。
松动判断模块130用于根据旋转角度，判断目标紧固件是否松动。
在一可选地实施例中，原始图像确定模块110将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图，包括：原始图像确定模块110对实际图像进行紧固件识别，获得至少一个单紧固件图像；将多个2D投影图和至少一个单紧固件图像输入孪生神经网络，提取多个2D投影图对应的多组原始特征向量和至少一个单紧固件图像对应的实际特征向量，并分别计算每个单紧固件图像对应的实际特征向量与多组原始特征向量之间的相似度；原始图像确定模块110针对每个单紧固件图像对应的实际特征向量，将与该实际特征向量相似度最大的原始特征向量对应的2D投影图，作为实际图像中的该单紧固件图像对应的原始2D投影图。
在一可选地实施例中，原始图像确定模块110对实际图像进行紧固件识别，获得至少一个单紧固件图像，包括：利用区域卷积神经网络执行以下操作：利用目标搜索算法在实际图像中搜索目标紧固件，得到多个目标建议框；其中，每个目标建议框代表目标紧固件可能出现的一个位置；提取多个目标建议框的图像特征；根据图像特征，将识别出包含目标紧固件的至少一个目标建议框确定为至少一个单紧固件图像。
在一可选地实施例中，角度计算模块120计算实际图像中的目标紧固件相对于原始2D投影图像中的目标紧固件的旋转角度，包括：将原始2D投影图输入边缘提取算法，以获得原始边缘图像；将实际图像输入边缘提取算法，以获得实际边缘图像；根据原始边缘图像和实际边缘图像，计算旋转角度。
在一可选地实施例中，角度计算模块120将原始2D投影图输入边缘提取算法，以获得原始边缘图像，包括：将原始2D投影图输入Canny算法，以获得原始边缘图像；其中，Canny算法使用的下限阈值阈值下限和上限阈值阈值上限根据原始二值图像的像素均值和像素标准差确定，原始二值图像为根据原始2D投影图进行梯度计算并反向后得到的图像。
在一可选地实施例中，角度计算模块120用于根据以下方式确定阈值下限和阈值上限：以
Figure SMS_53
，确定阈值下限；以/>
Figure SMS_54
，确定阈值上限；其中，/>
Figure SMS_55
为阈值下限，/>
Figure SMS_56
为阈值上限，/>
Figure SMS_57
为像素均值，/>
Figure SMS_58
为像素标准差；c为阈值参数。
在一可选地实施例中，角度计算模块120根据原始边缘图像和实际边缘图像，计算旋转角度，包括：分别对原始边缘图像和实际边缘图像的边缘线进行霍夫变换，以获得霍夫空间中的曲线；将霍夫空间中的曲线的交点确定为紧固件边缘线，以获得原始边缘图像中的原始紧固件边缘线和实际边缘图像中的实际紧固件边缘线；根据原始紧固件边缘线计算原始紧固件角度；根据实际紧固件边缘线计算实际紧固件角度；计算原始紧固件角度和实际紧固件角度的差值，并将差值确定为述目标紧固件的旋转角度。
在一可选地实施例中，角度计算模块120根据原始紧固件边缘线计算原始紧固件角度，包括：分别获取多条原始紧固件边缘线相对于坐标原点的边缘线角度；根据边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将目标角度的平均值作为原始紧固件角度。
在一可选地实施例中，目标紧固件为正六边形紧固件；角度计算模块120根据边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将目标角度的平均值作为原始紧固件角度，包括：根据公式
Figure SMS_59
计算原始紧固件角度
Figure SMS_60
；其中，j为第j条原始紧固件边缘线，/>
Figure SMS_61
为第j条原始紧固件边缘线对应的边缘线角度；k为参与计算原始紧固件角度的原始紧固件边缘线的数量。
在一可选地实施例中，该紧固件松动检测装置还包括3D建模模块；该3D建模模块用于根据目标紧固件的紧固件参数对目标紧固件进行3D建模。
请参见图8，图8为本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器301和存储器302，存储器302存储有处理器301可执行的机器可读指令，机器可读指令被处理器301执行时执行如上的方法。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
所述计算机可读存储介质可以是随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等各种可以存储程序代码的介质。其中，存储介质用于存储程序，所述处理器在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端所执行的方法可以应用于处理器中，或者由处理器实现。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种紧固件松动检测方法，其特征在于，所述方法包括：
将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图；其中，所述多个2D投影图为目标紧固件的3D模型在多个角度下的投影图像，所述实际图像为所述目标紧固件的当前实际状态图像；
计算所述实际图像中的目标紧固件相对于所述原始2D投影图像中的目标紧固件的旋转角度；
根据所述旋转角度，判断目标紧固件是否松动。
2.根据权利要求1所述的方法，其特征在于，所述将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图，包括：
对所述实际图像进行紧固件识别，获得至少一个单紧固件图像；
将多个所述2D投影图和至少一个所述单紧固件图像输入孪生神经网络，提取多个所述2D投影图对应的多组原始特征向量和至少一个所述单紧固件图像对应的实际特征向量，并分别计算每个所述单紧固件图像对应的所述实际特征向量与多组所述原始特征向量之间的相似度；
针对每个单紧固件图像对应的所述实际特征向量，将与该实际特征向量相似度最大的所述原始特征向量对应的2D投影图，作为所述实际图像中的该单紧固件图像对应的所述原始2D投影图。
3.根据权利要求2所述的方法，其特征在于，所述对所述实际图像进行紧固件识别，获得至少一个单紧固件图像，包括：
利用区域卷积神经网络执行以下操作：
利用目标搜索算法在所述实际图像中搜索所述目标紧固件，得到多个目标建议框；其中，每个目标建议框代表目标紧固件可能出现的一个位置；
提取多个所述目标建议框的图像特征；
根据所述图像特征，将识别出包含所述目标紧固件的至少一个所述目标建议框确定为至少一个所述单紧固件图像。
4.根据权利要求1所述的方法，其特征在于，所述计算所述实际图像中的目标紧固件相对于所述原始2D投影图像中的目标紧固件的旋转角度，包括：
将所述原始2D投影图输入边缘提取算法，以获得原始边缘图像；
将所述实际图像输入边缘提取算法，以获得实际边缘图像；
根据所述原始边缘图像和所述实际边缘图像，计算所述旋转角度。
5.根据权利要求4所述的方法，其特征在于，所述将所述原始2D投影图输入边缘提取算法，以获得原始边缘图像，包括：
将所述原始2D投影图输入Canny算法，以获得原始边缘图像；其中，Canny算法使用的下限阈值阈值下限和上限阈值阈值上限根据原始二值图像的像素均值和像素标准差确定，所述原始二值图像为根据所述原始2D投影图进行梯度计算并反向后得到的图像。
6.根据权利要求5所述的方法，其特征在于，所述阈值下限和阈值上限的确定包括：
以
Figure QLYQS_1
，确定所述阈值下限；
以
Figure QLYQS_2
，确定所述阈值上限；
其中，
Figure QLYQS_3
为所述阈值下限，/>
Figure QLYQS_4
为阈值上限，/>
Figure QLYQS_5
为所述像素均值，/>
Figure QLYQS_6
为所述像素标准差；c为阈值参数。
7.根据权利要求4所述的方法，其特征在于，所述根据所述原始边缘图像和所述实际边缘图像，计算所述旋转角度，包括：
分别对所述原始边缘图像和所述实际边缘图像的边缘线进行霍夫变换，以获得霍夫空间中的曲线；
将霍夫空间中的所述曲线的交点确定为紧固件边缘线，以获得所述原始边缘图像中的原始紧固件边缘线和所述实际边缘图像中的实际紧固件边缘线；
根据所述原始紧固件边缘线计算原始紧固件角度；
根据所述实际紧固件边缘线计算实际紧固件角度；
计算所述原始紧固件角度和所述实际紧固件角度的差值，并将所述差值确定为所述目标紧固件的旋转角度。
8.根据权利要求7所述的方法，其特征在于，所述根据所述原始紧固件边缘线计算原始紧固件角度，包括：
分别获取多条所述原始紧固件边缘线相对于坐标原点的边缘线角度；
根据所述边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将所述目标角度的平均值作为所述原始紧固件角度。
9.根据权利要求8所述的方法，其特征在于，所述目标紧固件为正六边形紧固件；所述根据所述边缘线角度，计算至少一条原始紧固件边缘线对应的至少一个目标角度，并将所述目标角度的平均值作为所述原始紧固件角度，包括：
根据公式
Figure QLYQS_7
计算所述原始紧固件角度/>；其中，j为第j条原始紧固件边缘线，/>
Figure QLYQS_9
为所述第j条原始紧固件边缘线对应的所述边缘线角度；k为参与计算所述原始紧固件角度的所述原始紧固件边缘线的数量。
10.根据权利要求1所述的方法，其特征在于，其中，所述目标紧固件的3D模型通过根据目标紧固件的紧固件参数对所述目标紧固件进行3D建模获得。
11.一种紧固件松动检测装置，其特征在于，所述装置包括原始图像确定模块、角度计算模块和松动判断模块；
所述原始图像确定模块用于将多个2D投影图中与实际图像的相似度最大的图像确定为原始2D投影图；其中，所述多个2D投影图为目标紧固件的3D模型在多个角度下的投影图像，所述实际图像为所述目标紧固件的当前实际状态图像；
所述角度计算模块用于计算所述实际图像中的目标紧固件相对于所述原始2D投影图像中的目标紧固件的旋转角度；
所述松动判断模块用于根据所述旋转角度，判断目标紧固件是否松动。
12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-10中任一项所述方法中的步骤。
13.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-10任一项所述方法中的步骤。
CN202310707337.5A 2023-06-15 2023-06-15 紧固件松动检测方法、装置、电子设备和可读存储介质 Pending CN116433673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310707337.5A CN116433673A (zh) 2023-06-15 2023-06-15 紧固件松动检测方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310707337.5A CN116433673A (zh) 2023-06-15 2023-06-15 紧固件松动检测方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN116433673A true CN116433673A (zh) 2023-07-14

Family

ID=87092970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310707337.5A Pending CN116433673A (zh) 2023-06-15 2023-06-15 紧固件松动检测方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN116433673A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271469A (zh) * 2008-05-10 2008-09-24 深圳先进技术研究院 一种基于三维模型库下二维图像的识别和物体的重建方法
CN102411779A (zh) * 2011-08-19 2012-04-11 中国科学院西安光学精密机械研究所 基于图像的物体模型匹配姿态测量方法
CN102568038A (zh) * 2011-12-28 2012-07-11 西北工业大学 将二维工程图上的尺寸转移到三维cad模型上的方法
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术（北京）有限公司 三维模型的视角调整方法和装置
CN111079565A (zh) * 2019-11-27 2020-04-28 深圳市华汉伟业科技有限公司 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN114387268A (zh) * 2022-03-22 2022-04-22 中国长江三峡集团有限公司 一种螺栓松动检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271469A (zh) * 2008-05-10 2008-09-24 深圳先进技术研究院 一种基于三维模型库下二维图像的识别和物体的重建方法
CN102411779A (zh) * 2011-08-19 2012-04-11 中国科学院西安光学精密机械研究所 基于图像的物体模型匹配姿态测量方法
CN102568038A (zh) * 2011-12-28 2012-07-11 西北工业大学 将二维工程图上的尺寸转移到三维cad模型上的方法
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术（北京）有限公司 三维模型的视角调整方法和装置
CN111079565A (zh) * 2019-11-27 2020-04-28 深圳市华汉伟业科技有限公司 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN114387268A (zh) * 2022-03-22 2022-04-22 中国长江三峡集团有限公司 一种螺栓松动检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
THANH-CANH HUYNH: ""Quasi-autonomous bolt-loosening detection method using vision-based deep learning and image processing"", 《AUTOMATION IN CONSTRUCTION》, pages 1 - 18 *
做大饼馅儿的韭菜: ""One Shot Learning and Siamese Networks(孪生网络)"", pages 1 - 5, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/66648325> *
电脑杂谈: ""Java – Android中Canny边缘检测器的快速自适应阈值"", pages 1, Retrieved from the Internet <URL:http://www.pc-fly.com/a/jisuanjixue/article-174874-1.html> *
赵刚: ""随机工件的点云场景CAD模型的快速识别与定位"", 《激光与红外》, pages 1 - 7 *

Similar Documents

Publication Publication Date Title
US10931871B2 (en) Pipeline detection method and apparatus, and storage medium
CN113284109B (zh) 管道缺陷识别方法、装置、终端设备及存储介质
Li et al. Automatic segmentation and enhancement of pavement cracks based on 3D pavement images
EP1913874A1 (en) Ultrasound diagnostic apparatus and method for measuring a size of a target object
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
WO2017193414A1 (zh) 一种基于转弯半径的图像角点检测方法
Ecins et al. Detecting reflectional symmetries in 3d data through symmetrical fitting
CN110619328A (zh) 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN115147723A (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
Huyan et al. Three-dimensional pavement crack detection based on primary surface profile innovation optimized dual-phase computing
CN114782451A (zh) 工件缺陷检测方法、装置、电子设备及可读存储介质
CN109993744B (zh) 一种海上逆光环境下的红外目标检测方法
CN114445404A (zh) 基于亚像素边缘检测的结构振动响应自动识别方法及系统
Asif et al. An active contour and kalman filter for underwater target tracking and navigation
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
CN113971669A (zh) 应用于管道损伤识别的三维检测系统
CN116433673A (zh) 紧固件松动检测方法、装置、电子设备和可读存储介质
CN112950594A (zh) 产品表面缺陷的检测方法、设备及存储介质
CN112198170A (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN116703895A (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN113642529B (zh) 基于ga-bp神经网络的障碍物尺寸预测系统及方法
CN112906095B (zh) 基于激光条纹中心追踪的桥梁模态识别方法及其系统
CN112785594B (zh) 基于图像二维幅值估计的桥梁自动结构裂缝识别方法
CN114677331A (zh) 基于灰度图像和深度数据融合的管材缺陷检测方法及装置
Ullah et al. Experimental and numerical research of paved microcrack using histogram equalization for detection and segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination