CN117036360B - 基于图像分析的螺丝视觉定位方法及系统 - Google Patents
基于图像分析的螺丝视觉定位方法及系统 Download PDFInfo
- Publication number
- CN117036360B CN117036360B CN202311301694.8A CN202311301694A CN117036360B CN 117036360 B CN117036360 B CN 117036360B CN 202311301694 A CN202311301694 A CN 202311301694A CN 117036360 B CN117036360 B CN 117036360B
- Authority
- CN
- China
- Prior art keywords
- screw
- arc
- image
- line
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 title claims abstract description 28
- 238000010191 image analysis Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 238000009434 installation Methods 0.000 claims abstract description 71
- 230000003068 static effect Effects 0.000 claims abstract description 32
- 238000004519 manufacturing process Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Geometry (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了基于图像分析的螺丝视觉定位方法及系统，属于视觉定位技术领域，包括图像获取模块、偏斜定位检测模块、扭矩定位检测模块、安装质量评分模块。本发明通过对经过安装拧紧后螺丝头部俯拍图像进行处理，结合视觉定位技术，获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，然后根据获取的位置信息获取准确的当前螺丝的偏斜程度评分、扭矩准确度评分，最后根据偏斜程度评分、扭矩准确度评分实现对当前螺丝安装质量的准确评分，能够大大地提高检测效率和准确性，并能够及时的将静态扭矩不符合生产要求的产品筛选出来，解决了人工检测评估方式存在的效率低、准确度低、人工成本高的问题。
Description
技术领域
本发明涉及视觉定位技术领域，具体涉及基于图像分析的螺丝视觉定位方法及系统。
背景技术
螺丝是利用物体的斜面圆形旋转和摩擦力的物理学和数学原理，循序渐进地紧固器物机件的工具。螺丝为日常生活中不可或缺的工业必需品：如照相机、眼镜、钟表、电子等使用的极小的螺丝；电视、电气制品、乐器、家具等使用一般螺丝；至于工程、建筑、桥梁则使用大型螺丝、螺母；交通器具、飞机、电车、汽车等则为大小螺丝并用。
在工业生产中，常需要使用螺丝对产品零件之间进行紧固连接。在通过螺丝将一个产品零件组装到另一个产品零件上后，需要螺丝的安装质量进行评估，比如对安装后的螺丝是否存在偏斜情况进行检测，以及对安装后的螺丝的静态扭矩进行检测；现有技术中对安装后的螺丝进行安装质量检测评估时，主要通过人工检测评估的方式，人工检测评估方式存在效率低、准确度低、人工成本高的问题。
上述问题亟待解决。为此，提出基于图像分析的螺丝视觉定位方法及系统。
发明内容
本发明所要解决的技术问题在于：如何解决现有技术中对安装后的螺丝进行安装质量检测时，通过人工检测评估的方式存在的效率低、准确度低、人工成本高的问题，提供了基于图像分析的螺丝视觉定位方法，通过视觉定位的方式，进而能够方便地完成螺丝的安装质量评估工作。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
步骤S1：通过工业相机获取经过安装拧紧后的螺丝头部俯拍图像并对其进行预处理；
步骤S2：获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分；
步骤S3：根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，判断当前螺丝的静态扭矩是否符合生产要求，然后分析获取当前螺丝的扭矩准确度评分；
步骤S4：根据当前螺丝的偏斜程度评分、扭矩准确度评分对静态扭矩符合生产要求的螺丝进行安装质量评分。
更进一步地，在所述步骤S1中，工业相机安装在螺丝的正上方，其光轴垂直于当前螺丝的安装平面，且光轴在安装平面上的投影点位于安装平面上螺孔的中心线上，安装平面上螺孔的中心线为竖直线，与安装平面垂直。
更进一步地，在所述步骤S2中，具体处理过程如下：
步骤S21：利用第一目标检测模型对螺丝头部俯拍图像中的头部特征标识进行检测，获取头部特征标识检测框在图像中的位置信息，即头部特征标识的位置信息；
步骤S22：利用第二目标检测模型对螺丝头部俯拍图像中安装平面上的弧形标识线进行检测，获取弧形标识线检测框，并对弧形标识线检测框进行轮廓检测获取弧形标识线在图像中的位置信息，即弧形标识线的位置信息；
步骤S23：根据头部特征标识的位置信息、弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分。
更进一步地，在所述步骤S21中，具体处理过程如下：
步骤S211：利用第一目标检测模型对螺丝头部俯拍图像中的头部特征标识进行检测，获取头部特征标识检测框的四个角点坐标；
步骤S212：根据头部特征标识检测框的四个角点坐标计算得到头部特征标识检测框的中心点坐标，该中心点坐标即为头部特征标识的位置信息，其中，该中心点记为T。
更进一步地，在所述步骤S22中，具体处理过程如下：
步骤S221：利用第二目标检测模型对螺丝头部俯拍图像中安装平面上的弧形标识线进行检测，获取弧形标识线检测框，其中，弧形标识线为一段弧形线，弧形线的圆心位于安装平面上螺孔的中心线上；
步骤S222：利用OpenCv中的轮廓检测函数对弧形标识线检测框中的弧形标识线进行轮廓检测，获取弧形标识线上各点在图像中的坐标信息；
步骤S223：根据弧形标识线上各点在图像中的坐标信息获取弧形标识线两端点、中点以及圆心的坐标，即弧形标识线的位置信息，其中，弧形标识线的两端点分别记为H1、H3，中点记为H2、圆心记为C。
更进一步地，在所述步骤S23中，具体处理过程如下：
步骤S231：过弧形线的圆心C、头部特征标识检测框的中心点T做一条直线，该直线与弧形线或弧形线所在圆的交点记为H4；
步骤S232：计算线段TH4的长度，记为L1，根据L1在预设的长度范围-偏斜程度评分数据库中进行查找比对，获取偏斜程度评分P1，其中，长度范围-偏斜程度评分数据库中预设有L1的长度值范围与偏斜程度评分之间的对应关系。
更进一步地，在所述步骤S3中，具体处理过程如下：
步骤S31：根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息判断当前螺丝的静态扭矩是否符合生产要求，若判断符合生产要求则进行扭矩准确度分析工作，否则表示该螺丝的静态扭矩不在设定范围内，不符合生产要求；
步骤S32：在判断当前螺丝的静态扭矩符合生产要求后，根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的扭矩准确度评分。
更进一步地，在所述步骤S31中，具体处理过程如下：
步骤S311：获取头部特征标识检测框的中心点T的坐标，并获取弧形标识线的两端点H1、H3以及圆心C的坐标；
步骤S312：将点H1、H3与点C连接，形成一个三角形，获取三角形三边上各点在图像中的坐标；
步骤S313：判断中心点T的坐标是否落入步骤S42中的三角形内，若落入则表示当前螺丝的静态扭矩符合生产要求，否则表示当前螺丝的静态扭矩不符合生产要求。
更进一步地，在所述步骤S32中，具体处理过程如下：
步骤S321：获取弧形标识线中点H2以及圆心C的坐标，并获取头部特征标识检测框的中心点T的坐标；
步骤S322：将点H2与圆心C连线，得到线段H2C，并将中心点T与圆心C连线，得到线段TC；
S323：计算线段H2C与TC之间的夹角，记为Z1；
S324：根据Z1在预设的夹角范围-扭矩准确度评分数据库中进行查找比对，获取扭矩准确度评分P2；其中，夹角范围-扭矩准确度评分数据库中预设有的Z1的夹角值范围与扭矩准确度评分之间的对应关系。
更进一步地，在所述步骤S4中，安装质量评分公式如下：
Pt=w1*P1+w2*P2，
其中，Pt表示安装质量评分，w1表示偏斜程度评分P1在安装质量评分Pt中所占的权重，w2表示扭矩准确度评分P2在安装质量评分Pt中所占的权重，w1、w2的和等于1。
本发明还提供了基于图像分析的螺丝视觉定位系统，用于利用上述的方法结合视觉定位技术对螺丝的安装质量进行评分，包括：
图像获取模块，用于获取经过安装拧紧后的螺丝头部俯拍图像并对其进行预处理；
偏斜定位检测模块，用于获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，并根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分；
扭矩定位检测模块，用于根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的扭矩准确度评分；
安装质量评分模块，用于对静态扭矩符合生产要求的螺丝进行安装质量评分。
本发明相比现有技术具有以下优点：该基于图像分析的螺丝视觉定位方法及系统，通过对经过安装拧紧后螺丝头部俯拍图像进行处理，结合视觉定位技术，获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，然后根据获取的位置信息获取准确的当前螺丝的偏斜程度评分、扭矩准确度评分，最后根据偏斜程度评分、扭矩准确度评分实现对当前螺丝安装质量的准确评分，能够大大地提高检测效率和准确性，并能够及时的将静态扭矩不符合生产要求的产品筛选出来，解决了人工检测评估方式存在的效率低、准确度低、人工成本高的问题。
附图说明
图1是本发明实施例中基于图像分析的螺丝视觉定位系统的结构示意图；
图2是本发明实施例中产品在底部平台的位置示意图（俯视）；
图3是本发明实施例中螺丝头部俯拍图像的示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种技术方案：基于图像分析的螺丝视觉定位系统，主要用于本实施例中产品的螺丝安装质量的评估工作中，包括图像获取模块、偏斜定位检测模块、扭矩定位检测模块、安装质量评分模块；
所述图像获取模块，用于获取经过安装拧紧后（在上一生产节点进行安装拧紧处理）的螺丝头部俯拍图像并对其进行预处理；通过预处理后的螺丝头部俯拍图像，能够方便后续进行视觉定位工作，进而获取准确的位置信息。
作为更具体的，所述图像获取模块包括图像获取单元、图像预处理单元；所述图像获取单元用于在当前螺丝上方通过工业相机对螺丝头部进行拍摄，得到螺丝头部俯拍图像，并将螺丝头部俯拍图像发送至所述图像预处理单元中；所述图像预处理单元用于对螺丝头部俯拍图像进行预处理，得到预处理后的螺丝头部俯拍图像。
作为更具体的，在所述图像获取单元中，工业相机安装在当前螺丝的正上方，其光轴垂直于当前螺丝的安装平面，且光轴在安装平面（即连接块的上端面，其两端开设竖直螺孔）上的投影点位于安装平面上螺孔的中心线上。需要说明的是，安装平面上螺孔的中心线为竖直线，与安装平面（安装平面为水平面）垂直。
作为更具体的，在所述图像预处理单元中，预处理包括图像降噪、图像增强处理，其中，所述图像降噪方式包括但不限于高斯滤波、均值滤波，所述图像增强处理方式包括但不限直方图均衡化方法，通过图像降噪、图像增强处后，能够大大降低图像的噪声，提高图像的质量，使后续的识别更加准确。
所述偏斜定位检测模块，用于获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，并根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分。
作为更具体的，所述偏斜定位检测模块包括第一检测单元、第二检测单元、偏斜程度分析单元；所述第一检测单元用于利用第一目标检测模型对螺丝头部俯拍图像中的头部特征标识进行检测，获取头部特征标识检测框在图像中的位置信息，即头部特征标识的位置信息，并将该位置信息发送至所述偏斜程度分析单元、扭矩定位检测模块中；所述第二检测单元用于利用第二目标检测模型对螺丝头部俯拍图像中安装平面上的弧形标识线进行检测，获取弧形标识线检测框，并对弧形标识线检测框进行轮廓检测获取弧形标识线在图像中的位置信息，即弧形标识线的位置信息，并将该位置信息发送所述偏斜程度分析单元、扭矩定位检测模块中；所述偏斜程度分析单元用于根据头部特征标识的位置信息、弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分。
作为更具体的，在本实施例中，所述第一目标检测模型基于Faster-RCNN网络训练得到，通过大量含有头部特征标识的螺丝头部俯拍图像形成数据集，将数据集分为训练集和验证集，对训练集和验证集图片中的头部特征标识进行人工标注，将训练集中的图片输入到Faster-RCNN网络中进行训练，得到训练后的模型，并通过验证集对训练后的模型进行性能验证，当通过验证后，保存模型参数，即得到第一目标识别模型。第二目标检测模型基于SSD网络训练得到，具体可训练过程参考上述第一目标检测模型的训练过程，此处不再赘述。
作为更具体的，所述第一检测单元的具体处理过程如下：
S11：利用第一目标检测模型对螺丝头部俯拍图像中的头部特征标识进行检测，获取头部特征标识检测框的四个角点坐标；
S12：根据头部特征标识检测框的四个角点坐标计算得到头部特征标识检测框的中心点坐标，该中心点坐标即为头部特征标识的位置信息，其中，该中心点记为T（见图3）。
需要说明的是，所述头部特征标识为螺丝头部边缘处预设的方形色块，位于螺丝头部上端面边缘处，见图3；本实施例中所指的“偏斜”，是由于装配问题出现螺丝轻微歪斜的情况，不会对产品的功能造成影响，但是会影响螺丝的使用寿命。
作为更具体的，所述第二检测单元的具体处理过程如下：
S21：利用第二目标检测模型对螺丝头部俯拍图像中安装平面上的弧形标识线进行检测，获取弧形标识线检测框；
S22：利用OpenCv中的轮廓检测函数对弧形标识线检测框中的弧形标识线进行轮廓检测，获取弧形标识线上各点在图像中的坐标信息；
S23：根据弧形标识线上各点在图像中的坐标信息获取弧形标识线两端点、中点以及圆心的坐标，即弧形标识线的位置信息，其中，弧形标识线的两端点分别记为H1、H3，中点记为H2、圆心记为C（见图3）。
需要说明的是，所述弧形标识线为一段弧形线（预先喷涂），弧形线的圆心位于安装平面上螺孔的中心线上。
在本实施例中，所述偏斜程度分析单元的具体分析过程如下：
S31：过弧形线的圆心C、头部特征标识检测框的中心点T做一条直线，该直线与弧形线或弧形线所在圆的交点记为H4；
S32：计算线段TH4的长度，记为L1，根据L1在预设的长度范围-偏斜程度评分数据库中进行查找比对，获取偏斜程度评分P1。
在本实施例中，在步骤S32中，长度范围-偏斜程度评分数据库中预设有L1的长度值范围与偏斜程度评分之间的对应关系，该对应关系可根据不同实际情况进行设定。
所述扭矩定位检测模块，用于根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的扭矩准确度评分。
作为更具体的，所述扭矩定位检测模块包括位置判断单元、扭矩准确度分析单元；所述位置判断单元用于根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息判断当前螺丝的静态扭矩是否符合生产要求，若判断符合生产要求则进行扭矩准确度分析工作，否则表示该螺丝的静态扭矩不在设定范围内，不符合生产要求，通知生产人员进行相应的处理；所述扭矩准确度分析单元用于在判断当前螺丝的静态扭矩符合生产要求后，根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的扭矩准确度评分。
需要说明的是，在本实施例中，由于螺丝的静态扭矩对产品的功能会产生直接影响，因此需要判断静态扭矩是否符合生产要求，即是否在设定范围内，若不在则将产品归为不合格产品，需要生产人员进行相应的处理。
作为更进一步的，所述位置判断单元的具体判断过程如下：
S41：获取头部特征标识检测框的中心点T的坐标，并获取弧形标识线的两端点H1、H3以及圆心C的坐标；
S42：将点H1、H3与点C连接，形成一个三角形，获取三角形三边上各点在图像中的坐标；
S43：判断中心点T的坐标是否落入步骤S42中的三角形内，若落入则表示当前螺丝的静态扭矩符合生产要求，否则表示当前螺丝的静态扭矩不符合生产要求。
作为更进一步的，所述扭矩准确度分析单元的具体分析过程如下：
S51：获取弧形标识线中点H2以及圆心C的坐标，并获取头部特征标识检测框的中心点T的坐标；
S52：将点H2与圆心C连线，得到线段H2C，并将中心点T与圆心C连线，得到线段TC；
S53：计算线段H2C与TC之间的夹角，记为Z1；线段H2C与TC夹角越小，扭矩准确度越高，对应扭矩准确度评分越大；
S54：根据Z1在预设的夹角范围-扭矩准确度评分数据库中进行查找比对，获取扭矩准确度评分P2。
在本实施例中，在步骤S54中，夹角范围-扭矩准确度评分数据库中预设有的Z1的夹角值范围与扭矩准确度评分之间的对应关系，该对应关系可根据不同实际情况进行设定。
如图2所示，在本实施例中的产品包括基座1、连接块2、两个（内六角）螺丝3，其中基座1与连接块2的两端分别通过两个螺丝3进行连接，该产品主要用于作为震动筛等装置的底座。在进入本质检节点后，产品通过夹具4夹持在底部平台5上。工业相机有两个，分别在两个螺丝3上方对应拍摄，同时对两个螺丝进行相同的视觉定位处理以及后续的检测工作。
所述安装质量评分模块，用于对静态扭矩符合生产要求的螺丝进行安装质量评分。
作为更具体的，在所述安装质量评分模块中，安装质量评分公式如下：
Pt=w1*P1+w2*P2，
其中，Pt表示安装质量评分，w1表示偏斜程度评分P1在安装质量评分Pt中所占的权重，w2表示扭矩准确度评分P2在安装质量评分Pt中所占的权重，w1、w2的和等于1，在本实施例中，w1取值为0.35，w2的取值为0.65。
本实施例中还提供了基于图像分析的螺丝视觉定位方法，用于利用上述的系统对螺丝安装质量进行评分，包括以下步骤：
S1：通过工业相机获取经过安装拧紧后的螺丝头部俯拍图像并对其进行预处理；
S2：获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分；
S3：根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，判断当前螺丝的静态扭矩是否符合生产要求，然后分析获取当前螺丝的扭矩准确度评分；
S4：根据当前螺丝的偏斜程度评分、扭矩准确度评分对静态扭矩符合生产要求的螺丝进行安装质量评分。
综上所述，上述实施例的基于图像分析的螺丝视觉定位方法及系统，通过对经过安装拧紧后螺丝头部俯拍图像进行处理，结合视觉定位技术，获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，然后根据获取的位置信息获取准确的当前螺丝的偏斜程度评分、扭矩准确度评分，最后根据偏斜程度评分、扭矩准确度评分实现对当前螺丝安装质量的准确评分，能够大大地提高检测效率和准确性，并能够及时的将静态扭矩不符合生产要求的产品筛选出来，解决了人工检测评估方式存在的效率低、准确度低、人工成本高的问题。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.基于图像分析的螺丝视觉定位方法，其特征在于，包括以下步骤：
步骤S1：通过工业相机获取经过安装拧紧后的螺丝头部俯拍图像并对其进行预处理；
在所述步骤S1中，工业相机安装在螺丝的正上方，其光轴垂直于当前螺丝的安装平面，且光轴在安装平面上的投影点位于安装平面上螺孔的中心线上，安装平面上螺孔的中心线为竖直线，与安装平面垂直；
步骤S2：获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分；
在所述步骤S2中，具体处理过程如下：
步骤S21：利用第一目标检测模型对螺丝头部俯拍图像中的头部特征标识进行检测，获取头部特征标识检测框在图像中的位置信息，即头部特征标识的位置信息；
步骤S22：利用第二目标检测模型对螺丝头部俯拍图像中安装平面上的弧形标识线进行检测，获取弧形标识线检测框，并对弧形标识线检测框进行轮廓检测获取弧形标识线在图像中的位置信息，即弧形标识线的位置信息；
步骤S23：根据头部特征标识的位置信息、弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分；
在所述步骤S21中，具体处理过程如下：
步骤S211：利用第一目标检测模型对螺丝头部俯拍图像中的头部特征标识进行检测，获取头部特征标识检测框的四个角点坐标；
步骤S212：根据头部特征标识检测框的四个角点坐标计算得到头部特征标识检测框的中心点坐标，该中心点坐标即为头部特征标识的位置信息，其中，该中心点记为T；
在所述步骤S22中，具体处理过程如下：
步骤S221：利用第二目标检测模型对螺丝头部俯拍图像中安装平面上的弧形标识线进行检测，获取弧形标识线检测框，其中，弧形标识线为一段弧形线，弧形线的圆心位于安装平面上螺孔的中心线上；
步骤S222：利用OpenCv中的轮廓检测函数对弧形标识线检测框中的弧形标识线进行轮廓检测，获取弧形标识线上各点在图像中的坐标信息；
步骤S223：根据弧形标识线上各点在图像中的坐标信息获取弧形标识线两端点、中点以及圆心的坐标，即弧形标识线的位置信息，其中，弧形标识线的两端点分别记为H1、H3，中点记为H2、圆心记为C；
在所述步骤S23中，具体处理过程如下：
步骤S231：过弧形线的圆心C、头部特征标识检测框的中心点T做一条直线，该直线与弧形线或弧形线所在圆的交点记为H4；
步骤S232：计算线段TH4的长度，记为L1，根据L1在预设的长度范围-偏斜程度评分数据库中进行查找比对，获取偏斜程度评分P1，其中，长度范围-偏斜程度评分数据库中预设有L1的长度值范围与偏斜程度评分之间的对应关系；
步骤S3：根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，判断当前螺丝的静态扭矩是否符合生产要求，然后分析获取当前螺丝的扭矩准确度评分；
步骤S4：根据当前螺丝的偏斜程度评分、扭矩准确度评分对静态扭矩符合生产要求的螺丝进行安装质量评分。
2.根据权利要求1所述的基于图像分析的螺丝视觉定位方法，其特征在于：在所述步骤S3中，具体处理过程如下：
步骤S31：根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息判断当前螺丝的静态扭矩是否符合生产要求，若判断符合生产要求则进行扭矩准确度分析工作，否则表示该螺丝的静态扭矩不在设定范围内，不符合生产要求；
步骤S32：在判断当前螺丝的静态扭矩符合生产要求后，根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的扭矩准确度评分。
3.根据权利要求2所述的基于图像分析的螺丝视觉定位方法，其特征在于：在所述步骤S31中，具体处理过程如下：
步骤S311：获取头部特征标识检测框的中心点T的坐标，并获取弧形标识线的两端点H1、H3以及圆心C的坐标；
步骤S312：将点H1、H3与点C连接，形成一个三角形，获取三角形三边上各点在图像中的坐标；
步骤S313：判断中心点T的坐标是否落入步骤S312中的三角形内，若落入则表示当前螺丝的静态扭矩符合生产要求，否则表示当前螺丝的静态扭矩不符合生产要求；
在所述步骤S32中，具体处理过程如下：
步骤S321：获取弧形标识线中点H2以及圆心C的坐标，并获取头部特征标识检测框的中心点T的坐标；
步骤S322：将点H2与圆心C连线，得到线段H2C，并将中心点T与圆心C连线，得到线段TC；
步骤S323：计算线段H2C与TC之间的夹角，记为Z1；
步骤S324：根据Z1在预设的夹角范围-扭矩准确度评分数据库中进行查找比对，获取扭矩准确度评分P2；其中，夹角范围-扭矩准确度评分数据库中预设有的Z1的夹角值范围与扭矩准确度评分之间的对应关系。
4.根据权利要求3所述的基于图像分析的螺丝视觉定位方法，其特征在于：在所述步骤S4中，安装质量评分公式如下：
Pt=w1*P1+w2*P2
其中，Pt表示安装质量评分，w1表示偏斜程度评分P1在安装质量评分Pt中所占的权重，w2表示扭矩准确度评分P2在安装质量评分Pt中所占的权重，w1、w2的和等于1。
5.基于图像分析的螺丝视觉定位系统，其特征在于，用于利用如权利要求1～4任一项所述的方法结合视觉定位技术对螺丝的安装质量进行评分，包括：
图像获取模块，用于获取经过安装拧紧后的螺丝头部俯拍图像并对其进行预处理；
偏斜定位检测模块，用于获取螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，并根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的偏斜程度评分；
扭矩定位检测模块，用于根据螺丝头部俯拍图像中头部特征标识、安装平面上的弧形标识线的位置信息，分析获取当前螺丝的扭矩准确度评分；
安装质量评分模块，用于对静态扭矩符合生产要求的螺丝进行安装质量评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311301694.8A CN117036360B (zh) | 2023-10-10 | 2023-10-10 | 基于图像分析的螺丝视觉定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311301694.8A CN117036360B (zh) | 2023-10-10 | 2023-10-10 | 基于图像分析的螺丝视觉定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036360A CN117036360A (zh) | 2023-11-10 |
| CN117036360B true CN117036360B (zh) | 2024-01-16 |
Family
ID=88602709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311301694.8A Active CN117036360B (zh) | 2023-10-10 | 2023-10-10 | 基于图像分析的螺丝视觉定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036360B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019190405A1 (en) * | 2018-03-29 | 2019-10-03 | Agency For Science, Technology And Research | Method and apparatus for detecting condition of a bolt on a bolted structure |
| CN111127394A (zh) * | 2019-11-18 | 2020-05-08 | 中科君胜(深圳)智能数据科技发展有限公司 | 螺栓安装垂直度俯视拍摄视觉检测方法 |
| CN112352148A (zh) * | 2018-08-30 | 2021-02-09 | 松下知识产权经营株式会社 | 检查装置以及检查方法 |
| CN112388606A (zh) * | 2020-11-19 | 2021-02-23 | 上海电气集团股份有限公司 | 一种风力发电机中螺栓状态的检测方法及检测装置 |
| CN115760690A (zh) * | 2022-10-08 | 2023-03-07 | 湖北省交通规划设计院股份有限公司 | 一种基于拍照的高强螺栓群终拧检测方法 |
| CN116393982A (zh) * | 2023-04-06 | 2023-07-07 | 安徽艾瑞思信息科技有限公司 | 一种基于机器视觉的螺丝锁付方法及装置 |
-
2023
- 2023-10-10 CN CN202311301694.8A patent/CN117036360B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019190405A1 (en) * | 2018-03-29 | 2019-10-03 | Agency For Science, Technology And Research | Method and apparatus for detecting condition of a bolt on a bolted structure |
| CN112352148A (zh) * | 2018-08-30 | 2021-02-09 | 松下知识产权经营株式会社 | 检查装置以及检查方法 |
| CN111127394A (zh) * | 2019-11-18 | 2020-05-08 | 中科君胜(深圳)智能数据科技发展有限公司 | 螺栓安装垂直度俯视拍摄视觉检测方法 |
| CN112388606A (zh) * | 2020-11-19 | 2021-02-23 | 上海电气集团股份有限公司 | 一种风力发电机中螺栓状态的检测方法及检测装置 |
| CN115760690A (zh) * | 2022-10-08 | 2023-03-07 | 湖北省交通规划设计院股份有限公司 | 一种基于拍照的高强螺栓群终拧检测方法 |
| CN116393982A (zh) * | 2023-04-06 | 2023-07-07 | 安徽艾瑞思信息科技有限公司 | 一种基于机器视觉的螺丝锁付方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036360A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020062856A1 (zh) | 一种车辆特征获取方法及装置 | |
| CN113379712B (zh) | 一种基于计算机视觉的钢桥螺栓病害检测方法及系统 | |
| CN110146017B (zh) | 工业机器人重复定位精度测量方法 | |
| WO2004012148A1 (en) | Image processing method for appearance inspection | |
| CN111322967A (zh) | 一种面向阶梯轴与孔装配过程的对中方法 | |
| CN104077568A (zh) | 一种高精度的驾驶员行为识别与监控方法及系统 | |
| CN115841488B (zh) | 一种基于计算机视觉的pcb板的检孔方法 | |
| CN109358067A (zh) | 基于计算机视觉的马达环形压敏电阻缺陷检测系统及方法 | |
| CN114799849A (zh) | 一种基于机器视觉的螺丝机作业操作参数采集分析系统 | |
| CN116030021B (zh) | 一种光伏组件隐裂特性的自动化检测系统 | |
| CN114407079B (zh) | 一种控制机械臂安装螺栓的方法 | |
| CN117036360B (zh) | 基于图像分析的螺丝视觉定位方法及系统 | |
| CN113639685B (zh) | 位移检测方法、装置、设备和存储介质 | |
| CN115201206A (zh) | 基于机器视觉的电动车车把缺陷检测方法 | |
| CN111761224A (zh) | 金属增材制造在线移动监测机构及在线外观检测设备 | |
| CN113269234B (zh) | 一种基于目标检测的连接件装配检测方法和系统 | |
| CN114022441A (zh) | 一种不规则五金件的缺陷检测方法 | |
| Rusli et al. | Fastener identification and assembly verification via machine vision | |
| CN110969135B (zh) | 自然场景中的车标识别方法 | |
| CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
| KR20050052657A (ko) | 비젼기반 사람 검출방법 및 장치 | |
| CN115631169A (zh) | 产品检测方法、装置、电子设备及存储介质 | |
| CN113658127A (zh) | 一种基于机器学习的孔及铆接质量检测方法 | |
| CN112686203A (zh) | 一种基于空间先验的车辆安全警示装置检测方法 | |
| CN106850291B (zh) | 一种网络监控管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |