CN111640104A - 一种螺钉装配的视觉检测方法 - Google Patents

一种螺钉装配的视觉检测方法 Download PDF

Info

Publication number
CN111640104A
CN111640104A CN202010482553.0A CN202010482553A CN111640104A CN 111640104 A CN111640104 A CN 111640104A CN 202010482553 A CN202010482553 A CN 202010482553A CN 111640104 A CN111640104 A CN 111640104A
Authority
CN
China
Prior art keywords
detected
image
area
screw
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010482553.0A
Other languages
English (en)
Other versions
CN111640104B (zh
Inventor
戴志威
陈志列
刘志永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanxiang Smart Iot Technology Co ltd
Original Assignee
Yanxiang Smart Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanxiang Smart Iot Technology Co ltd filed Critical Yanxiang Smart Iot Technology Co ltd
Priority to CN202010482553.0A priority Critical patent/CN111640104B/zh
Publication of CN111640104A publication Critical patent/CN111640104A/zh
Application granted granted Critical
Publication of CN111640104B publication Critical patent/CN111640104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种螺钉装配的视觉检测方法，该视觉检测方法包括：获取待检测设备的图像；从待检测设备的图像上提取待检测区域的XLD轮廓，待检测区域为包含有一个螺纹孔的区域，待检测区域的面积至少等于螺钉的螺帽面积；依据所提取的XLD轮廓创建基于异步缩放的形状模板；通过形状模板匹配算法，搜索图像上其他的待检测区域；依据均值特征及各向异性特征判断每个待检测区域是否装配有螺钉。通过获取待检测设备的图像，从图像上提取待检测区域的XLD轮廓，然后利用XLD轮廓作为形状模板找到待检测设备中需要检测的其他的待检测区域，之后通过均值特征及各项异性特征作为判断每个螺纹孔处设置装配有螺钉的约束条件，判断是否每个待检测区域是否装配有螺钉。

Description

一种螺钉装配的视觉检测方法
技术领域
本发明涉及装配检测技术领域，尤其涉及一种螺钉装配的视觉检测方法。
背景技术
螺钉作为一种机械零部件，广泛应用于我们的生产制造和生活活动当中。一些机械零件，医用器材、家电产品，大型设备等都需要使用螺丝钉进行连接。目前电视生产厂商在电视机背板装配过程中会使用到大量螺钉作为紧固件，同时在质检工位，会安排人工检测这些螺钉是否都安装到位，是否有安装孔没有安装螺钉。质检人员需站在流水线旁边，面对不同尺寸的电视机背板，然后逐个查看螺钉是否缺少。对于合格产品就放行，不合格产品重新安装螺钉。采用该方法需要产线工人时刻保持注意力与专注度，且需眼睛长时间处于强光照明环境中。在如此高强度的工作环境下，工作时间长了易致疲劳，且由于人工检测存在每个人的感官判断易受个人状态、情绪等主观因素影响，影响质量检测的判断结果。常常导致漏检、误检，造成生产出来的产品质量不过关，最终导致生产出的产品合格率低，返修率较高。
发明内容
本发明提供了一种螺钉装配的视觉检测方法，以便于检测待检测设备的每个螺钉孔上是否存在漏装螺钉情况，无需人工进行检测，从而节省人工成本，同时可减少漏检、误检概率，提高了生产效率及降低了返修率。
本发明提供了一种螺钉装配的视觉检测方法，用于检测待检测设备的螺纹孔处是否装配有螺钉，该视觉检测方法包括：获取待检测设备的图像；从待检测设备的图像上提取待检测区域的XLD轮廓，其中，待检测区域为包含有一个螺纹孔的区域，且待检测区域的面积至少等于螺钉的螺帽面积；依据所提取的XLD(eXtended Line Descriptions，亚像素的轮廓和多边形)轮廓创建基于异步缩放的形状模板；通过形状模板匹配算法，搜索出图像上其他的待检测区域；依据均值特征以及各向异性特征判断每个待检测区域是否装配有螺钉。
在上述的方案中，通过采用获取待检测设备的图像，从图像上提取待检测区域的XLD轮廓，然后利用XLD轮廓作为形状模板找到待检测设备中需要检测的其他的待检测区域，之后通过均值特征以及各项异性特征作为判断每个螺纹孔处设置装配有螺钉的约束条件，从而判断是否每个待检测区域是否装配有螺钉。
在一个具体的实施方式中，从图像上提取待检测区域的XLD轮廓具体为：利用Canny边缘算子从图像上提取待检测区域的的XLD轮廓，以便于从图像上高效且准确地提取出待检测区域的XLD轮廓。
在一个具体的实施方式中，视觉检测方法还包括在通过形状模板匹配算法，搜索出图像上其他的待检测区域之前，对图像进行灰度线性变换处理；之后通过形状模板匹配算法，从灰度线性变换后的图像中搜索出其他的待检测区域。通过线性变换预处理来增强图像对比度，以此提高形状模板匹配的成功率。
在一个具体的实施方式中，对图像进行灰度线性变换具体为：采用灰度变换方程f′(x,y)＝f(x,y)*Mult+Add对图像进行灰度变换；其中，f(x,y)为原始图像各点的灰度值；f′(x,y)为灰度变换后的图像各点的灰度值；Mult为缩放比例系数；Add为偏移量。
在一个具体的实施方式中，缩放比例系数Mult为2～8，偏移量Add为-30～-10，以提高线性变换预处理的效果，提高形状模板匹配的成功率。
在一个具体的实施方式中，通过形状模板匹配算法，搜索出图像上其他的待检测区域具体为：将灰度线性变换的图像，根据形状模板的大小及清晰度的要求生成多层级的图像金字塔模型；以形状模板边缘的梯度相似度作为匹配标准；在图像金字塔层中自上而下逐层搜索形状模板图像，直到搜索到图像金字塔模型的最底层级或搜索出待检测设备的所有待检测区域为止。以提高搜索速度。
在一个具体的实施方式中，依据均值特征以及各向异性特征判断每个待检测区域是否装配有螺钉具体为：
应用仿射变换矩阵将所述形状模板仿射到其他的待检测区域中的一个待检测区域；
对该待检测区域进行LAWS纹理滤波，提取特定的纹理图像；
使用invert_image算子对所述纹理图像的灰度值进行反转操作；
通过图像的灰度值作为权值的加权形心法，计算灰度重心；
以灰度重心为圆心，设定像素为半径，用gen_circle算子生成一个圆形区域；
基于灰度直方图的统计特性，提取圆形区域内图像的灰度特征；
计算圆形区域的均值特征值及各向异性特征值；
判断均值特征值是否大于预设均值阈值，各项异性特征值是否小于预设各项异性阈值；
在圆形区域的均值特征值大于预设均值阈值，且圆形区域的各项异性特征值小于各项异性阈值时，判断该待检测区域装配有螺钉；否则，判断该待检测区域漏装螺钉；
采用应用仿射变换矩阵将形状模板仿射到其他的待检测区域中的另一个待检测区域，采用上述方法依次判断，至到将所有的待检测区域均判断完为止。
通过采用LAWS纹理滤波器提取待检测区域的纹理信息，之后计算每个待检测区域的均值特征值及各项异性特征值，且只有在均值特征值及各项异性特征值均满足约束条件时，才判断该待检测区域装配有螺钉，从而提高检测每个螺纹孔处是否装配有螺钉的准确性。
在一个具体的实施方式中，计算圆形区域的均值特征值具体为：
Figure BDA0002515922550000021
其中，Mean表示均值特征值；
R表示圆形区域；
p表示圆形区域R中的像素点；
g(p)表示该像素点的灰度值；
F表示圆形区域R中所有像素点的个数。
在一个具体的实施方式中，计算圆形区域的各项异性特征具体为：
Figure BDA0002515922550000031
其中，Anisotropy表示各项异性特征值；
rel[i]表示相对灰度频率直方图；
i表示输入图像的灰度值；
k表示sum(rel[i])≥0.5时可能的最小灰度值。
在一个具体的实施方式中，预设均值阈值为95～125，各项异性阈值为-0.7～-0.4，以提高检测每个螺纹孔处是否装配有螺钉的准确性。
附图说明
图1为本发明实施例提供的螺钉装配的视觉检测方法的流程图；
图2为本发明实施例提供的螺钉装配的检测装置的结构简图；
图3为本发明实施例提供的螺钉装配的视觉检测方法的另一种流程图；
图4为本发明实施例提供的提取待检测区域的XLD轮廓过程中的示意图；
图5为本发明实施例提供的提取待检测区域的XLD轮廓后的示意图；
图6为本发明实施例提供的螺钉装配的视觉检测方法的另一种流程图；
图7为本发明实施例检测到一个待检测区域装配有螺钉的结构示意图；
图8为本发明实施例检测到一个待检测区域漏装螺钉的结构示意图。
附图标记：
10-待检测设备 11-待检测区域的XLD轮廓 12-螺钉
13-螺纹孔 20-传送装置 30-相机 40-开孔面光源
50-传感器 60-工控机
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解本发明实施例提供的螺钉装配的视觉检测方法，下面首先说明一下本发明实施例提供的视觉检测方法的应用场景，该视觉检测方法应用于装配后的检测过程中，用于检测待检测设备上的每个螺纹孔是否装配有螺钉，以发现在待检测设备上是否存在漏装螺钉情形。其中，上述待检测设备可以为电视机背板、显示器背板、手机背板等需要装配螺钉的设备。下面结合附图对该偏光片进行详细的叙述。
参考图1，本发明实施例提供的螺钉装配的视觉检测方法包括：
S10：获取待检测设备的图像；
S20：从待检测设备的图像上提取待检测区域的XLD轮廓，其中，待检测区域为包含有一个螺纹孔的区域，且待检测区域的面积至少等于螺钉的螺帽面积；
S30：依据所提取的XLD轮廓创建基于异步缩放的形状模板；
S40：通过形状模板匹配算法，搜索出图像上其他的待检测区域；
S50：依据均值特征以及各向异性特征判断每个待检测区域是否装配有螺钉。
在上述的方案中，通过采用获取待检测设备的图像，从图像上提取待检测区域的XLD轮廓，然后利用XLD轮廓作为形状模板找到待检测设备中需要检测的其他的待检测区域，之后通过均值特征以及各项异性特征作为判断每个螺纹孔处设置装配有螺钉的约束条件，从而判断每个待检测区域是否装配有螺钉。下面结合附图对上述各个步骤进行详细的介绍。
首先获取待检测设备的图像。具体实现时，参考图2，采用一检测装置获取待检测设备10的图像，该检测装置包括一传送装置20、以及设置在传送装置20上方的相机30以及开孔面光源40，在传送装置20的下方设置有传感器50，传感器50及相机30与工控机60连接，工控机60用于控制传感器50及相机30工作，并对获取的图像进行处理与分析，以得到待检测设备10上的螺纹孔处是否装配有螺钉，是否存在螺纹孔漏装螺钉。传送装置20用于将待检测设备10传送至相机30及开孔面光源40下方，以便于相机30拍摄待检测设备10，从而获得待检测设备10的图像。开孔面光源40的目的是为了提高所拍摄图像的清晰度。设置传感器50是为了获取待检测设备10的位置信息，在待检测设备10被传送到相机30下方时，传感器50将该位置信息传送给工控机60，工控机60控制相机30及开孔面光源40工作，从而获得待检测设备10的图像。
接下来，如图4及图5所示，从待检测设备10的图像上提取待检测区域的XLD轮廓11，其中，待检测区域为包含有一个螺纹孔的区域，且待检测区域的面积至少等于螺钉12的螺帽面积，以使待检测区域覆盖螺钉12的螺帽。在待检测设备10上由于存在多个螺纹孔，所以在待检测设备10的图像上会存在多个待检测区域。从图像上提取一个待检测区域的XLD轮廓11时，参考图3，利用Canny边缘算子从图像上提取待检测区域的的XLD轮廓，以便于从图像上高效且准确地提取出待检测区域的XLD轮廓11。其中，上述待检测区域为多个待检测区域中的一个待检测区域。通过设置标准差参数、滞后阈值的低阈值及高阈值参数，以得到待检测区域的XLD轮廓11。低阈值越低，图像的细节会越丰富。高阈值用于将边缘与背景区分开来，高于高阈值的像素可以确定是边缘，这些边缘是强边缘，但往往是不连续的，因此需要用一些弱边缘进行补充。低于低阈值的像素可以被认为一定不是边缘。高于低阈值又低于高阈值的部分像素是弱边缘，需要进行判断。如果该像素的相邻像素是边缘，则该像素被认为是边缘，否则就不是。通过上述方式以得到待检测区域的XLD轮廓11。为了便于确定各个待检测区域的之间的位置关系，以及每个待检测区域的灰度值、图像形状等特征，可以在图像上建立坐标系，通过坐标表示各个待检测区域的位置关系。具体建立坐标系的方式为现有技术中的方式。
为便于对XLD理解，下面对XLD进行解释说明。一般描述图像的最基本的单位时像素，相机30的分辨率也是以像素数量来计算的，像素越高，分辨率越大，图像越清晰。点与点之间的最小距离就是一个像素的宽度，但实际工程中可能会需要比一个像素宽度更小的精度，因此有了亚像素级精度的概念，用于提高分辨率。
接下来，依据所提取的XLD轮廓创建基于异步缩放的形状模板。具体的，可以使用create_aniso_shape_model_xld算子创建基于异步缩放的形状模板，通过调整形状模板在行方向及列方向上的缩放比例，以改变形状模板的形状。
接下来，通过形状模板匹配算法，搜索出图像上其他的待检测区域。继续参考图3，该视觉检测方法还可以包括在通过形状模板匹配算法，搜索出图像上其他的待检测区域之前，对图像进行灰度线性变换处理；之后通过形状模板匹配算法，从灰度线性变换后的图像中搜索出其他的待检测区域。通过线性变换预处理来增强图像对比度，以此提高形状模板匹配的成功率。
在具体实现对图像进行灰度线性变换时，采用灰度变换方程f′(x,y)＝f(x,y)*Mult+Add对图像进行灰度变换。其中，f(x,y)为原始图像各点的灰度值；f′(x,y)为灰度变换后的图像各点的灰度值；Mult为缩放比例系数；Add为偏移量。在具体设置上述的缩放比例系数Mult及偏移量Add时，缩放比例系数Mult可以为2～8，具体的，缩放比例系数Mult可以为2、2.5、3.0、3.5、4、4.5、5.0、5.5、6.0、6.5、7.0、7.5、8.0等介于2～8之间的任意值；偏移量Add可以为-30～-10，具体的，偏移量Add可以为-30、-28、-26、-24、-22、-20、-18、-16、-14、-12、-10等介于-30～-10之间的任意值。通过上述设置，以提高线性变换预处理的效果，提高形状模板匹配的成功率。
在具体通过形状模板匹配算法，搜索出图像上其他的待检测区域时，首先将灰度线性变换的图像，根据形状模板的大小及清晰度的要求生成多层级的图像金字塔模型；之后以形状模板边缘的梯度相似度作为匹配标准，在图像金字塔层中自上而下逐层搜索形状模板图像，直到搜索到图像金字塔模型的最底层级或搜索出待检测设备10的所有待检测区域为止。以提高搜索速度。
在具体对灰度变换后的图像进行形状模板匹配时，使用find_aniso_shape_model计算待检测设备10的边缘方向梯度，同时以创建的形状模板边缘的梯度相关性(梯度的相似度)作为匹配标准，并根据形状模板的大小和清晰度的要求生成多层级的图像金字塔模型。接着在图像金字塔层中自上而下逐层搜索模板图像，直到搜索到最底层或得到确定的匹配结果为止。
接下来，依据均值特征以及各向异性特征判断每个待检测区域是否装配有螺钉12。参考图6，具体实现方式包括：
S51：应用仿射变换矩阵将所述形状模板仿射到其他的待检测区域中的一个待检测区域；
S52：对该待检测区域进行LAWS纹理滤波，提取特定的纹理图像；
S53：使用invert_image算子对所述纹理图像的灰度值进行反转操作；
S54：通过图像的灰度值作为权值的加权形心法，计算灰度重心；
S55：以灰度重心为圆心，设定像素为半径，用gen_circle算子生成一个圆形区域；
S56：基于灰度直方图的统计特性，提取圆形区域内图像的灰度特征；
S57：计算圆形区域的均值特征值及各向异性特征值；
S58：判断均值特征值是否大于预设均值阈值，各项异性特征值是否小于预设各项异性阈值；在圆形区域的均值特征值大于预设均值阈值，且圆形区域的各项异性特征值小于各项异性阈值时，判断该待检测区域装配有螺钉12；否则，判断该待检测区域漏装螺钉12；
之后采用应用仿射变换矩阵将形状模板仿射到其他的待检测区域中的另一个待检测区域，采用上述方法依次判断，至到将所有的待检测区域均判断完为止。
通过采用LAWS纹理滤波器提取待检测区域的纹理信息，之后计算每个待检测区域的均值特征值及各项异性特征值，且只有在均值特征值及各项异性特征值均满足约束条件时，才判断该待检测区域装配有螺钉12，从而提高检测每个螺纹孔处是否装配有螺钉12的准确性。下面对上述步骤的具体操作方式进行详细的介绍。
首先，在应用仿射变换矩阵将所述形状模板仿射到其他的待检测区域中的一个待检测区域时。具体实现时，参考图6，确定仿射变换矩阵，之后对创建好的XLD轮廓形状模板进行仿射变换。在确定仿射变换矩阵时，使用hom_mat2d_identity(HomMat2DIdentity)创建一个3x3的单位仿射变换矩阵。计算缩放矩阵，以图像原点(0,0)为参考点，行方向放大ScaleR倍，列方向放大ScaleC倍：hom_mat2d_scale(HomMat2DIdentity,ScaleR,ScaleC,0,0,HomMat2DScale)。计算旋转矩阵，以图像原点(0,0)为参考点，旋转角度为Angle：hom_mat2d_rotate(HomMat2DScale,Angle,0,0,HomMat2DRotate)。计算平移矩阵，向X轴正方向平移Column个像素，向Y轴正方向平移Row个像素：hom_mat2d_translate(HomMat2DRotate,Row,Column,HomMat2DTranslate)。最后使用affine_trans_contour_xld算子，应用仿射变换矩阵将XLD轮廓模板仿射到其他待检测区域中的一个待检测区域上。
接下来，对该待检测区域进行LAWS纹理滤波，提取特定的纹理图像。具体设置时，行方向的滤波类型可以为level，列方向的滤波类型也可以为level，滤波器的卷积核尺寸可以为3，矩阵如下：
Figure BDA0002515922550000061
通过上述方式以对待检测区域进行LAWS纹理滤波，提取特定的纹理图像。
接下来，使用invert_image算子对所述纹理图像的灰度值进行反转操作。具体的，设f(x,y)为点(x,y)处的灰度值，则f′(x,y)为点(x,y)处反转后的灰度值，采用反转操作公式f′(x,y)＝255-f(x,y)进行反转操作。
接下来，通过图像的灰度值作为权值的加权形心法，计算灰度重心。具体的，设灰度重心坐标为(x0,y0)，则灰度重心坐标的横坐标及纵坐标分别为：
Figure BDA0002515922550000062
接下来，以灰度重心为圆心，设定像素为半径，用gen_circle算子生成一个圆形区域。其中，上述设定像素具体可以为6像素、7像素、8像素等，其大小具体为螺钉12的大小有关，螺钉12越大，设定像素的值越大，螺钉12越小，设定像素的值越小。
接下来，计算圆形区域的均值特征值及各向异性特征值。其中，计算圆形区域的均值特征值具体可以为：
Figure BDA0002515922550000063
其中，Mean表示均值特征值；
R表示圆形区域；
p表示圆形区域R中的像素点；
g(p)表示该像素点的灰度值；
F表示圆形区域R中所有像素点的个数。
计算圆形区域的各项异性特征具体可以为：
Figure BDA0002515922550000064
其中，Anisotropy表示各项异性特征值；
rel[i]表示相对灰度频率直方图；
i表示输入图像的灰度值；
k表示sum(rel[i])≥0.5时可能的最小灰度值。
为了方便对各项异性理解，下面对各项异性进行说明。各向异性(anisotropy)是指材料在各方向的力学和物理性能呈现差异的特性。晶体的各向异性即沿晶格的不同方向，原子排列的周期性和疏密程度不尽相同，由此导致晶体在不同方向的物理化学特性也不同，这就是晶体的各向异性。亦称“非均质性”。物体的全部或部分物理、化学等性质随方向的不同而各自表现出一定的差异的特性。即在不同的方向所测得的性能数值不同。对图像来说各向异性就是在每个像素点周围四个方向上梯度变化都不一样，滤波的时候我们要考虑图像的各向异性对图像的影响，而各向同性显然是说各个方向的值都一致，常见的图像均值或者高斯均值滤波可以看成是各向同性滤波。
接下来，判断均值特征值是否大于预设均值阈值，各项异性特征值是否小于预设各项异性阈值；在圆形区域的均值特征值大于预设均值阈值，且圆形区域的各项异性特征值小于各项异性阈值时，判断该待检测区域装配有螺钉12；否则，判断该待检测区域漏装螺钉12。具体设置上述预设均值阈值以及各项异性阈值时，预设均值阈值可以为95～125，具体的，预设均值阈值可以为95、97、99、101、103、105、107、109、110、112、113、115、117、119、121、123、125等介于95～125之间的任意值；各项异性阈值可以为-0.7～-0.4，具体的，各项异性阈值可以为-0.70、-0.68、-0.65、-0.63、-0.60、-0.58、-0.56、-0.55、-0.54、-0.53、-0.52、-0.50、-0.48、-0.46、-0.44、-0.42、-0.40等介于-0.7～-0.4之间的任意值。通过上述方式，以提高检测每个螺纹孔处是否装配有螺钉12的准确性。
在判断均值特征值是否大于预设均值阈值，各项异性特征值是否小于预设各项异性阈值时，采用如下判断标准：
Figure BDA0002515922550000071
即若Result＝0，则代表该待检测区域漏装螺钉12；若Result＝1，则代表该待检测区域装配有螺钉12。具体的，如图7所示的装配方式代表装配有螺钉12，如图8所示的装置方式代表待检测区域的螺纹孔13处漏装螺钉12。
接下来，采用应用仿射变换矩阵将形状模板仿射到其他的待检测区域中的另一个待检测区域，采用上述方法依次判断，直到将所有的待检测区域均判断完为止。只有当该待检测设备10上的所有检测区域都检测有装配有螺钉12时，则表明该待检测设备10上不存在漏装螺钉12的情形，可以进入下一工序。如果检测结果为存在一个或几个待检测区域漏装螺钉12，则需要进行返工，之后再进行检测。
通过采用获取待检测设备10的图像，从图像上提取待检测区域的XLD轮廓11，然后利用XLD轮廓作为形状模板找到待检测设备10中需要检测的其他的待检测区域，之后通过均值特征以及各项异性特征作为判断每个螺纹孔处设置装配有螺钉12的约束条件，从而判断是否每个待检测区域是否装配有螺钉12。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种螺钉装配的视觉检测方法，用于检测待检测设备的螺纹孔处是否装配有螺钉，其特征在于，所述视觉检测方法包括：
获取所述待检测设备的图像；
从所述图像上提取待检测区域的XLD轮廓；其中，所述待检测区域为包含有一个所述螺纹孔的区域，且所述待检测区域的面积至少等于所述螺钉的螺帽面积；
依据所提取的XLD轮廓创建基于异步缩放的形状模板；
通过形状模板匹配算法，搜索出所述图像上其他的待检测区域；
依据均值特征以及各向异性特征判断每个待检测区域是否装配有螺钉。
2.如权利要求1所述的视觉检测方法，其特征在于，所述从所述图像上提取待检测区域的XLD轮廓具体为：
利用Canny边缘算子从所述图像上提取所述待检测区域的的XLD轮廓。
3.如权利要求1所述的视觉检测方法，其特征在于，还包括在所述通过形状模板匹配算法，搜索出所述图像上其他的待检测区域之前，对所述图像进行灰度线性变换处理；
之后通过形状模板匹配算法，从所述灰度线性变换后的图像中搜索出其他的待检测区域。
4.如权利要求3所述的视觉检测方法，其特征在于，所述对所述图像进行灰度线性变换具体为：
采用灰度变换方程f′(x,y)＝f(x,y)*Mult+Add对所述图像进行灰度变换；
其中，f(x,y)为原始图像各点的灰度值；
f′(x,y)为灰度变换后的图像各点的灰度值；
Mult为缩放比例系数；
Add为偏移量。
5.如权利要求4所述的视觉检测方法，其特征在于，所述缩放比例系数Mult为2～8，所述偏移量Add为-30～-10。
6.如权利要求3所述的视觉检测方法，其特征在于，所述通过形状模板匹配算法，搜索出所述图像上其他的待检测区域具体为：
将所述灰度线性变换的图像，根据所述形状模板的大小及清晰度的要求生成多层级的图像金字塔模型；
以所述形状模板边缘的梯度相似度作为匹配标准；
在所述图像金字塔层中自上而下逐层搜索所述形状模板图像，直到搜索到所述图像金字塔模型的最底层级或搜索出所述待检测设备的所有待检测区域为止。
7.如权利要求6所述的视觉检测方法，其特征在于，所述依据均值特征以及各向异性特征判断每个待检测区域是否装配有螺钉具体为：
应用仿射变换矩阵将所述形状模板仿射到所述其他的待检测区域中的一个待检测区域；
对该待检测区域进行LAWS纹理滤波，提取特定的纹理图像；
使用invert_image算子对所述纹理图像的灰度值进行反转操作；
通过图像的灰度值作为权值的加权形心法，计算灰度重心；
以所述灰度重心为圆心，设定像素为半径，用gen_circle算子生成一个圆形区域；
基于灰度直方图的统计特性，提取圆形区域内图像的灰度特征；
计算所述圆形区域的均值特征值及各向异性特征值；
判断所述均值特征值是否大于预设均值阈值，所述各项异性特征值是否小于预设各项异性阈值；
在所述圆形区域的均值特征值大于所述预设均值阈值，且所述圆形区域的各项异性特征值小于所述各项异性阈值时，判断该待检测区域装配有螺钉；否则，判断该待检测区域漏装螺钉；
采用应用仿射变换矩阵将所述形状模板仿射到所述其他的待检测区域中的另一个待检测区域，采用上述方法依次判断，至到将所有的待检测区域均判断完为止。
8.如权利要求7所述的视觉检测方法，其特征在于，所述计算所述圆形区域的均值特征值具体为：
Figure FDA0002515922540000021
其中，Mean表示所述均值特征值；
R表示所述圆形区域；
p表示所述圆形区域R中的像素点；
g(p)表示该像素点的灰度值；
F表示所述圆形区域R中所有像素点的个数。
9.如权利要求8所述的视觉检测方法，其特征在于，所述计算所述圆形区域的各项异性特征具体为：
Figure FDA0002515922540000022
其中，Anisotropy表示所述各项异性特征值；
rel[i]表示相对灰度频率直方图；
i表示输入图像的灰度值；
k表示sum(rel[i])≥0.5时可能的最小灰度值。
10.如权利要求9所述的视觉检测方法，其特征在于，所述预设均值阈值为95～125；所述各项异性阈值为-0.7～-0.4。
CN202010482553.0A 2020-05-29 2020-05-29 一种螺钉装配的视觉检测方法 Active CN111640104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010482553.0A CN111640104B (zh) 2020-05-29 2020-05-29 一种螺钉装配的视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010482553.0A CN111640104B (zh) 2020-05-29 2020-05-29 一种螺钉装配的视觉检测方法

Publications (2)

Publication Number Publication Date
CN111640104A true CN111640104A (zh) 2020-09-08
CN111640104B CN111640104B (zh) 2023-11-24

Family

ID=72332954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482553.0A Active CN111640104B (zh) 2020-05-29 2020-05-29 一种螺钉装配的视觉检测方法

Country Status (1)

Country Link
CN (1) CN111640104B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164036A (zh) * 2020-09-15 2021-01-01 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN113269235A (zh) * 2021-05-10 2021-08-17 青岛理工大学 一种基于无监督学习的装配体变化检测方法及设备
CN113628251A (zh) * 2021-10-11 2021-11-09 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法
CN114473463A (zh) * 2021-12-27 2022-05-13 武汉纺织大学 一种工业配电箱的螺丝智能安装方法及设备
CN114562940A (zh) * 2022-02-10 2022-05-31 武汉逸飞激光股份有限公司 一种电池密封钉装配检测方法
CN114612419A (zh) * 2022-03-07 2022-06-10 无锡雪浪数制科技有限公司 基于深度视觉和多传感器技术的工序检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679702A (zh) * 2013-11-20 2014-03-26 华中科技大学 一种基于图像边缘矢量的匹配方法
CN103700068A (zh) * 2012-01-17 2014-04-02 浙江大学 一种cta图像中肝脏与血管同时分割的方法
CN108776140A (zh) * 2018-06-08 2018-11-09 福建新大陆电脑股份有限公司 一种基于机器视觉的印刷品瑕疵检测方法及系统
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN109671052A (zh) * 2018-11-16 2019-04-23 华南理工大学 一种基于圆形轮廓提取的柔性ic封装基板的过孔检测方法
CN110378376A (zh) * 2019-06-12 2019-10-25 西安交通大学 一种基于机器视觉的加油口目标识别定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700068A (zh) * 2012-01-17 2014-04-02 浙江大学 一种cta图像中肝脏与血管同时分割的方法
CN103679702A (zh) * 2013-11-20 2014-03-26 华中科技大学 一种基于图像边缘矢量的匹配方法
CN108776140A (zh) * 2018-06-08 2018-11-09 福建新大陆电脑股份有限公司 一种基于机器视觉的印刷品瑕疵检测方法及系统
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN109671052A (zh) * 2018-11-16 2019-04-23 华南理工大学 一种基于圆形轮廓提取的柔性ic封装基板的过孔检测方法
CN110378376A (zh) * 2019-06-12 2019-10-25 西安交通大学 一种基于机器视觉的加油口目标识别定位方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164036A (zh) * 2020-09-15 2021-01-01 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN112164036B (zh) * 2020-09-15 2022-06-07 西安交通大学 一种钢丝螺套装配参数检测装置及方法
CN113269235A (zh) * 2021-05-10 2021-08-17 青岛理工大学 一种基于无监督学习的装配体变化检测方法及设备
CN113628251A (zh) * 2021-10-11 2021-11-09 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法
CN113628251B (zh) * 2021-10-11 2022-02-01 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法
CN114473463A (zh) * 2021-12-27 2022-05-13 武汉纺织大学 一种工业配电箱的螺丝智能安装方法及设备
CN114473463B (zh) * 2021-12-27 2024-04-05 武汉纺织大学 一种工业配电箱的螺丝智能安装方法及设备
CN114562940A (zh) * 2022-02-10 2022-05-31 武汉逸飞激光股份有限公司 一种电池密封钉装配检测方法
CN114612419A (zh) * 2022-03-07 2022-06-10 无锡雪浪数制科技有限公司 基于深度视觉和多传感器技术的工序检测方法

Also Published As

Publication number Publication date
CN111640104B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN111640104B (zh) 一种螺钉装配的视觉检测方法
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN104268857B (zh) 一种基于机器视觉的快速亚像素边缘检测与定位方法
CN111539938B (zh) 一种轧带钢带头曲度检测方法、系统、介质及电子终端
CN106485651B (zh) 快速鲁棒性尺度不变的图像匹配方法
JP7274885B2 (ja) 表示装置の欠陥識別システム及び方法
CN115456956B (zh) 一种液晶屏划痕检测方法、设备及存储介质
WO2007145235A1 (ja) 異常領域検出装置および異常領域検出方法
CN109632808A (zh) 棱边缺陷检测方法、装置、电子设备及存储介质
JP6317725B2 (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN111462056A (zh) 工件表面缺陷检测方法、装置、设备及存储介质
Lin et al. A new prediction method for edge detection based on human visual feature
CN113822836A (zh) 标记图像的方法
CN114187269B (zh) 小零器件表面缺陷边缘快速检测方法
CN116188826A (zh) 一种复杂光照条件下的模板匹配方法及装置
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN110874837B (zh) 一种基于局部特征分布的缺陷自动检测方法
CN114897797A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
CN113554024A (zh) 一种车辆的清洁度的确定方法、装置及计算机设备
CN112884694B (zh) 一种平面显示面板的缺陷检测方法、装置、设备及介质
JPH0688789A (ja) 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法
CN113361444B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111784689B (zh) 多角度低对比度划痕提取方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant