CN114813746A - 基于机器视觉的弯针检测的方法、系统、存储介质及设备 - Google Patents

基于机器视觉的弯针检测的方法、系统、存储介质及设备 Download PDF

Info

Publication number
CN114813746A
CN114813746A CN202210364716.4A CN202210364716A CN114813746A CN 114813746 A CN114813746 A CN 114813746A CN 202210364716 A CN202210364716 A CN 202210364716A CN 114813746 A CN114813746 A CN 114813746A
Authority
CN
China
Prior art keywords
curved needle
image
detection
template matching
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210364716.4A
Other languages
English (en)
Other versions
CN114813746B (zh
Inventor
刘彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210364716.4A priority Critical patent/CN114813746B/zh
Publication of CN114813746A publication Critical patent/CN114813746A/zh
Application granted granted Critical
Publication of CN114813746B publication Critical patent/CN114813746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于机器视觉的弯针检测的方法、系统、存储介质及设备，方法包括：根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向；基于至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像；根据基于形状的模板匹配获取图像中的探针槽的位置并进行图像剪裁得到探针槽的模板匹配切割图；使用语义分割算法在模板匹配切割图中识别弯针图像，并基于弯针图像计算相应弯针的轮廓；根据轮廓求取相应弯针的方向，并根据方向判断相应弯针的缺陷情况。优点在于只需要配置不同的参数，可以适应多种处理器型号的匹配；缩减了人员成本全自动化操作，无需人工参与；缩短检测时间，大大提高检测效率。

Description

基于机器视觉的弯针检测的方法、系统、存储介质及设备
技术领域
本发明涉及服务器技术领域，尤其涉及服务器生产技术领域，具体涉及服务器自动化生产中的质量检测技术领域。
背景技术
当前的通用服务器因需求大，定制化程度高，而且人工作业速度较慢，随着对产能不断提升的需求，提高生产品质，保障生产效率是势在必行的研究课题。
然而，生产中的工站自动化程度不高是目前提升生产品质和效率的困难点。其中，在检测的过程中，由于CPU的探针槽(Socket)中的弯针比较小，对弯针的弯针缺陷进行人工检测的时候容易出现检测疲劳和检测不客观等问题，极大的影响了生产的品质和效率。
因此，为了解决人工检测中可能出现的这些问题，需要提出一种优化的更有效地进行CPU弯针的检测的方法，降低人工成本、尽可能避免人为导致的错检漏检、减小时间和精力消耗，进而提高生产效率。
发明内容
有鉴于此，本发明的目的在于提出一种改进的质量检测的方法、系统、存储介质及设备，从而解决现有技术中人工检测的时候容易出现检测疲劳和检测不客观、生产的品质和效率较低等问题。
基于上述目的，一方面，本发明提供了一种基于机器视觉的弯针检测的方法，其中该方法包括以下步骤：
根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向；
基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像；
根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图；
使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓；
根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况。
在根据本发明的基于机器视觉的弯针检测的方法的一些实施例中，所述根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及光源定向进一步包括：
选用白色面光源作为拍照光源；
将两个拍照光源相间隔地相对摆放且光源平面分别与检测对象所在的平面之间具有取决于弯针方向的倾斜角。
在根据本发明的基于机器视觉的弯针检测的方法的一些实施例中，所述基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像进一步包括：
将拍照光源与相机布置为保持相对静止，使得移动相机的同时带动拍照光源移动；
使用三轴模组将相机移动到相应的检测位置，使得同时拍照光源被调整到相应的照明姿态。
在根据本发明的基于机器视觉的弯针检测的方法的一些实施例中，所述根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图进一步包括：
响应于根据基于形状的模板匹配未获取所述图像中的探针槽的位置，判断模板匹配失败并结束检测过程和/或发出相关告警。
在根据本发明的基于机器视觉的弯针检测的方法的一些实施例中，所述使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓进一步包括：
使用高分辨率语义分割的多路径细化网络进行所述模板匹配切割图中的弯针图像的识别，其中预先执行包含图像路径、缺陷位置的打标，并基于此训练模型。
在根据本发明的基于机器视觉的弯针检测的方法的一些实施例中，所述使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓进一步包括：
加载所述模型进行所述弯针图像的识别，并获得包含初步筛选的弯针的概率缺陷图；
对所述概率缺陷图中的弯针图像利用连通域分析获取相应的轮廓。
在根据本发明的基于机器视觉的弯针检测的方法的一些实施例中，所述根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况进一步包括：
根据所述轮廓求取其几何图像的质心；
计算所述质心离周围轮廓的最大距离及轮廓上对应最大距离的点；
根据所述质心及最大距离的点获得走向直线并计算所述直线的方向；
根据所述直线的方向判断相应的弯针是否为缺陷弯针。
本发明的另一方面，还提供了一种基于机器视觉的弯针检测的系统，其中包括：
检测姿态确定模块，所述检测姿态确定模块配置为根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向；
对象图像获取模块，所述对象图像获取模块配置为基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像；
模板匹配切割模块，所述模板匹配切割模块配置为根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图；
弯针图像识别模块，所述缺陷弯针识别模块配置为使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓；
缺陷弯针判断模块，所述缺陷弯针判断模块配置为根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况。
本发明的再一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任一项根据本发明的基于机器视觉的弯针检测的方法。
本发明的又一方面，还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任一项根据本发明的基于机器视觉的弯针检测的方法。
本发明至少具有以下有益技术效果：基于本发明的方法，通过对打光方案的设计、对弯针检测初步算法的设计、在语义分割算法检测之后再次对分割算法的图像进行图像弯针检测识别等方法步骤，实现了优化的弯针检测的技术方案，其优点至少在于1)只需要配置不同的参数，可以适应多种处理器型号的匹配；2)缩减了人员成本全自动化操作，无需人工参与；
3)缩短检测时间，大大提高检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
在图中：
图1示出了根据本发明的基于机器视觉的弯针检测的方法的流程示意图；
图2示出了根据本发明的基于机器视觉的弯针检测的方法的实施例的示意性框图；
图3示出了根据本发明的基于机器视觉的弯针检测的方法的实施例的探针槽的图像的示例；
图4示出了根据本发明的基于机器视觉的弯针检测的方法的实施例对图3的示例进行图像剪裁后得到的模板匹配切割图；
图5示出了根据本发明的基于机器视觉的弯针检测的方法的实施例对图3、图4的示例进行打标后得到的打标文件信息的示例；
图6示出了根据本发明的基于机器视觉的弯针检测的系统的实施例的示意性框图；
图7示出了根据本发明的实现基于机器视觉的弯针检测的方法的计算机可读存储介质的实施例的示意图；
图8示出了根据本发明的实现基于机器视觉的弯针检测的方法的计算机设备的实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
为了解决人工检测中可能出现的这些问题，本发明提出了一种优化的更有效地进行CPU弯针的检测的方法，从而降低人工成本、尽可能避免人为导致的错检漏检、减小时间和精力消耗，进而提高生产效率。简单地说，本发明的构思包括打光方案的设计、对弯针检测初步算法的设计、在语义分割算法检测之后再次对分割算法的图像进行图像弯针检测识别等。根据本发明的基于机器视觉的弯针检测的方法的示意性流程如图1所示，其中根据本发明的方法可以概括为主要包括移动相机到拍照位、模板匹配剪切图像、语义分割算法识别、不良(NG)弯针方向计算等几个方面。
为此，本发明的第一方面，提供了一种基于机器视觉的弯针检测的方法100。图2示出了根据本发明的基于机器视觉的弯针检测的方法的实施例的示意性框图。在如图2所示的实施例中，该方法包括：
步骤S110：根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向；
步骤S120：基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像；
步骤S130：根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图；
步骤S140：使用语义分割算法在所述模板匹配切割图中识别弯针图像，
并基于所述弯针图像计算相应弯针的轮廓；
步骤S150：根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况。
总的来说，针对现有技术中存在的上述问题，根据本发明，主要提出了打光方案的设计、对弯针检测初步算法的设计、在语义分割算法检测之后再次对分割算法的图像进行图像弯针检测识别等改进。
首先针对打光方案，一方面需要对光源进行选择，另一方面还要确定光源的移动以及相机的拍照姿态等问题。因此，在根据本发明的方法100中，首先在步骤S110中根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向。也就是说，首先根据检测对象、即CPU的探针槽的数量以及各个探针槽中弯针的方向确定最佳的拍照姿态以及相应的拍照光源的照射方向。为了得到有效的图像，需要确定至少一个最佳的拍照姿态。而为了得到更好的图像采集效果，通常需要多个不同的拍照姿态，并在后续的处理过程中综合考虑以这些拍照姿态获取的图像中的信息。随后在步骤S120中基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像，结果如图3所示。图3示出了根据本发明的基于机器视觉的弯针检测的方法的实施例的探针槽的图像的示例，即拍照后直接得到的、尚未经过处理的图像。
在此基础上，在步骤S130中根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图。以图3所示的图像为例，经图像剪裁得到的对应的探针槽的模板匹配切割图如图4所示。在随后进行识别的时候裁剪之后的图片中CPU的全部弯针能完全的在图像中呈现出来。
当在步骤S130中得到经剪裁的探针槽的模板匹配切割图后，在步骤S140中使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓。在本发明中使用语义分割算法基于机器视觉模型识别出弯针的轮廓。最后在步骤S150中根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况。也就是说，根据计算求得的弯针的方向就可以判断该弯针是否为缺陷弯针(即NG弯针)。
下面以进一步的实施例详细说明根据本发明的方法的改进实施方式。
首先，在本发明的构思中，为了得到更佳的图像采集效果，应当对打光方案进行设计，其中涉及光源选择以及拍照姿态的确定。
因而，一方面，要确定拍照光源的类型。根据打光效果和测试，为了选择最佳的打光效果，进行白色、红色、蓝色的环形光源、条形光源和面光源进行了测试。因为socket弯针数量多、面积大，打光的时候需要相对均匀，而且在打光的时候，需要光源的光照面积覆盖socket弯针的面积，且需要一定的光照强度才能在相机下看到弯针呈现出来的效果。也就是说，弯针在相机下呈现出来的效果是直接受光源的影响的。最后，经测试，得到结果为使用120mm*120mm白色面光源效果是最好的。
此外，另一方面，要确认光源位置的摆放。光源位置的摆放是根据待测对象(例如CPU)的弯针的方向进行摆放的。因为一个处理器的槽上面有两个弯针，且方向是相对的，所以此时把两个光源间隔一定的距离相对摆放，且光源需要有个倾斜角。此时打的光照弯针会进行反射，有一些NG的弯针会不能很好的反射光照，而正常的弯针在相机下呈现出来的效果是比较好的且是正常的。此时即为两个光源的初始摆放位置。然后按照CPU弯针不同的姿态进行移动。一般需要根据主板上的CPU探针槽的个数，确定需要固定多少个不同的姿态进行打光拍照，优选地每个位置需要一个标准的拍照检测姿态。
因此，在根据本发明的基于机器视觉的弯针检测的方法100的一些实施例中，步骤S110：根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及光源定向进一步包括：
步骤S111：选用白色面光源作为拍照光源；
步骤S112：将两个拍照光源相间隔地相对摆放且光源平面分别与检测对象所在的平面之间具有取决于弯针方向的倾斜角。
进一步地，为了使打光效果统一等目的，拍照光源和相机是相对固定的，移动相机的同时也会带动光源进行移动。并且，在移动相机和光源到检测位置后，进行拍照检测。图3示出的是拍照后没有经过处理的图片，即探针槽的图像的示例。
为此，使用三轴模组带动相机和光源一起移动至拍照位置进行拍照。如图4所示，在拍照的同时，进行打光，抬到相机的拍照高度，根据基于形状的模板匹配找到CPU探针槽，找到CPU探针槽的位置并进行图像的裁剪，保证裁剪之后的图片在后续进行识别的时候CPU弯针能完全地在图片中呈现出来。
因此，在根据本发明的基于机器视觉的弯针检测的方法100的一些实施例中，步骤S120：基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像进一步包括：
步骤S121：将拍照光源与相机布置为保持相对静止，使得移动相机的同时带动拍照光源移动；
步骤S122：使用三轴模组将相机移动到相应的检测位置，使得同时拍照光源被调整到相应的照明姿态。
另外，上述裁剪的过程同时也是一种识别的过程。当探针槽的图像视野中没有出现如图3所示的CPU弯针图片时，则模板匹配失败。此时就不需要浪费时间再去执行后续的语义分割算法的检测，减少了出错概率的同时，也减少了识别的时间。此时，一旦发生上述情况，则会结束此次检测过程和/或发出相关告警。
因此，在根据本发明的基于机器视觉的弯针检测的方法100的一些实施例中，步骤S130：根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图进一步包括：
步骤S131：响应于根据基于形状的模板匹配未获取所述图像中的探针槽的位置，判断模板匹配失败并结束检测过程和/或发出相关告警。
进一步地，根据本发明的构思，优选地使用RefineNet(高分辨率语义分割的多路径细化网络)语义分割算法。此算法的一个特点是使用了较多的residual connection(残差连接)。这样的好处不仅在于在RefineNet内部形成了short-range(短程)的连接，对训练有益。此外还与ResNet(残差网络)形成long-range(长程)的连接，让梯度能够有效的传递到整个网络中。
使用语义分割算法前需要使用打标工具，这里使用的labelme打标软件进行打标。打标之后的文件信息如图5所示，其中标明了图片的路径，已经图片中缺陷(弯针)的位置，其中包括“height”高度、“width”宽度、“id”标识、“file_name”文件名等信息。基于机器视觉的训练之后会生成一个模型文件，在后续进行识别的时候会加载模型进行识别。
因此，在根据本发明的基于机器视觉的弯针检测的方法100的一些实施例中，步骤S140：使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓进一步包括：
步骤S141：使用高分辨率语义分割的多路径细化网络进行所述模板匹配切割图中的弯针图像的识别，其中预先执行包含图像路径、缺陷位置的打标，并基于此训练模型。
进一步地，在识别过程中，会加载之前基于机器视觉训练好的模型以进行初步筛选。识别之后会得到一个缺陷概率图，缺陷概率图上显示的即为初步筛选的缺陷(弯针)的位置。随后再使用进一步的方向计算，进行进一步的筛选，这样就可以更大概率的筛选出需要的缺陷位置。在此基础上，获取到模板匹配之后的图片，使用连通域分析的方法找到缺陷弯针的轮廓信息。
因此，在根据本发明的基于机器视觉的弯针检测的方法100的一些实施例中，步骤S140：使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓进一步包括：
步骤S142：加载所述模型进行所述弯针图像的识别，并获得包含初步筛选的弯针的概率缺陷图；
步骤S143：对所述概率缺陷图中的弯针图像利用连通域分析获取相应的轮廓。
进一步地，获取到模板匹配之后的图片，使用连通域分析的方法找到缺陷弯针的轮廓信息。根据弯针的轮廓找到弯针的方向，具体地，弯针的方向求取包括首先求取几何图像的质心。质心的求取可以使用OpenCV开源算法求出轮廓的图像矩，然后根据公式(1)计算：
Figure BDA0003586571120000101
其中M10表示图像关于y轴的一阶矩，M01表示图像关于x轴的一阶矩；M00代表的是0阶矩，表示的是几何区域的面积。然后计算出质心离周围轮廓最大的距离的值。因为弯针通常是一个锥形的形状，所以质心在靠近粗边的地方，因此质心和轮廓边缘的最小的尖上点的连线即为轮廓的方向。此时最顶尖的点距离质心的距离是最大的，即此时的连线的最大距离符合公式(2)：
Figure BDA0003586571120000111
其中，求出{xmax,ymax}为最大距离的点，然后根据{xmax,ymax}、{x质心,y质心}计算出此时直线的角度。最后根据直线的角度判断弯针是否为缺陷弯针。
因此，在根据本发明的基于机器视觉的弯针检测的方法100的一些实施例中，步骤S150：根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况进一步包括：
步骤S151：根据所述轮廓求取其几何图像的质心；
步骤S152：计算所述质心离周围轮廓的最大距离及轮廓上对应最大距离的点；
步骤S153：根据所述质心及最大距离的点获得走向直线并计算所述直线的方向；
步骤S154：根据所述直线的方向判断相应的弯针是否为缺陷弯针。
另外，为了执行根据本发明的方法，利用优选C#进行了系统软件的开发。整个系统包括上位机与模组的通讯，界面的人际互动，一些工作日志的显示，拍照之后的图像显示界面。人工点击开始后，模组带着相机移动至拍照位，光源调至最亮，使用相机进行拍照，拍照之后使用模板匹配进行CPU探针槽匹配，裁剪图像，在使用语义分割算法进行弯针检测，检测得到的弯针图像，在计算轮廓的方向，根据轮廓的方向最后综合判定是否属于CPU弯针弯针NG的情况。
本发明的第二方面，还提供了一种基于机器视觉的弯针检测的系统200。图6示出了根据本发明的基于机器视觉的弯针检测的系统200的实施例的示意性框图。如图6所示，该系统包括：
检测姿态确定模块210，所述检测姿态确定模块210配置为根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向；
对象图像获取模块220，所述对象图像获取模块220配置为基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像；
模板匹配切割模块230，所述模板匹配切割模块230配置为根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图；
弯针图像识别模块240，所述缺陷弯针识别模块240配置为使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓；
缺陷弯针判断模块250，所述缺陷弯针判断模块250配置为根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况。
本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图7示出了根据本发明实施例提供的基于机器视觉的弯针检测的方法的计算机可读存储介质的示意图。如图7所示，计算机可读存储介质300存储有计算机程序指令310，该计算机程序指令310可以被处理器执行。该计算机程序指令310被执行时实现上述任意一项实施例的方法。
应当理解，在相互不冲突的情况下，以上针对根据本发明的基于机器视觉的弯针检测的方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的基于机器视觉的弯针检测的系统和存储介质。
本发明实施例的第四个方面，还提供了一种计算机设备400，包括存储器420和处理器410，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例的方法。
如图8所示，为本发明提供的执行基于机器视觉的弯针检测的方法的计算机设备的一个实施例的硬件结构示意图。以如图8所示的计算机设备400为例，在该计算机设备中包括一个处理器410以及一个存储器420，并还可以包括：输入装置430和输出装置440。处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接，图8中以通过总线连接为例。输入装置430可接收输入的数字或字符信息，以及产生与基于机器视觉的弯针检测的有关的信号输入。输出装置440可包括显示屏等显示设备。
存储器420作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的资源监控方法对应的程序指令/模块。存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储资源监控方法的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器420可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器410通过运行存储在存储器420中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的资源监控方法。
最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种基于机器视觉的弯针检测的方法，其特征在于，包括以下步骤：
根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向；
基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像；
根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图；
使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓；
根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况。
2.根据权利要求1所述的方法，其特征在于，所述根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及光源定向进一步包括：
选用白色面光源作为拍照光源；
将两个拍照光源相间隔地相对摆放且光源平面分别与检测对象所在的平面之间具有取决于弯针方向的倾斜角。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像进一步包括：
将拍照光源与相机布置为保持相对静止，使得移动相机的同时带动拍照光源移动；
使用三轴模组将相机移动到相应的检测位置，使得同时拍照光源被调整到相应的照明姿态。
4.根据权利要求1或2所述的方法，其特征在于，所述根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图进一步包括：
响应于根据基于形状的模板匹配未获取所述图像中的探针槽的位置，判断模板匹配失败并结束检测过程和/或发出相关告警。
5.根据权利要求1或2所述的方法，其特征在于，所述使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓进一步包括：
使用高分辨率语义分割的多路径细化网络进行所述模板匹配切割图中的弯针图像的识别，其中预先执行包含图像路径、缺陷位置的打标，并基于此训练模型。
6.根据权利要求5所述的方法，其特征在于，所述使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓进一步包括：
加载所述模型进行所述弯针图像的识别，并获得包含初步筛选的弯针的概率缺陷图；
对所述概率缺陷图中的弯针图像利用连通域分析获取相应的轮廓。
7.根据权利要求6所述的方法，其特征在于，所述根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况进一步包括：
根据所述轮廓求取其几何图像的质心；
计算所述质心离周围轮廓的最大距离及轮廓上对应最大距离的点；
根据所述质心及最大距离的点获得走向直线并计算所述直线的方向；
根据所述直线的方向判断相应的弯针是否为缺陷弯针。
8.一种基于机器视觉的弯针检测的系统，其特征在于，包括：
检测姿态确定模块，所述检测姿态确定模块配置为根据检测对象的探针槽的数量及其弯针的方向确定至少一个拍照姿态及拍照光源定向；
对象图像获取模块，所述对象图像获取模块配置为基于所述至少一个拍照姿态将相机和拍照光源移动到相应的检测位置拍摄检测对象的图像；
模板匹配切割模块，所述模板匹配切割模块配置为根据基于形状的模板匹配获取所述图像中的探针槽的位置并进行图像剪裁得到所述探针槽的模板匹配切割图；
弯针图像识别模块，所述缺陷弯针识别模块配置为使用语义分割算法在所述模板匹配切割图中识别弯针图像，并基于所述弯针图像计算相应弯针的轮廓；
缺陷弯针判断模块，所述缺陷弯针判断模块配置为根据所述轮廓求取相应弯针的方向，并根据所述方向判断相应弯针的缺陷情况。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的基于机器视觉的弯针检测的方法。
10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的基于机器视觉的弯针检测的方法。
CN202210364716.4A 2022-04-08 2022-04-08 基于机器视觉的弯针检测的方法、系统、存储介质及设备 Active CN114813746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210364716.4A CN114813746B (zh) 2022-04-08 2022-04-08 基于机器视觉的弯针检测的方法、系统、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210364716.4A CN114813746B (zh) 2022-04-08 2022-04-08 基于机器视觉的弯针检测的方法、系统、存储介质及设备

Publications (2)

Publication Number Publication Date
CN114813746A true CN114813746A (zh) 2022-07-29
CN114813746B CN114813746B (zh) 2024-01-09

Family

ID=82535520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210364716.4A Active CN114813746B (zh) 2022-04-08 2022-04-08 基于机器视觉的弯针检测的方法、系统、存储介质及设备

Country Status (1)

Country Link
CN (1) CN114813746B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303017A (zh) * 2011-04-29 2012-01-04 无锡众望四维科技有限公司 机器视觉系统对注射器钢针弯针的自动检测方法
TW201501079A (zh) * 2013-06-19 2015-01-01 Inventec Corp 針腳彎曲檢測方法
CN104483321A (zh) * 2014-10-31 2015-04-01 苏州捷碧医疗科技有限公司 一种基于机器视觉的注射针管自动检测系统和检测方法
CN205317899U (zh) * 2016-01-28 2016-06-15 浪潮电子信息产业股份有限公司 一种检验cpu底座弯针情况的治具
CN107689044A (zh) * 2017-09-05 2018-02-13 郑州云海信息技术有限公司 一种监测高密口背板弯针现象的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303017A (zh) * 2011-04-29 2012-01-04 无锡众望四维科技有限公司 机器视觉系统对注射器钢针弯针的自动检测方法
TW201501079A (zh) * 2013-06-19 2015-01-01 Inventec Corp 針腳彎曲檢測方法
CN104483321A (zh) * 2014-10-31 2015-04-01 苏州捷碧医疗科技有限公司 一种基于机器视觉的注射针管自动检测系统和检测方法
CN205317899U (zh) * 2016-01-28 2016-06-15 浪潮电子信息产业股份有限公司 一种检验cpu底座弯针情况的治具
CN107689044A (zh) * 2017-09-05 2018-02-13 郑州云海信息技术有限公司 一种监测高密口背板弯针现象的方法及装置

Also Published As

Publication number Publication date
CN114813746B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
US11741593B2 (en) Product defect detection method, device and system
US6289117B1 (en) Analysis of an image of a pattern of discrete objects
JP6218094B1 (ja) 検査方法、検査装置、検査プログラム、および記録媒体
JP2017096750A (ja) 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
CN106501272B (zh) 机器视觉焊锡定位检测系统
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
CN111753692A (zh) 目标对象提取方法、产品检测方法、装置、计算机和介质
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
CN103972124B (zh) 图案化晶圆缺点检测系统及其方法
WO2017071406A1 (zh) 金针类元件的引脚检测方法和系统
US6993177B1 (en) Gauging based on global alignment and sub-models
CN110346704B (zh) 板卡测试中测试文件的确定方法、装置、设备及存储介质
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
CN109816634B (zh) 检测方法、模型训练方法、装置及设备
JP2022507678A (ja) 自動目視検査プロセスにおけるセットアップ段階の最適化
CN112129773B (zh) 木材表面缺陷检测方法、装置、设备、系统及存储介质
CN113030121A (zh) 用于电路板元器件的自动光学检测方法、系统、及设备
CN113554630A (zh) 芯片表面缺陷检测方法、系统、计算机设备和存储介质
CN109685756A (zh) 影像特征自动辨识装置、系统及方法
CN110596118A (zh) 印刷图案检测方法及印刷图案检测装置
US9305235B1 (en) System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
CN114813746B (zh) 基于机器视觉的弯针检测的方法、系统、存储介质及设备
CN108921882B (zh) 一种基于机器视觉纽扣自动对准方法
CN115546219A (zh) 检测板式生成方法、板卡缺陷检测方法、装置及产品
CN115100166A (zh) 焊点缺陷检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant