CN112985515A - 一种产品紧固件装配合格性检测方法、系统及存储介质 - Google Patents

一种产品紧固件装配合格性检测方法、系统及存储介质 Download PDF

Info

Publication number
CN112985515A
CN112985515A CN202110461598.4A CN202110461598A CN112985515A CN 112985515 A CN112985515 A CN 112985515A CN 202110461598 A CN202110461598 A CN 202110461598A CN 112985515 A CN112985515 A CN 112985515A
Authority
CN
China
Prior art keywords
product
fastener
surface image
detected
workbench
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110461598.4A
Other languages
English (en)
Other versions
CN112985515B (zh
Inventor
魏勤龙
朱婷
陈仕晰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Longshen Robot Co Ltd
Original Assignee
Foshan Longshen Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Longshen Robot Co Ltd filed Critical Foshan Longshen Robot Co Ltd
Priority to CN202110461598.4A priority Critical patent/CN112985515B/zh
Publication of CN112985515A publication Critical patent/CN112985515A/zh
Application granted granted Critical
Publication of CN112985515B publication Critical patent/CN112985515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明公开了一种产品紧固件装配合格性检测方法、系统及存储介质，其方法包括：工作台基于检测执行指令控制设置在工作台上的图像采集设备对待检测产品的表面图像进行采集；对采集到的表面图像中所设置的产品编号信息进行识别，根据产品编号信息在数据库中调用产品检测目录；识别表面图像中是否存在空置孔位；若否，对表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；基于产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对待检测产品的紧固件装配合格性进行判断。本发明可快速自动地对待检测产品的相关紧固件进行多方面检测并完成产品归类，保证质检可靠性。

Description

一种产品紧固件装配合格性检测方法、系统及存储介质
技术领域
本发明涉及智能制造技术领域，尤其涉及一种产品紧固件装配合格性检测方法、系统及存储介质。
背景技术
在产品生产过程中，螺钉等紧固件的合理装配将影响后期产品的安全搬运和正常使用，因此需要在产品包装前对相关紧固件进行合格性检验。目前对产品紧固件的检测方式主要是人工目识法，这种方法不仅劳动强度大、效率低，而且易造成检测人员的视觉疲劳而经常性出现错检漏检情况，存在质量隐患问题。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种产品紧固件装配合格性检测方法、系统及存储介质，可快速自动地对待检测产品的相关紧固件进行多方面检测并完成产品归类，保证质检可靠性。
为了解决上述问题，本发明提出了一种产品紧固件装配合格性检测方法，所述方法包括：
当机械手将待检测产品抓取并放置在工作台上时，所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
若无空置孔位存在，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
可选的，所述产品检测目录包括N个孔位的中心位置、每一个孔位所关联的紧固件尺寸大小以及每一个孔位所关联的紧固件模板图像。
可选的，所述结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在包括：
根据第i（1≤i≤N）个孔位的中心位置以及第i个孔位所关联的紧固件尺寸大小，在所述表面图像中绘制出第i个孔位所对应的检测线段；
统计所述检测线段上所包含的像素点总数量以及每一个像素点所对应的灰度值，并从中计算出灰度值小于预设值的像素点所占比例；
循环执行上述两个步骤N次，获得N个孔位所对应的N个占比值，并判断每一个占比值是否小于预设比例阈值；
若每一个占比值均小于所述预设比例阈值，识别到所述表面图像中无空置孔位存在；
若至少有一个占比值大于等于所述预设比例阈值，识别到所述表面图像中有空置孔位存在。
可选的，在识别所述表面图像中是否有空置孔位存在之后，还包括：
若有空置孔位存在，所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上。
可选的，所述对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息包括：
对所述表面图像进行中值滤波与二值化，得到二次表面图像；
基于Canny边缘检测算法从所述二次表面图像中提取出每一个紧固件区域所对应的轮廓信息，并记录每一个紧固件区域的中心点在所述二次表面图像中的坐标位置。
可选的，所述基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断包括：
根据每一个紧固件轮廓信息所记录的区域中心点，从所述产品检测目录中匹配到与所述区域中心点相近的一个孔位的中心位置，并获取所述孔位所关联的紧固件尺寸大小和紧固件模板图像；
计算每一个紧固件轮廓信息所对应的尺寸大小，判断其与相匹配孔位所关联的紧固件尺寸大小之间的差值是否落在允许误差范围内；
若是，基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对；
若否，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中尺寸不合格的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
可选的，在基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对之后，还包括：
若每一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像吻合，所述工作台基于检测合格指令控制所述机械手将所述待检测产品抓取并移动至成品供应台上；
若至少有一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像不吻合，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中类型不匹配的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
另外，本发明实施例还提供了一种产品紧固件装配合格性检测系统，所述系统包括：
图像采集模块，用于当机械手将待检测产品抓取并放置在工作台上时，触发所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
编号识别模块，用于对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
孔位检测模块，用于结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
轮廓提取模块，用于在识别到所述表面图像中无空置孔位存在时，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
装配验证模块，用于基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
可选的，所述系统还包括：
贴标反馈模块，用于在识别到所述表面图像中有空置孔位存在时，触发所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上。
另外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任意一项所述的产品紧固件装配合格性检测方法。
在本发明实施例中，主要从孔位状态、紧固件尺寸与紧固件类型这三个方面对待检测产品上的相关紧固件进行层层检测，且在不符合其中一方面的检测要求时直接对待检测产品进行区域贴标与归类放置，有利于检修人员直观地发现并修补待检测产品的缺陷；相比于人工目识法，不仅可以缩短检修人员的时间成本，并且可以保证质检可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的产品紧固件装配合格性检测方法的流程示意图；
图2是本发明实施例中的产品紧固件装配合格性检测系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1示出了本发明实施例中的产品紧固件装配合格性检测方法的流程示意图。
如图1所示，一种产品紧固件装配合格性检测方法，所述方法包括如下步骤：
S101、当机械手将待检测产品抓取并放置在工作台上时，所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
需要说明的是，所述图像采集设备在执行对所述工作台上所放置的任意一个产品的拍摄工作时，其设置位置是始终保持不变的，使得对所述待检测产品所采集到的表面图像可与通过预先试验所采集到的合格品表面图像延用同一个平面坐标系进行数据表示。
S102、对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
本发明实施过程包括：由于技术人员在所述待检测产品上已预先标注有产品编号信息来区分紧固件装配规则，且本发明实施例针对每一个产品编号信息所对应的紧固件装配规则均生成有通过对同类合格品进行预先试验所记录得到的产品检测目录，再将每一个产品编号信息所关联的产品检测目录存储至数据库中，此时可利用现有的OCR识别工具对所述表面图像中以数字形式出现的产品编号信息进行读取，再根据所述产品编号信息从所述数据库中直接调用产品检测目录，其中所述产品检测目录包括所述表面图像中应当具备的N个孔位的中心位置、每一个孔位所关联的紧固件尺寸大小以及每一个孔位所关联的紧固件模板图像，用于区分铆钉沉头面、螺丝钉平面等紧固件的基本特征。
S103、结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
本发明实施过程包括：根据第i（1≤i≤N）个孔位的中心位置以及第i个孔位所关联的紧固件尺寸大小，在所述表面图像中绘制出第i个孔位所对应的检测线段；统计所述检测线段上所包含的像素点总数量以及每一个像素点所对应的灰度值，并从中计算出灰度值小于预设值的像素点所占比例；循环执行上述两个步骤N次，获得N个孔位所对应的N个占比值，并判断每一个占比值是否小于预设比例阈值，相应的判断结果为：若每一个占比值均小于所述预设比例阈值，识别到所述表面图像中无空置孔位存在，跳转执行步骤S105；若至少有一个占比值大于等于所述预设比例阈值，识别到所述表面图像中有空置孔位存在，继续执行步骤S104。
具体地，以判断任意一个孔位是否为空置状态为例进行说明：首先从所述产品检测目录中获取孔位1的中心位置以及孔位1所关联的尺寸大小（此处采用直径长度D1），根据孔位1的中心位置在所述表面图像上定位到孔位1的中心点O1，并绘制出一条长度为D1且关于中心点O1对称的检测线段；其次根据空置孔位的深色背景与产品表面的灰色背景之间的区分度较为明显（紧固件表面颜色与产品整体表面颜色相近），技术人员利用所述图像采集设备运作在当前时间段下的成像效果设定一个预设灰度值，此时可统计所述检测线段上所包含的像素点总数量为K1以及每一个像素点所对应的灰度值，再从K1个像素点中筛选出灰度值小于所述预设灰度值的M1（0≤M1≤K1）个像素点并计算出占比值为P1=M1/K1×100%；最后，基于所述占比值P1小于预设比例阈值，说明孔位1为已安装状态；或者基于所述占比值P1大于等于所述预设比例阈值，说明孔位1为空置状态。
S104、所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上；
本发明实施过程包括：在识别到所述表面图像中有空置孔位存在之后，根据对N个占比值的比较结果，从所述N个孔位中筛选出M（1≤M≤N）个空置孔位，此时所述工作台将根据在所述表面图像中M个空置孔位的中心位置生成第一连贯贴标路径，并驱动所述第一贴标控件按照所述第一连贯贴标路径依次按序对所述待检测产品上的M个空置孔位进行黄色标签粘贴，且在所述第一贴标控件完成贴标任务并返回至初始位置时将随即生成孔位检验完毕指令，使得所述工作台可基于所述孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上，以供维修人员可直观判断所述待检测产品的安装不合理之处。
S105、对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
本发明实施过程包括：对所述表面图像进行中值滤波与二值化，得到二次表面图像；基于Canny边缘检测算法从所述二次表面图像中提取出每一个紧固件区域所对应的轮廓信息，并记录每一个紧固件区域的中心点在所述二次表面图像中的坐标位置。
具体地，针对所述表面图像进行中值滤波处理表现为：设定一个滤波窗口，利用所述滤波窗口对所述表面图像中每一个像素点的灰度值进行修正，其目的在于保证原有轮廓信息不被破坏的情况下可消除所述表面图像中的干扰噪声，避免对二值化处理后的图像背景划分效果产生影响；针对滤波后的表面图像进行二值化处理表现为：设定一个最优阈值，将当前表面图像中灰度值大于等于所述最优阈值的所有像素点的灰度值替换为0以及将灰度值小于所述最优阈值的所有像素点的灰度值替换为1，以此生成二次表面图像，其目的在于使得所述二次表面图像中所有紧固件区域与不相干背景区域的对比度达到最大，有助于后续对每一个紧固件轮廓信息的快速有效提取。
具体地，针对从所述二次表面图像中提取出每一个紧固件区域所对应的轮廓信息表现为：首先将所述二次表面图像与高斯函数进行卷积运算，得到平滑图像；其次利用一阶微分算子对所述平滑图像进行运算，得到梯度幅值和梯度方向；接着对所述梯度幅值进行抑制并检索出所有边缘点（记录为A个），且确保每一个边缘点对比于其相邻像素点在所述梯度方向上的梯度幅值变化最大；最后利用双阈值算法进行边缘点检测和边缘连接，即从A个边缘点中直接移除小于低阈值的A1个边缘点，同时从A个边缘点中挑选出趋于低阈值和高阈值之间的A2个边缘点并从中移除其邻接像素点均小于高阈值的A21个边缘点，此时再利用近邻聚类方式将剩下的（A-A1-A21）个边缘点划分为N组边缘点，之后将每一组边缘点按照数组模拟队列实现方式进行边缘连接，可得到N个紧固件区域所对应的N个轮廓信息。
S106、基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
本发明实施过程包括：
（1）根据每一个紧固件轮廓信息所记录的区域中心点，从所述产品检测目录中匹配到与所述区域中心点相近的一个孔位的中心位置，并获取所述孔位所关联的紧固件尺寸大小和紧固件模板图像；
（2）计算每一个紧固件轮廓信息所对应的尺寸大小（实际上是统计每一个紧固件轮廓线上的像素点总个数），判断其与相匹配孔位所关联的紧固件尺寸大小（此处采用外轮廓周长）之间的差值是否落在允许误差范围内，相应的判断结果为：若每一个紧固件轮廓信息所关联的尺寸大小与相匹配孔位所关联的紧固件尺寸大小之间的差值均落在所述允许误差范围内，则继续执行步骤（3）；若至少有一个紧固件轮廓信息所关联的尺寸大小与相匹配孔位所关联的紧固件尺寸大小之间的差值未落在所述允许误差范围内，则跳转执行步骤（4）；
（3）基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对，其中模板匹配算法原理主要应用在对紧固件表面类型（如一字型、十字型等）进行核实，其比对结果实际为以上两个区域相关性的计算结果；
在此步骤实施之后，还包括：若每一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像吻合，所述工作台基于检测合格指令控制所述机械手将所述待检测产品抓取并移动至成品供应台上，说明所述待检测产品为合格品；若至少有一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像不吻合，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中类型不匹配的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
其中，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中类型不匹配的所有紧固件区域进行贴标处理，包括：在识别到所述表面图像中存在已安装紧固件的类型不匹配时，根据对所述表面图像中N个紧固件轮廓信息的类型比对结果，从N个紧固件区域中筛选出M（1≤M≤N）个不匹配紧固件区域，此时所述工作台将根据M个不匹配紧固件区域的中心位置生成第二连贯贴标路径，并驱动所述第二贴标控件按照所述第二连贯贴标路径依次按序对所述待检测产品上的M个不匹配紧固件区域进行红色标签粘贴，且在所述第二贴标控件完成贴标任务并返回至初始位置时将随即生成装配检验完毕指令，使得所述工作台可基于所述装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上，以降低维修人员对不合格品的返工难度。
（4）所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中尺寸不合格的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
具体地，在识别到所述表面图像中存在已安装紧固件的尺寸不合格时，根据对所述表面图像中N个紧固件轮廓信息的尺寸核对结果，从N个紧固件区域中筛选出M（1≤M≤N）个不合格紧固件区域，此时所述工作台将根据M个不合格紧固件区域的中心位置生成第三连贯贴标路径，并驱动所述第二贴标控件按照所述第三连贯贴标路径依次按序对所述待检测产品上的M个不合格紧固件区域进行红色标签粘贴，且在所述第二贴标控件完成贴标任务并返回至初始位置时将随即生成装配检验完毕指令，使得所述工作台可基于所述装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
在本发明实施例中，主要从孔位状态、紧固件尺寸与紧固件类型这三个方面对待检测产品上的相关紧固件进行层层检测，且在不符合其中一方面的检测要求时直接对待检测产品进行区域贴标与归类放置，有利于检修人员直观地发现并修补待检测产品的缺陷；相比于人工目识法，不仅可以缩短检修人员的时间成本，并且可以保证质检可靠性。
实施例
请参阅图2，图2示出了本发明实施例中的产品紧固件装配合格性检测系统的结构组成示意图。
如图2所示，一种产品紧固件装配合格性检测系统，所述系统包括：
图像采集模块201，用于当机械手将待检测产品抓取并放置在工作台上时，触发所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
编号识别模块202，用于对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
孔位检测模块203，用于结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
贴标反馈模块204，用于在识别到所述表面图像中有空置孔位存在时，触发所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上；
轮廓提取模块205，用于在识别到所述表面图像中无空置孔位存在时，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
装配验证模块206，用于基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
关于一种产品紧固件装配合格性检测系统的具体限定可以参见上文中对于一种产品紧固件装配合格性检测方法的限定，在此不再赘述。上述一种产品紧固件装配合格性检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有应用程序，该程序被处理器执行时实现上述实施例中任意一个实施例的一种产品紧固件装配合格性检测方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、CD-ROM、和磁光盘）、ROM（Read-Only Memory，只读存储器）、RAM（RandomAcceSS Memory，随即存储器）、EPROM（EraSable Programmable Read-Only Memory，可擦写可编程只读存储器）、EEPROM（Electrically EraSableProgrammableRead-Only Memory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备（例如，计算机、手机）以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
以上对本发明实施例所提供的一种产品紧固件装配合格性检测方法、系统及存储介质进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种产品紧固件装配合格性检测方法，其特征在于，所述方法包括：
当机械手将待检测产品抓取并放置在工作台上时，所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
若无空置孔位存在，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
2.根据权利要求1所述的产品紧固件装配合格性检测方法，其特征在于，所述产品检测目录包括N个孔位的中心位置、每一个孔位所关联的紧固件尺寸大小以及每一个孔位所关联的紧固件模板图像。
3.根据权利要求2所述的产品紧固件装配合格性检测方法，其特征在于，所述结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在包括：
根据第i（1≤i≤N）个孔位的中心位置以及第i个孔位所关联的紧固件尺寸大小，在所述表面图像中绘制出第i个孔位所对应的检测线段；
统计所述检测线段上所包含的像素点总数量以及每一个像素点所对应的灰度值，并从中计算出灰度值小于预设值的像素点所占比例；
循环执行上述两个步骤N次，获得N个孔位所对应的N个占比值，并判断每一个占比值是否小于预设比例阈值；
若每一个占比值均小于所述预设比例阈值，识别到所述表面图像中无空置孔位存在；
若至少有一个占比值大于等于所述预设比例阈值，识别到所述表面图像中有空置孔位存在。
4.根据权利要求3所述的产品紧固件装配合格性检测方法，其特征在于，在识别所述表面图像中是否有空置孔位存在之后，还包括：
若有空置孔位存在，所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上。
5.根据权利要求1所述的产品紧固件装配合格性检测方法，其特征在于，所述对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息包括：
对所述表面图像进行中值滤波与二值化，得到二次表面图像；
基于Canny边缘检测算法从所述二次表面图像中提取出每一个紧固件区域所对应的轮廓信息，并记录每一个紧固件区域的中心点在所述二次表面图像中的坐标位置。
6.根据权利要求2所述的产品紧固件装配合格性检测方法，其特征在于，所述基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断包括：
根据每一个紧固件轮廓信息所记录的区域中心点，从所述产品检测目录中匹配到与所述区域中心点相近的一个孔位的中心位置，并获取所述孔位所关联的紧固件尺寸大小和紧固件模板图像；
计算每一个紧固件轮廓信息所对应的尺寸大小，判断其与相匹配孔位所关联的紧固件尺寸大小之间的差值是否落在允许误差范围内；
若是，基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对；
若否，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中尺寸不合格的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
7.根据权利要求6所述的产品紧固件装配合格性检测方法，其特征在于，在基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对之后，还包括：
若每一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像吻合，所述工作台基于检测合格指令控制所述机械手将所述待检测产品抓取并移动至成品供应台上；
若至少有一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像不吻合，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中类型不匹配的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
8.一种产品紧固件装配合格性检测系统，其特征在于，所述系统包括：
图像采集模块，用于当机械手将待检测产品抓取并放置在工作台上时，触发所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
编号识别模块，用于对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
孔位检测模块，用于结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
轮廓提取模块，用于在识别到所述表面图像中无空置孔位存在时，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
装配验证模块，用于基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
9.根据权利要求8所述的产品紧固件装配合格性检测系统，其特征在于，所述系统还包括：
贴标反馈模块，用于在识别到所述表面图像中有空置孔位存在时，触发所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的产品紧固件装配合格性检测方法。
CN202110461598.4A 2021-04-27 2021-04-27 一种产品紧固件装配合格性检测方法、系统及存储介质 Active CN112985515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110461598.4A CN112985515B (zh) 2021-04-27 2021-04-27 一种产品紧固件装配合格性检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110461598.4A CN112985515B (zh) 2021-04-27 2021-04-27 一种产品紧固件装配合格性检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112985515A true CN112985515A (zh) 2021-06-18
CN112985515B CN112985515B (zh) 2021-08-24

Family

ID=76340436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110461598.4A Active CN112985515B (zh) 2021-04-27 2021-04-27 一种产品紧固件装配合格性检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112985515B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114544665A (zh) * 2022-04-27 2022-05-27 惠州威尔高电子有限公司 Pcb成型槽漏锣快速检测方法、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5221984B2 (ja) * 2008-02-29 2013-06-26 三菱重工業株式会社 締結具の緩み検出システム及び緩み検出方法
CN204630546U (zh) * 2015-05-18 2015-09-09 张万军 一种风电设备紧固件的在线自学习视觉化检测系统
CN204730873U (zh) * 2015-07-09 2015-10-28 张万军 一种风电设备紧固件智能化的检测装置
CN205373939U (zh) * 2016-01-05 2016-07-06 中车青岛四方机车车辆股份有限公司 紧固件装配状态检测装置
CN107014816A (zh) * 2016-01-27 2017-08-04 上海弘米智能科技有限公司 一种紧固件加工流水线实时质量检测方法及系统
CN107570430A (zh) * 2017-10-26 2018-01-12 中国人民解放军国防科技大学 机械装备维修过程中基于智能机器人的零部件分拣方法
CN108846331A (zh) * 2018-05-30 2018-11-20 北京天亿时代科技有限公司 一种动车组底盘螺丝紧固件是否脱落的视频识别方法
CN208746024U (zh) * 2018-06-05 2019-04-16 成都精工华耀科技有限公司 一种基于人工标识图像的列车紧固件松动检测系统
CN110044281A (zh) * 2019-05-23 2019-07-23 安徽赛安安全设备有限责任公司 用于紧固件松紧度检测的装置及其方法
CN110887441A (zh) * 2019-12-11 2020-03-17 浙江一诺机电有限公司 一种产品尺寸、规格自动化检测并分辨装置
CN112051815A (zh) * 2020-08-31 2020-12-08 安徽江淮汽车集团股份有限公司 装配线的拧紧作业监控方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5221984B2 (ja) * 2008-02-29 2013-06-26 三菱重工業株式会社 締結具の緩み検出システム及び緩み検出方法
CN204630546U (zh) * 2015-05-18 2015-09-09 张万军 一种风电设备紧固件的在线自学习视觉化检测系统
CN204730873U (zh) * 2015-07-09 2015-10-28 张万军 一种风电设备紧固件智能化的检测装置
CN205373939U (zh) * 2016-01-05 2016-07-06 中车青岛四方机车车辆股份有限公司 紧固件装配状态检测装置
CN107014816A (zh) * 2016-01-27 2017-08-04 上海弘米智能科技有限公司 一种紧固件加工流水线实时质量检测方法及系统
CN107570430A (zh) * 2017-10-26 2018-01-12 中国人民解放军国防科技大学 机械装备维修过程中基于智能机器人的零部件分拣方法
CN108846331A (zh) * 2018-05-30 2018-11-20 北京天亿时代科技有限公司 一种动车组底盘螺丝紧固件是否脱落的视频识别方法
CN208746024U (zh) * 2018-06-05 2019-04-16 成都精工华耀科技有限公司 一种基于人工标识图像的列车紧固件松动检测系统
CN110044281A (zh) * 2019-05-23 2019-07-23 安徽赛安安全设备有限责任公司 用于紧固件松紧度检测的装置及其方法
CN110887441A (zh) * 2019-12-11 2020-03-17 浙江一诺机电有限公司 一种产品尺寸、规格自动化检测并分辨装置
CN112051815A (zh) * 2020-08-31 2020-12-08 安徽江淮汽车集团股份有限公司 装配线的拧紧作业监控方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄爱民: "面向标准件机箱装配质量图像特征提取与构建方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114544665A (zh) * 2022-04-27 2022-05-27 惠州威尔高电子有限公司 Pcb成型槽漏锣快速检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN112985515B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN111507147A (zh) 智能巡检方法、装置、计算机设备和存储介质
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN107895362A (zh) 一种微型接线端子质量检测的机器视觉方法
EP2212909B1 (en) Patterned wafer defect inspection system and method
CN109946304A (zh) 基于特征匹配的零件表面缺陷在线检测系统及检测方法
CN111591715A (zh) 一种皮带纵向撕裂检测方法及装置
KR20190024447A (ko) 실시간 선로 결함 검측 시스템
CN112985515B (zh) 一种产品紧固件装配合格性检测方法、系统及存储介质
CN110930350A (zh) 机器学习方法及应用机器学习方法的自动光学检测设备
Chavan et al. Quality control of PCB using image processing
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
CN113111903A (zh) 智能产线监测系统及监测方法
CN116309277A (zh) 基于深度学习的钢材检测方法及系统
CN104376322B (zh) 一种集装箱箱号预处理质量的智能评测方法
CN112505049B (zh) 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
US20210223150A1 (en) Hole expansion ratio testing device, hole expansion ratio testing method, and operating program
US20220284699A1 (en) System and method of object detection using ai deep learning models
CN112541367A (zh) 一种基于深度学习和图像处理的多种二维码识别方法
CN111460198A (zh) 一种图片时间戳的审核方法及装置
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
KR20190119801A (ko) 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법
KR101846259B1 (ko) 실러 도포 비전 검사 시스템
KR102316081B1 (ko) 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법
CN114565883A (zh) 一种设备的运行故障用图形识别算法
CN114092382A (zh) 产品瑕疵标记装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant