CN116129348A - 异物检测方法、装置、电子设备及计算机可读存储介质 - Google Patents
异物检测方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116129348A CN116129348A CN202211584619.2A CN202211584619A CN116129348A CN 116129348 A CN116129348 A CN 116129348A CN 202211584619 A CN202211584619 A CN 202211584619A CN 116129348 A CN116129348 A CN 116129348A
- Authority
- CN
- China
- Prior art keywords
- screw hole
- foreign matter
- image
- product
- foreign object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请提供一种异物检测方法、装置、电子设备及计算机可读存储介质,该方法包括:获取待测产品的螺丝孔图像;识别所述螺丝孔图像的孔洞区域;将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果。本申请能够通过待测产品的螺丝孔图像,自动检测螺丝孔的异物,无需人工检测,提高异物检测效率,且检测准确性高。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种异物检测方法、装置、电子设备及计算机可读存储介质。
背景技术
当产品的螺丝孔中存在异物时,会影响后续的使用和安装。因此,在使用产品的螺丝孔前,会检测螺丝孔是否存在异物。现有的做法一般是人工通过放大镜、显微镜检测螺丝孔是否存在异物。然而人工检测的准确性较低,费时费力,且可能存在一定的漏检和误检。
发明内容
鉴于此,本申请提供一种异物检测方法、装置、电子设备及计算机可读存储介质,可实现准确检测螺丝孔是否存在异物,且检测效率高。
本申请一实施方式提供一种异物检测方法,包括:获取待测产品的螺丝孔图像;识别所述螺丝孔图像的孔洞区域;将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果。
采用该技术方案,能够通过待测产品的螺丝孔图像,自动检测螺丝孔的异物,无需人工检测,节省人力成本,且可提升异物检测的准确率与效率。
在一些实施例中,该方法应用于电子设备,所述电子设备与螺丝孔异物拍摄装置通信连接,所述螺丝孔异物拍摄装置包括伺服模块和图像采集模块;所述伺服模块用于控制所述图像采集模块移动至所述待测产品的螺丝孔检测位置;所述图像采集模块用于拍摄所述待测产品的螺丝孔图像;获取模块601中获取待测产品的螺丝孔图像,包括:从所述螺丝孔异物拍摄装置获取所述待测产品的螺丝孔图像。
采用该技术方案,通过控制模块进行跑位,进一步提高待测产品螺丝孔检测的自动化。
在一些实施例中,识别所述螺丝孔图像的孔洞区域,包括:获取螺丝孔的实际尺寸;基于所述螺丝孔的实际尺寸,生成螺丝孔模板;在所述螺丝孔图像中,查找与所述螺丝孔模板匹配的感兴趣区域;基于所述感兴趣区域,确定所述螺丝孔图像的孔洞区域。
采用该技术方案,通过模板匹配,便于后续查找到螺丝孔的孔洞区域。
在一些实施例中,基于所述感兴趣区域,确定所述螺丝孔图像的孔洞区域,包括:在所述感兴趣区域中查找螺丝孔的多个边缘点;基于所述多个边缘点,拟合成圆形,得到所述孔洞区域。
采用该技术方案,通过边缘点拟合成圆形,避免异物过大,遮挡孔洞区域导致难以准确提取出孔洞区域的情况。
在一些实施例中,在所述将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果之后,计算所述异物的尺寸;若所述异物的尺寸不满足预设的良品尺寸范围,判定所述待测产品为不良品。
在一些实施例中,在所述判定所述待测产品为不良品之后,所述方法还包括:获取所述异物的形状;在预设的形状和不良品类型的对应关系中,查找与所述异物的形状对应的不良品类型。
采用该技术方案,能够自动检测不良品类型,进一步节约人力资源,提高检测效率。
在一些实施例中,异物分割模型的训练步骤,包括:获取螺丝孔图像样本对,其中,所述螺丝孔图像样本对包括:样本螺丝孔图像,以及所述样本螺丝孔图像对应的实际异物标记图像;将所述样本螺丝孔图像输入当前的异物分割模型,得到预测异物标记图像;基于所述实际异物标记图像和所述预测异物标记图像,计算所述当前的异物分割模型的损失值;若所述损失值收敛,判定所述异物分割模型训练完成。
本申请一实施方式提供一种异物检测装置,包括:获取模块,用于获取待测产品的螺丝孔图像;识别模块,用于识别所述螺丝孔图像的孔洞区域;检测将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果。
本申请一实施方式提供一种电子设备,电子设备包括处理器及存储器,存储器用于存储指令,处理器用于调用存储器中的指令,使得电子设备执行上述的异物检测方法。
本申请一实施方式提供一种计算机可读存储介质,其上存储有计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述的异物检测方法。
上述电子设备及计算机可读存储介质均与上述信息存储方法对应,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1是本申请一实施例中提供的螺丝孔异物拍摄装置的结构示意图。
图2是本申请一实施例中提供的异物检测方法的步骤流程图。
图3是本申请一实施例中提供的步骤202的子步骤流程图。
图4是本申请一实施例中提供的感兴趣区域与螺丝孔的位置关系示意图。
图5是本申请一实施例中提供的螺丝孔异物分割的示意图。
图6是本申请一实施例中提供的螺丝孔异物检测装置的示意图。
图7是本申请一实施例中电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施方式对本申请进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施方式及实施方式中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,所描述的实施方式仅是本申请一部分实施方式,而不是全部的实施方式。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本申请。
进一步需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本申请中“至少一个”是指一个或者多个,“多个”是指两个或多于两个。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不是用于描述特定的顺序或先后次序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请的异物检测方法可应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于处理器、微程序控制器(Microprogrammed Control Unit,MCU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述电子设备可以是上位机、便携式电子设备(如手机、平板电脑)、个人电脑、服务器等。
参考图1所示,本申请实施例的电子设备可以与螺丝孔异物拍摄装置通信连接,螺丝孔异物拍摄装置可以包括伺服模块和图像采集模块;伺服模块用于控制所述图像采集模块移动至待测产品的螺丝孔检测位置;图像采集模块用于拍摄所述待测产品的螺丝孔图像。
图像采集模块可以包括:光源和摄像头。光源用于为螺丝孔的拍摄提供光照,使得光线能够通过螺丝孔,从而便于摄像头能够清晰的拍摄螺丝孔图像。摄像头可以包括:1200瓦像素电荷耦合元件(Charge Coupled Device,CCD)101和四倍率远心镜头102。光源可以为白色无影灯103。
伺服模块可以包括:控制器,功率驱动装置,反馈装置和电动机。控制器按照预设的运行值和通过反馈装置检测的实际运行值的差,调节控制量;功率驱动装置作为系统的主回路,一方面按控制量的大小将电网中的电能作用到电动机之上,调节电动机转矩的大小,另一方面按电动机的要求把恒压恒频的电网供电转换为电动机所需的交流电或直流电;电动机则按供电大小拖动机械运转。
另外,螺丝孔异物拍摄装置还可以安装有产品治具104,产品治具用于固定待测产品。
图1是本申请异物检测方法一实施例的步骤流程图。根据不同的需求,所述流程图中步骤的顺序可以改变,某些步骤可以省略。
参阅图1所示,所述异物检测方法可以包括以下步骤。
步骤201,获取待测产品的螺丝孔图像。
例如,螺丝孔异物拍摄装置的伺服模块控制图像采集模块移动至待测产品的螺丝孔检测位置,然后,图像采集模块的光源提供光照,以照亮螺丝孔底部,图像采集模块的摄像头拍摄螺丝孔,得到待测产品的螺丝孔图像,并将该螺丝孔图像传输至电子设备,如上位机;上位机从所述螺丝孔异物拍摄装置获取该螺丝孔图像。
本申请实施例可在获取螺丝孔图像后,对螺丝孔图像进行二值化处理,简化图像信息,从而便于后续检测异物。
步骤202,识别螺丝孔图像的孔洞区域。
在一些实施例中,例如,可以通过预设的边缘特征提取模型提取螺丝孔图像的边缘特征,得到螺丝孔图像的孔洞区域。边缘特征提取模型可以为Sobel算子边缘检测、Canny算子边缘检测等,但不限于此。
螺丝孔图像中特性,如像素灰度、纹理等分布的不连续处,图像周围特性有阶跃变化或屋脊状变化的像素集合可作为螺丝孔图像的边缘特征。
在另一些实施例中,参考图3所示,步骤202可以包括以下步骤。
步骤2021,获取螺丝孔的实际尺寸。
其中,螺丝孔的实际尺寸可以为螺丝孔的实际长度、宽度、半径等,螺丝孔的尺寸能够表征螺丝孔的形状和大小。
步骤2022,基于螺丝孔的实际尺寸,生成螺丝孔模板。
例如,电子设备可以通过每个像素与显示的物体的实际长度的比例,将螺丝孔的实际尺寸转换为螺丝孔的像素尺寸,得到螺丝孔模板。
步骤2023,在螺丝孔图像中,查找与螺丝孔模板匹配的感兴趣区域。在螺丝孔图像中,可以将与螺丝孔模板相似度最大的感兴趣区域作为与螺丝孔模板匹配的感兴趣区域(region of interest,ROI)。
例如,将螺丝孔模板在螺丝孔图像中滑动,确定当前螺丝孔模板在螺丝孔图像中的覆盖区域,比较螺丝孔模板的边缘与覆盖区域的边缘的像素值的相似度,可将相似度最大的覆盖区域作为与螺丝孔模板匹配的感兴趣区域。
示例性的,螺丝孔模板为圆形,将该圆形在螺丝孔图像中滑动,得到与螺丝孔模板匹配的感兴趣区域。
步骤2024,基于感兴趣区域,确定螺丝孔图像的孔洞区域。
在一些实施例中,可将感兴趣区域,作为螺丝孔图像的孔洞区域。
然而,参考图4所示,感兴趣区域401可能与螺丝孔图像中显示的螺丝孔402的角度并不匹配,例如螺丝孔为方形,螺丝孔模板也为方形,螺丝孔模板的角度与该感兴趣区域的角度不一致。
因此,在另一些实施例中,可调整感兴趣区域直至感兴趣区域的角度与现实的螺丝孔402的角度一致,将调整后的感兴趣区域作为螺丝孔图像的孔洞区域。
上述实施例均将感兴趣区域作为孔洞区域,然而,感兴趣区域可能并不完全与螺丝孔图像中的螺丝孔外边界贴合。因此,在另一些实施例中,若螺丝孔为圆形,可在所述感兴趣区域中查找螺丝孔的多个边缘点;基于多个边缘点,拟合成圆形,将该圆形作为孔洞区域。
本实施例一方面能够准确确定孔洞区域,另一方面,避免因异物过大遮挡孔洞区域,导致难以准确提取出孔洞区域的情况。
步骤203,将孔洞区域输入预先训练好的异物分割模型,得到待测产品孔洞区域的异物检测结果。
在一些实施例中,异物分割模型的训练步骤,包括:获取螺丝孔图像样本对,其中,该螺丝孔图像样本对包括:样本螺丝孔图像,以及样本螺丝孔图像对应的实际异物标记图像;将样本螺丝孔图像输入当前的异物分割模型,得到预测异物标记图像;基于实际异物标记图像和预测异物标记图像,计算所述当前的异物分割模型的损失值;通过多组图像样本对对异物分割模型进行训练直至损失值收敛,结束对异物分割模型的训练。
可参考图5所示,图5为螺丝孔异物分割的示意图。将螺丝孔图像的孔洞区域输入该异物分割模型,异物分割模型抓取孔洞区域的异物,得到模型抓取的异物图像,并将异物进行分割,得到分割出的异物图像。
在一些实施例中,在步骤203之后,还可以计算所述异物的尺寸;若所述异物的尺寸不满足预设的良品尺寸范围,则判定所述待测产品为不良品。例如,将良品尺寸范围设置在:异物面积小于0.02mm2、异物长度小于0.3mm且螺丝孔可以拟合圆半径大于0,但良品尺寸范围不限于此,实际应用过程中可以根据需求设置。
本申请实施例可将异物进行二进制大对象(binary large object,BLOB)分析,BLOB分析可包括将图像二值化,分割得到前景和背景,然后进行连通区域检测以及面积、周长重心等特征的分析,从而得到BLOB的过程,BLOB分析能够对显示的异物去噪,且便于对每个螺丝孔进行特征量计算,包括面积、周长、质心坐标等特征。
本申请实施例能够基于异物自动判定待测产品的螺丝孔是否为良品,实现待测产品的良率检测的自动化。
在一些实施例中,在判定待测产品为不良品之后,还可以获取所述异物的形状;在预设的形状和不良品类型的对应关系中,查找与所述异物的形状对应的不良品类型。不良品类型包括:存在铝屑、毛刺、赃污等影响下一工站螺丝的安装的异物。
本实施例能够自动检测出不良品类型,提高不良品检测效率。
下表1为实验过程中,人工检测异物,与本实施例中的异物检测方法的实验数据对照表。
表1
1.表1中所测得的良品经人工复判均为良品,即实现了零漏检,且检测结果趋于稳定,良率为87.83%。
2.本实施例的异物检测方法相较于人工更为严格,存在一定过检,过检率9.97%。
3.本实施例的异物检测方法检测周期为每个孔1.07s,合计38个螺丝孔,总检测周期41s,检测效率相较于人工更高。
4.重复性、再现性最终测量结果均与初次保持一致,即,本实施例的电子设备在进行异物检测时具有重复性和再现性。
也就是说,本申请实施例能够避免异物漏检,节约人力,提高异物检测的准确性,以及检测效率。
基于与上述实施例中的异物检测方法相同的思想,本申请还提供异物检测装置,该装置可用于执行上述异物检测方法。为了便于说明,异物检测装置实施例的结构示意图中,仅仅示出了与本申请实施例相关的部分,本邻域技术人员可以理解,图示结构并不构成对该装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图6所示,异物检测装置包括获取模块601、识别模块602和检测模块603。在一些实施例中,上述模块(获取模块601、识别模块602和检测模块603)可以为存储于存储器中且可被处理器调用执行的可程序化软件指令。可以理解的是,在其他实施方式中,上述模块也可为固化于处理器中的程序指令或固件(firmware)。
获取模块601,用于获取待测产品的螺丝孔图像;
识别模块602,用于识别所述螺丝孔图像的孔洞区域;
检测模块603,用于检测将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果。
在一些实施例中,异物检测装置可应用于电子设备,所述电子设备与螺丝孔异物拍摄装置通信连接,所述螺丝孔异物拍摄装置包括伺服模块和图像采集模块;所述伺服模块用于控制所述图像采集模块移动至所述待测产品的螺丝孔检测位置;所述图像采集模块用于拍摄所述待测产品的螺丝孔图像;获取模块601中获取待测产品的螺丝孔图像,包括:从所述螺丝孔异物拍摄装置获取所述待测产品的螺丝孔图像。
采用该技术方案,通过伺服模块控制图像采集模块进行跑位,进一步提高待测产品螺丝孔检测的自动化。
在一些实施例中,识别模块602中识别所述螺丝孔图像的孔洞区域,包括:获取螺丝孔的实际尺寸;基于所述螺丝孔的实际尺寸,生成螺丝孔模板;在所述螺丝孔图像中,查找与所述螺丝孔模板匹配的感兴趣区域;基于所述感兴趣区域,确定所述螺丝孔图像的孔洞区域。
采用该技术方案,通过模板匹配,便于后续查找到螺丝孔的孔洞区域。
在一些实施例中,识别模块602中基于所述感兴趣区域,确定所述螺丝孔图像的孔洞区域,包括:在所述感兴趣区域中查找螺丝孔的多个边缘点;基于所述多个边缘点,拟合成圆形,得到所述孔洞区域。
采用该技术方案,通过边缘点拟合成圆形,避免异物过大,遮挡孔洞区域导致难以准确提取出孔洞区域的情况。
在一些实施例中,检测模块603进一步用于在所述将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果之后,计算所述异物的尺寸;若所述异物的尺寸不满足预设的良品尺寸范围,判定所述待测产品为不良品。
在一些实施例中,检测模块603中在所述判定所述待测产品为不良品之后,所述方法还包括:获取所述异物的形状;在预设的形状和不良品类型的对应关系中,查找与所述异物的形状对应的不良品类型。
在一些实施例中,检测模块603中异物分割模型的训练步骤,包括:获取螺丝孔图像样本对,其中,所述螺丝孔图像样本对包括:样本螺丝孔图像,以及所述样本螺丝孔图像对应的实际异物标记图像;将所述样本螺丝孔图像输入当前的异物分割模型,得到预测异物标记图像;基于所述实际异物标记图像和所述预测异物标记图像,计算所述当前的异物分割模型的损失值;若所述损失值收敛,判定所述异物分割模型训练完成。
图7为本申请电子设备一实施例的示意图。
电子设备100包括存储器20、处理器30以及存储在存储器20中并可在处理器30上运行的计算机程序40。处理器30执行计算机程序40时实现上述异物检测方法实施例中的步骤,例如图2所示的步骤201至步骤203。
示例性的,计算机程序40同样可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在存储器20中,并由处理器30执行。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,所述指令段用于描述计算机程序40在电子设备100中的执行过程。例如,可以分割成图6所示的获取模块601、识别模块602和检测模块603。
本领域技术人员可以理解,所述示意图仅仅是电子设备100的示例,并不构成对电子设备100的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备100还可以包括输入输出设备、网络接入设备、总线等。
处理器30可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器、单片机或者处理器30也可以是任何常规的处理器等。
存储器20可用于存储计算机程序40和/或模块/单元,处理器30通过运行或执行存储在存储器20内的计算机程序和/或模块/单元,以及调用存储在存储器20内的数据,实现电子设备100的各种功能。存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外,存储器20可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,所述计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
在本申请所提供的几个实施例中,应该理解到,所揭露的电子设备和方法,可以通过其它的方式实现。例如,以上所描述的电子设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
另外,在本申请各个实施例中的各功能单元可以集成在相同处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。电子设备权利要求中陈述的多个单元或电子设备也可以由同一个单元或电子设备通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照上述实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (10)
1.一种异物检测方法,其特征在于,所述方法包括:
获取待测产品的螺丝孔图像;
识别所述螺丝孔图像的孔洞区域;
将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果。
2.如权利要求1所述的异物检测方法,其特征在于,所述异物检测方法应用于电子设备,所述电子设备与螺丝孔异物拍摄装置通信连接,所述螺丝孔异物拍摄装置包括伺服模块和图像采集模块;
所述伺服模块用于控制所述图像采集模块移动至所述待测产品的螺丝孔检测位置;
所述图像采集模块用于拍摄所述待测产品的螺丝孔图像;
所述获取待测产品的螺丝孔图像,包括:
从所述螺丝孔异物拍摄装置获取所述待测产品的螺丝孔图像。
3.如权利要求1所述的异物检测方法,其特征在于,所述识别所述螺丝孔图像的孔洞区域,包括:
获取螺丝孔的实际尺寸;
基于所述螺丝孔的实际尺寸,生成螺丝孔模板;
在所述螺丝孔图像中,查找与所述螺丝孔模板匹配的感兴趣区域;
基于所述感兴趣区域,确定所述螺丝孔图像的孔洞区域。
4.如权利要求3所述的异物检测方法,其特征在于,所述基于所述感兴趣区域,确定所述螺丝孔图像的孔洞区域,包括:
在所述感兴趣区域中查找螺丝孔的多个边缘点;
基于所述多个边缘点,拟合成圆形,得到所述孔洞区域。
5.如权利要求1所述的异物检测方法,其特征在于,在所述将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果之后,所述方法还包括:
计算所述异物的尺寸;
若所述异物的尺寸不满足预设的良品尺寸范围,判定所述待测产品为不良品。
6.如权利要求5所述的异物检测方法,其特征在于,在所述判定所述待测产品为不良品之后,所述方法还包括:
获取所述异物的形状;
在预设的形状和不良品类型的对应关系中,查找与所述异物的形状对应的不良品类型。
7.如权利要求1所述的异物检测方法,其特征在于,所述异物分割模型的训练步骤,包括:
获取螺丝孔图像样本对,其中,所述螺丝孔图像样本对包括:样本螺丝孔图像,以及所述样本螺丝孔图像对应的实际异物标记图像;
将所述样本螺丝孔图像输入当前的异物分割模型,得到预测异物标记图像;
基于所述实际异物标记图像和所述预测异物标记图像,计算所述当前的异物分割模型的损失值;
若所述损失值收敛,判定所述异物分割模型训练完成。
8.一种异物检测装置,其特征在于,所述异物检测装置包括:
获取模块,用于获取待测产品的螺丝孔图像;
识别模块,用于识别所述螺丝孔图像的孔洞区域;
检测模块,用于检测将所述孔洞区域输入预先训练好的异物分割模型,得到所述待测产品的异物检测结果。
9.一种电子设备,所述电子设备包括处理器及存储器,其特征在于,所述存储器用于存储指令,所述处理器用于调用所述存储器中的指令,使得所述电子设备执行如权利要求1至权利要求7中任一项所述的异物检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至权利要求7中任一项所述的异物检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211584619.2A CN116129348A (zh) | 2022-12-10 | 2022-12-10 | 异物检测方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211584619.2A CN116129348A (zh) | 2022-12-10 | 2022-12-10 | 异物检测方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116129348A true CN116129348A (zh) | 2023-05-16 |
Family
ID=86303563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211584619.2A Pending CN116129348A (zh) | 2022-12-10 | 2022-12-10 | 异物检测方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116129348A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274965A (zh) * | 2023-11-21 | 2023-12-22 | 浙江恒逸石化有限公司 | 图像识别模型的训练方法、喷丝板检测方法及装置 |
-
2022
- 2022-12-10 CN CN202211584619.2A patent/CN116129348A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274965A (zh) * | 2023-11-21 | 2023-12-22 | 浙江恒逸石化有限公司 | 图像识别模型的训练方法、喷丝板检测方法及装置 |
CN117274965B (zh) * | 2023-11-21 | 2024-03-05 | 浙江恒逸石化有限公司 | 图像识别模型的训练方法、喷丝板检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
CN109801267B (zh) | 基于特征点检测与svm分类器的巡检目标缺陷检测方法 | |
US11189019B2 (en) | Method for detecting defects, electronic device, and computer readable medium | |
CN107895362B (zh) | 一种微型接线端子质量检测的机器视觉方法 | |
CN111598913B (zh) | 一种基于机器人视觉的图像分割方法和系统 | |
CN111598827A (zh) | 外观瑕疵检测方法、电子装置及存储介质 | |
CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
CN110378227B (zh) | 修正样本标注数据的方法、装置、设备及存储介质 | |
CN110175519B (zh) | 一种变电站的分合标识仪表识别方法、装置与存储介质 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN108460344A (zh) | 屏幕中的动态区域智能识别系统及智能识别方法 | |
CN111209958A (zh) | 基于深度学习的变电站设备检测方法及装置 | |
Mukhopadhyay et al. | PCB inspection in the context of smart manufacturing | |
CN116129348A (zh) | 异物检测方法、装置、电子设备及计算机可读存储介质 | |
WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
CN114419038A (zh) | 轮毂表面缺陷的识别方法及装置、存储介质、电子设备 | |
CN102401636B (zh) | 图像测量装置和图像测量方法 | |
CN113533372B (zh) | 一种纸张缺陷检测方法、系统、装置及计算机存储介质 | |
CN105678301A (zh) | 一种自动识别并分割文本图像的方法、系统及装置 | |
CN110599514A (zh) | 图像分割的方法、装置、电子设备及存储介质 | |
CN113793322A (zh) | 一种对磁性材料自动检测的方法、电子设备和存储介质 | |
CN116681677A (zh) | 一种锂电池缺陷检测方法、装置及系统 | |
CN115830627A (zh) | 信息存储方法、装置、电子设备及计算机可读存储介质 | |
CN116258703A (zh) | 缺陷检测方法、装置、电子设备及计算机可读存储介质 | |
CN115546219A (zh) | 检测板式生成方法、板卡缺陷检测方法、装置及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |