CN117557786B - 物料质量检测方法、装置、计算机设备及存储介质 - Google Patents
物料质量检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117557786B CN117557786B CN202410041408.7A CN202410041408A CN117557786B CN 117557786 B CN117557786 B CN 117557786B CN 202410041408 A CN202410041408 A CN 202410041408A CN 117557786 B CN117557786 B CN 117557786B
- Authority
- CN
- China
- Prior art keywords
- defect
- area
- defect management
- picture
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 356
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000007547 defect Effects 0.000 claims abstract description 714
- 238000013507 mapping Methods 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims description 25
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 314
- 238000010586 diagram Methods 0.000 description 12
- 239000002184 metal Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000004075 alteration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012770 industrial material Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及一种物料质量检测方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。方法包括:获取待测物料的物料图片和模板图片;模板图片包括待测物料的物料缺陷对应的缺陷管控区域;对物料图片进行缺陷检测,得到物料图片中的缺陷区域和缺陷区域对应的缺陷类型;将缺陷区域映射到模板图片中,得到缺陷区域的映射结果;基于映射结果,从各个缺陷管控区域中,确定缺陷区域对应的目标缺陷管控区域;基于映射结果和目标缺陷管控区域针对缺陷类型的缺陷管控指标,确定待测物料对应的物料质量。采用本方法,能够实现提高物料质量的检测效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种物料质量检测方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。
背景技术
随着人工智能技术的日益成熟,物料质量和生产效率成为企业竞争的关键因素。在工业物料的生产过程中,往往需要根据相应的缺陷管控标准对物料进行一系列的质量检测,判断物料的质量是否符合预期的要求。
传统方法中,是由人工根据物料对应的缺陷管控标准,判断待测物料是否存在缺陷,存在物料质量检测效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种物料质量检测方法、装置、计算机设备、计算机可读存储介质及计算机程序产品,能够实现提高物料质量的检测效率。
第一方面,本申请提供了一种物料质量检测方法,包括:
获取待测物料的物料图片和模板图片;模板图片包括待测物料的物料缺陷对应的缺陷管控区域;
对物料图片进行缺陷检测,得到物料图片中的缺陷区域和缺陷区域对应的缺陷类型;
将缺陷区域映射到模板图片中,得到缺陷区域的映射结果;
基于映射结果,从各个缺陷管控区域中,确定缺陷区域对应的目标缺陷管控区域;
基于映射结果和目标缺陷管控区域针对缺陷类型的缺陷管控指标,确定待测物料对应的物料质量。
第二方面,本申请还提供了一种物料质量检测装置,包括:
获取模块,用于获取待测物料的物料图片和模板图片;模板图片包括待测物料的物料缺陷对应的缺陷管控区域;
检测模块,用于对物料图片进行缺陷检测,得到物料图片中的缺陷区域和缺陷区域对应的缺陷类型;
映射模块,用于将缺陷区域映射到模板图片中,得到缺陷区域的映射结果;
第一确定模块,用于基于映射结果,从各个缺陷管控区域中,确定缺陷区域对应的目标缺陷管控区域;
第二确定模块,用于基于映射结果和目标缺陷管控区域针对缺陷类型的缺陷管控指标,确定待测物料对应的物料质量。
第三方面,本申请还提供了一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述物料质量检测方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述物料质量检测方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序被处理器执行时实现上述物料质量检测方法的步骤。
上述物料质量检测方法、装置、计算机设备、计算机可读存储介质及计算机程序产品,通过对待测物料的物料图片对应的缺陷区域在模板图片中的映射结果,确定缺陷区域所属的目标缺陷管控区域,进而基于目标缺陷管控区域针对缺陷区域所属的缺陷类型的缺陷管控指标,确定待测物料对应的物料质量。这样,将缺陷区域映射到模板图片中得到映射结果,可以消除物料在物料图片中存在的偏移,进而根据映射结果能够快速准确地确定缺陷区域对应的目标缺陷管控区域。接着基于目标缺陷管控区域针对缺陷类型的缺陷管控指标来分析待测物料对应的物料质量,能够提高缺陷检测的效率,并且在进行质量检测时将物料划分为不同的缺陷管控区域,不同缺陷管控区域内的物料缺陷分别进行不同标准的缺陷管控,可以提高物料质量检测的准确性和灵活性。
附图说明
图1为本申请实施例提供的一种物料质量检测方法的应用环境图;
图2为本申请实施例提供的一种物料质量检测方法的流程示意图;
图3为本申请实施例提供的一种确定映射结果的流程示意图;
图4为本申请实施例提供的另一种物料质量检测方法的流程示意图;
图5为本申请实施例提供的一种物料质量检测装置的结构框图;
图6为本申请实施例提供的一种计算机设备的内部结构图;
图7为本申请实施例提供的另一种计算机设备的内部结构图;
图8为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的物料质量检测方法,可以应用于如图1所示的应用环境中。其中,终端102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
终端和服务器均可单独用于执行本申请实施例中提供的物料质量检测方法。终端和服务器也可协同用于执行本申请实施例中提供的物料质量检测方法。
在一些实施例中,如图2所示,提供了一种物料质量检测方法,以该方法应用于计算机设备为例进行说明,计算机设备可以是终端或服务器,由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。该方法包括以下步骤:
步骤S202,获取待测物料的物料图片和模板图片;模板图片包括待测物料的物料缺陷对应的缺陷管控区域。
其中,待测物料是指需要进行物料质量检测的物料。物料是指在生产领域中流转的一切材料,包括原材料、半成品、成品等,在生产过程中,为了保证产品的质量,需要对生产过程中的物料进行质量检测。例如,物料可以是构成产品的零部件。物料图片是对待测物料进行图像采集(拍摄或扫描)得到的。模板图片是对标准的、无缺陷的物料进行图像采集得到的。模板图片中预先划分了多个缺陷管控区域,各个缺陷管控区域针对物料缺陷的缺陷管控指标是不同的。
示例性地,首先确定需要进行物料质量检测的物料类型,由图像采集设备对属于该物料类型的、标准的、无缺陷的物料进行图像采集得到模板图片,根据该物料类型对应的缺陷管控标准,预先在模板图片中划分出物料缺陷对应的缺陷管控区域,将模板图片发送至计算机设备,进而对生产得到的属于该物料类型的待测物料进行图像采集得到物料图片,并发送至计算机设备。计算机设备获取待测物料的物料图片和待测物料所属物料类型对应的模板图片。
步骤S204,对物料图片进行缺陷检测,得到物料图片中的缺陷区域和缺陷区域对应的缺陷类型。
其中,缺陷区域是指物料中物料缺陷对应的区域,即每一个物料缺陷在待测物料中所占的区域,物料缺陷对应的缺陷区域可以用物料缺陷的掩模图像表示。缺陷类型是指物料缺陷的类型,不同缺陷类型在同一缺陷管控区域中对应的缺陷管控指标是不同的,同一缺陷类型在不同的缺陷管控区域中可以对应不同的缺陷管控指标。
缺陷管控指标是指用于判断物料缺陷是否符合质量要求的缺陷管控标准,缺陷类型对应的缺陷管控指标是指针对该缺陷类型的缺陷管控标准,具体可以是针对该缺陷类型的缺陷的尺寸阈值,可以是缺陷的长度阈值,宽度阈值和面积阈值。例如,针对缺陷类型A的缺陷管控标准为缺陷长度小于2mm为合格,缺陷长度大于或等于2mm为不合格。
具体地,可以通过训练缺陷识别模型,通过缺陷识别模型来检测物料图片中存在的缺陷区域和缺陷区域对应的缺陷类型。还可以对物料图片进行分区域扫描,比对物料图片的各个区域与模板图片的灰度像素值之间的差异,将灰度像素值差异大于预设条件的区域确定为缺陷区域,进一步对物料图片中该区域内的所有像素点进行灰度差分运算,计算每个像素点与相邻像素点之间的灰度差异,若灰度差异大于预设值,则将该像素点确定为缺陷点,基于所确定的各个缺陷点,确定该区域内的缺陷区域,进而将该缺陷区域输入训练好的用于识别缺陷类型识别模型,识别该缺陷区域所对应的缺陷类型。
步骤S206,将缺陷区域映射到模板图片中,得到缺陷区域的映射结果。
其中,映射结果是指将缺陷区域映射至模板图片中得到的、消除了图像采集过程中由于物料偏移导致的误差的标准缺陷区域。
示例性地,由于图像采集设备在运行时产生的震动,待测物料在物料图片中会存在一定的偏移,因此需要将待测物料中的缺陷区域映射至模板图片上,以消除物料偏移带来的影响。首先从模板图片和物料图片中分别提取多个特征点,对提取得到的模板图片和物料图片中的特征点进行匹配计算,得到模板图片和物料图片之间的对应关系。进而基于物料图片和模板图片之间的对应关系,将缺陷区域映射到模板图片中,得到缺陷区域对应的映射结果。
步骤S208,基于映射结果,从各个缺陷管控区域中,确定缺陷区域对应的目标缺陷管控区域。
其中,由于不同的缺陷类型在面积、长度或是宽度上都对应不一样的管控标准,并且即使是同一缺陷类型,位于物料的不同区域,也可能需要执行不同的管控标准。缺陷管控区域是指根据各个缺陷类型分别对应的缺陷管控指标在物料中划分得到的区域。例如,模板图片中执行同一缺陷管控指标的区域即为一个缺陷管控区域,根据物料对应的缺陷管控指标,可以在物料上划分相应的缺陷管控区域。例如,当物料的全部区域均执行同一缺陷管控标准A(缺陷管控标准A中包含针对每个缺陷类型的缺陷管控指标)时,模板图片中物料所在区域即为一个缺陷管控区域a,当物料中某一区域需要执行不同的缺陷管控标准B(缺陷管控标准B和缺陷管控标准A之间存在一个或多个缺陷类型所对应的缺陷管控指标是不同的)时,在缺陷管控区域a中,将该区域划分为一个独立的缺陷管控区域b,剩余的区域a-b即为另一缺陷管控区域,缺陷管控区域a-b仍执行缺陷管控标准A。缺陷区域对应的目标缺陷区域是指缺陷区域所属的缺陷管控区域。
示例性地,计算机设备基于缺陷区域在模板图片中对应的映射结果和缺陷区域对应的缺陷类型,确定缺陷区域在模板图片中所属的缺陷管控区域。具体地,先在模板图片包含的各个缺陷管控区域中确定需要对该缺陷类型进行特殊缺陷管控的缺陷管控区域,若存在相应的缺陷管控区域,则计算映射结果与上述确定的各个缺陷管控区域之间分别对应的重合度,若存在重合度大于预设重合度阈值的缺陷管控区域,则将该缺陷管控区域作为缺陷区域对应的目标缺陷管控区域;若不存在重合度大于预设重合度阈值的缺陷管控区域或不存在需要对该缺陷类型进行特殊缺陷管控的缺陷管控区域,则将模板图片中进行普通缺陷管控的缺陷管控区域作为缺陷区域对应的目标缺陷管控区域。
步骤S210,基于映射结果和目标缺陷管控区域针对缺陷类型的缺陷管控指标,确定待测物料对应的物料质量。
示例性地,计算机设备基于目标缺陷管控区域针对缺陷类型的缺陷管控指标,判断映射结果对应的物料缺陷的缺陷尺寸是否符合质量要求。若该映射结果符合质量要求,则用相同的方法,继续判断待测图片中存在的其他物料缺陷是否符合质量要求,若出现不符合质量要求的物料缺陷,则确定待测物料的物料质量为不合格,若各个物料缺陷均符合质量要求,则确定待测物料的物料质量为合格。
上述物料质量检测方法中,通过对待测物料的物料图片对应的缺陷区域在模板图片中的映射结果,确定缺陷区域所属的目标缺陷管控区域,进而基于目标缺陷管控区域针对缺陷区域所属的缺陷类型的缺陷管控指标,确定待测物料对应的物料质量。这样,将缺陷区域映射到模板图片中得到映射结果,可以消除物料在物料图片中存在的偏移,进而根据映射结果能够快速准确地确定缺陷区域对应的目标缺陷管控区域。接着基于目标缺陷管控区域针对缺陷类型的缺陷管控指标来分析待测物料对应的物料质量,能够提高缺陷检测的效率,并且在进行质量检测时将物料划分为不同的缺陷管控区域,不同缺陷管控区域内的物料缺陷分别进行不同标准的缺陷管控,可以提高物料质量检测的准确性和灵活性。
在一些实施例中,对物料图片进行缺陷检测,得到物料图片中的缺陷区域和缺陷区域对应的缺陷类型,包括:
将物料图片输入目标缺陷识别模型进行处理,输出物料图片中的缺陷区域和缺陷区域对应的缺陷类型;
其中,目标缺陷识别模型为待测物料所属的物料类型对应的缺陷识别模型;目标缺陷识别模型是基于待测物料所属的物料类型对应的多个物料图片样本和各个物料图片样本分别对应的缺陷区域标签和缺陷类型标签训练得到的。
其中,物料类型是指物料的类型,用于区分不同的物料。缺陷识别模型是指用于识别某一物料类型的物料图片中的缺陷区域和缺陷区域对应的缺陷类型的模型。物料图片样本是对属于待测物料所属物料类型的物料样本进行图像采集得到的。物料图片样本对应的缺陷区域标签是指物料样本中用于指示物料样本中实际对应的缺陷区域。物料图片样本对应的缺陷区域标签用于指示物料图片样本中的缺陷区域实际所属的缺陷类型。
示例性地,计算机设备在确定了需要进行物料质量检测的物料类型后,采集属于该物料类型的多个物料样本分别对应的物料图片样本,以及物料图片样本对应的缺陷区域标签。将物料样本图片输入初始的缺陷识别模型,缺陷识别模型输出物料图片样本对应的预测缺陷区域和预测缺陷区域对应的预测缺陷类型。基于物料图片样本对应的预测缺陷区域和预测缺陷区域对应的预测缺陷类型与缺陷区域标签之间的差异,得到模型损失,基于模型损失调整缺陷识别模型中的模型参数,直至模型收敛,得到训练好的缺陷识别模型,即目标缺陷识别模型。
上述实施例中,通过训练一个用于识别物料图片中的缺陷区域和缺陷区域对应的缺陷类型的神经网络模型,相比于传统的通过像素值差异来确定缺陷位置,再进行缺陷类别的识别,能够具有更高的精度,提高缺陷识别的准确性和效率。
在一些实施例中,如图3所示,将缺陷区域映射到模板图片中,得到缺陷区域的映射结果,包括:
步骤S302,从模板图片中确定多个标准定位区域和各个标准定位区域分别对应的基准点。
步骤S304,基于各个标准定位区域,在物料图片中提取与多个基准点一一对应的多个匹配点。
步骤S306,对各个基准点和各个匹配点进行仿射变换计算,得到物料图片与模板图片之间的仿射矩阵。
步骤S308,基于仿射矩阵,将缺陷区域映射到模板图片中,得到缺陷区域的映射结果。
其中,标准定位区域是指基于模板图片中的基准点和物料图片中物料的偏移范围,在模板图片中划定的区域,用于指示该基准点在物料图片中的出现范围。基准点是指在模板图片中选取的用于进行放射变换的定位点,基准点可以是物料中与物料整体相比,色差或亮度差较大的部位的中心点。基准点在物料图片中出现的位置即为基准点在物料图片对应的匹配点。仿射矩阵用于对缺陷区域进行仿射变换的矩阵,将缺陷区域映射回模板图片,从而消除图像采集过程中物料偏移导致的坐标误差。
示例性地,计算机设备在模板图片中提取多个标准定位区域和各个标准定位区域分别对应的基准点。具体地,可以在模板图片中确定与物料整体的颜色或亮度之间存在较大差异的部位作为候选定位部位,提取候选定位部位对应的中心点作为候选基准点,进而基于物料图片中物料的偏移范围,确定每个候选基准点对应的定位区域。例如,由于在打光下,金属件(即金属材质部分)和塑件(即塑料材质部分)之间会呈现出较大的色差或是亮度差,当物料主体主要为塑料材质时,可以选择物料中被周边塑件包围的金属端子的中心点作为候选基准点。进而在各个候选基准点中提取多个用于进行仿射变换的基准点,例如,可以提取三个候选基准点。提取得到的各个基准点在模板图片上是均匀分布的,这样能够保证基于基准点确定的仿射矩阵更加准确。例如,在模板图片的左上角、左下角和右上角分别提取一个基准点。
计算机设备在物料图片上与标准定位区域对应的定位区域内,提取色差或亮度差较大的部位,将部位的中心点作为匹配点,分别得到各个标准定位区域对应的基准点在物料图片中所对应的匹配点。进而构建一个变换矩阵,基于变换矩阵将匹配点在物料图片中对应的坐标转换为在模板图片中的预测坐标,基于匹配点对应的预测坐标和匹配点对应的基准点的坐标之间的差异,调整变换矩阵中的参数,返回基于变换矩阵将匹配点在物料图片中对应的坐标转换为在模板图片中的预测坐标的步骤执行,直至得到能够将每个匹配点的坐标准确地转换为匹配点所对应的基准点的坐标的变换矩阵,将该变换矩阵作为物料图片和模板图片之间的仿射矩阵。进而根据仿射矩阵,将缺陷区域映射至模板图片中,得到缺陷区域对应的映射结果。
上述实施例中,通过像素阈值过滤的方式,能够快速准确地在图片中提取亮度差或色差较大的部位,从而能够提高在亮度差或色差较大的部位中提取基准点和匹配点的效率。此外,通过为每个基准点确定标准定位区域,在采集到物料图片时,可以直接在物料图片上与标准定位区域对应的定位区域中提取匹配点,相比于传统方法中通过像素对比的方式在整张物料图片中确定匹配点的方法,在标准定位区域中提取匹配点的效率更高,能够降低提取匹配点的耗时。此外,基于仿射矩阵将缺陷区域映射至模板图片中,可以消除物料偏移的影响,提高物料质量检测的准确性。
在一些实施例中,基于各个标准定位区域,在物料图片中提取与多个基准点一一对应的多个匹配点,包括:
针对各个标准定位区域,基于预设像素阈值对标准定位区域在物料图片中对应的目标定位区域进行像素值过滤,得到目标定位区域对应的区域二值图;
从区域二值图中确定目标连通区域;
融合目标连通区域中各个像素点分别对应的坐标值,得到在物料图片中与基准点对应的匹配点。
其中,预设像素阈值是指预设的像素值,用于将图像转换为二值图。目标定位区域对应的区域二值图是指物料图片中目标定位区域内的图像所对应的二值图。标准定位区域在物料图片中对应的目标定位区域是指标准定位区域在物料图片中所对应的区域,物料图片和模板图片的图片尺寸是相同的,标准定位区域在模板图片中所处的位置,与标准定位区域对应的目标定位区域在物料图片中所处的位置是相同的。例如,当模板图片的尺寸为256*256,单位为像素,模板图片的左上角16*16的图像区域为一个标准定位区域时,该标准定位区域在物料图片中对应的目标定位区域即为物料图片中左上角16*16的区域。目标连通区域是指由区域二值图中具有相同像素值且位置相邻的前景像素点组成的图像区域,也就是区域二值图中与物料整体相比,色差或亮度差较大的部位所对应的图像区域。
具体地,首先提取目标定位区域对应的灰度图,进而将灰度图中像素值小于预设像素阈值的像素点的像素值更新为0,将灰度图中像素值大于或等于预设像素阈值的像素点的像素值更新为1,得到目标定位区域对应的区域二值图。从区域二值图中提取亮度差或色差较大的部位所对应的目标连通区域。具体地,当亮度差或色差较大的部位在灰度图中对应的像素值大于或等于预设像素阈值时,则基于区域二值图中相邻的、像素值为1的像素点确定目标连通区域,当亮度差或色差较大的部位在灰度图中对应的像素值小于预设像素阈值时,则基于区域二值图中相邻的、像素值为0的像素点确定目标连通区域。融合目标连通区域中各个像素点分别对应的坐标,得到物料图片中与基准点匹配点的坐标。例如,可以计算目标连通区域中各个像素点分别对应的横坐标的平均值,得到匹配点对应的横坐标,计算目标连通区域中各个像素点分别对应的纵坐标的平均值,得到匹配点对应的纵坐标。
上述实施例中,通过像素值过滤的方式,能够快速准确地在目标定位区域中提取亮度差或色差较大的部位对应的目标连通区域,进而融合目标连通区域内各个像素点分别对应的像素值,从而快速准确地在目标定位区域中提取匹配点,从而提高物料质量的检测效率。
在一些实施例中,各个缺陷管控区域包括基础缺陷管控区域、新增缺陷管控区域中至少一者,基础缺陷管控区域为模板图片中新增缺陷管控区域之外的区域;基于映射结果,从各个缺陷管控区域中,确定缺陷区域对应的目标缺陷管控区域,包括:
获取模板图片对应的管控信息配置文件;管控信息配置文件包括各个新增缺陷管控区域分别对应的缺陷管控类型集;
在缺陷类型属于各个缺陷管控类型集中的至少一者时,将缺陷类型所属的缺陷管控类型集对应的新增缺陷管控区域作为候选缺陷管控区域;基于缺陷区域与候选缺陷管控区域之间的重合度,在候选缺陷管控区域和基础缺陷管控区域中确定缺陷区域对应的目标缺陷管控区域;或者,
当缺陷类型不属于各个缺陷管控类型集时,将基础缺陷管控区域确定为缺陷区域对应的目标缺陷管控区域。
其中,新增缺陷管控区域是指在物料上划分的需要执行特殊的缺陷管控标准的区域。基础缺陷管控区域是指物料上除新增缺陷管控区域之外的区域,即执行最原始、最基础的缺陷管控标准的区域。模板图片对应的管控信息配置文件是指记录了各个新增缺陷管控区域分别对应的缺陷管控类型集的文件,在实际实现过程中,管控信息配置文件中还可以记录各个需要进行特殊管控的缺陷类型分别对应的缺陷管控指标。新增缺陷管控区域对应的缺陷管控类型集是指包含新增缺陷管控区域中需要进行特殊管控的各个缺陷类型的集合。缺陷区域与候选管控区域之间的重合度用于判断缺陷区域是否能够划分至候选管控区域。
示例性地,计算机设备计算缺陷区域与候选管控区域之间的重合度,若存在重合度大于预设重合度的候选管控区域,则将该候选管控区域作为目标缺陷管控区域;若不存在重合度大于预设重合度的候选管控区域,则将基础缺陷管控区域作为目标缺陷管控区域。具体地,可以将缺陷区域与候选管控区域之间的重合区域的面积与缺陷区域的面积之间的比值作为重合度。若缺陷区域对应的缺陷类型不属于各个新增缺陷管控区域分别对应的缺陷管控类型集时,将基础缺陷管控区域确定为缺陷区域对应的目标缺陷管控区域。
上述实施例中,在确定了物料图片中的缺陷区域和缺陷区域对应的缺陷类型后,首先判断该缺陷类型的物料缺陷是否需要进行特殊缺陷管控,即遍历各个新增缺陷管控区域分别对应的缺陷管控类型集。若包含于新增缺陷管控区域对应的缺陷管控类型集,则基于缺陷区域与新增缺陷管控区域之间的重合度,进一步判断缺陷区域是否位于新增缺陷管控区域内,若缺陷区域位于该新增缺陷管控区域内,则将该新增缺陷管控区域确定为缺陷区域对应的目标缺陷管控区域,若缺陷区域不在该新增缺陷管控区域内,则说明该缺陷区域无需进行特殊缺陷管控。若缺陷类型不包含于任何一个缺陷管控类型集中,则也说明该缺陷区域无需进行特殊缺陷管控。这样,在确定了缺陷区域和缺陷区域对应的缺陷类型后,基于各个新增缺陷管控区域分别对应的管控信息配置文件中的缺陷管控类型集,可以快速判断缺陷区域是否需要进行特殊缺陷管控,能够提高物料质量检测的效率。同时,通过在配置文件中记录各个新增缺陷管控区域分别对应的缺陷管控类型集,实现了快速兼容新增的特殊缺陷管控规则,能够提高物料质量检测的灵活性。
在一些实施例中,基于映射结果和目标缺陷管控区域针对缺陷类型的缺陷管控指标,确定待测物料对应的物料质量,包括:
从模板图片对应的管控信息配置文件中,获取目标缺陷管控区域针对缺陷类型的缺陷管控指标作为目标管控指标;
当映射结果对应的区域尺寸小于目标管控指标中的尺寸阈值时,确定待测物料对应的物料质量为合格;或者,
当映射结果对应的区域尺寸大于或等于目标管控指标中的尺寸阈值时,确定待测物料对应的物料质量为不合格。
其中,映射结果中缺陷区域的尺寸,也就是映射结果中物料缺陷的尺寸。
示例性地,通过管控信息配置文件,记录各个新增缺陷管控区域分别对应的缺陷管控类型集和缺陷管控类型集中各个缺陷类型分别对应的缺陷管控指标。计算机设备从模板图片对应的管控信息配置文件中,提取缺陷区域所属目标缺陷管控区域针对缺陷区域对应的缺陷类型的缺陷管控指标,作为目标管控指标。将映射结果对应的区域尺寸,即物料缺陷的尺寸与目标管控指标中对应的尺寸阈值进行比对。若缺陷区域的映射结果对应的区域尺寸小于目标缺陷管控区域中对应的尺寸阈值,则说明该缺陷区域符合质量检测要求,不影响物料质量;若物料图片中各个缺陷区域分别对应的映射结果的区域尺寸均小于对应的尺寸阈值,则确定待测物料对应的物料质量为合格。若映射结果对应的区域尺寸大于或等于目标管控指标中对应的尺寸阈值,则确定待测物料对应的物料质量为不合格。
上述实施例中,通过管控信息配置文件,记录各个新增缺陷管控区域分别对应的缺陷管控类型集和缺陷管控类型集中各个缺陷类型分别对应的缺陷管控指标,实现了快速兼容新增的特殊缺陷管控规则,能够提高物料质量检测的灵活性。在确定了物料图片中各个缺陷区域分别对应的映射结果后,将映射结果的区域尺寸与对应的目标管控指标中的尺寸阈值进行比对,能够快速准确地确定待测物料的物料质量,提高物料质量检测的效率。
在一些实施例中,各个缺陷管控区域包括基础缺陷管控区域、新增缺陷管控区域中至少一者,基础缺陷管控区域为模板图片中新增缺陷管控区域之外的区域,方法还包括:
响应于针对模板图片的缺陷管控区域绘制操作,展示在模板图片上绘制得到的新增缺陷管控区域,将基础缺陷管控区域从模板图片缩小到模板图片中除新增缺陷管控区域之外的区域,将新增缺陷管控区域对应的区域标识和区域位置写入模板图片对应的区域信息配置文件;
响应于针对新增缺陷管控区域的缺陷管控信息配置操作,确定新增缺陷管控区域对应的缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标,将新增缺陷管控区域对应的区域标识、缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标,写入模板图片对应的管控信息配置文件。
其中,管控区域绘制操作是指绘制新增缺陷管控区域的操作,具体地,可以是输入新增缺陷管控区域对应的多个边界点的操作,模板图片中由各个边界点所围成的多边形区域即为新增缺陷管控区域,也可以是直接在模板图片上绘制一个闭合区域的操作。区域标识是指用于区分不同新增缺陷管控区域的标识。区域位置是指用于描述新增缺陷管控区域在模板图片中所处位置的位置数据。区域信息配置文件是指记录了模板图片中各个新增缺陷管控区域对应的区域标识和区域位置的文件。缺陷管控信息配置操作是指用于配置新增缺陷管控区域对应的缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标的操作。缺陷管控类型集中包含的缺陷类型即为候选缺陷类型。
示例性地,当需要在模板图片中新增一个需要进行特殊缺陷管控的区域时,用户可以在模板图片上划定相应的新增缺陷管控区域,并为新增缺陷管控区域配置需要进行特殊缺陷管控的缺陷类型和针对需要进行特殊缺陷管控的缺陷类型的缺陷管控指标。计算机设备首先展示模板图片,响应于针对模板图片的管控区域绘制操作,展示在模板图片上绘制得到的新增缺陷管控区域。进而将基础缺陷管控区域缩小到模板图片中除各个新增缺陷管控区域之外的区域,并将新增缺陷管控区域对应的区域标识和区域位置写入区域信息配置文件。进而响应于针对新增缺陷管控区域的缺陷管控信息配置操作,得到新增缺陷管控区域对应的缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标。将新增缺陷管控区域对应的区域标识、缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标写入模板图片对应的管控信息配置文件中。在物料图片中检测得到缺陷区域和缺陷区域对应的缺陷类型时,首先遍历模板图片对应的管控信息配置文件,判断该缺陷类型是否需要在某一新增缺陷管控区域内受到特殊管控,若缺陷类型需要在新增缺陷管控区域内收到特殊管控,则遍历模板图片对应的区域信息配置文件,获取缺陷类型所属新增缺陷管控区域对应的区域位置,从而判断缺陷区域与新增缺陷管控区域的区域位置是否重合,若重合度大于预设重合度,则基于该新增缺陷管控区域对应的管控信息配置文件中记录的,缺陷区域的缺陷类型所对应的缺陷管控指标,判断缺陷区域是否符合质量要求。
上述实施例中,当需要在模板图片中新增一个需要进行特殊缺陷管控的区域时,用户可以在模板图片上划定相应的新增缺陷管控区域,并为新增缺陷管控区域配置需要进行特殊缺陷管控的缺陷类型和针对需要进行特殊缺陷管控的缺陷类型的缺陷管控指标,将新增缺陷管控区域对应的区域位置和区域标识存储在区域信息配置文件中,将新增缺陷管控区域对应的缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标写入管控信息配置文件。进而在进行物料质量检测的过程中,基于区域信息配置文件和管控信息配置文件,可以快速确定缺陷区域是否属于受到特殊缺陷管控,以及在受到特殊缺陷管控时,用于检测缺陷区域是否符合质量要求的特殊的缺陷管控指标,实现了对新增缺陷管控指标的快速兼容,能够提高物料质量检测的灵活性和效率。
在一些具体的实施例中,本申请提出的物料质量检测方法可以应用于用于检测物料质量的自动光学检测设备(AOI,Automated Optical Inspection)。物料质量检测方法包括以下步骤:
1、获取模板图片
自动光学检测设备采集待测物料对应的待测图片,并获取待测物料所对应的模板图片。如图4所示,在模板图片中提取多个基准点和各个基准点分别对应的标准定位区域。具体地,选择三个较小的,被周边塑件包围的金属端子的中心点作为基准点,由于AOI设备运行的震动,物料在待测图片中会存在一定的偏移,因此在待测图片中大致框出各个基准点分别对应的标准定位区域,指示基准点在待测图片中的出现范围。由于在打光下,金属端子和周围塑件(即物料的塑料部分)会呈现出较大的色差或亮度差,因此可以通过像素阈值过滤的方式,在与标准定位区域对应的定位区域中快速准确地找到金属端子对应的二值图,计算金属端子的二值图中各个像素点分别对应的横坐标和纵坐标的平均值,得到在待测图片中与基准点对应的匹配点。如图4所示,在需要新增特殊允收规则(特殊允收规则即为新增缺陷管控区域对应的新增的、特殊的缺陷管控指标)时,首先在模板图片上以多边形的方式框出新增缺陷管控区域的坐标范围,并将多边形的各个顶点的坐标和新增缺陷管控区域的区域名称保存在模板图片对应的区域信息配置文件中。同时将新增缺陷管控区域的区域名称、需要在新增缺陷管控区域内进行特殊管控的各个缺陷类型以及各个缺陷类型分别对应的允收阈值(即缺陷管控指标)写入管控信息配置文件中。在实际实现过程中,可以将管控信息配置文件和区域信息配置文件存储为JSON文件。JSON的数据格式相对简单,易于读写,同时也易于计算机设备解析和生成。
2、缺陷识别
自动光学检测设备通过主干网络+颈部网络+多分割头的语义分割模型,识别待测图片中每个物料缺陷的掩码图(mask)和物料缺陷的缺陷类型。主干网络是整个神经网络的核心部分,负责提取输入数据的特征得到初始特征图。颈部网络位于主干网络和头部网络之间,起到连接两者的作用,颈部网络对主干网络生成的初始特征图进行优化。多分割头在神经网络中用于输入物料缺陷的掩码图和缺陷类型。
3、缺陷分析
如图4所示,自动光学检测设备首先计算待测图片中的匹配点。具体地,通过像素阈值过滤的方式,在与标准定位区域对应的定位区域中快速准确地找到金属端子对应的二值图,计算金属端子的二值图中各个像素点分别对应的横坐标和纵坐标的平均值,得到在待测图片中与基准点对应的匹配点。基于待测图片中的三个匹配点和模板图片中的三个基准点,进行仿射变换计算,得到仿射矩阵。如图4所示,进一步基于仿射矩阵,对缺陷坐标进行仿射变换,即将物料缺陷的掩码图映射至模板图片中。进而判断物料缺陷是否需要进行特殊允收,当物料缺陷不需要进行特殊允收时,则通过常规允收规则(常规允收规则即为基础缺陷管控区域对应的常规的缺陷管控指标)对物料缺陷进行允收,即判断物料缺陷是否符合常规允收规则。具体地,对单个物料缺陷的掩码图像进行连通区域(Blob)分析,判断物料缺陷的缺陷尺寸是否超过管控阈值。若判断物料缺陷符合允收规则,则继续遍历其他的缺陷,判断其他缺陷是否符合相应的允收规则,直至出现不符合允收规则的缺陷,确定待测物料的质量检测结果为不合格,若所有缺陷均符合相应的允收规则,则确定待测物料的质量检测结果为合格。
上述实施例中,通过在模板图片中框出三个包含基准点的标准定位区域,在标准定位区域中确定基准点,相比于通过传统像素比对的方式确定匹配点,能够极大降低耗时,提高处理效率。对于特殊区域的缺陷管控,只需在模板图片上框出新的区域,并在配置文件中添加所管控的缺陷类别和允收阈值,能够快速兼容新增规则。能够鲁棒且快速的判断缺陷是否处于特殊区域之中,从而降低缺陷检测的耗时并提高检测的精准度,简单地通过添加特殊检测区域和允收规则便可实现新增特殊区域的规则判定,体现了该方案的可扩展性和灵活性,无需增加冗余代码也使其便于维护。
应该理解的是,虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种物料质量检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个物料质量检测装置实施例中的具体限定可以参见上文中对于物料质量检测方法的限定,在此不再赘述。
在一些实施例中,如图5所示,提供了一种物料质量检测装置,包括:
获取模块502,用于获取待测物料的物料图片和模板图片;模板图片包括待测物料的物料缺陷对应的缺陷管控区域;
检测模块504,用于对物料图片进行缺陷检测,得到物料图片中的缺陷区域和缺陷区域对应的缺陷类型;
映射模块506,用于将缺陷区域映射到模板图片中,得到缺陷区域的映射结果;
第一确定模块508,用于基于映射结果,从各个缺陷管控区域中,确定缺陷区域对应的目标缺陷管控区域;
第二确定模块510,用于基于映射结果和目标缺陷管控区域针对缺陷类型的缺陷管控指标,确定待测物料对应的物料质量。
在一些实施例中,在对物料图片进行缺陷检测,得到物料图片中的缺陷区域和缺陷区域对应的缺陷类型方面,检测模块504具体用于:
将物料图片输入目标缺陷识别模型进行处理,输出物料图片中的缺陷区域和缺陷区域对应的缺陷类型;
其中,目标缺陷识别模型为待测物料所属的物料类型对应的缺陷识别模型;目标缺陷识别模型是基于待测物料所属的物料类型对应的多个物料图片样本和各个物料图片样本分别对应的缺陷区域标签和缺陷类型标签训练得到的。
在一些实施例中,在将缺陷区域映射到模板图片中,得到缺陷区域的映射结果方面,映射模块506具体用于:
从模板图片中确定多个标准定位区域和各个标准定位区域分别对应的基准点;
基于各个标准定位区域,在物料图片中提取与多个基准点一一对应的多个匹配点;
对各个基准点和各个匹配点进行仿射变换计算,得到物料图片与模板图片之间的仿射矩阵;
基于仿射矩阵,将缺陷区域映射到模板图片中,得到缺陷区域的映射结果。
在一些实施例中,在基于各个标准定位区域,在物料图片中提取与多个基准点一一对应的多个匹配点方面,映射模块506具体用于:
针对各个标准定位区域,基于预设像素阈值对标准定位区域在物料图片中对应的目标定位区域进行像素值过滤,得到目标定位区域对应的区域二值图;
从区域二值图中确定目标连通区域;
融合目标连通区域中各个像素点分别对应的坐标值,得到在物料图片中与基准点对应的匹配点。
在一些实施例中,各个缺陷管控区域包括基础缺陷管控区域、新增缺陷管控区域中至少一者,基础缺陷管控区域为模板图片中新增缺陷管控区域之外的区域;在基于映射结果,从各个缺陷管控区域中,确定缺陷区域对应的目标缺陷管控区域方面,第一确定模块508具体用于:
获取模板图片对应的管控信息配置文件;管控信息配置文件包括各个新增缺陷管控区域分别对应的缺陷管控类型集;
在缺陷类型属于各个缺陷管控类型集中的至少一者时,将缺陷类型所属的缺陷管控类型集对应的新增缺陷管控区域作为候选缺陷管控区域;基于缺陷区域与候选缺陷管控区域之间的重合度,在候选缺陷管控区域和基础缺陷管控区域中确定缺陷区域对应的目标缺陷管控区域;或者,
当缺陷类型不属于各个缺陷管控类型集时,将基础缺陷管控区域确定为缺陷区域对应的目标缺陷管控区域。
在一些实施例中,在基于映射结果和目标缺陷管控区域针对缺陷类型的缺陷管控指标,确定待测物料对应的物料质量方面,第二确定模块510具体用于:
从模板图片对应的管控信息配置文件中,获取目标缺陷管控区域针对缺陷类型的缺陷管控指标作为目标管控指标;
当映射结果对应的区域尺寸小于目标管控指标中的尺寸阈值时,确定待测物料对应的物料质量为合格;或者,
当映射结果对应的区域尺寸大于或等于目标管控指标中的尺寸阈值时,确定待测物料对应的物料质量为不合格。
在一些实施例中,物料质量检测装置还包括区域新增模块。区域新增模块用于:响应于针对模板图片的缺陷管控区域绘制操作,展示在模板图片上绘制得到的新增缺陷管控区域,将基础缺陷管控区域从模板图片缩小到模板图片中除新增缺陷管控区域之外的区域,将新增缺陷管控区域对应的区域标识和区域位置写入模板图片对应的区域信息配置文件;响应于针对新增缺陷管控区域的缺陷管控信息配置操作,确定新增缺陷管控区域对应的缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标,将新增缺陷管控区域对应的区域标识、缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标,写入模板图片对应的管控信息配置文件。
上述物料质量检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器,也可以以软件形式存储于计算机设备中的存储器,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)及通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储物料图片、模板图片等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的物料质量检测方法中的步骤。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述的物料质量检测方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6、7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机可读存储介质800,其上存储有计算机程序802,计算机程序802被处理器执行时实现上述各方法实施例中的步骤,其内部结构图可以如图8所示。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(FerroelectricRandom Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(StaticRandom Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种物料质量检测方法,其特征在于,包括:
获取待测物料的物料图片和模板图片;所述模板图片包括所述待测物料的物料缺陷对应的缺陷管控区域;
将所述物料图片输入目标缺陷识别模型进行处理,输出所述物料图片中的缺陷区域和所述缺陷区域对应的缺陷类型;
从所述物料图片和所述模板图片中分别提取多个特征点,对提取得到的所述物料图片中的特征点和所述模板图片中的特征点进行匹配计算,得到所述物料图片和所述模板图片之间的对应关系,基于所述对应关系,将所述缺陷区域映射到所述模板图片中,得到所述缺陷区域对应的映射结果;
当所述模板图片包括的各个缺陷管控区域中,存在针对所述缺陷类型进行特殊缺陷管控的第一缺陷管控区域时,计算所述映射结果分别与各个所述第一缺陷管控区域之间的重合度,将重合度大于预设重合度阈值的第一缺陷管控区域作为所述缺陷区域对应的目标缺陷管控区域;
当所述模板图片包括的各个缺陷管控区域中,不存在针对所述缺陷类型进行特殊缺陷管控的第一缺陷管控区域或者不存在重合度大于所述预设重合度阈值的第一缺陷管控区域时,将所述模板图片中进行普通缺陷管控的缺陷管控区域作为所述缺陷区域对应的目标缺陷管控区域;
基于所述映射结果和所述目标缺陷管控区域针对所述缺陷类型的缺陷管控指标,确定所述待测物料对应的物料质量;
其中,所述目标缺陷识别模型为所述待测物料所属的物料类型对应的缺陷识别模型;所述目标缺陷识别模型是基于所述待测物料所属的物料类型对应的多个物料图片样本和各个所述物料图片样本分别对应的缺陷区域标签和缺陷类型标签训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将物料样本图片输入初始缺陷识别模型,得到所述物料样本图片对应的预测缺陷区域和所述预测缺陷区域对应的预测缺陷类型;
基于所述物料样本图片对应的预测缺陷区域和所述物料样本图片对应的缺陷区域标签之间的第一差异,以及所述预测缺陷区域对应的预测缺陷类型和所述物料样本图片对应的缺陷类型标签之间的第二差异,得到模型损失;
基于所述模型损失调整所述初始缺陷识别模型中的模型参数,直至模型收敛,得到所述目标缺陷识别模型。
3.根据权利要求1所述的方法,其特征在于,所述从所述物料图片和所述模板图片中分别提取多个特征点,对提取得到的所述物料图片中的特征点和所述模板图片中的特征点进行匹配计算,得到所述物料图片和所述模板图片之间的对应关系,基于所述对应关系,将所述缺陷区域映射到所述模板图片中,得到所述缺陷区域对应的映射结果,包括:
从所述模板图片中确定多个标准定位区域和各个所述标准定位区域分别对应的基准点;
基于各个所述标准定位区域,在所述物料图片中提取与多个所述基准点一一对应的多个匹配点;
对各个所述基准点和各个所述匹配点进行仿射变换计算,得到所述物料图片与所述模板图片之间的仿射矩阵;
将所述仿射矩阵作为所述物料图片和所述模板图片之间的对应关系;
基于所述对应关系,将所述缺陷区域映射到所述模板图片中,得到所述缺陷区域的映射结果。
4.根据权利要求3所述的方法,其特征在于,所述基于各个所述标准定位区域,在所述物料图片中提取与多个所述基准点一一对应的多个匹配点,包括:
针对各个所述标准定位区域,基于预设像素阈值对所述标准定位区域在所述物料图片中对应的目标定位区域进行像素值过滤,得到所述目标定位区域对应的区域二值图;
从所述区域二值图中确定目标连通区域;
融合所述目标连通区域中各个像素点分别对应的坐标值,得到在所述物料图片中与所述基准点对应的匹配点。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述模板图片对应的管控信息配置文件;所述管控信息配置文件包括各个新增缺陷管控区域分别对应的缺陷管控类型集,所述进行普通缺陷管控的缺陷管控区域为基础缺陷管控区域,所述基础缺陷管控区域为所述模板图片中新增缺陷管控区域之外的区域;
在所述缺陷类型属于各个所述缺陷管控类型集中的至少一者时,将所述缺陷类型所属的缺陷管控类型集对应的新增缺陷管控区域作为第一缺陷管控区域。
6.根据权利要求1所述的方法,其特征在于,所述基于所述映射结果和所述目标缺陷管控区域针对所述缺陷类型的缺陷管控指标,确定所述待测物料对应的物料质量,包括:
从所述模板图片对应的管控信息配置文件中,获取所述目标缺陷管控区域针对所述缺陷类型的缺陷管控指标作为目标管控指标;
当所述映射结果对应的区域尺寸小于所述目标管控指标中的尺寸阈值时,确定所述待测物料对应的物料质量为合格;或者,
当所述映射结果对应的区域尺寸大于或等于所述目标管控指标中的尺寸阈值时,确定所述待测物料对应的物料质量为不合格。
7.根据权利要求1所述的方法,其特征在于,各个所述缺陷管控区域包括基础缺陷管控区域、新增缺陷管控区域中至少一者,所述基础缺陷管控区域为所述模板图片中新增缺陷管控区域之外的区域,所述方法还包括:
响应于针对所述模板图片的缺陷管控区域绘制操作,展示在所述模板图片上绘制得到的新增缺陷管控区域,将基础缺陷管控区域从所述模板图片缩小到所述模板图片中除所述新增缺陷管控区域之外的区域,将所述新增缺陷管控区域对应的区域标识和区域位置写入所述模板图片对应的区域信息配置文件;
响应于针对所述新增缺陷管控区域的缺陷管控信息配置操作,确定所述新增缺陷管控区域对应的缺陷管控类型集和缺陷管控类型集中各个候选缺陷类型分别对应的缺陷管控指标,将所述新增缺陷管控区域对应的区域标识、所述缺陷管控类型集和所述缺陷管控类型集中各个所述候选缺陷类型分别对应的缺陷管控指标,写入所述模板图片对应的管控信息配置文件。
8.一种物料质量检测装置,其特征在于,包括:
获取模块,用于获取待测物料的物料图片和模板图片;所述模板图片包括所述待测物料的物料缺陷对应的缺陷管控区域;
检测模块,用于将所述物料图片输入目标缺陷识别模型进行处理,输出所述物料图片中的缺陷区域和所述缺陷区域对应的缺陷类型;其中,所述目标缺陷识别模型为所述待测物料所属的物料类型对应的缺陷识别模型;所述目标缺陷识别模型是基于所述待测物料所属的物料类型对应的多个物料图片样本和各个所述物料图片样本分别对应的缺陷区域标签和缺陷类型标签训练得到的;
映射模块,用于从所述物料图片和所述模板图片中分别提取多个特征点,对提取得到的所述物料图片中的特征点和所述模板图片中的特征点进行匹配计算,得到所述物料图片和所述模板图片之间的对应关系,基于所述对应关系,将所述缺陷区域映射到所述模板图片中,得到所述缺陷区域对应的映射结果;
第一确定模块,用于当所述模板图片包括的各个缺陷管控区域中,存在针对所述缺陷类型进行特殊缺陷管控的第一缺陷管控区域时,计算所述映射结果分别与各个所述第一缺陷管控区域之间的重合度,将重合度大于预设重合度阈值的第一缺陷管控区域作为所述缺陷区域对应的目标缺陷管控区域;当所述模板图片包括的各个缺陷管控区域中,不存在针对所述缺陷类型进行特殊缺陷管控的第一缺陷管控区域或者不存在重合度大于所述预设重合度阈值的第一缺陷管控区域时,将所述模板图片中进行普通缺陷管控的缺陷管控区域作为所述缺陷区域对应的目标缺陷管控区域;
第二确定模块,用于基于所述映射结果和所述目标缺陷管控区域针对所述缺陷类型的缺陷管控指标,确定所述待测物料对应的物料质量。
9.一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410041408.7A CN117557786B (zh) | 2024-01-11 | 2024-01-11 | 物料质量检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410041408.7A CN117557786B (zh) | 2024-01-11 | 2024-01-11 | 物料质量检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117557786A CN117557786A (zh) | 2024-02-13 |
CN117557786B true CN117557786B (zh) | 2024-05-10 |
Family
ID=89815150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410041408.7A Active CN117557786B (zh) | 2024-01-11 | 2024-01-11 | 物料质量检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117557786B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241699A (zh) * | 2020-10-13 | 2021-01-19 | 无锡先导智能装备股份有限公司 | 物体缺陷类别识别方法、装置、计算机设备和存储介质 |
CN114897806A (zh) * | 2022-04-27 | 2022-08-12 | 浙江华睿科技股份有限公司 | 缺陷检测方法、电子设备及计算机可读存储介质 |
CN116223519A (zh) * | 2022-12-09 | 2023-06-06 | 视睿(杭州)信息科技有限公司 | 晶圆检测设备、检测方法、系统及可读存储介质 |
CN116258663A (zh) * | 2022-04-01 | 2023-06-13 | 港珠澳大桥管理局 | 螺栓缺陷识别方法、装置、计算机设备和存储介质 |
CN116309397A (zh) * | 2023-02-21 | 2023-06-23 | 凌云光技术股份有限公司 | 焊锡缺陷的检测方法、检测装置、计算机设备和存储介质 |
CN116468726A (zh) * | 2023-06-13 | 2023-07-21 | 厦门福信光电集成有限公司 | 一种在线异物线路检测方法及系统 |
CN116503415A (zh) * | 2023-06-29 | 2023-07-28 | 深圳思谋信息科技有限公司 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
CN117011304A (zh) * | 2023-10-08 | 2023-11-07 | 深圳思谋信息科技有限公司 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
-
2024
- 2024-01-11 CN CN202410041408.7A patent/CN117557786B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241699A (zh) * | 2020-10-13 | 2021-01-19 | 无锡先导智能装备股份有限公司 | 物体缺陷类别识别方法、装置、计算机设备和存储介质 |
CN116258663A (zh) * | 2022-04-01 | 2023-06-13 | 港珠澳大桥管理局 | 螺栓缺陷识别方法、装置、计算机设备和存储介质 |
CN114897806A (zh) * | 2022-04-27 | 2022-08-12 | 浙江华睿科技股份有限公司 | 缺陷检测方法、电子设备及计算机可读存储介质 |
CN116223519A (zh) * | 2022-12-09 | 2023-06-06 | 视睿(杭州)信息科技有限公司 | 晶圆检测设备、检测方法、系统及可读存储介质 |
CN116309397A (zh) * | 2023-02-21 | 2023-06-23 | 凌云光技术股份有限公司 | 焊锡缺陷的检测方法、检测装置、计算机设备和存储介质 |
CN116468726A (zh) * | 2023-06-13 | 2023-07-21 | 厦门福信光电集成有限公司 | 一种在线异物线路检测方法及系统 |
CN116503415A (zh) * | 2023-06-29 | 2023-07-28 | 深圳思谋信息科技有限公司 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
CN117011304A (zh) * | 2023-10-08 | 2023-11-07 | 深圳思谋信息科技有限公司 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117557786A (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023130717A1 (zh) | 图像定位方法、装置、计算机设备和存储介质 | |
CN114549390A (zh) | 电路板检测方法、电子装置及存储介质 | |
CN116310656B (zh) | 训练样本确定方法、装置和计算机设备 | |
CN111598084B (zh) | 缺陷分割网络训练方法、装置、设备及可读存储介质 | |
CN116051575A (zh) | 图像分割方法、装置、计算机设备、存储介质程序产品 | |
CN117576108B (zh) | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 | |
CN111259903A (zh) | 识别表计示数方法、装置、可读存储介质和计算机设备 | |
CN114359161A (zh) | 一种缺陷检测方法、装置、设备和存储介质 | |
CN116596935B (zh) | 形变检测方法、装置、计算机设备及计算机可读存储介质 | |
CN113591884B (zh) | 字符识别模型的确定方法、装置、设备及存储介质 | |
CN117557786B (zh) | 物料质量检测方法、装置、计算机设备及存储介质 | |
CN114925153B (zh) | 基于业务的地理信息数据质量检测方法、装置和设备 | |
CN114913350B (zh) | 素材查重方法、装置、设备及存储介质 | |
CN112883953B (zh) | 基于联合学习的卡片识别装置及方法 | |
CN116051959A (zh) | 一种目标检测方法、装置 | |
CN115861284A (zh) | 印刷制品线状缺陷检测方法、装置、电子设备和存储介质 | |
CN116206125A (zh) | 外形缺陷识别方法、装置、计算机设备及存储介质 | |
CN112232288A (zh) | 一种基于深度学习的卫星图目标识别方法及系统 | |
CN112084364A (zh) | 对象分析方法、局部图像搜索方法、设备及存储介质 | |
CN116612474B (zh) | 对象检测方法、装置、计算机设备及计算机可读存储介质 | |
CN116844058B (zh) | 一种指针式仪表示数的识别方法、装置、设备及存储介质 | |
CN117456291B (zh) | 缺陷分类方法和装置、电子设备以及存储介质 | |
CN117745657A (zh) | 显示屏坏点检测模型构建方法和显示屏坏点检测方法 | |
CN117611943A (zh) | 参数调整方法、装置、计算机设备及计算机可读存储介质 | |
CN117372348A (zh) | 缺陷分析方法、装置、计算机设备及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |