CN114299036B - 电子元件的检测方法及装置、存储介质、电子设备 - Google Patents
电子元件的检测方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN114299036B CN114299036B CN202111652447.3A CN202111652447A CN114299036B CN 114299036 B CN114299036 B CN 114299036B CN 202111652447 A CN202111652447 A CN 202111652447A CN 114299036 B CN114299036 B CN 114299036B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- area
- detection
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 255
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 103
- 230000008439 repair process Effects 0.000 claims abstract description 76
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000003466 welding Methods 0.000 claims description 85
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 39
- 230000002159 abnormal effect Effects 0.000 claims description 25
- 230000002068 genetic effect Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000005476 soldering Methods 0.000 claims description 12
- 238000012797 qualification Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000035772 mutation Effects 0.000 description 17
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 230000007547 defect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000003064 k means clustering Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 230000008303 genetic mechanism Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开属于产品检测技术领域，涉及一种电子元件的检测方法及装置、存储介质、电子设备。该方法包括：获取电子元件的待检测图像，并对待检测图像进行目标检测处理得到电子元件的引脚图像；对引脚图像进行实例分割处理确定引脚图像中的目标区域，并根据目标区域对引脚图像进行图像修复处理得到修复图像；基于目标区域，对修复图像进行质量检测处理得到电子元件的检测结果。本公开为量化检测引脚区域中的目标区域的质量提供了数据基础，对低分辨率的引脚图像进行优化和修复，显著提高了检测方法的应用场景，根据目标区域对修复图像进行质量检测处理，提供了一种自动化且智能化的检测方法，节省了人力成本和时间成本，提高了检测的效率和准确率。
Description
技术领域
本公开涉及产品检测技术领域，尤其涉及一种电子元件的检测方法与电子元件的检测装置、计算机可读存储介质及电子设备。
背景技术
电子元件缺陷检测是电子工厂实际生产中非常重要的一环，涉及焊接的连接器等多种产品。在完成焊接后，易出现焊脚偏移、焊脚缺失、相邻焊脚焊锡连接短路、焊盘不规则，焊脚过长等缺陷。
现有方案中的多种焊接缺陷检测方式只能通过人工目测的方式进行。并且，现有焊接缺陷检测数据集标注难度大、数量少、数据不平衡，难以支持自动化的电子元件质量检测。
鉴于此，本领域亟需开发一种新的电子元件的检测方法及装置。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种电子元件的检测方法、电子元件的检测装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的检测准确率低和检测成本高的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本发明实施例的第一个方面，提供一种电子元件的检测方法，所述方法包括：
获取电子元件的待检测图像，并对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像；
对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，并根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像；
基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果。
在本发明的一种示例性实施例中，所述对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像，包括：
利用聚类算法和遗传算法确定锚框参数，并根据所述锚框参数训练待训练的目标检测模型得到训练好的目标检测模型；
利用所述训练好的目标检测模型对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像。
在本发明的一种示例性实施例中，所述对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，包括：
利用实例分割模型对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域。
在本发明的一种示例性实施例中，所述根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像，包括：
根据所述目标区域对所述引脚图像进行图像质量判断得到图像质量分值，并确定与所述图像质量分值对应的分值阈值；
将所述图像质量分值与所述分值阈值进行比较得到分值比较结果，并根据所述分值比较结果对所述引脚图像进行图像修复处理得到修复图像。
在本发明的一种示例性实施例中，所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为焊盘区域，利用分类网络模型对所述修复图像进行焊盘质量检测得到所述电子元件的所述焊盘区域的检测结果。
在本发明的一种示例性实施例中，所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为坡度区域，对所述修复图像的所述坡度区域进行颜色空间转换得到转换后的修复图像；
对所述转换后的修复图像进行坡度合格判断得到所述电子元件的所述坡度区域的检测结果。
在本发明的一种示例性实施例中，所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为焊脚区域，获取所述焊脚区域的目标属性值以及与所述焊脚区域对应的目标参考均值；
将所述目标属性值与所述目标参考均值进行比较得到属性比较结果，并对所述属性比较结果进行统计处理得到目标数量；
根据所述目标数量确定所述电子元件的所述焊脚区域的检测结果。
根据本发明实施例的第二个方面，提供一种电子元件的检测装置，包括：
目标检测模块，被配置为获取电子元件的待检测图像，并对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像；
图像修复模块，被配置为对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，并根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像；
质量检测模块，被配置为基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果。
根据本发明实施例的第三个方面，提供一种电子设备，包括：处理器和存储器；其中，存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例中的电子元件的检测方法。
根据本发明实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意示例性实施例中的电子元件的检测方法。
由上述技术方案可知，本公开示例性实施例中的电子元件的检测方法、电子元件的检测装置、计算机存储介质及电子设备至少具备以下优点和积极效果：
在本公开的示例性实施例提供的方法及装置中，对引脚图像进行实例分割处理，量化了要检测分析的目标区域，为量化检测引脚区域中的目标区域的质量提供了数据基础。进一步的，根据目标区域对引脚图像进行图像修复处理，对低分辨率的引脚图像进行优化和修复，显著提高了检测方法的应用场景。除此之外，根据目标区域对修复图像进行质量检测处理，提供了一种自动化且智能化的检测方法，节省了人力成本和时间成本，提高了检测的效率和准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种电子元件的检测方法的流程示意图；
图2示意性示出本公开示例性实施例中目标检测处理的方法的流程示意图；
图3示意性示出本公开示例性实施例中图像修复处理的方法的流程示意图；
图4示意性示出本公开示例性实施例中一种质量检测处理的方法的流程示意图；
图5示意性示出本公开示例性实施例中另一种质量检测处理的方法的流程示意图；
图6示意性示出本公开示例性实施例中电子元件的检测系统的系统架构图；
图7示意性示出本公开示例性实施例中应用场景下坡度质量检测的方法的流程示意图；
图8示意性示出本公开示例性实施例中应用场景下焊脚质量检测的方法的流程示意图；
图9示意性示出本公开示例性实施例中应用场景下的电子元件的检测方法的流程示意图；
图10示意性示出本公开示例性实施例中一种电子元件的检测装置的结构示意图；
图11示意性示出本公开示例性实施例中一种用于实现电子元件的检测方法的电子设备；
图12示意性示出本公开示例性实施例中一种用于实现电子元件的检测方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
电子元件缺陷检测是电子工厂实际生产中非常重要的一环，涉及焊接的连接器等多种产品。在完成焊接后，易出现焊脚偏移、焊脚缺失、相邻焊脚焊锡连接短路、焊盘不规则，焊脚过长等缺陷。
现有方案中的多种焊接缺陷检测方式只能通过人工目测的方式进行。并且，现有焊接缺陷检测数据集标注难度大、数量少、数据不平衡，难以支持自动化的电子元件质量检测。
针对相关技术中存在的问题，本公开提出了一种电子元件的检测方法。图1示出了电子元件的检测方法的流程图，如图1所示，电子元件的检测方法至少包括以下步骤：
步骤S110.获取电子元件的待检测图像，并对待检测图像进行目标检测处理得到电子元件的引脚图像。
步骤S120.对引脚图像进行实例分割处理确定引脚图像中的目标区域，并根据目标区域对引脚图像进行图像修复处理得到修复图像。
步骤S130.基于目标区域，对修复图像进行质量检测处理得到电子元件的检测结果。
在本公开的示例性实施例中，对引脚图像进行实例分割处理，量化了要检测分析的目标区域，为量化检测引脚区域中的目标区域的质量提供了数据基础。进一步的，根据目标区域对引脚图像进行图像修复处理，对低分辨率的引脚图像进行优化和修复，显著提高了检测方法的应用场景。除此之外，根据目标区域对修复图像进行质量检测处理，提供了一种自动化且智能化的检测方法，节省了人力成本和时间成本，提高了检测的效率和准确率。
下面对电子元件的检测方法的各个步骤进行详细说明。
在步骤S110中，获取电子元件的待检测图像，并对待检测图像进行目标检测处理得到电子元件的引脚图像。
在本公开的示例性实施例中，生产线上智能感应设备能够连续扫描焊接工件等电子元件，以采集到电子元件的整体图。该整体图的大小可以是4000*4000像素点。
进一步的，将整体图裁剪成目标尺寸的待检测图像。该目标尺寸可以是600*600像素点。并且，该待检测图像还可以是PNG(Portable Network Graphics，便携式网络图形)格式的图片。
值得说明的是，该待检测图像可以是包含待分析区域，例如引脚区域的图像，也可以是其他分析区域的图像，本示例性实施例对此不做特殊限定。
进一步的，还可以对待检测图像进行目标检测处理。
在可选的实施例中，图2示出了目标检测处理的方法的流程示意图，如图2所示，该方法至少包括以下步骤：在步骤S210中，利用聚类算法和遗传算法确定锚框参数，并根据锚框参数训练待训练的目标检测模型得到训练好的目标检测模型。
其中，聚类算法可以是K均值聚类算法。k-means是非常经典且有效的聚类方法，通过计算样本之间的距离(相似程度)将较近的样本聚为同一类别(簇)。
k-means算法的主要流程是：手动设定簇的个数k，假设k＝2；在所有样本中随机选取k个样本作为簇的初始中心；计算每个样本离每个簇中心的距离(这里以欧式距离为例)，然后将样本划分到离它最近的簇中；更新簇的中心，计算每个簇中所有样本的均值(方法不唯一)作为新的簇中心；重复计算每个样本离每个簇中心的距离的步骤和更新簇的中心的步骤，直到簇中心不在变化或者簇中心变化很小满足给定终止条件，得到最终的聚类结果。
遗传算法(Genetic Algorithm，GA)最早是由美国的John holland于20世纪70年代提出,该算法是根据大自然中生物体进化规律而设计提出的。是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。该算法通过数学的方式,利用计算机仿真运算,将问题的求解过程转换成类似生物进化中的染色体基因的交叉、变异等过程。在求解较为复杂的组合优化问题时,相对一些常规的优化算法,通常能够较快地获得较好的优化结果。遗传算法已被人们广泛地应用于组合优化、机器学习、信号处理、自适应控制和人工生命等领域。
遗传算法的主要流程包括：初始化，设置进化代数计数器t＝0，设置最大进化代数T，随机生成M个个体作为初始群体P(0)。
个体评价，计算群体P(t)中各个个体的适应度。
选择运算，将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。
交叉运算，将交叉算子作用于群体。遗传算法中起核心作用的就是交叉算子。
变异运算，将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值作变动。群体P(t)经过选择、交叉、变异运算之后得到下一代群体P(t+1)。
终止条件判断，若t＝T,则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。
遗传操作包括以下三个基本遗传算子(genetic operator)，分别是选择(selection)、交叉(crossover)、变异(mutation)。
其中，遗传算法引入变异的目的有两个。一是使遗传算法具有局部的随机搜索能力。当遗传算法通过交叉算子已接近最优解邻域时，利用变异算子的这种局部随机搜索能力可以加速向最优解收敛。显然，此种情况下的变异概率应取较小值，否则接近最优解的积木块会因变异而遭到破坏。
二是使遗传算法可维持群体多样性，以防止出现未成熟收敛现象。此时收敛概率应取较大值。
变异算子的基本内容是对群体中的个体串的某些基因座上的基因值作变动。依据个体编码表示方法的不同，可以有两种算法，分别是实值变异和二进制变异。
一般来说，变异算子操作的基本步骤是：a)对群中所有个体以事先设定的变异概率判断是否进行变异；b)对进行变异的个体随机选择变异位进行变异。
具体的，载入训练待训练的目标检测模型的数据集得到数据集中的所有数据样本的宽和高(wh)；然后，将数据样本的每个图片的wh的最大值等比例缩放到指定大小(img_size)，较小边也相应缩放；将边界框(bboxes)通过乘以缩放后的wh的方式从相对坐标改成绝对坐标；筛选bboxes，保留wh都大于或等于两个像素的bboxes；使用k-means聚类算法得到n个anchors(锚)，并使用遗传算法随机对anchors的wh进行变异。
如果变异后的效果变得更好，就将变异后的结果幅值给anchors得到锚框参数；如果变异后的效果变差就跳过，默认变异1000次得到锚框参数。
其中，变异后的效果是否变好可以使用anchor_fitness方法计算得到fitness(适应度)进行评估。
并且，锚框参数可以包括锚框的大小和尺寸等信息。
因此，使用聚类算法和遗传算法能够动态调整锚框参数，那么可以基于动态调整的锚框参数训练待训练的目标检测模型。
由于训练电子元件的目标检测模型能够获取到的数据集中的数据样本过小，且存在数据样本不平衡的问题，因此，还可以使用GAN(Generative Adversarial Networks，生成式对抗网络)网络生成数据样本，并采用Focal Loss来减少因为数据不平衡的问题对于分类结果的影响。
其中，生成式对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。
模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
原始GAN理论中，并不要求生成模型和判别模型都是神经网络，只需要是能拟合相应生成和判别的函数即可。
但实用中一般均使用深度神经网络作为生成模型和判别模型。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
生成模型是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。
判别模型是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片；而输出为0，就代表不可能是真实的图片。
在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而判别模型的目标就是尽量把生成模型生成的图片和真实的图片分别开来。这样，生成模型和判别模型构成了一个动态的“博弈过程”。
在最理想的状态下，生成模型可以生成足以“以假乱真”的图片G(z)。对于判别模型来说，它难以判定生成模型生成的图片究竟是不是真实的，因此D(G(z))＝1。
这样就得到了一个生成式的模型G，可以用来生成训练待训练的目标检测模型的图片样本。
而Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。
虽然Focal loss是在交叉熵损失函数基础上进行修改得到的，但是，相比交叉熵损失函数，Focal loss的改进在于，对于预测得分不好的样本保留交叉熵损失中的大部分损失；对于得分很好地样本，大幅减小其交叉熵损失。
虽然看起来Focal loss损失相比交叉熵都变小了，但是得分不太好的样本相对得分比较好的样本的损失是增加了的。这里的得分好坏不是指大小，而是与真实标签的接近程度，越接近得分越好。
在得到训练待训练的目标检测模型的数据样本之后，可以在训练目标检测模型的过程中，同时采用自适应anchor设置的锚框参数进行训练得到训练好的目标检测模型。
其中，目标检测模型可以是YOLO-v3(You Only Look Once系列的目标检测算法中的第三版)模型，也可以是其他模型，本示例性实施例对此不做特殊限定。
YOLO-v3的结构主要由75个卷积层构成。卷积层对于分析物体特征最为有效。
由于没有使用全连接层，该网络可以对应任意大小的输入图像。
此外，池化层也没有出现在YOLO-v3当中，取而代之的是将卷积层的stride设为2来达到下采样的效果，同时将尺度不变特征传送到下一层。
除此之外，YOLO-v3中还使用了类似ResNet(Residual Block，残差结构)和FPN(Feature Pyramid Networks，特征金字塔网络)网络的结构，这两个结构对于提高检测精度也是大有裨益。
在步骤S220中，利用训练好的目标检测模型对待检测图像进行目标检测处理得到电子元件的引脚图像。
在训练出训练好的目标检测模型之后，可以将待检测图像输入至该训练好的目标检测模型中，以使训练好的目标检测模型对待检测图像进行目标检测处理，并输出待检测图像中的引脚图像。
在本示例性实施例中，根据锚框参数训练目标检测模型，以实现对待检测图像的目标检测处理。自适应调整锚框参数的方式能够最优化检测引脚，大幅度提升了算法的量化分析性能，为电子元件的检测提供了更为精准和优质的图像支持。
在步骤S120中，对引脚图像进行实例分割处理确定引脚图像中的目标区域，并根据目标区域对引脚图像进行图像修复处理得到修复图像。
在本公开的示例性实施例中，得到引脚图像之后，可以进一步对引脚图像进行实例分割处理。
在可选的实施例中，利用实例分割模型对引脚图像进行实例分割处理确定引脚图像中的目标区域。
其中，实例分割模型可以是SOLO-v2模型，也可以是其他模型，本示例性实施例对此不做特殊限定。
SOLO的核心思想是将分割问题转化为位置分类问题，从而做到不需要anchor，不需要normalization(归一化)，不需要bounding box detections(锚框检测)的实例分割。
SOLO的具体做法是将图片划分成S×S的网格。如果物体的中心(质心)落在了某个网格中，那么该网格就有了两个任务：(1)Category Branch(语义类别)负责预测该物体语义类别；(2)Mask Branch(掩膜分值)负责预测该物体的instance mask(实例掩码)。这就对应了网络的两个分支。
同时，SOLO在骨干网络后面使用了FPN，用来应对尺寸。FPN的每一层后都接上述两个并行的分支，进行类别和位置的预测，每个分支的网格数目也相应不同，小的实例对应更多的的网格。
Category Branch负责预测物体的语义类别，每个网格预测类别S×S×C，这部分跟YOLO是类似的。
Mask Branch中每个正样本(有类别输出的网格)都会输出对应类别的instancemask。这里的通道channel和网格的对应关系是第k个通道负责预测出第(i，j)个网格的instance mask，k＝i*S+j。因此输出维度是H×W×(S^2)。这样的话就有了一一对应的语义类别和class-agnostic(类别无关)的instance mask。
SOLO-v2遵循了SOLO的优雅、简单的设计，并且针对mask的检测效果和运行效率做了两个改进，分别是mask learning(掩膜学习)和mask NMS(Non-Maximum Suppression，)非极大值抑制。
其中，mask learning能够更好地学习到mask；mask NMS：提出了matrix nms，大大减少了前向推理的时间。
最终，SOLO-v2相比SOLO-v1，AP(Average Prcision，平均准确率)提升1.9％的同时速度快了33％，light-weight(轻量化)版本的SOLO-v2能够在COCO上达到31.3FPS(Frames Per Second，每秒传输帧数)，37.1％AP。
除此之外，SOLO v2还在目标检测和全景分割任务中表现上佳，证实了SOLO的思路有用在更多视觉任务的潜力。
因此，将引脚图像输入至SOLO-v2模型中能够实现多阶段的实例分割处理得到目标区域。
举例而言，该目标区域可以包括焊盘、坡度和焊脚三个区域，也可以包括电子元件上的其他区域，本示例性实施例对此不做特殊限定。
在本示例性实施例中，通过实例分割模型实现多阶段的实力分割处理，实现了对引脚图像的分割，确定出需要量化分析的目标区域，为后续的电子元件检测提供了数据基础。
在确定出引脚图像中的目标区域之后，还可以根据目标区域对引脚图像进行图像修复处理。
在可选的实施例中，图3示出了图像修复处理的方法的流程示意图，如图3所示，该方法至少包括以下步骤：在步骤S310中，根据目标区域对引脚图像进行图像质量判断得到图像质量分值，并确定与图像质量分值对应的分值阈值。
对引脚图像的图像质量判断可以是通过SSIM(structural similarity)算法实现的。
SSIM算法是一种用来衡量图片相似度的指标，也可用来判断图片压缩后的质量。SSIM由亮度对比、对比度对比、结构对比三部分组成。
SSIM计算时需要保证图片大小相同，并且根据SSIM算法的原理得知，要基于灰度进行计算，因此对引脚图像进行灰度化处理。
局部求SSIM指数的效果要好于全局。用标准差为1.5的高斯加权函数作为加权窗口，每一步基于窗口内像素进行计算，得到由局部SSIM指数构成的SSIM指数映射矩阵。其中，该局部可以是由目标区域确定的。
最后，用平均SSIM指数作为最终结果，亦即图像质量分值。
在根据目标区域计算出引脚图像的图像质量分值之后，可以获取到与该图像质量分值对应的分值阈值。一般的，该分值阈值可以设置为0.7，也可以设置为其他数值大小，本示例性实施例对此不做特殊限定。
在步骤S320中，将图像质量分值与分值阈值进行比较得到分值比较结果，并根据分值比较结果对引脚图像进行图像修复处理得到修复图像。
在得到图像质量分值和分值阈值之后，可以将图像质量分值与该分值阈值进行比较得到分值比较结果。
当分值比较结果为图像质量分值小于分值阈值时，可以对引脚图像进行图像修复处理得到修复图像。
该图像修复处理的方式可以是利用深度学习模型提高引脚图像的分辨率的方式，以增强分辨率图像提取特征的表征能力。
在本示例性实施例中，通过对目标区域的图像质量判断能够对引脚图像进行修复，对分辨率低的图片进行优化，显著丰富了算法的应用场景。
在步骤S130中，基于目标区域，对修复图像进行质量检测处理得到电子元件的检测结果。
在本公开的示例性实施例中，得到修复图像之后，可以根据目标区域对修复图像进行质量检测处理。
具体的，目标区域可以包括焊盘区域、坡度区域和焊脚区域，因此可以分别对焊盘区域进行焊盘质量检测，对坡度区域进行坡度质量检测，对焊脚区域进行焊脚质量检测。
在可选的实施例中，若目标区域为焊盘区域，利用分类网络模型对修复图像进行焊盘质量检测得到电子元件的焊盘区域的检测结果。
针对修复图像中包括的焊盘区域，可以使用分类网络模型对修复图像进行焊盘质量检测，确定电子元件的焊盘区域属于多锡、少锡和正常锡的三类检测结果。
其中，分类网络模型可以是残差网络模型，例如Resnet-18。
残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
在可选的实施例中，图4示出了一种质量检测处理的方法的流程示意图，如图4所示，该方法至少包括以下步骤：在步骤S410中，若目标区域为坡度区域，对修复图像的坡度区域进行颜色空间转换得到转换后的修复图像。
针对修复图像中的坡度区域，可以使用OPENCV工具将修复图像的坡度区域从RGB颜色空间转换到HSL(Hue,Saturation,Lightness，色相、饱和度、亮度)颜色空间，得到转换后的修复图像。
其中，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
HSL是一种将RGB色彩模型中的点在圆柱坐标系中的表示法。这两种表示法试图做到比基于笛卡尔坐标系的几何结构RGB更加直观。是运用最广的颜色系统之一。
在步骤S420中，对转换后的修复图像进行坡度合格判断得到电子元件的坡度区域的检测结果。
对转换后的修复图像进行像素遍历，并在遍历的过程中进行坡度区域的合格判断。
具体的，可以判断像素点是黄色和绿色相间，还是会出现红色。
当像素点是黄色和绿色相间的，表明对应的坡度区域正常；当像素点会出现红色，可以进一步判断红色区域是否是由黄色和绿色过渡而来。
如果红色区域是由黄色和绿色过渡而来，表明对应的坡度区域正常；当红色区域不是由黄色和绿色区域过渡而来，表明对应的坡度区域是异常的。
在本示例性实施例中，通过一种基于像素遍历的方法实现对修复图像的坡度区域的质量检测，量化分析了修复图像中的坡度区域，并且能够处理大批的修复图像，提高了坡度质量检测的实用性。
在可选的实施例中，图5示出了另一种质量检测处理的方法的流程示意图，如图5所示，该方法至少包括以下步骤：在步骤S510中，若目标区域为焊脚区域，获取焊脚区域的目标属性值以及与焊脚区域对应的目标参考均值。
对于修复图像中的焊脚区域，可以按照公式(1)-(4)计算出目标参考均值：
其中，n是batch的数目，p是batch中图片的数目，q是一张图片中焊脚的个数，i、j、k分别用来遍历对应的数目，都是从1开始取值。
公式(1)计算出了一批或者多批正确的数据样本的长度均值，然后利用公式(2)为该长度均值设置系数α，并为当前的焊脚区域的长度设置系数1-α，以计算出参考长度值。
公式(3)计算出了一批或者多批正确的数据样本的偏移量均值，然后利用公式(4)为该偏移量均值设置系数β，并为当前的焊脚区域的偏移量设置系数1-β，以计算出参考偏移量。
因此，将参考长度值和参考偏移量确定为目标参考均值。
与该目标参考均值对应的，可以获取到焊脚区域的目标属性值。该目标属性值可以包括焊脚区域的长度和偏移量。
在步骤S520中，将目标属性值与目标参考均值进行比较得到属性比较结果，并对属性比较结果进行统计处理得到目标数量。
在获取到目标属性值和目标参考均值之后，可以将目标属性值与目标参考均值进行比较。亦即，将焊脚区域的长度和参考长度值进行比较，将焊脚区域的偏移量与参考偏移量进行比较，以得到对应的属性比较结果。
当属性比较结果为长度大于或等于参考长度值，和/或偏移量大于或等于参考偏移量时，可以将该属性比较结果进行统计处理得到焊脚长度异常和/或焊脚偏移的目标数量。
在步骤S530中，根据目标数量确定电子元件的焊脚区域的检测结果。
在统计出目标数量之后，可以获取到与该目标数量对应的阈值。当目标数量大于该阈值时，表明电子元件的焊脚区域长度异常和/或焊脚偏移。
当目标数量来自于长度大于或等于参考长度值时，确定焊脚区域长度异常；当目标数量统计于偏移量大于或等于参考偏移量时，确定焊脚偏移；当目标数量来自于长度大于或等于参考长度值，以及偏移量大于或等于参考偏移量时，确定焊脚区域的长度异常，且焊脚偏移。
在本示例性实施例中，通过目标参考均值实现对焊脚区域的质量检测，减少了单张图片的噪声干扰，并通过计算过程量化焊脚质量的评判，丰富了目标区域的质量检测方式。
下面结合一应用场景对本公开实施例中电子元件的检测方法做出详细说明。
图6示出了电子元件的检测系统的系统架构图，如图6所示，该电子元件的检测系统部署在生产侧。
该电子元件的检测系统中包括生产流水线智能感知设备模块、引脚检测模块、实例化分割模块、AI质量判别模块、焊脚质量检测模块、焊盘质量检测模块和坡度质量检测模块。
其中，引脚检测模块在训练模型时还包括自适应anchor设置和GAN网络生成数据样本。
AI质量判别模块包括质量判断和图像修复两部分。
并且，通过焊脚质量检测模块、焊盘质量检测模块和坡度质量检测模块可以检测出电子元件多锡、少锡、坡度异常、焊脚长度异常、焊脚偏移和良品等多种情况。
具体的，生产流水线智能感知设备模块能够连续扫描焊接工件等电子元件，以采集到电子元件的整体图。该整体图的大小可以是4000*4000像素点。
进一步的，将整体图裁剪成目标尺寸的待检测图像。该目标尺寸可以是600*600像素点。并且，该待检测图像还可以是PNG格式的图片。
值得说明的是，该待检测图像可以是包含待分析区域，例如引脚区域的图像，也可以是其他分析区域的图像，本示例性实施例对此不做特殊限定。
引脚检测模块使用训练好的目标检测模型，同时采用自适应anchor设置对检测图像进行目标检测处理。
利用聚类算法和遗传算法确定锚框参数，并根据锚框参数训练待训练的目标检测模型得到训练好的目标检测模型。
其中，聚类算法可以是K均值聚类算法。
具体的，载入训练待训练的目标检测模型的数据集得到数据集中的所有数据样本的宽和高；然后，将数据样本的每个图片的wh的最大值等比例缩放到指定大小，较小边也相应缩放；将边界框通过乘以缩放后的wh的方式从相对坐标改成绝对坐标；筛选bboxes，保留wh都大于或等于两个像素的bboxes；使用k-means聚类算法得到n个anchors，并使用遗传算法随机对anchors的wh进行变异。
如果变异后的效果变得更好，就将变异后的结果幅值给anchors得到锚框参数；如果变异后的效果变差就跳过，默认变异1000次得到锚框参数。
其中，变异后的效果是否变好可以使用anchor_fitness方法计算得到fitness进行评估。
并且，锚框参数可以包括锚框的大小和尺寸等信息。
因此，使用聚类算法和遗传算法能够动态调整锚框参数，那么可以基于动态调整的锚框参数训练待训练的目标检测模型。
由于训练电子元件的目标检测模型能够获取到的数据集中的数据样本过小，且存在数据样本不平衡的问题，因此，还可以使用GAN网络生成数据样本，并采用Focal Loss来减少因为数据不平衡的问题对于分类结果的影响。
这样就得到了一个生成式的模型，可以用来生成训练待训练的目标检测模型的图片样本。
在得到训练待训练的目标检测模型的数据样本之后，可以在训练目标检测模型的过程中，同时采用自适应anchor设置的锚框参数进行训练得到训练好的目标检测模型。
其中，目标检测模型可以是YOLO-v3模型，也可以是其他模型，本示例性实施例对此不做特殊限定。
利用训练好的目标检测模型对待检测图像进行目标检测处理得到电子元件的引脚图像。
在训练出训练好的目标检测模型之后，可以将待检测图像输入至该训练好的目标检测模型中，以使训练好的目标检测模型对待检测图像进行目标检测处理，并输出待检测图像中的引脚图像。
实例化分割模块能够对引脚检测模块得到的引脚图像进行实例分割处理。
对引脚图像进行实例分割处理确定引脚图像中的目标区域，并根据目标区域对引脚图像进行图像修复处理得到修复图像。
利用实例分割模型对引脚图像进行实例分割处理确定引脚图像中的目标区域。
其中，实例分割模型可以是SOLO-v2模型，也可以是其他模型，本示例性实施例对此不做特殊限定。
因此，将引脚图像输入至SOLO-v2模型中能够实现多阶段的实例分割处理得到目标区域。
该目标区域可以包括焊盘、坡度和焊脚三个区域，也可以包括电子元件上的其他区域，本示例性实施例对此不做特殊限定。
AI质量判别模块能够基于确定出目标区域的引脚图像进行质量判断。
根据目标区域对引脚图像进行图像质量判断得到图像质量分值，并确定与图像质量分值对应的分值阈值。
对引脚图像的图像质量判断可以是通过SSIM算法实现的。
最后，用平均SSIM指数作为最终结果，亦即图像质量分值。
在根据目标区域计算出引脚图像的图像质量分值之后，可以获取到与该图像质量分值对应的分值阈值。一般的，该分值阈值可以设置为0.7，也可以设置为其他数值大小，本示例性实施例对此不做特殊限定。
将图像质量分值与分值阈值进行比较得到分值比较结果，并根据分值比较结果对引脚图像进行图像修复处理得到修复图像。
在得到图像质量分值和分值阈值之后，可以将图像质量分值与该分值阈值进行比较得到分值比较结果。
当分值比较结果为图像质量分值小于分值阈值时，可以对引脚图像进行图像修复处理得到修复图像。
该图像修复处理的方式可以是利用深度学习模型提高引脚图像的分辨率的方式，以增强分辨率图像提取特征的表征能力。
当目标区域为焊盘区域时，焊盘质量检测模块利用分类网络模型对修复图像进行焊盘质量检测得到电子元件的焊盘区域的检测结果。
针对修复图像中包括的焊盘区域，可以使用分类网络模型对修复图像进行焊盘质量检测，确定电子元件的焊盘区域属于多锡、少锡和正常锡的三类检测结果。
其中，分类网络模型可以是残差网络模型，例如Resnet-18。
当目标区域为坡度区域时，坡度质量检测模块对坡度区域进行坡度质量检测。
图7示出了应用场景下坡度质量检测的方法的流程示意图，如图7所示，获取n*batch样本图像的单个分割实例的坡度区域。
若目标区域为坡度区域，对修复图像的坡度区域进行颜色空间转换得到转换后的修复图像。
针对修复图像中的坡度区域，可以使用OPENCV工具将修复图像的坡度区域从RGB颜色空间转换到HSL颜色空间，得到转换后的修复图像。
对转换后的修复图像进行坡度合格判断得到电子元件的坡度区域的检测结果。
对转换后的修复图像进行像素遍历，并在遍历的过程中进行坡度区域的合格判断。
具体的，可以判断像素点是黄色和绿色相间，还是会出现红色。
当像素点是黄色和绿色相间的，表明对应的坡度区域正常；当像素点会出现红色，可以进一步判断红色区域是否是由黄色和绿色过渡而来。
如果红色区域是由黄色和绿色过渡而来，表明对应的坡度区域正常；当红色区域不是由黄色和绿色区域过渡而来，表明对应的坡度区域是异常的。
当目标区域为焊脚区域时，焊脚质量检测模块对焊脚区域进行焊脚质量检测。
图8示出了应用场景下焊脚质量检测的方法的流程示意图，如图8所示，若目标区域为焊脚区域，获取焊脚区域的目标属性值以及与焊脚区域对应的目标参考均值。
对于修复图像中的焊脚区域，可以按照公式(1)-(4)计算出目标参考均值。公式(1)计算出了一批或者多批正确的数据样本的长度均值，然后利用公式(2)为该长度均值设置系数α，并为当前的焊脚区域的长度设置系数1-α，以计算出参考长度值。
公式(3)计算出了一批或者多批正确的数据样本的偏移量均值，然后利用公式(4)为该偏移量均值设置系数β，并为当前的焊脚区域的偏移量设置系数1-β，以计算出参考偏移量。
因此，将参考长度值和参考偏移量确定为目标参考均值。
与该目标参考均值对应的，可以获取到焊脚区域的目标属性值。该目标属性值可以包括焊脚区域的长度和偏移量。
将目标属性值与目标参考均值进行比较得到属性比较结果，并对属性比较结果进行统计处理得到目标数量。
在获取到目标属性值和目标参考均值之后，可以将目标属性值与目标参考均值进行比较。亦即，将焊脚区域的长度和参考长度值进行比较，将焊脚区域的偏移量与参考偏移量进行比较，以得到对应的属性比较结果。
当属性比较结果为长度大于或等于参考长度值，和/或偏移量大于或等于参考偏移量时，可以将该属性比较结果进行统计处理得到焊脚长度异常和/或焊脚偏移的目标数量。
根据目标数量确定电子元件的焊脚区域的检测结果。
在统计出目标数量之后，可以获取到与该目标数量对应的阈值。当目标数量大于该阈值时，表明电子元件的焊脚区域长度异常和/或焊脚偏移。
当目标数量来自于长度大于或等于参考长度值时，确定焊脚区域长度异常；当目标数量统计于偏移量大于或等于参考偏移量时，确定焊脚偏移；当目标数量来自于长度大于或等于参考长度值，以及偏移量大于或等于参考偏移量时，确定焊脚区域的长度异常，且焊脚偏移。
由于电子元件的检测系统不涉及硬件方面的改造，可以将缺陷检测模型及代码部署在生产侧的设备上即可使用，因此已经投入工厂的实际应用当中。
在电子元件的检测系统中，通过anchor自适应调整能够最优化检测引脚，对于设计算法的量化分析提升很大，使用GAN网络生成数据样本，解决了数据不平衡的问题。
针对于焊脚、坡度等需要量化分析的区域，设计了新的质量检测算法。这种质量检测算法可以处理大批量的图像输入，可以根据生产线实际的生产需求调整检测算法的参数。例如可以调整batch、系数α和系数β。
针对图像质量不高的图片，引入质量判断模块，使用图像修复神经网络处理低分辨率图像。
图9示出了应用场景下的电子元件的检测方法的流程示意图，如图9所示，在步骤S910中，智能感知设备。
生产流水线智能感知设备模块能够连续扫描焊接工件等电子元件，以采集到电子元件的整体图。该整体图的大小可以是4000*4000像素点。
在步骤S920中，裁剪获取引脚区域。
进一步的，将整体图裁剪成目标尺寸的待检测图像。该目标尺寸可以是600*600像素点。并且，该待检测图像还可以是PNG格式的图片。
值得说明的是，该待检测图像可以是包含待分析区域，例如引脚区域的图像，也可以是其他分析区域的图像，本示例性实施例对此不做特殊限定。
在步骤S930中，引脚检测。
使用训练好的目标检测模型，同时采用自适应anchor设置对检测图像进行目标检测处理。
利用聚类算法和遗传算法确定锚框参数，并根据锚框参数训练待训练的目标检测模型得到训练好的目标检测模型。
其中，聚类算法可以是K均值聚类算法。
具体的，载入训练待训练的目标检测模型的数据集得到数据集中的所有数据样本的宽和高；然后，将数据样本的每个图片的wh的最大值等比例缩放到指定大小，较小边也相应缩放；将边界框通过乘以缩放后的wh的方式从相对坐标改成绝对坐标；筛选bboxes，保留wh都大于或等于两个像素的bboxes；使用k-means聚类算法得到n个anchors，并使用遗传算法随机对anchors的wh进行变异。
如果变异后的效果变得更好，就将变异后的结果幅值给anchors得到锚框参数；如果变异后的效果变差就跳过，默认变异1000次得到锚框参数。
其中，变异后的效果是否变好可以使用anchor_fitness方法计算得到fitness进行评估。
并且，锚框参数可以包括锚框的大小和尺寸等信息。
因此，使用聚类算法和遗传算法能够动态调整锚框参数，那么可以基于动态调整的锚框参数训练待训练的目标检测模型。
由于训练电子元件的目标检测模型能够获取到的数据集中的数据样本过小，且存在数据样本不平衡的问题，因此，还可以使用GAN网络生成数据样本，并采用Focal Loss来减少因为数据不平衡的问题对于分类结果的影响。
这样就得到了一个生成式的模型G，可以用来生成训练待训练的目标检测模型的图片样本。
在得到训练待训练的目标检测模型的数据样本之后，可以在训练目标检测模型的过程中，同时采用自适应anchor设置的锚框参数进行训练得到训练好的目标检测模型。
其中，目标检测模型可以是YOLO-v3模型，也可以是其他模型，本示例性实施例对此不做特殊限定。
利用训练好的目标检测模型对待检测图像进行目标检测处理得到电子元件的引脚图像。
在训练出训练好的目标检测模型之后，可以将待检测图像输入至该训练好的目标检测模型中，以使训练好的目标检测模型对待检测图像进行目标检测处理，并输出待检测图像中的引脚图像。例如，p个引脚图像。
在步骤S940中，实例化分割。
对引脚图像进行实例分割处理确定引脚图像中的目标区域，并根据目标区域对引脚图像进行图像修复处理得到修复图像。
利用实例分割模型对引脚图像进行实例分割处理确定引脚图像中的目标区域。
其中，实例分割模型可以是SOLO-v2模型，也可以是其他模型，本示例性实施例对此不做特殊限定。
因此，将引脚图像输入至SOLO-v2模型中能够实现多阶段的实例分割处理得到目标区域。
该目标区域可以包括焊盘、坡度和焊脚三个区域，也可以包括电子元件上的其他区域，本示例性实施例对此不做特殊限定。
在步骤S950中，质量判别
根据目标区域对n*batch*p*3引脚图像进行图像质量判断得到图像质量分值，并确定与图像质量分值对应的分值阈值。
对引脚图像的图像质量判断可以是通过SSIM算法实现的。
最后，用平均SSIM指数作为最终结果，亦即图像质量分值。
在根据目标区域计算出引脚图像的图像质量分值之后，可以获取到与该图像质量分值对应的分值阈值。一般的，该分值阈值可以设置为0.7，也可以设置为其他数值大小，本示例性实施例对此不做特殊限定。
将图像质量分值与分值阈值进行比较得到分值比较结果，并根据分值比较结果对引脚图像进行图像修复处理得到修复图像。
在得到图像质量分值和分值阈值之后，可以将图像质量分值与该分值阈值进行比较得到分值比较结果。
在步骤S960中，图像修复。
当分值比较结果为图像质量分值小于分值阈值时，可以对引脚图像进行图像修复处理得到修复图像。
该图像修复处理的方式可以是利用深度学习模型提高引脚图像的分辨率的方式，以增强分辨率图像提取特征的表征能力。
在步骤S970中，AI质量检测。
当目标区域为焊盘区域时，焊盘质量检测模块利用分类网络模型对修复图像进行焊盘质量检测得到电子元件的焊盘区域的检测结果。
针对修复图像中包括的焊盘区域，可以使用分类网络模型对修复图像进行焊盘质量检测，确定电子元件的焊盘区域属于多锡、少锡和正常锡的三类检测结果。
其中，分类网络模型可以是残差网络模型，例如Resnet-18。
当目标区域为坡度区域时，坡度质量检测模块对坡度区域进行坡度质量检测。
若目标区域为坡度区域，对修复图像的坡度区域进行颜色空间转换得到转换后的修复图像。
针对修复图像中的坡度区域，可以使用OPENCV工具将修复图像的坡度区域从RGB颜色空间转换到HSL颜色空间，得到转换后的修复图像。
对转换后的修复图像进行坡度合格判断得到电子元件的坡度区域的检测结果。
对转换后的修复图像进行像素遍历，并在遍历的过程中进行坡度区域的合格判断。
具体的，可以判断像素点是黄色和绿色相间，还是会出现红色。
当像素点是黄色和绿色相间的，表明对应的坡度区域正常；当像素点会出现红色，可以进一步判断红色区域是否是由黄色和绿色过渡而来。
如果红色区域是由黄色和绿色过渡而来，表明对应的坡度区域正常；当红色区域不是由黄色和绿色区域过渡而来，表明对应的坡度区域是异常的。
当目标区域为焊脚区域时，焊脚质量检测模块对焊脚区域进行焊脚质量检测。
若目标区域为焊脚区域，获取焊脚区域的目标属性值以及与焊脚区域对应的目标参考均值。
对于修复图像中的焊脚区域，可以按照公式(1)-(4)计算出目标参考均值。公式(1)计算出了一批或者多批正确的数据样本的长度均值，然后利用公式(2)为该长度均值设置系数α，并为当前的焊脚区域的长度设置系数1-α，以计算出参考长度值。
公式(3)计算出了一批或者多批正确的数据样本的偏移量均值，然后利用公式(4)为该偏移量均值设置系数β，并为当前的焊脚区域的偏移量设置系数1-β，以计算出参考偏移量。
因此，将参考长度值和参考偏移量确定为目标参考均值。
与该目标参考均值对应的，可以获取到焊脚区域的目标属性值。该目标属性值可以包括焊脚区域的长度和偏移量。
将目标属性值与目标参考均值进行比较得到属性比较结果，并对属性比较结果进行统计处理得到目标数量。
在获取到目标属性值和目标参考均值之后，可以将目标属性值与目标参考均值进行比较。亦即，将焊脚区域的长度和参考长度值进行比较，将焊脚区域的偏移量与参考偏移量进行比较，以得到对应的属性比较结果。
当属性比较结果为长度大于或等于参考长度值，和/或偏移量大于或等于参考偏移量时，可以将该属性比较结果进行统计处理得到焊脚长度异常和/或焊脚偏移的目标数量。
根据目标数量确定电子元件的焊脚区域的检测结果。
在统计出目标数量之后，可以获取到与该目标数量对应的阈值。当目标数量大于该阈值时，表明电子元件的焊脚区域长度异常和/或焊脚偏移。
当目标数量来自于长度大于或等于参考长度值时，确定焊脚区域长度异常；当目标数量统计于偏移量大于或等于参考偏移量时，确定焊脚偏移；当目标数量来自于长度大于或等于参考长度值，以及偏移量大于或等于参考偏移量时，确定焊脚区域的长度异常，且焊脚偏移。
在步骤S980中，输出结果。
输出模块可以对焊盘区域、坡度区域和焊脚区域的检测结果进行汇总和显示，并通知操作人工分拣出对应编号的电子元件。
汇总出的电子元件的检测结果可以包括电子元件多锡、少锡、坡度异常、焊脚长度异常、焊脚偏移和良品等多种情况。
在该应用场景下的电子元件的检测方法，基于图像分割的电子元件焊接缺陷检测的整体方案，该方案通过多阶段的实例分割网络，实现对待检测图片的分割，对分割后的图像设计了多种检测算法，以自动化的方法处理大批图片，减少了人工成本和时间成本。
除此之外，坡度质量检测模块提供了一种基于像素遍历的方法的坡度质量判别算法，而焊脚质量检测模块引入了可参考的目标参考均值，减少了单张图片的噪声干扰，并通过计算量化了焊脚质量的评判。
AI质量判别模块通过质量判别和图像修复，对分辨率低的图片进行优化，显著地提高了算法的应用场景。
图10示出了电子元件的检测装置的结构示意图，如图10所示，电子元件的检测装置1000可以包括：目标检测模块1010、图像修复模块1020和质量检测模块1030。其中：
目标检测模块1010，被配置为获取电子元件的待检测图像，并对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像；
图像修复模块1020，被配置为对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，并根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像；
质量检测模块1030，被配置为基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果。
在本发明的一种示例性实施例中，所述对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像，包括：
利用聚类算法和遗传算法确定锚框参数，并根据所述锚框参数训练待训练的目标检测模型得到训练好的目标检测模型；
利用所述训练好的目标检测模型对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像。
在本发明的一种示例性实施例中，所述对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，包括：
利用实例分割模型对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域。
在本发明的一种示例性实施例中，所述根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像，包括：
根据所述目标区域对所述引脚图像进行图像质量判断得到图像质量分值，并确定与所述图像质量分值对应的分值阈值；
将所述图像质量分值与所述分值阈值进行比较得到分值比较结果，并根据所述分值比较结果对所述引脚图像进行图像修复处理得到修复图像。
在本发明的一种示例性实施例中，所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为焊盘区域，利用分类网络模型对所述修复图像进行焊盘质量检测得到所述电子元件的所述焊盘区域的检测结果。
在本发明的一种示例性实施例中，所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为坡度区域，对所述修复图像的所述坡度区域进行颜色空间转换得到转换后的修复图像；
对所述转换后的修复图像进行坡度合格判断得到所述电子元件的所述坡度区域的检测结果。
在本发明的一种示例性实施例中，所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为焊脚区域，获取所述焊脚区域的目标属性值以及与所述焊脚区域对应的目标参考均值；
将所述目标属性值与所述目标参考均值进行比较得到属性比较结果，并对所述属性比较结果进行统计处理得到目标数量；
根据所述目标数量确定所述电子元件的所述焊脚区域的检测结果。
上述电子元件的检测装置1000的具体细节已经在对应的电子元件的检测方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了电子元件的检测装置1000的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
下面参照图11来描述根据本发明的这种实施例的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130、显示单元1140。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1121和/或高速缓存存储单元1122，还可以进一步包括只读存储单元(ROM)1123。
存储单元1120还可以包括具有一组(至少一个)程序模块1125的程序/实用工具1124，这样的程序模块1125包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图12所示，描述了根据本发明的实施例的用于实现上述方法的程序产品1200，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (7)
1.一种电子元件的检测方法，其特征在于，所述方法包括：
获取电子元件的待检测图像，并利用聚类算法和遗传算法确定锚框参数，并根据所述锚框参数训练待训练的目标检测模型得到训练好的目标检测模型；
利用所述训练好的目标检测模型对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像；
对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，并根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像，所述目标区域包括焊盘区域、坡度区域和焊脚区域；
基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果；
所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为坡度区域，对所述修复图像的所述坡度区域进行颜色空间转换得到转换后的修复图像；
对所述转换后的修复图像进行像素遍历，并在遍历的过程中进行坡度合格判断得到所述电子元件的所述坡度区域的检测结果；其中，
当遍历的像素点是黄色和绿色相间的，表明所述检测结果为所述坡度区域正常；或
当遍历的像素点出现红色，且所述红色是由黄色和绿色过渡而来，表明所述检测结果为所述坡度区域正常；或
当遍历的像素点出现红色，且所述红色不是由黄色和绿色过渡而来，表明所述检测结果为所述坡度区域异常；
所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为焊脚区域，获取所述焊脚区域的目标属性值以及与所述焊脚区域对应的目标参考均值；其中，所述目标属性值包括所述焊脚区域的长度和偏移量；所述目标参考均值包括参考长度值和参考偏移量，所述参考长度值按照公式（1）-（2）计算得到，所述参考偏移量按照公式（3）-（4）计算得到：
其中，n是batch的数目，p是batch中图片的数目，q是一张图片中焊脚的个数，i、j、k分别用来遍历对应的数目，都是从1开始取值，
是长度均值的系数，/>
是当前的焊脚区域的长度的系数，/>
是偏移量均值的系数，/>
是当前的焊脚区域的偏移量的系数；
将所述目标属性值与所述目标参考均值进行比较得到属性比较结果，并对所述属性比较结果进行统计处理得到目标数量；其中，
将所述焊脚区域的长度和所述参考长度值进行比较，将所述焊脚区域的偏移量与所述参考偏移量进行比较，以得到对应的属性比较结果；
根据所述目标数量确定所述电子元件的所述焊脚区域的检测结果；其中，当所述目标数量来自于所述焊脚区域的长度大于或等于所述参考长度值时，确定所述焊脚区域长度异常；当所述目标数量统计于所述焊脚区域的偏移量大于或等于所述参考偏移量时，确定焊脚偏移；当所述目标数量来自于所述焊脚区域的长度大于或等于所述参考长度值，以及所述焊脚区域的偏移量大于或等于所述参考偏移量时，确定所述焊脚区域的长度异常，且焊脚偏移。
2.根据权利要求1所述的电子元件的检测方法，其特征在于，所述对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，包括：
利用实例分割模型对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域。
3.根据权利要求1所述的电子元件的检测方法，其特征在于，所述根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像，包括：
根据所述目标区域对所述引脚图像进行图像质量判断得到图像质量分值，并确定与所述图像质量分值对应的分值阈值；
将所述图像质量分值与所述分值阈值进行比较得到分值比较结果，并根据所述分值比较结果对所述引脚图像进行图像修复处理得到修复图像。
4.根据权利要求1所述的电子元件的检测方法，其特征在于，所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为焊盘区域，利用分类网络模型对所述修复图像进行焊盘质量检测得到所述电子元件的所述焊盘区域的检测结果。
5.一种电子元件的检测装置，其特征在于，包括：
目标检测模块，被配置为获取电子元件的待检测图像，并利用聚类算法和遗传算法确定锚框参数，并根据所述锚框参数训练待训练的目标检测模型得到训练好的目标检测模型；
利用所述训练好的目标检测模型对所述待检测图像进行目标检测处理得到所述电子元件的引脚图像；
图像修复模块，被配置为对所述引脚图像进行实例分割处理确定所述引脚图像中的目标区域，并根据所述目标区域对所述引脚图像进行图像修复处理得到修复图像，所述目标区域包括焊盘区域、坡度区域和焊脚区域；
质量检测模块，被配置为基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果；
所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为坡度区域，对所述修复图像的所述坡度区域进行颜色空间转换得到转换后的修复图像；
对所述转换后的修复图像进行像素遍历，并在遍历的过程中进行坡度合格判断得到所述电子元件的所述坡度区域的检测结果；其中，
当遍历的像素点是黄色和绿色相间的，表明所述检测结果为所述坡度区域正常；或
当遍历的像素点出现红色，且所述红色是由黄色和绿色过渡而来，表明所述检测结果为所述坡度区域正常；或
当遍历的像素点出现红色，且所述红色不是由黄色和绿色过渡而来，表明所述检测结果为所述坡度区域异常；
所述基于所述目标区域，对所述修复图像进行质量检测处理得到所述电子元件的检测结果，包括：
若所述目标区域为焊脚区域，获取所述焊脚区域的目标属性值以及与所述焊脚区域对应的目标参考均值；其中，所述目标属性值包括所述焊脚区域的长度和偏移量；所述目标参考均值包括参考长度值和参考偏移量，所述参考长度值按照公式（1）-（2）计算得到，所述参考偏移量按照公式（3）-（4）计算得到：
其中，n是batch的数目，p是batch中图片的数目，q是一张图片中焊脚的个数，i、j、k分别用来遍历对应的数目，都是从1开始取值，
是长度均值的系数，/>
是当前的焊脚区域的长度的系数，/>
是偏移量均值的系数，/>
是当前的焊脚区域的偏移量的系数；
将所述目标属性值与所述目标参考均值进行比较得到属性比较结果，并对所述属性比较结果进行统计处理得到目标数量；其中，
将所述焊脚区域的长度和所述参考长度值进行比较，将所述焊脚区域的偏移量与所述参考偏移量进行比较，以得到对应的属性比较结果；
根据所述目标数量确定所述电子元件的所述焊脚区域的检测结果；其中，当所述目标数量来自于所述焊脚区域的长度大于或等于所述参考长度值时，确定所述焊脚区域长度异常；当所述目标数量统计于所述焊脚区域的偏移量大于或等于所述参考偏移量时，确定焊脚偏移；当所述目标数量来自于所述焊脚区域的长度大于或等于所述参考长度值，以及所述焊脚区域的偏移量大于或等于所述参考偏移量时，确定所述焊脚区域的长度异常，且焊脚偏移。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任意一项所述的电子元件的检测方法。
7.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1-4中任意一项所述的电子元件的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111652447.3A CN114299036B (zh) | 2021-12-30 | 2021-12-30 | 电子元件的检测方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111652447.3A CN114299036B (zh) | 2021-12-30 | 2021-12-30 | 电子元件的检测方法及装置、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114299036A CN114299036A (zh) | 2022-04-08 |
| CN114299036B true CN114299036B (zh) | 2023-05-23 |
Family
ID=80974430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111652447.3A Active CN114299036B (zh) | 2021-12-30 | 2021-12-30 | 电子元件的检测方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299036B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115166469B (zh) * | 2022-09-07 | 2022-12-27 | 江苏东海半导体股份有限公司 | Mosfet器件测试方法、装置和存储介质 |
| CN115713499B (zh) * | 2022-11-08 | 2023-07-14 | 哈尔滨工业大学 | 一种贴片元件贴装后质量检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052863A (zh) * | 2020-10-16 | 2020-12-08 | 泰康保险集团股份有限公司 | 一种图像检测方法及装置、计算机存储介质、电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04158206A (ja) * | 1990-10-20 | 1992-06-01 | Fujitsu Ltd | 部品検査装置 |
| CN111784674A (zh) * | 2020-07-02 | 2020-10-16 | 深圳明锐理想科技有限公司 | 元件检测方法、装置、计算机设备和存储介质 |
| CN113506243A (zh) * | 2021-06-04 | 2021-10-15 | 联合汽车电子有限公司 | Pcb焊接缺陷检测方法、装置及存储介质 |
| CN113379734A (zh) * | 2021-07-09 | 2021-09-10 | 无锡时代天使医疗器械科技有限公司 | 质量检测方法、装置、设备及计算机可读存储介质 |
| CN113591965A (zh) * | 2021-07-26 | 2021-11-02 | 格力电器(南京)有限公司 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
-
2021
- 2021-12-30 CN CN202111652447.3A patent/CN114299036B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052863A (zh) * | 2020-10-16 | 2020-12-08 | 泰康保险集团股份有限公司 | 一种图像检测方法及装置、计算机存储介质、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114299036A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN114299036B (zh) | 电子元件的检测方法及装置、存储介质、电子设备 | |
| CN108280455B (zh) | 人体关键点检测方法和装置、电子设备、程序和介质 | |
| CN111160469B (zh) | 一种目标检测系统的主动学习方法 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN111444939A (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
| CN113822951B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20090148041A1 (en) | Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions | |
| CN111652225A (zh) | 基于深度学习的非侵入式摄像读取方法及系统 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN116030237A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
| JP2021086379A (ja) | 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法 | |
| CN114821155A (zh) | 一种基于可变形nts-net神经网络的多标签分类方法及系统 | |
| CN114782967B (zh) | 一种基于代码可视化学习的软件缺陷预测方法 | |
| CN113763364B (zh) | 一种基于卷积神经网络的图像缺陷检测方法 | |
| CN114387454A (zh) | 一种基于区域筛选模块和多层次对比的自监督预训练方法 | |
| Zhang et al. | Traffic Sign Detection and Recognition Based onDeep Learning. | |
| CN111414855B (zh) | 基于端到端回归模型的电线杆标牌目标检测及识别方法 | |
| CN113052217A (zh) | 预测结果标识及其模型训练方法、装置及计算机存储介质 | |
| CN109636194B (zh) | 一种输变电项目重大变动多源协同检测方法与系统 | |
| CN116681921A (zh) | 一种基于多特征损失函数融合的目标标注方法及系统 | |
| CN112949630B (zh) | 基于边框分级筛选的弱监督目标检测方法 | |
| CN115631366A (zh) | 一种番茄果实成熟度预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |