CN115661155A - 缺陷检测模型的构建方法、装置、设备及存储介质 - Google Patents
缺陷检测模型的构建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115661155A CN115661155A CN202211688094.7A CN202211688094A CN115661155A CN 115661155 A CN115661155 A CN 115661155A CN 202211688094 A CN202211688094 A CN 202211688094A CN 115661155 A CN115661155 A CN 115661155A
- Authority
- CN
- China
- Prior art keywords
- image
- pcb
- preset
- superposed
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 148
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000010276 construction Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000002950 deficient Effects 0.000 claims description 74
- 238000012549 training Methods 0.000 claims description 72
- 238000007689 inspection Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,尤其涉及一种缺陷检测模型的构建方法、装置、设备及存储介质,本发明通过在训练PCB板的缺陷检测模型之前,通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像,以便于与预设PCB板图像进行图像叠加,增加缺陷图像的数量,扩大缺陷样本训练集,以便于在后续训练时,不会因为训练样本不足导致的检测模型效果不佳,避免了现有技术在对PCB板进行缺陷检测模型的训练时,缺少训练样本,导致的缺陷检测效果不佳的技术问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种缺陷检测模型的构建方法、装置、设备及存储介质。
背景技术
传统技术中,在面对PCB板的缺陷检测时,一般是通过人工标记缺陷样本,或者训练一个模型,通过图像检测的手段实现PCB板的检测,但是由于缺陷类别较多,而在训练模型时,由于各类型的缺陷样本较少,在训练时缺少训练样本,进而影响缺陷识别的效果。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种缺陷检测模型的构建方法、装置、设备及存储介质,旨在解决现有技术在对PCB板进行缺陷检测模型的训练时,缺少训练样本,导致的缺陷检测效果不佳的技术问题。
为实现上述目的,本发明提供了一种缺陷检测模型的构建方法,所述方法包括以下步骤:
获取缺陷PCB板图像;
通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像;
将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像;
将所述叠加图像与预设PCB板图像作为样本训练集;
将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型。
可选地,所述通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像,包括:
获取所述缺陷PCB板图像的像素分辨率与图像标签;
根据所述像素分辨率确定所述缺陷PCB板图像中的缺陷区域;
基于所述缺陷PCB板图像与所述缺陷区域进行图像分割,获得分割图像;
根据所述图像标签标注所述分割图像,获得掩膜图像。
可选地,所述将所述掩膜图像与所述预设PCB板图像进行图像叠加,获得多个叠加图像,包括:
提取所述掩膜图像中的图像标签;
根据所述图像标签计算所述掩膜图像与所述预设PCB板图像的相似度;
在所述相似度大于预设相似度阈值时,将所述掩膜图像与所述预设PCB板图像进行图像叠加;
对叠加后的图像进行分类,获得至少一个类别的叠加图像,各类别的叠加图像包括至少一个叠加图像。
可选地,所述对叠加后的图像进行分类,包括:
获取叠加后的图像对应的叠加标签;
判断所述叠加标签与预设优先标签是否相同;
若相同,则将所述叠加后的图像归类于所述预设优先标签对应的类别。
可选地,所述判断所述叠加标签与预设优先标签是否相同之前,还包括:
验证所述叠加标签的标签数量;
若所述标签数量大于预设阈值,则丢弃所述叠加后的图像;
所述若所述标签数量不大于预设阈值,则执行所述判断所述叠加标签与预设优先标签是否相同的步骤。
可选地,所述获取缺陷PCB板图像,包括:
调整图像采集设备的角度,获取预设数量的PCB板图像;
通过预设判决网络模型对所述PCB板图像进行图像决策值计算,获得图像决策值;
根据所述图像决策值确定PCB板图像中的缺陷PCB板图像。
可选地,所述PCB板图像包括:缺陷PCB板图像与正常PCB板图像;
所述根据所述图像决策值确定PCB板图像中的缺陷PCB板图像,包括:
在所述图像决策值小于或等于预设决策值时,将对应的PCB板图像记为正常PCB板图像;
在所述图像决策值大于预设决策值时,将对应的PCB板图像记为缺陷PCB板图像。
此外,为实现上述目的,本发明还提出一种缺陷检测模型的构建装置,所述缺陷检测模型的构建装置包括:
图像获取模块,用于获取缺陷PCB板图像;
图像处理模块,用于通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像;
图像叠加模块,用于将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像;
样本生成模块,用于将所述叠加图像与预设PCB板图像作为样本训练集;
模型训练模块,用于将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型。
此外,为实现上述目的,本发明还提出一种缺陷检测模型的构建设备,所述缺陷检测模型的构建设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的缺陷检测模型的构建程序,所述缺陷检测模型的构建程序配置为实现如上文所述的缺陷检测模型的构建方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有缺陷检测模型的构建程序,所述缺陷检测模型的构建程序被处理器执行时实现如上文所述的缺陷检测模型的构建方法的步骤。
本发明公开了一种PCB板缺陷检测模型的构建方法,所述PCB板缺陷检测模型的构建方法包括:获取缺陷PCB板图像;通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像;将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像;将所述叠加图像与预设PCB板图像作为样本训练集;将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型,与现有技术相比,本发明通过在训练PCB板的缺陷检测模型之前,通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像,以便于与预设PCB板图像进行图像叠加,增加缺陷图像的数量,扩大缺陷样本训练集,以便于在后续训练时,不会因为训练样本不足导致的检测模型效果不佳,避免了现有技术在对PCB板进行缺陷检测模型的训练时,缺少训练样本,导致的缺陷检测效果不佳的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的缺陷检测模型的构建设备的结构示意图;
图2为本发明缺陷检测模型的构建方法第一实施例的流程示意图;
图3为本发明缺陷检测模型的构建方法第二实施例的流程示意图;
图4为本发明缺陷检测模型的构建方法第三实施例的流程示意图;
图5为本发明缺陷检测模型的构建装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的缺陷检测模型的构建设备结构示意图。
如图1所示,该缺陷检测模型的构建设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对缺陷检测模型的构建设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及缺陷检测模型的构建程序。
在图1所示的缺陷检测模型的构建设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明缺陷检测模型的构建设备中的处理器1001、存储器1005可以设置在缺陷检测模型的构建设备中,所述缺陷检测模型的构建设备通过处理器1001调用存储器1005中存储的缺陷检测模型的构建程序,并执行本发明实施例提供的缺陷检测模型的构建方法。
本发明实施例提供了一种缺陷检测模型的构建方法,参照图2,图2为本发明一种缺陷检测模型的构建方法第一实施例的流程示意图。
本实施例中,所述缺陷检测模型的构建方法包括以下步骤:
步骤S10:获取缺陷PCB板图像。
需要说明的是,本实施例方法的执行主体可以是具有数据处理或数据采集等功能的设备,例如:控制计算机或者电脑等设备,还可以是其他具有相同或者相似功能的设备,本实施例对此不作具体限制,在本实施例以及下述实施例中将会以控制计算机为例进行说明。
值得说明的是,目前的传统PCB板的缺陷检测过程主要是针对每个PCB板各个类别的缺陷都进行单独的训练,例如:焊点缺失或元件缺失等,在实际生产过程中,存在缺陷的PCB板数量本就远远少于正常PCB板,后续再针对每个类别的缺陷进行特征提取以及训练,在每个缺陷类别本就缺少训练样本的的前提下,构建效果较好的缺陷检测模型难以实现。
其中,传统技术中往往是将各种缺陷对应的图像样本作为训练样本,已获得分别实现对于各种缺陷的检测效果,但是由于目前本就由于缺陷样本较少,导致针对PCB板缺陷类别的模型训练精确度不高,并且若是出现没有模型记录的缺陷样本时,无法识别而报错,因此,在本实施例中,将所有的训练样本分为缺陷样本训练集与正常样本训练集,只考虑是否存在缺陷,再通过具体的标签数据进行缺陷分类,并且在出现模型没有记录的缺陷类别时,将不是正常PCB板类别的图像,直接判定为缺陷PCB板,并可以直接根据标签数据新建一个类别,并进行迭代优化模型训练,以获得较好的模型识别效果。
此外,对于一般分类,所有类型的特征,即区域特征以及颜色或纹理,都可以用来构建特征向量,特征向量由特征值显式构建,而这些特征值可以通过一组合适的算子计算得到,缺陷PCB板是指PCB板中存在X位缺陷,其中X位缺陷是一种人工标记,是使用马克笔在特定的PCB板上做出“X”号标记,以标识此板是缺陷板,在后续的生产环节中识别处理,并对其做特定的处理。
应当理解是,缺陷PCB板图像是指对PCB板中不符合生产标准的区域进行拍照,进而在本实施例中缺陷PCB板图像包括存在缺陷的PCB的局域图像,或者存在缺陷的PCB的整体图像,本实施例对此不作具体限制。
在具体实现中,缺陷PCB板图像可以是通过图像采集设备以多角度的拍摄或者通过加载数据库中已存储的图像获得,在通过图像采集设备获得多个采集图像时,会获取大量的正常PCB板图像,还可能存在少部分缺陷PCB板图像,但是不是所有的存在缺陷的PCB图像都被认定为缺陷PCB板图像,因为,部分图像由于图像采集设备打光或者存在不影响PCB板运行的缺陷时,可以被视为正常PCB板图像。
步骤S20:通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像。
可以理解的是,预设图像处理模型是指具有图像处理、特征提取、图像分析以及图像生成等功能的模型,例如:基于AI技术的模型,本实施例对此不作具体限制。
在本实施例中,掩膜图像是指采集的图像中包含有整个缺陷区域的图像,主要是通过将存在缺陷的区域与剩余的区域进行分割,进而获得仅存在缺陷区域的掩膜图像,由于后续进行图像叠加,获得更多的缺陷PCB板样本。
步骤S30:将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像。
应当理解的是,预设PCB板图像是指与掩膜图像处于相同区域的完好PCB板图像或者某个区域相似度较高的完好PCB板图像,主要方便进行图像叠加,若是存在缺陷区域的掩膜图像与待叠加的图像不处于同一区域,或者相似度降低,将会导致在图像叠加时,形成存在图像像素或者质量缺陷的图像样本,在后续模型训练中会影响模型训练结果。
可以理解是,叠加图像是指将掩膜图像与完好的预设PCB板图像进行对应的区域的叠加融合之后,获得的图像,主要用于后续进行模型训练。
步骤S40:将所述叠加图像与预设PCB板图像作为样本训练集。
需要说明的是,为了能够获得能够实现PCB板缺陷检测功能的模型,在本实施例中,通过将存在缺陷与缺陷对应的标记的叠加图像作为缺陷样本训练集,并将正常没有缺陷的PCB板图像作为正常样训练集,结合缺陷样本训练集与正常样本训练集进行模型训练。
步骤S50:将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型。
应当说明的是,初始识别模型是指基于逻辑回归、贝叶斯或者神经网络等分类器的初始识别模型,用于后续根据正常样训练集与缺陷样本训练集进行模型训练,将图像进行迭代分类,获得目标PCB板缺陷检测模型,以便于后续进行PCB板的质量检测。
本实施例公开了一种PCB板缺陷检测模型的构建方法,所述PCB板缺陷检测模型的构建方法包括:获取缺陷PCB板图像;通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像;将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像;将所述叠加图像与预设PCB板图像作为样本训练集;将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型,本实施例通过在训练PCB板的缺陷检测模型之前,通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像,以便于与预设PCB板图像进行图像叠加,增加缺陷图像的数量,扩大缺陷样本训练集,以便于在后续训练时,不会因为训练样本不足导致的检测模型效果不佳,避免了现有技术在对PCB板进行缺陷检测模型的训练时,缺少训练样本,导致的缺陷检测效果不佳的技术问题。
参考图3,图3为本发明一种缺陷检测模型的构建方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S20,包括:
步骤S201:获取所述缺陷PCB板图像的像素分辨率与图像标签。
需要说明的是,像素分辨率是判断图像像素是否正常的参数,区域图像的像素分辨率越低说明区域图像的像素失真越严重,根据像素分辨率的高低确定样本产品图像中的缺陷像素,在一张图像中存在的缺陷像素越多,即表示缺陷区域越多越大。
可以理解的是,图像标签是指图像标签是图像的识别信息,在通过调用图采集设备采集样本产品图像时,可通过人工标记或者根据其自身属性确定,图像标签包括基础标签和附加标签,基础标签包括但不限制于样本产品的名称和样本产品采集区域的名称,例如:PCB板的类型或者子区域编号等,附加标签包括不限制于采集角度、光源类型、决策值和光源亮度值,本实施例对此不作具体限制。
应当理解的是,基础标签是在图像采集设备采集样本产品图像时,可通过人工手动输入,也可自动生成,附加标签是图像采集设备采集样本产品图像时,图像采集设备根据其设置的数据自动生成。
步骤S202:根据所述像素分辨率确定所述缺陷PCB板图像中的缺陷区域。
在具体实现中,缺陷区域是指缺陷像素较为集中的区域,在一张图像中可能存在多个缺陷区域,可以分别标记或者框选这些缺陷区域,以便于后续进行图像分割。
其中,像素分辨率越高,表示图像越清楚,存在缺陷区域的可能较小,因此,在本实施例中可以通过统计图像的平均像素值,再通过各处区域的像素值与平均像素值之间的差值进而确定存在缺陷的区域,由于PCB板的缺陷区域面积要远小于正常区域的面积,因此平均像素值要更偏向于正常区域的像素值,所述差值越大,表示存在缺陷的可能性越大,所述差值越小,表示存在缺陷的可能性越小。
步骤S203:基于所述缺陷PCB板图像与所述缺陷区域进行图像分割,获得分割图像。
值得说明的是,分割图像分为两部分,一部分为携带缺陷像素的样本产品局域图像,另一部分为没有携带缺陷像素的样本产品局域图像。
步骤S204:根据所述图像标签标注所述分割图像,获得掩膜图像。
可以理解是,将PCB板图像各区域对应的图像标签附加至分割图形中,并在该分割图像中标注,从而得到掩膜图像。
本实施例通过根据像素分辨率确定缺陷区域,在对缺陷区域进行图像分割,最后将各区域对应的图像标签,再分配至原来的区域,以获得缺陷区域的掩膜图像,以便于后续进行图像叠加,获得更多的缺项图像训练样本。
在本实施例中,所述步骤S30,包括:
步骤S301:提取所述掩膜图像中的图像标签。
需要说明的是,图像标签是指图像标签是图像的识别信息,在通过调用图采集设备采集样本产品图像时,可通过人工标记或者根据其自身属性确定,图像标签包括基础标签和附加标签,基础标签包括但不限制于样本产品的名称和样本产品采集区域的名称,例如:PCB板的类型或者子区域编号等,附加标签包括不限制于采集角度、光源类型、决策值和光源亮度值,本实施例对此不作具体限制。
应当理解的是,基础标签是在图像采集设备采集样本产品图像时,可通过人工手动输入,也可自动生成,附加标签是图像采集设备采集样本产品图像时,图像采集设备根据其设置的数据自动生成。
步骤S302:根据所述图像标签计算所述掩膜图像与所述预设PCB板图像的相似度。
值得说明的是,掩膜图像与预设PCB板图像之间的相似度是指计算掩膜图像与预设PCB板图像各自的图像标签相同的数量,例如:若是预设PCB板图像中存在所述掩膜图像所在的区域,那么预设PCB板图像的图像标签必定存在掩膜图像的至少一个图像标签,标签相同的数量越多,表示相似度越高,还可以将标签相同数量根据掩膜图像的总标签数量转化为百分比的形式,以便于后续进行相似度比较。
步骤S303:在所述相似度大于预设相似度阈值时,将所述掩膜图像与所述预设PCB板图像进行图像叠加。
在具体实现中,预设相似度阈值可以设置为50%,或者预设相似度阈值对应的相同标签数量设置为1,此处相同标签数量与掩膜图像的图像标签总数量相关,掩膜图像的图像标签总数量越大,预设相似度阈值越大,本实施例对此不作具体限制。
进一步地,所述根据所述图像标签计算所述掩膜图像与所述预设PCB板图像的相似度之后,还包括:
在掩膜图像与预设PCB板图像之间的相似度小于等于预设相似度阈值时,标记所述掩膜图像的标签状态为单独状态;
在本实施例中,单独状态的掩膜图像不参与后续的图像叠加作为单独的分类,直至出现新的PCB板图像与该掩膜图像的相似度大于预设相似度阈值。
在具体实现中,图像叠加可以是图像重叠、图像融合等,例如在处理纹理图像时,可以添加噪声来稍微修改样本的副本,或者具有特定大小和方向的对象,例如使用腐蚀或膨胀稍微改变它们的大小,通过这种方式修改样本的副本。可以通过将图像旋转不同很小的角度来改变图像的方向。
步骤S304:对叠加后的图像进行分类,获得至少一个类别的叠加图像,各类别的叠加图像包括至少一个叠加图像。
可以理解是,对叠加后的图像进行分类是指给各叠加图像添加叠加标签,以区分各叠加图像的所包含的特征信息。
进一步地,所述对叠加后的图像进行分类,包括:
获取叠加后的图像对应的叠加标签;
判断所述叠加标签与预设优先标签是否相同;
若相同,则将所述叠加后的图像归类于所述预设优先标签对应的类别。
应当理解的是,预设优先标签是指样本产品名称标签、样本产品缺陷名称,或者光源类型,本实施例对此不作具体限制。
在具体实现中,判断叠加标签中的叠加标签与预设优先标签是否相同,即判断图像信息的相关性程度,若不相同,则删除该叠加标签对应的样本缺陷图像,若叠加标签中的预设优先标签相同,缺陷检测系统则将叠加图像归类为预设优先标签对应类型,然后将预设优先标签相同的所有叠加图像进行集合,得到缺陷图像训练集。
进一步地,所述判断所述叠加标签与样本产品名称标签是否相同之前,还包括:
验证所述叠加标签的标签数量;
若所述标签数量大于预设阈值,则丢弃所述叠加后的图像;
所述若所述标签数量不大于预设阈值,则执行所述判断所述叠加标签与样本产品名称标签是否相同的步骤。
需要说明的是,若一个叠加标签中有多个预设优先标签,则叠加标签与预设优先标签不相同,即在本实施例中剔除存在多个标签类型的叠加标签,若一个叠加标签中有且只有一个预设优先标签,则叠加标签与预设优先标签相同。
在本实施例中,比如,预设优先标签可为样本产品名称标签,缺陷检测系统得到的叠加图像有,叠加图像1为“样本产品名称标签为玻璃杯、塑料杯,样本产品缺陷名称为杯口”,叠加图像2为“样本产品名称标签为塑料杯,样本产品缺陷名称为杯口缺陷”和叠加图像3为“样本产品名称标签为塑料杯,样本产品缺陷名称为杯炳缺陷”,叠加图像1中的样本产品名称标签有多个,缺陷检测系统则删除叠加图像1,叠加图像2和叠加图像3中的样本产品名称标签只有一个,然后将叠加图像2和叠加图像3归类为塑料杯类型,最后将叠加图像2和叠加图像3进行集合得到塑料杯类型缺陷图像训练集。
本实施例通过根据掩膜图像与预设PCB板图像之间的相似度,进而确定是否需要进行图像叠加,减少不必要的工作量,在通过对叠加后的图像进行分类,以获得多个叠加图像,增加缺陷训练样本的数据量,进而提高模型训练效果。
参考图4,图4为本发明一种缺陷检测模型的构建方法第三实施例的流程示意图。
基于上述第二实施例,在本实施例中,所述步骤S10,包括:
步骤S101:调整图像采集设备的角度,获取预设数量的PCB板图像。
可以理解的是,图像采集设备可以是具有图像采集功能的设备,例如:相机、摄像头或者其他类型的图像采集设备,本实施例对此不作具体限制。
在本实施例中预设数量可以根据用户需求自行设置,例如:1000份,本实施例对此不作具体限制。
步骤S102:通过预设判决网络模型对所述PCB板图像进行图像决策值计算,获得图像决策值。
需要说明的是,预设判决网络模型是指用于根据采集到的图像的像素分辨度计算图像决策值,用于判断是否存在缺陷或者缺陷是否可以被忽略的参数值。
步骤S103:根据所述图像决策值确定PCB板图像中的缺陷PCB板图像。
值得说明的是,图像决策值越大,表示存在缺陷的概率越大,且缺陷的面积或者数量越多。
进一步地,所述PCB板图像包括:缺陷PCB板图像与正常PCB板图像;
所述根据所述图像决策值确定PCB板图像中的缺陷PCB板图像,包括:
在所述图像决策值小于或等于预设决策值时,将对应的PCB板图像记为正常PCB板图像;
在所述图像决策值大于预设决策值时,将对应的PCB板图像记为缺陷PCB板图像。
本实施例通过计算采集到的PCB板图像的决策值,以判断采集的PCB板图像的类型,以便于后续进行图像叠加,提升模型训练的效果。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有缺陷检测模型的构建程序,所述缺陷检测模型的构建程序被处理器执行时实现如上文所述的缺陷检测模型的构建方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
参照图5,图5为本发明缺陷检测模型的构建装置第一实施例的结构框图。
如图5所示,本发明实施例提出的缺陷检测模型的构建装置包括:
图像获取模块10,用于获取缺陷PCB板图像。
图像处理模块20,用于通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像。
图像叠加模块30,用于将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像。
样本生成模块40,用于将所述叠加图像与预设PCB板图像作为样本训练集。
模型训练模块50,用于将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型。
在一实施例中,所述图像处理模块20,还用于获取所述缺陷PCB板图像的像素分辨率与图像标签;根据所述像素分辨率确定所述缺陷PCB板图像中的缺陷区域;基于所述缺陷PCB板图像与所述缺陷区域进行图像分割,获得分割图像;根据所述图像标签标注所述分割图像,获得掩膜图像。
在一实施例中,所述图像叠加模块30,还用于提取所述掩膜图像中的图像标签;根据所述图像标签计算所述掩膜图像与所述预设PCB板图像的相似度;在所述相似度大于预设相似度阈值时,将所述掩膜图像与所述预设PCB板图像进行图像叠加;对叠加后的图像进行分类,获得至少一个类别的叠加图像,各类别的叠加图像包括至少一个叠加图像。
在一实施例中,所述图像叠加模块30,还用于获取叠加后的图像对应的叠加标签;判断所述叠加标签与预设优先标签是否相同;若相同,则将所述叠加后的图像归类于所述预设优先标签对应的类别。
在一实施例中,所述图像叠加模块30,还用于验证所述叠加标签的标签数量;若所述标签数量大于预设阈值,则丢弃所述叠加后的图像;所述若所述标签数量不大于预设阈值,则执行所述判断所述叠加标签与预设优先标签是否相同的步骤。
在一实施例中,所述图像获取模块10,还用于调整图像采集设备的角度,获取预设数量的PCB板图像;通过预设判决网络模型对所述PCB板图像进行图像决策值计算,获得图像决策值;根据所述图像决策值确定PCB板图像中的缺陷PCB板图像。
在一实施例中,所述图像获取模块10,还用于在所述图像决策值小于或等于预设决策值时,将对应的PCB板图像记为正常PCB板图像;在所述图像决策值大于预设决策值时,将对应的PCB板图像记为缺陷PCB板图像。
本实施例公开了一种PCB板缺陷检测模型的构建方法,所述PCB板缺陷检测模型的构建方法包括:获取缺陷PCB板图像;通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像;将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像;将所述叠加图像与预设PCB板图像作为样本训练集;将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型,本实施例通过在训练PCB板的缺陷检测模型之前,通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像,以便于与预设PCB板图像进行图像叠加,增加缺陷图像的数量,扩大缺陷样本训练集,以便于在后续训练时,不会因为训练样本不足导致的检测模型效果不佳,避免了现有技术在对PCB板进行缺陷检测模型的训练时,缺少训练样本,导致的缺陷检测效果不佳的技术问题。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的缺陷检测模型的构建方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种缺陷检测模型的构建方法,其特征在于,所述缺陷检测模型的构建方法包括:
获取缺陷PCB板图像;
通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像;
将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像;
将所述叠加图像与预设PCB板图像作为样本训练集;
将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型。
2.如权利要求1所述的缺陷检测模型的构建方法,其特征在于,所述通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像,包括:
获取所述缺陷PCB板图像的像素分辨率与图像标签;
根据所述像素分辨率确定所述缺陷PCB板图像中的缺陷区域;
基于所述缺陷PCB板图像与所述缺陷区域进行图像分割,获得分割图像;
根据所述图像标签标注所述分割图像,获得掩膜图像。
3.如权利要求1所述的缺陷检测模型的构建方法,其特征在于,所述将所述掩膜图像与所述预设PCB板图像进行图像叠加,获得多个叠加图像,包括:
提取所述掩膜图像中的图像标签;
根据所述图像标签计算所述掩膜图像与所述预设PCB板图像的相似度;
在所述相似度大于预设相似度阈值时,将所述掩膜图像与所述预设PCB板图像进行图像叠加;
对叠加后的图像进行分类,获得至少一个类别的叠加图像,各类别的叠加图像包括至少一个叠加图像。
4.如权利要求3所述的缺陷检测模型的构建方法,其特征在于,所述对叠加后的图像进行分类,包括:
获取叠加后的图像对应的叠加标签;
判断所述叠加标签与预设优先标签是否相同;
若相同,则将所述叠加后的图像归类于所述预设优先标签对应的类别。
5.如权利要求4所述的缺陷检测模型的构建方法,其特征在于,所述判断所述叠加标签与预设优先标签是否相同之前,还包括:
验证所述叠加标签的标签数量;
若所述标签数量大于预设阈值,则丢弃所述叠加后的图像;
所述若所述标签数量不大于预设阈值,则执行所述判断所述叠加标签与预设优先标签是否相同的步骤。
6.如权利要求1至5中任一项所述的缺陷检测模型的构建方法,其特征在于,所述获取缺陷PCB板图像,包括:
调整图像采集设备的角度,获取预设数量的PCB板图像;
通过预设判决网络模型对所述PCB板图像进行图像决策值计算,获得图像决策值;
根据所述图像决策值确定PCB板图像中的缺陷PCB板图像。
7.如权利要求6所述的缺陷检测模型的构建方法,其特征在于,所述PCB板图像包括:缺陷PCB板图像与正常PCB板图像;
所述根据所述图像决策值确定PCB板图像中的缺陷PCB板图像,包括:
在所述图像决策值小于或等于预设决策值时,将对应的PCB板图像记为正常PCB板图像;
在所述图像决策值大于预设决策值时,将对应的PCB板图像记为缺陷PCB板图像。
8.一种缺陷检测模型的构建装置,其特征在于,所述缺陷检测模型的构建装置包括:
图像获取模块,用于获取缺陷PCB板图像;
图像处理模块,用于通过预设图像处理模型生成与所述缺陷PCB板图像对应的掩膜图像;
图像叠加模块,用于将所述掩膜图像与预设PCB板图像进行图像叠加,获得多个叠加图像;
样本生成模块,用于将所述叠加图像与预设PCB板图像作为样本训练集;
模型训练模块,用于将所述样本训练集通过初始识别模型进行模型训练,获得目标PCB板缺陷检测模型。
9.一种缺陷检测模型的构建设备,其特征在于,所述缺陷检测模型的构建设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的缺陷检测模型的构建程序,所述缺陷检测模型的构建程序配置为实现如权利要求1至7中任一项所述的缺陷检测模型的构建方法。
10.一种存储介质,其特征在于,所述存储介质上存储有缺陷检测模型的构建程序,所述缺陷检测模型的构建程序被处理器执行时实现如权利要求1至7任一项所述的缺陷检测模型的构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211688094.7A CN115661155A (zh) | 2022-12-28 | 2022-12-28 | 缺陷检测模型的构建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211688094.7A CN115661155A (zh) | 2022-12-28 | 2022-12-28 | 缺陷检测模型的构建方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115661155A true CN115661155A (zh) | 2023-01-31 |
Family
ID=85022161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211688094.7A Pending CN115661155A (zh) | 2022-12-28 | 2022-12-28 | 缺陷检测模型的构建方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115661155A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598863A (zh) * | 2020-05-13 | 2020-08-28 | 北京阿丘机器人科技有限公司 | 缺陷检测方法、装置、设备及可读存储介质 |
CN111681220A (zh) * | 2020-06-04 | 2020-09-18 | 阿丘机器人科技(苏州)有限公司 | 缺陷检测模型的构建方法、装置、系统及存储介质 |
WO2021215730A1 (ko) * | 2020-04-20 | 2021-10-28 | 세이지리서치 주식회사 | 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치 |
CN114092462A (zh) * | 2021-11-29 | 2022-02-25 | 广东工业大学 | 基于语义分割和目标检测融合模型的复合缺陷检测方法 |
US20220172342A1 (en) * | 2020-11-27 | 2022-06-02 | Amazon Technologies, Inc. | Generation of training data from a single image |
CN115439442A (zh) * | 2022-08-31 | 2022-12-06 | 湖北星盛电气装备研究院有限公司 | 基于共性和差异的工业品表面缺陷检测与定位方法及系统 |
-
2022
- 2022-12-28 CN CN202211688094.7A patent/CN115661155A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021215730A1 (ko) * | 2020-04-20 | 2021-10-28 | 세이지리서치 주식회사 | 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치 |
CN111598863A (zh) * | 2020-05-13 | 2020-08-28 | 北京阿丘机器人科技有限公司 | 缺陷检测方法、装置、设备及可读存储介质 |
CN111681220A (zh) * | 2020-06-04 | 2020-09-18 | 阿丘机器人科技(苏州)有限公司 | 缺陷检测模型的构建方法、装置、系统及存储介质 |
US20220172342A1 (en) * | 2020-11-27 | 2022-06-02 | Amazon Technologies, Inc. | Generation of training data from a single image |
CN114092462A (zh) * | 2021-11-29 | 2022-02-25 | 广东工业大学 | 基于语义分割和目标检测融合模型的复合缺陷检测方法 |
CN115439442A (zh) * | 2022-08-31 | 2022-12-06 | 湖北星盛电气装备研究院有限公司 | 基于共性和差异的工业品表面缺陷检测与定位方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11176650B2 (en) | Data generation apparatus, data generation method, and data generation program | |
CN110678901A (zh) | 信息处理设备、信息处理方法和程序 | |
CN109753953B (zh) | 图像中定位文本的方法、装置、电子设备和存储介质 | |
US20090066971A1 (en) | Characterization of a Printed Droplet | |
JP2005293264A (ja) | 学習型分類装置及び学習型分類方法 | |
CN113505781B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN113989794B (zh) | 一种车牌检测和识别方法 | |
WO2022213540A1 (zh) | 目标检测、属性识别与跟踪方法及系统 | |
CN111814716A (zh) | 印章去除方法、计算机设备和可读存储介质 | |
CN114549390A (zh) | 电路板检测方法、电子装置及存储介质 | |
CN114067431A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN112884782A (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
CN112308063B (zh) | 文字识别装置、翻译笔、图像翻译方法及图像翻译装置 | |
CN115797336A (zh) | 光伏组件的故障检测方法、装置、电子设备和存储介质 | |
CN111461070A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
CN111178445A (zh) | 图像处理方法及装置 | |
CN114463284A (zh) | Pcb缺陷检测方法、装置、设备及存储介质 | |
CN111612681A (zh) | 数据获取方法、水印识别方法、水印去除方法及装置 | |
CN113127349A (zh) | 软件测试方法和系统 | |
JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
CN114708582B (zh) | 基于ai和rpa的电力数据智慧稽查方法及装置 | |
CN115661155A (zh) | 缺陷检测模型的构建方法、装置、设备及存储介质 | |
CN114926829A (zh) | 一种证件检测方法、装置、电子设备及存储介质 | |
CN115797292A (zh) | 图像质量检测方法、表面缺陷检测方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230131 |
|
RJ01 | Rejection of invention patent application after publication |