CN114677567A - 模型训练方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种模型训练方法、装置、存储介质及电子设备，涉及人工智能技术领域，解决现有技术中用于缺陷识别的语义分割模型的精度较低的问题，方法包括以下步骤：采用第一语义分割模型对第一检测图像集中的各图像进行分割以获得分割结果；根据分割结果对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；采用模板匹配方法将第二检测图像集中的各图像与第一整板图像进行二次匹配，以获得第二匹配图像集；根据第二匹配图像集对初始语义分割网络模型进行训练以获得目标模型。本申请通过粗筛模型进行定位、匹配步骤，在降低相关性系数值的条件下大量提取分割数据，进而获得较高精度的数据用于训练模型。

Description

模型训练方法、装置、存储介质及电子设备

技术领域

本申请涉及人工智能技术领域，具体涉及一种模型训练方法、装置、存储介质及电子设备。

背景技术

工业制造过程中因其工艺波动、机台差异等因素会产生各种各样形态的缺陷，需要投入大量人力对产品缺陷识别分类，在工业2.0时代下，越来越多的电子制造商开始采用人工智能ADC（自动缺陷分类系统）来取代人力进行缺陷分类，但是目前人工智能主流的语义分割模型的精度较低，产品量大时很难确保识别的准确率。

发明内容

本申请的主要目的在于提供一种模型训练方法、装置、存储介质及电子设备，旨在解决现有技术中用于缺陷识别的语义分割模型的精度较低的问题。

为实现上述目的，本申请的实施例采用的技术方案如下：

第一方面，本申请实施例提供一种模型训练方法，包括以下步骤：

采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，第一检测图像集包括若干第一检测图像，第一语义分割模型基于训练数据训练获得，训练数据采用模板匹配方法进行初次匹配获得；

根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；

采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，二次匹配的相关性系数值低于初次匹配的相关性系数值，第二匹配图像集包括若干一一对应的第一整板图像的局部区域图像与第二检测图像；

根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。

首先利用第一语义分割模型对第一检测图像集中国的各图像进行分割，由于第一语义分割模型的训练数据获得时，通过模板匹配方法进行了相关性系数值较高的初次匹配，由此可以快速获得检测图像的粗略位置，对于其他不相干的区域可以快速排除干扰降低识别的工作量，在无关区域上的杂质、噪声等可以一并排除，降低二次匹配的数据处理量；在粗略定位之后利用像素填充对检测图像进行着色标识，以达到二次匹配是直接匹配出对应像素的整板图区域及检测图像，并且在二次匹配时降低模板匹配的相关性系数值，从而对整板图像进行精确的匹配查找，获得一一对应的整板图区域以及填充了像素的检测图；最后再根据获得的图像作为训练数据训练获得质量较高的图像，并在处理对象较多时仍然能够保证较高的精准度。

在第一方面的一种可能实现方式中，采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果的步骤之前，方法还包括：

采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集；其中，第一匹配图像集包括若干一一对应的第二整板图像的局部区域图像与第一检测图像；

根据第一匹配图像集对初始语义分割网络模型进行训练，获得第一语义分割模型。

在初次匹配下获得的图像数据用于初筛模型的建立，避开了杂质的干扰，降低了数据处理量，并降低了对检测区域进行像素填充的难度，使得二次匹配可在无干扰且数据总量较低的情况下进行，以获得精确度较高的训练数据来建立目标语义分割模型。

在第一方面的一种可能实现方式中，采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集的步骤之前，方法还包括：

获取整板图像以及若干检测图像，并将整板图像与检测图像灰度化，以获得灰度整板图像与灰度检测图像集；

根据坐标位置信息切出灰度检测图像集中各检测图像在灰度整板图像上的对应位置，以获得第一检测图像集与第二整板图像。

为使匹配获取检测图像更快捷，将整板图像进行灰度化处理，使得初次匹配、输出在灰度化的图像下进行，来进一步避免其他杂质的干扰，并能使获得的一一对应的整板图局部区域图像与检测图像在像素上具有一致性，来使匹配的误差减小。

在第一方面的一种可能实现方式中，获取整板图像以及若干检测图像，并将整板图像与检测图像灰度化，以获得灰度整板图像与灰度检测图像集的步骤之前，方法还包括：

对若干检测图像的分辨率进行调整，以获得分辨率相同的整板图像与检测图像。

为加深图像的匹配程度，增强检测图像与整板图的一致性，使得后续通过模型输出的图像的分辨率是相匹配的，能够便于表征检测图像在整板图上的位置，对检测图像进行分辨率的调整，使其分辨率与整板图相同。

在第一方面的一种可能实现方式中，根据第一匹配图像集对初始语义分割网络模型进行训练，获得第一语义分割模型的步骤之前，方法还包括：

对第一匹配图像集中的第一检测图像的像素值进行调整，以获得与第一语义分割模型的训练数据集标签像素值相同的第一匹配图像集。

为契合目标模型的使用目的，是需要在整板图上输出填充了像素的检测图像，而语义分割模型输出的是标签，为了避免在输出之后对像素调整的麻烦，提前将检测图像的像素值进行调整，使其保持与第一语义分割模型的标签像素值一致，不用再对其进行调整，也便于之后对于检测图像的分割推理、像素转换等能够有较强的一致性。

在第一方面的一种可能实现方式中，采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集的步骤之前，方法还包括：

获取整板图像，并对整板图像进行像素填充，以获得第一整板图像。

整板图像即所拍摄的产品的整板大图，对整板图像进行像素填充的目的在于一方面使被填充像素的检测图像更为明显，另一方面也可以再次消除无关区域的干扰。

在第一方面的一种可能实现方式中，根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集的步骤包括：

将分割结果的对应标签转换为第一整板图像上对应位置的像素，以获得第二检测图像集。

在整板图像已进行像素填充的情况下，根据分割结果，只需要将分割结果对应的标签转换为整板图像上对应位置的像素，随即完成了对第一检测图像的像素填充。

在第一方面的一种可能实现方式中，将分割结果的对应标签转换为第一整板图像上对应位置的像素，以获得第二检测图像集的步骤之后，方法还包括：

将第一整板图像与第二检测图像集的其他区域置为黑色，其中，其他区域包括背景区域与无需检测区域。

在完成对应标签的转换后，对其他区域进行置黑处理，黑色与其他颜色的像素填充都有很明显的区别，并且在对像素级别进行处理时，二值化处理是最简单的一种，也即将图像黑白化，在本实施例中仅将其他区域进行置黑处理，能够最简单化地统一处理无关区域，并且使其处于不影响整板图检测的状态，由此可以将检测区域清楚的标识出来。

在第一方面的一种可能实现方式中，采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集的步骤之前，方法还包括：

将第二检测图像集中的第二检测图像内收并将第一整板图像外扩，以获得第二目标检测图像集与第一目标整板图像；

采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集的步骤包括：

采用模板匹配方法将第二目标检测图像集中的各图像与第一目标整板图像进行二次匹配，以获得第二匹配图像集。

在第一方面的一种可能实现方式中，采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集的步骤之前，方法还包括：

将第一检测图像集中的第一检测图像内收并将第二整板图像外扩，以获得第一目标检测图像集与第二目标整板图像；

采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集的步骤包括：

采用模板匹配方法将第一目标检测图像集中的各图像与第二目标整板图像进行初次匹配，以获得第一匹配图像集。

受限于坐标的不完全准确，而为了保证以坐标形式在整板图上进行匹配查找时的准确性，也即需要保证检测图坐标在匹配过程中要始终位于整板图上，因此在模板匹配之前将整板图外扩，将检测图内收，一个放大一个缩小的双向调整下，即可确保坐标的准确性。

第二方面，本申请实施例提供一种模型训练装置，包括：

分割模块，分割模块用于采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，第一检测图像集包括若干第一检测图像，第一语义分割模型基于训练数据训练获得，训练数据采用模板匹配方法进行初次匹配获得；

填充模块，填充模块用于根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；

二次匹配模块，二次匹配模块用于采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，二次匹配的相关性系数值低于初次匹配的相关性系数值，第二匹配图像集包括若干一一对应的第一整板图像的局部区域图像与第二检测图像；

目标训练模块，目标训练模块用于根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。

第三方面，本申请实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的模型训练方法。

第四方面，本申请实施例提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的模型训练方法。

与现有技术相比，本申请的有益效果是：

本申请实施例提出的一种模型训练方法、装置、存储介质及电子设备，该方法通过采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，第一检测图像集包括若干第一检测图像，第一语义分割模型基于训练数据训练获得，训练数据采用模板匹配方法进行初次匹配获得；根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，二次匹配的相关性系数值低于初次匹配的相关性系数值，第二匹配图像集包括若干一一对应的第一整板图像的局部区域图像与第二检测图像；根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。本申请的方法首先利用第一语义分割模型对第一检测图像集中的各图像进行分割，由于第一语义分割模型的训练数据获得时，通过模板匹配方法进行了初次匹配，并且相关性系数值较高，因此可快速、粗略地定位出检测图像的大概位置，减小数据量的同时排除其他杂质、噪声的干扰，便于对检测图像进行像素填充，以实现后续在整板图像上对填充了像素的检测图的输出，避免了数据量较大、干扰较多时直接对检测区域进行填充的不准确，导致最终模型的精度差，而后再次通过相关性系数值较低的模板匹配方法在数据量较小、无干扰的情况下获得精准的标记后的被填充像素的检测图像位置，并匹配获得一一对应的整板图像的局部区域图像与检测图像来作为目标模型训练的数据，进而训练得到精度较高的语义分割模型，通过该模型可批量地对图像进行精准快速地识别。

附图说明

图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；

图2为本申请实施例提供的一种模型训练方法的流程示意图；

图3为本申请实施例提供的一种模型训练装置的模块示意图；

图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：提出一种模型训练方法、装置、存储介质及电子设备，通过采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，第一检测图像集包括若干第一检测图像，第一语义分割模型基于训练数据训练获得，训练数据采用模板匹配方法进行初次匹配获得；根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，二次匹配的相关性系数值低于初次匹配的相关性系数值，第二匹配图像集包括若干一一对应的第一整板图像的局部区域图像与第二检测图像；根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。

工业制造过程中，因其工艺波动、机台差异等因素会产生各种各样形态的缺陷，而为了节省人力资源，越来越多的电子制造商采用人工智能进行缺陷的自动识别，而目前的主流的语义分割模型的标注成本高、精度低，在产品量大时很难保证快速迭代模型，以致于其精度低的问题被进一步放大。

为此，本申请提供一种解决方案，首先采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果，其次根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集，然后采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集，最后根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。解决了现有技术中缺陷识别用的语义分割模型的精度低的问题。

参照附图1，附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（Central Processing Unit，CPU），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能高速的随机存取存储器（Random Access Memory，RAM）存储器，也可能是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本发明中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的模型训练装置，并执行本申请实施例提供的模型训练方法。

参照附图2，基于前述实施例的硬件设备，本申请的实施例提供一种模型训练方法，包括以下步骤：

S20：采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，第一检测图像集包括若干第一检测图像，第一语义分割模型基于训练数据训练获得，训练数据采用模板匹配方法进行初次匹配获得。

在具体实施过程中，第一检测图像集为整板图像上的所需要检测的区域的局部图像的集合，第一语义分割模型为模型训练方法的初筛模型，通过第一语义分割模型对其中的图像进行分割，也即进行初次识别，分割结果即以标签形式对图像进行标注。

S30：根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集。

在具体实施过程中，像素填充也即将该区域进行着色处理，可采用msPaint3D等图像处理软件进行操作，填充便于观察识别的颜色以对检测区域进行填充标识，分割结果以标签形式体现，此时依据分割结果对第一检测图像进行像素填充，将填充了像素的图像作为第二检测图像集。

S40：采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，二次匹配的相关性系数值低于初次匹配的相关性系数值，第二匹配图像集包括若干一一对应的第一整板图像的局部区域图像与第二检测图像。

在具体实施过程中，第一整板图像也即带有检测区域的产品的整板大图，再次利用模板匹配方法将第一整板图像与第二检测图像进行匹配，也即在整板大图上将每一个检测区域以填充了像素的形式进行匹配输出，并将输出的图像作为集合，集合中即包括了一一对应的第一整板图像的局部区域图像与第二检测图像；相关性系数也即图像之间的相关程度，相关性系数越低说明相关性越高，匹配的精准度越高，也即在第一语义分割模型训练时所用的训练数据是在较高相关性系数下匹配，获得的数据是较为粗糙的，二次匹配的数据是在初筛之后获得的较为精准的数据。

S50：根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。

在具体实施过程中，在获得了较为精确的样本数据后，结合现有的语义分割网络模型进行再次的训练，可获得最终的质量、精度均较高的模型，在语义分割模型训练中，可采用卷积神经网络算法或者深度学习算法构建。

如上实施方式，首先利用第一语义分割模型对第一检测图像集中国的各图像进行分割，由于第一语义分割模型的训练数据获得时，通过模板匹配方法进行了相关性系数值较高的初次匹配，由此可以快速获得检测图像的粗略位置，对于其他不相干的区域可以快速排除干扰降低识别的工作量，在无关区域上的杂质、噪声等可以一并排除，降低二次匹配的数据处理量；在粗略定位之后利用像素填充对检测图像进行着色标识，以达到二次匹配是直接匹配出对应像素的整板图区域及检测图像，并且在二次匹配时降低模板匹配的相关性系数值，从而对整板图像进行精确的匹配查找，获得一一对应的整板图区域以及填充了像素的检测图；最后再根据获得的图像作为训练数据训练获得质量较高的图像，并在处理对象较多时仍然能够保证较高的精准度。

本申请实施例中的模板匹配方法是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么位置，进而识别对象物，模板就是一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。具体的，如误差法、二次匹配误差算法等，误差法即采用特定公式衡量模板与子图之间的误差，其中最小值处即为匹配目标，为提高计算速度，取一误差阈值，当最小值大于或等于该阈值时便停止该点的计算，误差法的匹配速度受模板大小影响，模板越小，匹配速度越快；反之模板越大，匹配速度越慢。模板匹配可采用OpenCV软件操作进行，或者利用AOI机台实现，AOI机台是自动光学检测设备，自带有输出整板大图、检测图倍率以及检测图在整板图上的坐标位置标注等功能，通过其上搭载的相关性系数调整的功能，可以手动设置模板匹配的相关性系数值，来获取与实际情况匹配的所需相关性系数值，本申请其他实施例中的相关的模板匹配、分辨率调整等步骤均可采用AOI机台的自带功能实现。

在一种实施例中，在步骤S20采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果的步骤之前，模型训练方法还包括：

S101：采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集；其中，第一匹配图像集包括若干一一对应的第二整板图像的局部区域图像与第一检测图像。

在具体实施过程中，对第一语义分割模型的训练数据进行处理，也即通过相关性系数较高的初次模板匹配获取到检测图像集中各图像在整板图像上的大致位置，一方面降低所需处理的数据量，另一方面初筛排除杂质影响，避免产生干扰。

S102：根据第一匹配图像集对初始语义分割网络模型进行训练，获得第一语义分割模型。

在具体实施过程中，与目标语义分割模型的建立相同，采用现有的算法并结合初筛匹配获得的数据，即可获得对目标模型的训练数据做处理用的第一语义分割模型。

如上实施方式，在初次匹配下获得的图像数据用于初筛模型的建立，避开了杂质的干扰，降低了数据处理量，并降低了对检测区域进行像素填充的难度，使得二次匹配可在无干扰且数据总量较低的情况下进行，以获得精确度较高的训练数据来建立目标语义分割模型。

在一种实施例中，在步骤S101：采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集的步骤之前，模型训练方法还包括：

获取整板图像以及若干检测图像，并将整板图像与检测图像灰度化，以获得灰度整板图像与灰度检测图像集；

在具体实施过程中，灰度化在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0-255，本申请实施例中为使匹配获取检测图像更快捷，将整板图像进行灰度化处理，使得初次匹配、输出在灰度化的图像下进行，来进一步避免其他杂质的干扰，并能使获得的一一对应的整板图局部区域图像与检测图像在像素上具有一致性，来使匹配的误差减小。

根据坐标位置信息切出灰度检测图像集中各检测图像在灰度整板图像上的对应位置，以获得第一检测图像集与第二整板图像。

在具体实施过程中，可通过AOI机台的输出检测图在整板图上的坐标位置功能，以在坐标系条件下进行模板匹配，在整板图上对所有检测图像进行以坐标位置为基础的标注，能够便于随后在坐标条件下进行的模板匹配功能，并可以坐标形式输出匹配结果，如匹配输出的区域为矩形，则可以标记该矩形区域的任一组对角线上的两点的坐标，就能明确的表征该区域在整板图上的位置。

在一种实施例中，在获取整板图像以及若干检测图像，并将整板图像与检测图像灰度化，以获得灰度整板图像与灰度检测图像集的步骤之前，模型训练方法还包括：

对若干检测图像的分辨率进行调整，以获得分辨率相同的整板图像与检测图像。

在具体实施过程中，分辨率又称解析度或者解像度，通常情况下，图像的分辨率越高，其所包含的像素就越多，图像就越清晰，为加深图像的匹配程度，增强检测图像与整板图的一致性，使得后续通过模型输出的图像的分辨率是相匹配的，能够便于表征检测图像在整板图上的位置，对检测图像进行分辨率的调整，使其分辨率与整板图相同，可通过现有的图像处理软件msPaint3D或者Photoshop实现，也可以通过AOI机台的检测图倍率功能完成，直接输入倍率大小，即可对检测图在像素集级别下完成放大或缩小，以使其像素对应改变。

在一种实施例中，在步骤S102：根据第一匹配图像集对初始语义分割网络模型进行训练，获得第一语义分割模型之前，模型训练方法还包括：

对第一匹配图像集中的第一检测图像的像素值进行调整，以获得与第一语义分割模型的训练数据集标签像素值相同的第一匹配图像集。

在具体实施过程中，为契合目标模型的使用目的，是需要在整板图上输出填充了像素的检测图像，而语义分割模型输出的是标签，为了避免在输出之后对像素调整的麻烦，提前将检测图像的像素值进行调整，使其保持与第一语义分割模型的标签像素值一致，不用再对其进行调整，也便于之后对于检测图像的分割推理、像素转换等能够有较强的一致性。

在一种实施例中，在步骤S40：采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集之前，模型训练方法还包括：

获取整板图像，并对整板图像进行像素填充，以获得第一整板图像。

在具体实施过程中，整板图像即所拍摄的产品的整板大图，对整板图像进行像素填充的目的在于一方面使被填充像素的检测图像更为明显，另一方面也可以再次消除无关区域的干扰。

在一种实施例中，步骤S30：根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集包括：

S301：将分割结果的对应标签转换为第一整板图像上对应位置的像素，以获得第二检测图像集。

在具体实施过程中，在整板图像已进行像素填充的情况下，根据分割结果，只需要将分割结果对应的标签转换为整板图像上对应位置的像素，随即完成了对第一检测图像的像素填充。

在一种实施例中，在步骤S301：将分割结果的对应标签转换为第一整板图像上对应位置的像素，以获得第二检测图像集之后，模型训练方法还包括：

S302：将第一整板图像与第二检测图像集的其他区域置为黑色，其中，其他区域包括背景区域与无需检测区域。

在具体实施过程中，在完成对应标签的转换后，对其他区域进行置黑处理，黑色与其他颜色的像素填充都有很明显的区别，并且在对像素级别进行处理时，二值化处理是最简单的一种，也即将图像黑白化，在本实施例中仅将其他区域进行置黑处理，能够最简单化地统一处理无关区域，并且使其处于不影响整板图检测的状态，由此可以将检测区域清楚的标识出来，其中背景区域为检测区域中内嵌的部分无需检测的背景，无需检测区域为除检测区域轮廓以外的整板图所在区域。

在一种实施例中，在步骤S40：采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集之前，模型训练方法还包括：

将第二检测图像集中的第二检测图像内收并将第一整板图像外扩，以获得第二目标检测图像集与第一目标整板图像。

随之则步骤S40相应改变为：采用模板匹配方法将第二目标检测图像集中的各图像与第一目标整板图像进行二次匹配，以获得第二匹配图像集。

在一种实施例中，在步骤S101：采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集之前，模型训练方法还包括：

将第一检测图像集中的第一检测图像内收并将第二整板图像外扩，以获得第一目标检测图像集与第二目标整板图像。

随之则步骤S101相应改变为：采用模板匹配方法将第一目标检测图像集中的各图像与第二目标整板图像进行初次匹配，以获得第一匹配图像集。

在上述实施例中，出于同样的目的，受限于坐标的不完全准确，而为了保证以坐标形式在整板图上进行匹配查找时的准确性，也即需要保证检测图坐标在匹配过程中要始终位于整板图上，因此在模板匹配之前将整板图外扩，将检测图内收，一个放大一个缩小的双向调整下，即可确保坐标的准确性。

参照附图3，基于与前述实施例中同样的发明构思，本申请实施例还提供一种模型训练装置，该装置包括：

分割模块，分割模块用于采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，第一检测图像集包括若干第一检测图像，第一语义分割模型基于训练数据训练获得，训练数据采用模板匹配方法进行初次匹配获得；

填充模块，填充模块用于根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；

二次匹配模块，二次匹配模块用于采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，二次匹配的相关性系数值低于初次匹配的相关性系数值，第二匹配图像集包括若干一一对应的第一整板图像的局部区域图像与第二检测图像；

目标训练模块，目标训练模块用于根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。

在一种实施例中，模型训练装置还包括：

初次匹配模块，初次匹配模块用于采用模板匹配方法将第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集；其中，第一匹配图像集包括若干一一对应的第二整板图像的局部区域图像与第一检测图像；

初次训练模块，初次训练模块用于根据第一匹配图像集对初始语义分割网络模型进行训练，获得第一语义分割模型。

本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述模型训练方法的实施方式，这里不再赘述。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本申请实施例提供的模型训练方法。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如本申请实施例提供的模型训练方法。

此外，基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如本申请实施例提供的模型训练方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

综上，本申请提供的一种模型训练方法、装置、存储介质及电子设备，通过采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；根据分割结果，对若干第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；采用模板匹配方法将第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；根据第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。在初次匹配的筛选下快速、粗略地获取到检测区域所在整板图的大致位置，排除掉大部分的干扰因素，并以此训练初筛模型，再通过初筛模型分割图像后，较为容易且准确地对检测区域进行像素填充，然后再次通过相关性系数值较低的模板匹配完成精确的匹配查找，并以匹配查找的结果作为目标模型的训练数据，训练获得质量较高、精准度较高的语义分割模型，尤其是在处理量较大的情况下，不受限于产品的更新换代、标注数量，本申请实施例提供的模型能够批量的完成标注，并在提高标注质量的同时缩短了模型迭代时间，从而提升了模型的效率以及预测精度。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种模型训练方法，其特征在于，包括以下步骤：

采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，所述第一检测图像集包括若干第一检测图像，所述第一语义分割模型基于训练数据训练获得，所述训练数据采用模板匹配方法进行初次匹配获得；

根据所述分割结果，对若干所述第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；

采用模板匹配方法将所述第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，所述二次匹配的相关性系数值低于所述初次匹配的相关性系数值，所述第二匹配图像集包括若干一一对应的所述第一整板图像的局部区域图像与所述第二检测图像；

根据所述第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果的步骤之前，所述方法还包括：

采用模板匹配方法将所述第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集；其中，所述第一匹配图像集包括若干一一对应的所述第二整板图像的局部区域图像与第一检测图像；

根据所述第一匹配图像集对初始语义分割网络模型进行训练，获得所述第一语义分割模型。

3.根据权利要求2所述的模型训练方法，其特征在于，所述采用模板匹配方法将所述第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集的步骤之前，所述方法还包括：

获取整板图像以及若干检测图像，并将所述整板图像与检测图像灰度化，以获得灰度整板图像与灰度检测图像集；

根据坐标位置信息切出所述灰度检测图像集中各检测图像在所述灰度整板图像上的对应位置，以获得所述第一检测图像集与所述第二整板图像。

4.根据权利要求3所述的模型训练方法，其特征在于，所述获取整板图像以及若干检测图像，并将所述整板图像与检测图像灰度化，以获得灰度整板图像与灰度检测图像集的步骤之前，所述方法还包括：

对若干所述检测图像的分辨率进行调整，以获得分辨率相同的所述整板图像与所述检测图像。

5.根据权利要求2所述的模型训练方法，其特征在于，所述根据所述第一匹配图像集对初始语义分割网络模型进行训练，获得所述第一语义分割模型的步骤之前，所述方法还包括：

对所述第一匹配图像集中的第一检测图像的像素值进行调整，以获得与所述第一语义分割模型的训练数据集标签像素值相同的所述第一匹配图像集。

6.根据权利要求1所述的模型训练方法，其特征在于，所述采用模板匹配方法将所述第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集的步骤之前，所述方法还包括：

获取整板图像，并对所述整板图像进行像素填充，以获得所述第一整板图像。

7.根据权利要求6所述的模型训练方法，其特征在于，所述根据所述分割结果，对若干所述第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集的步骤包括：

将所述分割结果的对应标签转换为所述第一整板图像上对应位置的像素，以获得第二检测图像集。

8.根据权利要求7所述的模型训练方法，其特征在于，所述将所述分割结果的对应标签转换为所述第一整板图像上对应位置的像素，以获得第二检测图像集的步骤之后，所述方法还包括：

将所述第一整板图像与所述第二检测图像集的其他区域置为黑色，其中，所述其他区域包括背景区域与无需检测区域。

9.根据权利要求1所述的模型训练方法，其特征在于，所述采用模板匹配方法将所述第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集的步骤之前，所述方法还包括：

将所述第二检测图像集中的第二检测图像内收并将所述第一整板图像外扩，以获得第二目标检测图像集与第一目标整板图像；

所述采用模板匹配方法将所述第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集的步骤包括：

采用模板匹配方法将所述第二目标检测图像集中的各图像与第一目标整板图像进行二次匹配，以获得第二匹配图像集。

10.根据权利要求2所述的模型训练方法，其特征在于，所述采用模板匹配方法将所述第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集的步骤之前，所述方法还包括：

将所述第一检测图像集中的第一检测图像内收并将所述第二整板图像外扩，以获得第一目标检测图像集与第二目标整板图像；

所述采用模板匹配方法将所述第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集的步骤包括：

采用模板匹配方法将所述第一目标检测图像集中的各图像与第二目标整板图像进行初次匹配，以获得第一匹配图像集。

11.一种模型训练装置，其特征在于，包括：

分割模块，所述分割模块用于采用第一语义分割模型对第一检测图像集中的第一检测图像进行分割，以获得分割结果；其中，所述第一检测图像集包括若干第一检测图像，所述第一语义分割模型基于训练数据训练获得，所述训练数据采用模板匹配方法进行初次匹配获得；

填充模块，所述填充模块用于根据所述分割结果，对若干所述第一检测图像进行像素填充，以获得包括若干第二检测图像的第二检测图像集；

二次匹配模块，所述二次匹配模块用于采用模板匹配方法将所述第二检测图像集中的第二检测图像与第一整板图像进行二次匹配，以获得第二匹配图像集；其中，所述二次匹配的相关性系数值低于所述初次匹配的相关性系数值，所述第二匹配图像集包括若干一一对应的所述第一整板图像的局部区域图像与所述第二检测图像；

目标训练模块，所述目标训练模块用于根据所述第二匹配图像集对初始语义分割网络模型进行训练，获得目标语义分割模型。

12.根据权利要求11所述的模型训练装置，其特征在于，还包括：

初次匹配模块，所述初次匹配模块用于采用模板匹配方法将所述第一检测图像集中的第一检测图像与第二整板图像进行初次匹配，以获得第一匹配图像集；其中，所述第一匹配图像集包括若干一一对应的所述第二整板图像的局部区域图像与第一检测图像；

初次训练模块，所述初次训练模块用于根据所述第一匹配图像集对初始语义分割网络模型进行训练，获得所述第一语义分割模型。

13.一种计算机可读存储介质，储存有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1-10中任一项所述的模型训练方法。

14.一种电子设备，其特征在于，包括处理器及存储器，其中，

所述存储器用于存储计算机程序；

所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1-10中任一项所述的模型训练方法。

Images