CN111640091B - 产品缺陷的检测方法及计算机存储介质 - Google Patents

Abstract

本发明公开了一种产品缺陷的检测方法及计算机存储介质，所述产品缺陷的检测方法包括：接收相机上传的待检测产品的多帧待检测图像；基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像；将所述目标待检测图像输入预先训练的缺陷检测模型中，并由所述缺陷检测模型输出检测结果，其中，所述检测结果包括缺陷数据，基于本发明提出的产品缺陷的检测方法中的图像模板可预先从待检测产品的多帧待检测图像中筛选包含待检测产品的目标待检测图像，以提高后续缺陷检测的速率，并基于预先训练的缺陷检测模型检测目标待检测图像，提高了缺陷检测的稳定性及准确率。

Description

产品缺陷的检测方法及计算机存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种产品缺陷的检测方法及计算机存储介质。

背景技术

在工业领域中对制造的产品零件有标准的品质要求，需要在生产过程中淘汰掉不符合标准的残次品或者改进生产工艺技术，确保出厂产品符合功能性和外观性要求。在工业制造现场，由于机械、灰尘等复杂的生产环境和诸多工序都会生产过程中对产品的外观造成不同程度的影响，甚至产品会成为具有功能性缺陷的残次品。目前大量的产品外观检测是通过人工和显微镜配合观察缺陷有无，占用了大量的人力资源，消耗了大量的人力成本。由于机器视觉技术的快速发展，越来越多运用传统图像处理算法的机器视觉技术应用到缺陷检测环节上，但传统图像处理算法存在许多不足，比如对图片质量的要求高，对复杂背景下的缺陷检测效果不稳定，因此对光学效果、机构的要求很高，增加了很多的硬件成本，急需更好的解决方案弥补这些不足。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种产品缺陷的检测方法及计算机存储介质，旨在解决目前工厂产品缺陷检测中无法高速率并稳定检测产品缺陷的技术问题。

为实现上述目的，本发明提供一种产品缺陷的检测方法，应用于一种产品缺陷的检测设备，所述产品缺陷的检测方法包括以下步骤：

接收相机上传的待检测产品的多帧待检测图像；

基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像；

将所述目标待检测图像输入预先训练的缺陷检测模型中，并由所述缺陷检测模型输出检测结果，其中，所述检测结果包括缺陷数据。

优选地，获取各个所述待检测图像与所述图像模板之间的相似度；

对各个所述待检测图像中相似度达到预设相似度的待检测图像进行标识，以获得目标待检测图像。

优选地，获取所述待检测产品的模板图像；

从所述待检测产品的模板图像中划分出感兴趣区域图像，并对所述感兴趣区域图像进行预处理；

创建初始模板，并基于预处理后的感兴趣区域图像对所述初始模板进行模板参数设置，以生成所述待检测产品的图像模板。

优选地，获取若干个测试图像；

基于所述若干个测试图像对所述待检测产品的图像模板进行测试，并获取测试结果；

基于所述测试结果对所述待检测产品的图像模板进行模板参数调整，并保存模板参数调整后的图像模板。

优选地，从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型。

优选地，将所述训练样本图像输入至所述预先构建的神经网络模型中，以获取所述神经网络模型输出的所述训练样本图像对应的预测缺陷特征标签；

基于所述训练样本图像对应的真实缺陷特征标签及所述训练样本图像对应的预测缺陷特征标签，计算损失函数；

通过梯度下降的方式更新所述神经网络模型的模型参数，以获得更新后的神经网络模型的损失函数；

若更新后的神经网络模型的损失函数达到预设收敛条件，则将更新后的神经网络模型作为预先训练的缺陷检测模型。

优选地，若更新后的神经网络模型的损失函数未达到预设收敛条件，则从预设样本图像集中随机抽取测试样本图像，并基于所述测试样本图像检测所述更新后的神经网络模型是否达到预设要求；

若基于所述测试样本图像检测所述更新后的神经网络模型达到预设要求，则将更新后的神经网络模型作为预先训练的缺陷检测模型；

若基于所述测试样本图像检测所述更新后的神经网络模型未达到预设要求，则将更新后的神经网络模型作为所述预先构建的神经网络模型，并返回执行从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型的步骤。

优选地，获取初始预设样本图像；

对所述初始预设样本图像进行多维度变换，以获取所述初始预设样本图像对应的多维度样本图像，其中，所述多维度变换包括水平变换、垂直变换、旋转变换及灰度变换；

基于所述初始预设样本图像及所述初始预设样本图像对应的多维度样本图像，生成预设样本图像集。

优选地，获取待检测产品缺陷检测标准及待检测产品特征信息，以生成对应的相机拍摄参数；

将所述相机拍摄参数发送至所述相机，以供所述相机根据所述相机拍摄参数拍摄待检测产品的多帧待检测图像。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有产品缺陷的检测方法程序，所述产品缺陷的检测方法程序被处理器执行时实现以上任一项所述的产品缺陷的检测方法的步骤。

本发明提出的产品缺陷的检测方法，通过接收相机上传的待检测产品的多帧待检测图像；基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像；将所述目标待检测图像输入预先训练的缺陷检测模型中，并由所述缺陷检测模型输出检测结果，其中，所述检测结果包括缺陷数据，基于本发明提出的产品缺陷的检测方法中的图像模板可预先从待检测产品的多帧待检测图像中筛选包含待检测产品的目标待检测图像，以提高后续缺陷检测的速率，并基于预先训练的缺陷检测模型检测目标待检测图像，提高了缺陷检测的稳定性及准确率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明产品缺陷的检测方法第一实施例的流程示意图；

图3为本发明产品缺陷的检测方法第二实施例的流程示意图；

图4为本发明产品缺陷的检测方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及产品缺陷的检测方法程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的产品缺陷的检测方法程序。

在本实施例中，产品缺陷的检测方法装置包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的产品缺陷的检测方法程序，其中，处理器1001调用存储器1005中存储的产品缺陷的检测方法程序时，并执行以下操作：

接收相机上传的待检测产品的多帧待检测图像；

基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像；

将所述目标待检测图像输入预先训练的缺陷检测模型中，并由所述缺陷检测模型输出检测结果，其中，所述检测结果包括缺陷数据。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

获取各个所述待检测图像与所述图像模板之间的相似度；

对各个所述待检测图像中相似度达到预设相似度的待检测图像进行标识，以获得目标待检测图像。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

获取所述待检测产品的模板图像；

从所述待检测产品的模板图像中划分出感兴趣区域图像，并对所述感兴趣区域图像进行预处理；

创建初始模板，并基于预处理后的感兴趣区域图像对所述初始模板进行模板参数设置，以生成所述待检测产品的图像模板。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

获取若干个测试图像；

基于所述若干个测试图像对所述待检测产品的图像模板进行测试，并获取测试结果；

基于所述测试结果对所述待检测产品的图像模板进行模板参数调整，并保存模板参数调整后的图像模板。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

将所述训练样本图像输入至所述预先构建的神经网络模型中，以获取所述神经网络模型输出的所述训练样本图像对应的预测缺陷特征标签；

基于所述训练样本图像对应的真实缺陷特征标签及所述训练样本图像对应的预测缺陷特征标签，计算损失函数；

通过梯度下降的方式更新所述神经网络模型的模型参数，以获得更新后的神经网络模型的损失函数；

若更新后的神经网络模型的损失函数达到预设收敛条件，则将更新后的神经网络模型作为预先训练的缺陷检测模型。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

若更新后的神经网络模型的损失函数未达到预设收敛条件，则从预设样本图像集中随机抽取测试样本图像，并基于所述测试样本图像检测所述更新后的神经网络模型是否达到预设要求；

若基于所述测试样本图像检测所述更新后的神经网络模型达到预设要求，则将更新后的神经网络模型作为预先训练的缺陷检测模型；

若基于所述测试样本图像检测所述更新后的神经网络模型未达到预设要求，则将更新后的神经网络模型作为所述预先构建的神经网络模型，并返回执行从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型的步骤。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

获取初始预设样本图像；

对所述初始预设样本图像进行多维度变换，以获取所述初始预设样本图像对应的多维度样本图像，其中，所述多维度变换包括水平变换、垂直变换、旋转变换及灰度变换；

基于所述初始预设样本图像及所述初始预设样本图像对应的多维度样本图像，生成预设样本图像集。

进一步地，处理器1001可以调用存储器1005中存储的产品缺陷的检测方法程序，还执行以下操作：

获取待检测产品缺陷检测标准及待检测产品特征信息，以生成对应的相机拍摄参数；

将所述相机拍摄参数发送至所述相机，以供所述相机根据所述相机拍摄参数拍摄待检测产品的多帧待检测图像。

本发明还提供一种产品缺陷的检测方法，应用于一种产品缺陷的检测设备，参照图2，图2为本发明产品缺陷的检测方法第一实施例的流程示意图。

步骤S10，接收相机上传的待检测产品的多帧待检测图像；

在本实施例中，本发明提出的一种产品缺陷的检测方法，应用于一种产品缺陷的检测设备，具体地，该产品缺陷的检测设备包括一图像数据采集平台，具体地，图像数据采集平台由若干组不同方位的采集模块、一台显示器及工控机组成，其中，每一组采集设备均包括若干个角度的工业视频相机、可调倍数镜头、光源，在开始缺陷检测时，接收相机上传的待检测产品的多帧待检测图像，比如，待检测产品的多帧不同部位、不同方位及不同曝光率下的多帧待检测图像。

具体地，步骤S10之前，包括：

步骤S101，获取待检测产品缺陷检测标准及待检测产品特征信息，以生成对应的相机拍摄参数；

步骤S102，将所述相机拍摄参数发送至所述相机，以供所述相机根据所述相机拍摄参数拍摄待检测产品的多帧待检测图像。

在本实施例中，本发明提出的产品缺陷的检测方法应用于一种产品缺陷的检测设备，具体地，该产品缺陷的检测设备用于工业工厂中检测各种类型的大批量产品，比如螺丝钉、绸缎、瓷器等，可以理解地，由于螺丝钉的尺寸大小及螺纹条数主要决定着螺丝钉的生产质量好快、且由于螺丝钉本身尺寸较小，因此在基于相机拍摄螺丝钉之前，需将相机拍摄倍数调大后在进行拍摄，具体地，相机与镜头、显示器配合，通过将不同尺寸的螺丝钉放大合适的倍数，将螺丝钉在镜头下的图像在显示器上显示，并基于图像的清晰度调节相机的对焦距离。

该步骤中，在接收到缺陷检测指令之后，获取缺陷检测指令对应的待检测产品信息，具体地，获取客户端发送的待检测产品缺陷检测标准及待检测产品特征信息，其中，比如，客户端发送的待检测产品缺陷检测标准为无损率为98％、待检测产品特征信息为待检测产品为螺丝钉、表面不光滑、尺寸小等，在获取到待检测产品缺陷检测标准及待检测产品特征信息之后，根据该待检测产品缺陷检测标准及待检测产品特征信息生成对应的相机拍摄参数，比如，相机拍摄速率、拍摄倍数、分辨率及对焦距离等，接着再将相机拍摄参数发送至该相机，以供该相机根据该相机拍摄参数拍摄待检测产品的多帧待检测图像、具体地、可以以预设间隔时间多次拍摄待检测产品的图像、也可以拍摄一段完整的视频，从视频中提取出拍摄待检测产品的多帧待检测图像。

步骤S20，基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像；

该步骤中，可以理解地，在待检测产品数量过多且待检测产品移动速率与相机拍摄速率有偏差时，相机采集的待检测产品对应的多帧待检测图像数量过大，且该多帧待检测图像中会存在无效图像，比如图像中不存在待检测产品的图像及图像中待检测产品不清楚的图像，为了提高后续基于待检测图像检测缺陷特征的效率及准确率，在检测缺陷特征之前，本发明先基于待检测产品的图像模板，进行无效图像的筛选过滤，具体地，获取待检测产品的图像模板，其中，待检测产品的图像模板为包含待检测产品的无产品缺陷样本图像的各个方位下、各个相机拍摄倍数等的多帧模板图像及模板图像查找函数，基于模板图像查找函数及待检测产品的模板图像，对多帧待检测图像进行查找筛选，对包含待检测产品的图像进行标识，以从多帧待检测图像中筛选出包含待检测产品的目标待检测图像。

具体地，步骤S20包括，

步骤S210，获取各个所述待检测图像与所述图像模板之间的相似度；

步骤S212，对各个所述待检测图像中相似度达到预设相似度的待检测图像进行标识，以获得目标待检测图像。

该步骤中，可以理解地，基于待检测产品的图像模板，分别对多帧待检测图像进行查找配比，具体地，分别基于模板图像查找函数获取多帧待检测图像对应的第一像素点与模板图像对应的第二像素点之间的相似度，接着对相似度达到预设相似度的待检测图像进行标识，以根据标识从多帧待检测图像中筛选出包含待检测产品的目标待检测图像，其中，预设相似度可灵活设置，比如85％，则若检测到待检测图像与模板图像之间的相似度为86％，则对该待检测图像进行标识，若检测到待检测图像与模板图像之间的相似度为80％，则不对该待检测图像进行标记，在多帧待检测图像进行查找配比完成之后，根据该标识，从多帧待检测图像中筛选出包含待检测产品的目标待检测图像。

步骤S30，将所述目标待检测图像输入预先训练的缺陷检测模型中，并由所述缺陷检测模型输出检测结果，其中，所述检测结果包括缺陷数据。

该步骤中，可以理解地，在工业领域，产品表面的纹理、颜色、形状等特征通常比较复杂，出现的缺陷形态也多种多样，而由于深度学习技术根据特定的规则从数据集中总结规律以解决识别、检测相关的问题，可根据产品的缺陷样品数据，学习到缺陷的抽象特征，将产品上与缺陷样品形态类似的部分准确检测出来，因此本发明采用深度学习检测产品的缺陷特征，具体地，将目标待检测图像输入预先训练的缺陷检测模型中，其中，该预先训练的缺陷检测模型由大量各个形态缺陷的样本图像数据训练而成，并由缺陷检测模型输出检测结果，其中，检测结果包括缺陷数据，比如缺陷种类数据、缺陷大小数据及缺陷位置数据等。

本实施例提出的产品缺陷的检测方法，通过接收相机上传的待检测产品的多帧待检测图像；基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像；将所述目标待检测图像输入预先训练的缺陷检测模型中，并由所述缺陷检测模型输出检测结果，其中，所述检测结果包括缺陷数据，基于本发明提出的产品缺陷的检测方法中的图像模板可预先从待检测产品的多帧待检测图像中筛选包含待检测产品的目标待检测图像，以提高后续缺陷检测的速率，并基于预先训练的缺陷检测模型检测目标待检测图像，提高了缺陷检测的稳定性及准确率。

基于第一实施例，提出本发明方法的第二实施例，在本实施例中，参照图3，步骤S20之前，还包括，

步骤S201，获取所述待检测产品的模板图像；

步骤S202，从所述待检测产品的模板图像中划分出感兴趣区域图像，并对所述感兴趣区域图像进行预处理；

步骤S203，创建初始模板，并基于预处理后的感兴趣区域图像对所述初始模板进行模板参数设置，以生成所述待检测产品的图像模板。

该步骤中，在基于图像模板对多帧待检测图像进行查找筛选之前，需先获取一个待检测产品对应的模板图像，具体地，采集的模板图像要求是来自实际检测场景下的无缺陷的待检测产品，可选地，选择1张待检测产品在图像中成像清晰的图片作为模板图像，本发明判断产品有无的算法是用HALCON(机器视觉开发软件)的基于形状匹配的模板匹配算法。该算法只要针对感兴趣的局部区域建立模板，具体地，从待检测产品的模板图像中划分出感兴趣区域图像，其中，该感兴趣区域图像的形状可以是矩形、圆心或者自定义，在划定感兴趣区域图像后，对感兴趣区域图像进行预处理，比如对该区域做一些阈值分割、形态学处理等。

在预处理之后，创建初始模板，具体地，利用算子creat_shape_model(形状匹配)创建初始模板，之后利用模板对预处理后的感兴趣区域图像进行查找模板，并不断地调整模板参数，直至可快速准确查找出模板，其中Numlevels参数表示金字塔级数，值越大则查找模板的时间越少，即在查找过程中，逐渐调整Numlevels参数，以使模查找时间逐渐缩小，AngleStart参数和AngleExtent参数控制模板发生旋转的角度范围，AngleStep参数指定角度范围搜索的步长，MinConstrast参数是将模板和背景分离开，如果模板边缘与背景的灰度值差在20以内，则该参数设为20。

进一步地，步骤S203之后，还包括：

步骤S204，获取若干个测试图像；

步骤S205，基于所述若干个测试图像对所述待检测产品的图像模板进行测试，并获取测试结果；

步骤S206，基于所述测试结果对所述待检测产品的图像模板进行模板参数调整，并保存模板参数调整后的图像模板。

该步骤中，创建好待检测产品的图像模板后，需要用另一批有标识信息的图片验证图像模板的有效性，即在新图像中寻找与模板图像相匹配的图像部分，具体地，获取若干个测试图像，其中，若干个测试图像为图像中不存在待检测产品的图像及带待检测产品标识信息的图像，接着基于若干个测试图像对待检测产品的图像模板进行测试，即基于待检测产品的图像模板对若干个测试图像进行查找筛选，具体地，用算子find_shape_model(查找匹配)实现，以获取测试结果，其中，测试结果为算子find_shape_model(查找匹配)的结果参数，其中，可以理解地，算子find_shape_model(查找匹配)包含一些影响查找模板的速度和精度的参数。其中MinScore参数表示查找的图像部分与模板之间的相似度，值越大则越相似。Greediness参数是搜索贪婪度，这个值影响搜索速度，值越小越耗时，在能够匹配到的情况下，尽可能的增大Greediness参数的值，在获取测试结果之后，基于所述测试结果对所述待检测产品的图像模板进行模板参数调整，并保存模板参数调整后的图像模板，具体地，若算子find_shape_model(查找匹配)的MinScore参数过小，则对算子creat_shape_model(形状匹配)的AngleStart参数、AngleExtent参数、AngleStep参数及MinConstrast参数等进行调整，直至算子find_shape_model(查找匹配)MinScore参数趋近于1，若算子find_shape_model(查找匹配)的Greediness参数过小，则对算子find_shape_model(查找匹配)的Numlevels参数进行调整，以使图像模板在能够匹配到的情况下，Greediness参数的值尽可能趋向于最大值。

本实施例提出的产品缺陷的检测方法，通过获取待检测产品的模板图像，从待检测产品的模板图像中划分出感兴趣区域图像，并对感兴趣区域图像进行预处理，创建初始模板，并基于预处理后的感兴趣区域图像对初始模板进行模板参数设置，以生成待检测产品的图像模板，基于发明的待检测产品的图像模板可预先从待检测产品的多帧待检测图像中筛选包含待检测产品的目标待检测图像，以提高后续缺陷检测的速率。

基于第一实施例，提出本发明方法的第三实施例，在本实施例中，步骤S30之前，还包括，

步骤S301，从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型。

该步骤中，可以理解地，在基于预先训练的缺陷检测模型检测目标待检测图像的缺陷时，需先用一部分训练样本图像对模型进行训练，可选地，预设样本图像集中包括有缺陷特征的若干个图像数据及无缺陷特征的若干个图像数据，其中，预设样本图像集的有缺陷特征的若干个图像数据包含了该待检测产品可能出现的各种类型的缺陷特征，进一步地，每一个有缺陷特征的图像数据均有对应的真实缺陷特征标签，在准备好预设样本图像集之后，从预设样本图像集中随机抽取训练样本图像，并基于训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型，可选地，按照7：3的比例，将预设样本图像集中的图像数据分为对应的训练样本图像和测试样本图像。

进一步地，步骤S301之前，还包括，

步骤S3001，获取初始预设样本图像；

步骤S3002，对所述初始预设样本图像进行多维度变换，以获取所述初始预设样本图像对应的多维度样本图像，其中，所述多维度变换包括水平变换、垂直变换、旋转变换及灰度变换；

步骤S3003，基于所述初始预设样本图像及所述初始预设样本图像对应的多维度样本图像，生成预设样本图像集。

该步骤中，可以理解地，大量的缺陷数据样本图像是学习缺陷特征的重要条件，因此为了保证训练效果，根据图像质量的实际需要设置数据预处理参数，通过对原始图像进行水平变换、垂直变换、旋转变换、灰度变换等方式扩充深度学习缺陷检测的数据样本图像数量，以增加训练完成后模型的泛化性和稳定性。

该步骤中，获取初始预设样本图像，接着对初始预设样本图像进行多维度变换，以获取初始预设样本图像对应的多维度样本图像，其中，多维度变换包括水平变换、垂直变换、旋转变换及灰度变换，具体地，如果需要旋转变换，相应的设置参数旋转角度范围，假定旋转角度参数设置的旋转范围，则将原始图像按照预设区间中的任意随机数进行中心点旋转变换扩充数据，如果需要灰度变换预处理，相应的设置参数灰度变换范围(0-255)，假设原始图像某点的像素值为I，灰度变换参数设为A，则灰度变换预处理过程如下：首先生成(-A,A)区间的一个随机数ΔI，然后加到原来的亮度上得到I+ΔI，再利用[0,255]区间进行截断，如果I+ΔI小于0，用0值替换；如果I+ΔI值大于255，用255值替换。通过初始预设样本图像预处理操作扩充了样本图像集，丰富了样本图像的内在特征，提高了算法模型的准确性和稳定性，最后在基于初始预设样本图像及初始预设样本图像对应的多维度样本图像，生成预设样本图像集。

进一步地，参考图4，步骤S301还包括，

步骤S3011，将所述训练样本图像输入至所述预先构建的神经网络模型中，以获取所述神经网络模型输出的所述训练样本图像对应的预测缺陷特征标签；

步骤S3012，基于所述训练样本图像对应的真实缺陷特征标签及所述训练样本图像对应的预测缺陷特征标签，计算损失函数；

步骤S3013，通过梯度下降的方式更新所述神经网络模型的模型参数，以获得更新后的神经网络模型的损失函数；

步骤S3014，若更新后的神经网络模型的损失函数达到预设收敛条件，则将更新后的神经网络模型作为预先训练的缺陷检测模型。

该步骤中，训练样本图像包括训练样本图像及训练样本图像对应的真实缺陷特征标签，在获取训练样本图像之后，将训练样本图像输入至预先构建的神经网络模型中，以获取神经网络模型输出的训练样本图像对应的预测缺陷特征标签，接着基于训练样本图像对应的真实缺陷特征标签及训练样本图像对应的预测缺陷特征标签，计算损失函数，若损失函数过大，则通过梯度下降的方式更新神经网络模型的模型参数，以以获得更新后的神经网络模型的损失函数，即根据损失函数计算预先构建的神经网络模型中的各个参数对应的梯度，根据各个参数的梯度来对应更新各个参数，也即调整预先构建的神经网络模型的各个参数，以使损失函数逐渐减小，直至更新后的神经网络模型的损失函数达到预设收敛条件，则停止更新模型参数，并将更新后的神经网络模型作为预先训练的缺陷检测模型。

进一步地，步骤S3014之后，还包括，

步骤S3015，若更新后的神经网络模型的损失函数未达到预设收敛条件，则从预设样本图像集中随机抽取测试样本图像，并基于所述测试样本图像检测所述更新后的神经网络模型是否达到预设要求；

步骤S3016，若基于所述测试样本图像检测所述更新后的神经网络模型达到预设要求，则将更新后的神经网络模型作为预先训练的缺陷检测模型；

步骤S3017，若基于所述测试样本图像检测所述更新后的神经网络模型未达到预设要求，则将更新后的神经网络模型作为所述预先构建的神经网络模型，并返回执行从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型的步骤。

该步骤中，若更新后的神经网络模型的损失函数未达到预设收敛条件，则从预设样本图像集中随机抽取测试样本图像，并基于测试样本图像检测更新后的神经网络模型是否达到预设要求，具体地，从预设样本图像集中随机抽取测试样本图像，并基于测试样本图像检测更新后的神经网络模型是否达到预设要求，即缺陷检测准确率是否达到预设准确阈值，如果未达到，则需要继续训练，进一步地，可根据检测召回率和检测准确率这两个标准来判定训练完成的模型是否达到预设要求，具体地，预先获取待测试图像的真实缺陷标记数，缺陷检测模型预测缺陷预测数。根据真实缺陷标记数与预测缺陷预测数算得到检测召回率，接着统计正确预测缺陷的像素个数在所有像素中所占的比例可以获得检测准确率，其中，检测召回率和检测准确率的值在0～1，该值越接近1表示训练的模型越能有效的检测缺陷，则若检测召回率和检测准确率的值趋向于0，则说明缺陷检测模型未达到预设要求，则将更新后的神经网络模型作为预先构建的神经网络模型，并返回执行从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型的步骤，若达到预设要求，则将更新后的神经网络模型作为预先训练的缺陷检测模型。

本实施例提出的产品缺陷的检测方法，通过从预设样本图像集中随机抽取训练样本图像，并基于训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型，基于该预先训练的缺陷检测模型对产品图像进行缺陷检测，以提高了缺陷检测的稳定性及准确率。

此外，本发明实施例还提出一种计算机存储介质，所述计算机存储介质上存储有产品缺陷的检测方法程序，所述产品缺陷的检测方法程序被处理器执行时实现以上所述的产品缺陷的检测方法各个实施例的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种产品缺陷的检测方法，其特征在于，应用于一种产品缺陷的检测设备，所述产品缺陷的检测方法包括以下步骤：

接收相机上传的待检测产品的多帧待检测图像；

基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像；

将所述目标待检测图像输入预先训练的缺陷检测模型中，并由所述缺陷检测模型输出检测结果，其中，所述检测结果包括缺陷数据；

其中，所述缺陷数据包括缺陷种类数据、缺陷大小数据和缺陷位置数据；

其中，所述基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像的步骤之前，还包括：

获取所述待检测产品实际无缺陷时对应的模板图像；

根据预设机器视觉开发软件中的模板匹配算法对所述模板图像进行区域划分，获得对应的感兴趣区域图像，并对所述感兴趣区域图像进行图像预处理，获得预处理后的感兴趣区域图像，预处理过程包括阈值分割和形态学处理；

根据预设机器视觉开发软件中的形状匹配算子创建初始模板，并基于所述预处理后的感兴趣区域图像对所述初始模板进行模板参数设置，以生成所述待检测产品的初始图像模板；

获取与所述待检测产品无关联图像的若干测试图像；

基于所述初始图像模板对所述若干测试图像进行查找匹配测试，获得所述若干测试图像对应的测试结果，所述测试结果包括相似度参数和贪婪度参数；

基于所述相似度参数和所述贪婪度参数对所述初始图像模板进行模板参数调整，并将参数调整后的初始图像模板作为所述待检测产品的图像模板。

2.如权利要求1所述的产品缺陷的检测方法，其特征在于，所述基于所述待检测产品的图像模板，对所述多帧待检测图像进行筛选，以获取多帧待检测图像中包含所述待检测产品的目标待检测图像的步骤包括：

获取各个所述待检测图像与所述图像模板之间的相似度；

对各个所述待检测图像中相似度达到预设相似度的待检测图像进行标识，以获得目标待检测图像。

3.如权利要求1所述的产品缺陷的检测方法，其特征在于，所述将所述目标待检测图像输入预先训练的缺陷检测模型中的步骤之前，还包括：

从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型。

4.如权利要求3所述的产品缺陷的检测方法，其特征在于，所述训练样本图像包括训练样本图像及所述训练样本图像对应的真实缺陷特征标签，所述基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型的步骤包括：

将所述训练样本图像输入至所述预先构建的神经网络模型中，以获取所述神经网络模型输出的所述训练样本图像对应的预测缺陷特征标签；

基于所述训练样本图像对应的真实缺陷特征标签及所述训练样本图像对应的预测缺陷特征标签，计算损失函数；

通过梯度下降的方式更新所述神经网络模型的模型参数，以获得更新后的神经网络模型的损失函数；

若更新后的神经网络模型的损失函数达到预设收敛条件，则将更新后的神经网络模型作为预先训练的缺陷检测模型。

5.如权利要求4所述的产品缺陷的检测方法，其特征在于，所述通过梯度下降的方式更新所述神经网络模型的模型参数，以获得更新后的神经网络模型的损失函数的步骤之后，还包括：

若更新后的神经网络模型的损失函数未达到预设收敛条件，则从预设样本图像集中随机抽取测试样本图像，并基于所述测试样本图像检测所述更新后的神经网络模型是否达到预设要求；

若基于所述测试样本图像检测所述更新后的神经网络模型达到预设要求，则将更新后的神经网络模型作为预先训练的缺陷检测模型；

若基于所述测试样本图像检测所述更新后的神经网络模型未达到预设要求，则将更新后的神经网络模型作为所述预先构建的神经网络模型，并返回执行从预设样本图像集中随机抽取训练样本图像，并基于所述训练样本图像对预先构建的神经网络模型进行训练，以获得预先训练的缺陷检测模型的步骤。

6.如权利要求3所述的产品缺陷的检测方法，其特征在于，所述从预设样本图像集中随机抽取训练样本图像的步骤之前，还包括：

获取初始预设样本图像；

对所述初始预设样本图像进行多维度变换，以获取所述初始预设样本图像对应的多维度样本图像，其中，所述多维度变换包括水平变换、垂直变换、旋转变换及灰度变换；

基于所述初始预设样本图像及所述初始预设样本图像对应的多维度样本图像，生成预设样本图像集。

7.如权利要求1至6任一项所述的产品缺陷的检测方法，其特征在于，所述接收相机上传的待检测产品的多帧待检测图像的步骤之前，还包括：

获取待检测产品缺陷检测标准及待检测产品特征信息，以生成对应的相机拍摄参数；

将所述相机拍摄参数发送至所述相机，以供所述相机根据所述相机拍摄参数拍摄待检测产品的多帧待检测图像。

8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有产品缺陷的检测方法程序，所述产品缺陷的检测方法程序被处理器执行时实现如权利要求1至7中任一项所述的产品缺陷的检测方法的步骤。