CN113743203A - 基于深度迁移学习网络的笔记本屏幕缺陷检测方法及设备 - Google Patents

Abstract

本发明的一种基于深度迁移学习网络的笔记本屏幕缺陷检测方法及设备，通过计算机设备实现以下步骤，S10、获取笔记本生产线下的高清摄像头视频并处理；S20、建立缺陷检测DBN网络模型结构和在源数据集预训练DBN网络模型；S30、DBN网络参数迁移，将源域的DBN结构和参数迁移至目标任务中，并通过输入目标域训练样本微调DBN网络参数；S40、对生产线高清摄像头的待检测视频，送入预训练好的DBN网络检测模型，将目标域测试样本与DBN网络生成的图像比较，通过阈值确定正常样本与缺陷样本之间的区别与分类，并获得二值图像。本发明所需的人工标注训练样本集是少量的，实现了源域与目标域的迁移和交叉训练，大大降低了工业对目标域的标注数据样本量的依赖。

Description

基于深度迁移学习网络的笔记本屏幕缺陷检测方法及设备

技术领域

本发明涉及智能制造缺陷检测技术领域，具体涉及一种基于深度 迁移学习网络的笔记本屏幕缺陷检测方法及设备。

背景技术

传统外观缺陷检测方法采用人工检测，具有耗时、人力成本高、 误检率高等缺陷，之后,工业引入ASI(自动化表面缺陷检测)系统，但大 多基于传统的机器视觉技术包括：

1)基于传统数字图像处理加机器学习的方法。此类方法首先基于 人类经验，人为构建特征(特征工程)，之后利用机器学习方法(如支 持向量机、模板匹配)训练样本，进而判断笔记本外观是否存在缺陷。 2)基于深度学习的笔外观缺陷检测方法。相较于传统机器学习方法， 深度学习一般不需要各种人工设计图像预处理技术，适应和推广性更 强，而且在大样本训练下可以得到更准确的外观缺陷检测结果，近些 年得到了广泛的应用。

在上述两种方法中，前者算法复杂度低，可轻松移植在普通嵌入 式设备中，但精度不高，存在误检、漏检等情况，且适应场景较为单 一，迁移性差；后者适应性广，精度高，虽避免了复杂的传统特征工 程，但算法复杂度高，需要大量的训练样本，实际应用中很可能没有 或较少可用于训练的样本，同时若选择人工标注数据也需要大量时间 和资金成本,实现难度大。

发明内容

本发明提出的一种基于深度迁移学习网络的笔记本屏幕缺陷检测 方法、存储介质及设备，用于克服传统机器学习在检测精度不高，场 景适应性单一、迁移性差以及近年基于深度学习缺陷检测需要大量样 本数据等情况，是一种适用于复杂场景、少样本情形下具有自学习策 略的笔记本表面缺陷检测和分类算法。

为实现上述目的，本发明采用了以下技术方案：

一种基于深度迁移学习网络的笔记本屏幕缺陷检测方法，包括以 下步骤：

步骤1：获取笔记本生产线下的高清摄像头视频，对包含检测目标 的视频进行关键帧提取，获取原始样本图片；而后，对原始样本图片 使用图片归一化和增强图像对比度增强等预处理手段(图像灰度缩放 和归一化，将图像尺寸规格化为64*64；增强图像对比度并进行灰度) 获得合适数量的原始数据集图片；最后，对原始数据集图片中包含生 产缺陷(划痕、凹陷等)的像素区域进行人工标定，获取生产缺陷的 坐标信息作为后续目标域训练模型的输入；获得源域样本图像；

步骤2：建立缺陷检测DBN(Deep Belief Network)网络模型结构 和在源数据集预训练DBN网络模型，使用k-means聚类方法，获取源 数据集中包含缺陷图片的先验框位置，对构建的深度DBN网络模型训 练，调整网络模型参数，以获得源域DBN的权重和偏移量；

步骤3：DBN网络参数迁移，将源域的DBN结构和参数迁移至目 标域(屏幕缺陷检测)中，并通过输入目标域训练样本微调DBN网络 参数，以获得目标样本和无缺陷样本之间的映射；

步骤4：对生产线高清摄像头的待检测视频，送入预训练好的DBN 网络检测模型，将目标域测试样本与DBN网络生成的图像比较，通过 阈值确定正常样本与缺陷样本之间的区别与分类，并获得二值图像。

另一方面，本发明还公开一种计算机可读存储介质，存储有计算 机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上 述方法的步骤。

第三方面，本发明还公开一种计算机设备，包括存储器和处理器， 所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时， 使得所述处理器执行如上述方法的步骤。

综上所述，本发明的一种基于深度迁移学习网络的笔记本屏幕缺 陷检测方法是一种适用于复杂场景、少样本情形下具有自学习策略的 笔记本表面缺陷检测和分类算法，所需的人工标注训练样本集是少量 的，由于通过已存在的训练数据预训练DBN网络模型，之后将预训练 的网络模型结构和参数由源域迁移至目标域，之后只需要少量目标域 的样本，微调网络模型的参数来辅助源域训练，实现了源域与目标域 的迁移和交叉训练，大大降低了工业对目标域的标注数据样本量的依 赖。

总的来说，本发明提供的基于自主学习的笔记本屏幕的缺陷检测 和分类方法，降低传统的笔记本生产线时间、资金成本，同时引入智 能化检测和分类，对产业转型升级，提升产品质量，增强竞争力具有 重大意义。

附图说明

图1是本发明的方法流程图；

图2是本发明的网络结构示意图；

图3是本发明的应用流程图示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结 合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是 全部的实施例。

如图1所示，本实施例所述的基于深度迁移学习网络的笔记本屏幕 缺陷检测方法，包括以下步骤：

步骤1：获取笔记本生产线下的高清摄像头视频，对包含检测目标 的视频进行关键帧提取，获取原始样本图片；而后，对原始样本图片 使用图片归一化和增强图像对比度增强等预处理手段(图像灰度缩放 和归一化，将图像尺寸规格化为64*64；增强图像对比度并进行灰度) 获得合适数量的原始数据集图片；最后，对原始数据集图片中包含生 产缺陷(划痕、凹陷等)的像素区域进行人工标定，获取生产缺陷的 坐标信息作为目标域训练模型的输入；获得源域样本图像。

步骤2：建立缺陷检测DBN(Deep Belief Network)网络模型结构 和在源数据集预训练DBN网络模型，使用k-means聚类方法，获取源 数据集中包含缺陷图片的先验框位置，对构建的深度DBN网络模型训 练，调整网络模型参数，以获得源域DBN的权重和偏移量。

步骤3：DBN网络参数迁移，将源域的DBN结构和参数迁移至目 标任务(屏幕缺陷检测)中，并通过输入目标域训练样本微调DBN网 络参数，以获得目标样本和无缺陷样本之间的映射。

步骤4：对生产线高清摄像头的待检测视频，送入预训练好的DBN 网络检测模型，将目标域测试样本与DBN网络生成的图像比较，通过 阈值确定正常样本与缺陷样本之间的区别与分类，并获得二值图像。

以下分别一一说明：

在步骤1中具体细分为：

S11：采集笔记本外观生产线高清摄像头下的检测视频，然后提取 提取包含外观缺陷的视频关键帧原始样本，对原始样本使用“中心式归 一化”(mean normalization)图像预处理，构建训练样本集。

S12：对数据集图片中包含外观缺陷的像素区域用矩形框进行标注， 其中，一张数据集图片中可以包含多个矩形框，即多处外观缺陷，但 每个矩形框仅包含一个待检测的目标，标注后的标签结果按照VOC数 据集格式保存在xml文件中；其中，每张图片对应一个同名的xml文 件，包含该数据集图片中每个矩形框的中心点坐标信息(x,y)，矩形 框的宽w和矩形框的高h。需要注意的是，此处对每个batch图片中的 标签，即(x,y,w,h)进行了尺寸的归一化，即在原图坐标系下根据原 图纵横比不变映射为64*64坐标下的一个子区域，并将变换后的坐标 信息存储在xml文件中，作为后续训练目标域模型的输入。

对上述步骤S2中构建的深度DBN网络模型结构具体步骤为：

DBN是一种由多层RBM组成的深度神经网络，是一种生成模型， 即神经网络模型的神经元之间的权重依据最大概率生成训练数据。在 DBN网络模型中,底层RBM抽象原始数据的原始特征，之后作为上一层 RBM神经元的输入。在自上而下的传输过程中，具体的特征向量逐渐 转变为抽象特征。

DBN训练过程包括两个主要步骤：(1)无监督条件下对每层RBM 网络的每个层进行训练(2)通过反向传播对整体DBN网络的参数调整。 RBM网络训练就是调整DBN网络模型的参数过程，使得DBN网络可以 克服网络模型由于随机初始化导致局部最优和训练时间过长的缺陷。

其中，DBN训练过程具体步骤：

(1)首个RBM神经元训练

(2)固定已训练的RBM的权重和偏移量，将隐藏层的state作为 下一个RBM神经元的输入。

(3)对第二个神经元充分训练后，将其堆砌至第一个DBN神经单 元后。

(4)重复(1)～(3)的步骤

(5)如果是训练已标记的顶层数据，则在顶层RBM的训练过程， 除了可见的神经元外，还应训练在顶层的可见层还有代表分类标记的 神经元。

在步骤S22中训练单个RBM神经元步骤：

其中RBM(Restricted Boltzmann Machine)由可视层和隐藏层组成， 可视层主要用于描述样本数据的某一方面或特征，隐藏层主要用于提 取样本特征。RBM是基于能量的概率分布模型，第一部分为能量函数， 第二部分为基于能量的概率分布模型。假设有n个数量的可视单元 (v1,v2,…,vn)，m个隐藏单元(h1,h2,…,hm),RBM能量函数可以定义 为：

基于能量的概率分布模型可以定义：

其中Z又称为归一化因子，定义为：

Z＝∑_v,hexp(-E(v,h))

(3)

依据RBM层内无连接条件，当给出可视层状态时，各隐藏层之间 相互独立，可以将隐藏层某个神经元激活概率定义为：

当给出某一隐藏层状态时，可视层第K个单位被激活的概率公式：

对于实际问题，在给出训练样本后需要对RNM进行训练，为使RBM 表示的概率尽可能与训练数据一致，即RBM训练过程中，通过调整RBM 的参数w_ij,a_i,b_j来拟合训练数据，假设训练样本集为S＝{v1,V2,v3,…,vT}(T 为训练样本的数量)，则似然函数的最大值设置RBM训练目标：

假设训练样本集为S＝{v1,V2,v3,…,vT}(T为训练样本的数量)，基于 CD-K的RBM训练步骤为：

输入:样本数据vⁱ,学习率η，CD算法参数K,可视层单元数n，隐藏 层单元数m；

输出：可视层与隐藏层之间的连接参数w,可视层偏移量a，隐藏层 偏移量b；

(6)设置循环次数I，学习率η，CD算法参数K

(7)可视层单元数n，隐藏层单元数m

(8)初始化可视层单元状态v1＝vⁱ,可视层偏移量a,隐藏层偏移量b, 以及连接权重w

(9)使用CD-k算法获得Δw,Δa,Δb

(10)更新参数

S23：构建DBN网络模型结构以及在源问题域中训练DBN网络模 型参数。采用太阳能电池外表缺陷作为源域，设计的DBN网络模型为 4层结构，并且训练样本包含有缺陷和无缺陷的样本。

其中DBN网络输入层为4096维度，第一层隐藏层为3000维度， 第二层隐藏层为1500维度，第三层隐藏层为750维度，第四层隐藏层 为90维度，结构图入图1所示。具体训练过程为：

(5)对DBN网络结构中的首个RBM依据公式(4)、(5)计算改 隐藏层和可视层的概率，使用(6)作为RBM的激活函数，使用梯度 下降算法调整和更新参数，从而得到权重w和偏移量a,b；

(6)固定首个RBM的权重及偏移量，其隐藏层作为第二个RBM 的输入量，通过训练后得到其权重和偏移量，之后以相同的方式对第 三和第四RBM进行训练；

(7)将以上4个RBM扩展连接到一个新网络(DBN训练好后， 拿到新的数据集测试)；

(8)使用BP算法对整个网络微调，以获得优化后的网络参数

通过DBN训练,获得了源域数据的重构图像，获得了具体缺陷特征、 以及无缺陷和具体缺陷的关系，可以通过设置具体阈值将缺陷区域分 割出来；

S3步骤迁移学习利用Ds和Ts中的参数来提高Dt中目标检测函数 Ft的性能。参数传递方法通常假设源任务模型(太阳能电池)和目标 任务模型(屏幕检测)中共享某些参数,并且每个源问题域目标任务和 源问题域任务的参数w可以分为两部分,其中一部分在任务之间是相同 的,而另一部分是每个任务之间唯一的，即：

w_s,w_t分别表示学习源任务和目标任务的参数，其中w_s和w_t具有公 共参数w_c,而v_s和v_t则是目标任务的特定参数.参数迁移通过挖掘源域 与目标域之间共享的模型参数建立目标任务与源任务之间的联系。

图3是本发明的应用流程图，综上所述，本发明所需的人工标注训练样本 集是少量的，由于通过已存在的训练数据预训练DBN网络模型，之后将预训 练的网络模型结构和参数由源域迁移至目标域，之后只需要少量目标域的样本， 微调网络模型的参数来辅助源域训练，实现了源域与目标域的迁移和交叉训练， 大大降低了工业对目标域的标注数据样本量的依赖。

另一方面，本发明还公开一种计算机可读存储介质，存储有计算 机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上 述方法的步骤。

第三方面，本发明还公开一种计算机设备，包括存储器和处理器， 所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时， 使得所述处理器执行如上述方法的步骤。

可理解的是，本发明实施例提供的系统与本发明实施例提供的方 法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的 相应部分。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系 统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存 储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实 施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机 程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指 令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和 /或方框图中的流程和/或方框的结合。可提供这些计算机程序指令 到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设 备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理 设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程 和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据 处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算 机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指 定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设 备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生 计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提 供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多 个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：通过计算机设备实现以下步骤，

S10、获取笔记本生产线下的高清摄像头视频，对包含检测目标的视频进行关键帧提取，获取原始样本图片并进行预处理获得源域样本图像；

S20、建立缺陷检测DBN(Deep Belief Network)网络模型结构和在源数据集预训练DBN网络模型，使用k-means聚类方法，获取源数据集中包含缺陷图片的先验框位置，对构建的深度DBN网络模型训练，调整网络模型参数，以获得源域DBN的权重和偏移量；

S30、DBN网络参数迁移，将源域的DBN结构和参数迁移至目标任务中，并通过输入目标域训练样本微调DBN网络参数，以获得目标样本和无缺陷样本之间的映射；

S40、对生产线高清摄像头的待检测视频，送入预训练好的DBN网络检测模型，将目标域测试样本与DBN网络生成的图像比较，通过阈值确定正常样本与缺陷样本之间的区别与分类，并获得二值图像。

2.根据权利要求1所述的基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：所述S10中获取原始样本图片后还包括对原始样本图片使用图片归一化和增强图像对比度增强等预处理手段获得设定数量的原始数据集图片；最后，对原始数据集图片中包含生产缺陷的像素区域进行人工标定，获取生产缺陷的坐标信息作为目标域训练模型的输入，获得源域样本图像。

3.根据权利要求1所述的基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：所述S10具体包括以下步骤：

S11：采集笔记本外观生产线高清摄像头下的检测视频，然后提取提取包含外观缺陷的视频关键帧原始样本，对原始样本使用“中心式归一化”(mean normalization)图像预处理，构建训练样本集；

S12：对数据集图片中包含外观缺陷的像素区域用矩形框进行标注，其中，一张数据集图片中包含多个矩形框，即多处外观缺陷，但每个矩形框仅包含一个待检测的目标，标注后的标签结果按照VOC数据集格式保存在xml文件中；其中，每张图片对应一个同名的xml文件，包含该数据集图片中每个矩形框的中心点坐标信息(x,y)，矩形框的宽w和矩形框的高h；此处对每个batch图片中的标签，即(x,y,w,h)进行了尺寸的归一化，即在原图坐标系下根据原图纵横比不变映射为64*64坐标下的一个子区域，并将变换后的坐标信息存储在xml文件中，作为后续训练目标域模型的输入。

4.根据权利要求3所述的基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：所述S2包括：

无监督条件下对每层RBM网络的每个层进行训练；

通过反向传播对整体DBN网络的参数调整。

5.根据权利要求4所述的基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：所述无监督条件下对每层RBM网络的每个层进行训练，具体包括：

(1)首个RBM神经元训练；

(2)固定已训练的RBM的权重和偏移量，将隐藏层的state作为下一个RBM神经元的输入；

(3)对第二个神经元充分训练后，将其堆砌至第一个DBN神经单元后；

(4)重复(1)～(3)的步骤；

(5)如果是训练已标记的顶层数据，则在顶层RBM的训练过程，除了可见的神经元外，还训练在顶层的可见层还有代表分类标记的神经元；

其中，训练单个神经元的步骤包括：

假设有n个数量的可视单元(v1,v2,…,vn)，m个隐藏单元(h1,h2,…,hm),RBM能量函数定义为：

基于能量的概率分布模型定义：

其中Z又称为归一化因子，定义为：

Z＝∑_v,hexp(－E(v,h)) (3)

依据RBM层内无连接条件，当给出可视层状态时，各隐藏层之间相互独立，将隐藏层某个神经元激活概率定义为：

当给出某一隐藏层状态时，可视层第K个单位被激活的概率公式：

6.根据权利要求5所述的基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：

所述通过反向传播对整体DBN网络的参数调整，具体包括：

在给出训练样本后对RNM进行训练，RBM训练过程中，通过调整RBM的参数w_ij,a_i,b_j来拟合训练数据，假设训练样本集为S＝{v1,V2,v3,…,vT}(T为训练样本的数量)，则似然函数的最大值设置RBM训练目标：

假设训练样本集为S＝{v1,V2,v3,…,vT}(T为训练样本的数量)，基于CD-K的RBM训练步骤为：

输入:样本数据vⁱ,学习率η，CD算法参数K,可视层单元数n，隐藏层单元数m；

输出：可视层与隐藏层之间的连接参数w,可视层偏移量a，隐藏层偏移量b；

(1)设置循环次数I，学习率η，CD算法参数K；

(2)可视层单元数n，隐藏层单元数m；

(3)初始化可视层单元状态v1＝vⁱ,可视层偏移量a,隐藏层偏移量b,以及连接权重w；

(4)使用CD-k算法获得Δw,Δa,Δb；

(5)更新参数

7.根据权利要求6所述的基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：

所述S2包括构建DBN网络模型结构以及在源问题域中训练DBN网络模型参数，具体如下：

采用太阳能电池外表缺陷作为源域，设计的DBN网络模型为4层结构，并且训练样本包含有缺陷和无缺陷的样本；

其中DBN网络输入层为4096维度，第一层隐藏层为3000维度，第二层隐藏层为1500维度，第三层隐藏层为750维度，第四层隐藏层为90维度；具体训练过程为：

(1)对DBN网络结构中的首个RBM依据公式(4)、(5)计算改隐藏层和可视层的概率，使用公式(6)作为RBM的激活函数，使用梯度下降算法调整和更新参数，从而得到权重w和偏移量a,b；

(2)固定首个RBM的权重及偏移量，其隐藏层作为第二个RBM的输入量，通过训练后得到其权重和偏移量，之后以相同的方式对第三和第四RBM进行训练；

(3)将以上4个RBM扩展连接到一个新网络即DBN训练好后，拿到新的数据集测试；

(4)使用BP算法对整个网络微调，以获得优化后的网络参数；

通过DBN训练,获得了源域数据的重构图像，获得了具体缺陷特征、以及无缺陷和具体缺陷的关系，通过设置具体阈值将缺陷区域分割出来。

8.根据权利要求7所述的基于深度迁移学习网络的笔记本屏幕缺陷检测方法，其特征在于：所述S30中迁移学习利用Ds和Ts中的参数来提高Dt中目标检测函数Ft的性能，具体包括：

假设源任务模型即太阳能电池和目标任务模型即屏幕检测中共享某些参数,并且每个源问题域目标任务和源问题域任务的参数w分为两部分,其中一部分在任务之间是相同的，而另一部分是每个任务之间唯一的，即：

w_s,w_t分别表示学习源任务和目标任务的参数，其中w_s和w_t具有公共参数w_c,而v_s和v_t则是目标任务的特定参数，参数迁移通过挖掘源域与目标域之间共享的模型参数建立目标任务与源任务之间的联系。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。

Images