CN113096105A - 一种基于有向稀疏采样的手机屏幕缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于有向稀疏采样的手机屏幕缺陷检测方法，包括步骤：构建DeNet模型；DeNet模型训练；检测DeNet模型；输出手机屏幕缺陷检测结果。本发明的有益效果是：通过低成本的图像处理技术提高手机屏幕缺陷检测的精度；结合了基于稀疏区域方法的易于训练、场景适应性和分类精度，以及基于密集非区域方法的快速训练和评估；设定一个稀疏分布估计方案定向稀疏采样模型(DeNet模型)，并将其应用于一个基于CNN的端到端检测模型中，解决了现阶段手机屏幕缺陷检测中遇到的问题，实现了扩展和适用于以前的最先进的检测模型，并额外强调高评估率和减少人工工程。

Description

一种基于有向稀疏采样的手机屏幕缺陷检测方法

技术领域

本发明属于手机屏幕缺陷检测领域，尤其涉及一种基于有向稀疏采样的手机屏幕缺陷检测方法。

背景技术

随着计算机技术、通信技术以及互联网技术的高速发展，手机在人们生产生活中所扮演的角色越来越重要。从最初的电话通信、文字通信，到现在的网络社交、获取资源，手机在人们的生产生活中有着越来越无可比拟的地位。在这个手机社交的时代，智能手机的出货量和成交量都在年年攀升，为使自己生产的手机能够在市场中占有一席之地，如何提高手机产品的质量并且保证手机的生产效率是目前各大手机生厂商的当务之急。

纵观手机屏幕的发展史，从最初的键盘交互方式到现在的触屏交互方式，从最初的黑白屏幕到现在高清彩色显示屏，从最初的不满半个手掌的小屏幕到现在比一个手掌还大的屏幕，如今的手机屏幕能够展示各种各样复杂的图像，画面感也越来越丰富多彩。随着手机功能的不断增多，各大手机生厂商对手机屏幕的生产工艺越来越苛刻。但是，手机屏幕在生产的过程中，又极容易受到生产环境和生产工艺的影响。为了防止装有缺陷屏幕的手机流入市场，损害消费者的利益，并对手机屏幕生厂商自身的信誉造成影响，在手机屏幕出厂前，各大手机屏幕生厂商采取一些必要的手段来对手机屏幕的质量进行检测。

传统的检测手段是在生产线上安排工人值守，工人对生产线上的屏幕用肉眼逐一进行检测。但是这种手段存在检测效率慢、人工成本高、缺乏统一的判断标准等缺点。随着计算机视觉的高速发展，基于机器视觉的自动化检测方法崭露头角。基于机器视觉的自动化检测方法使用高分率的工业相机对屏幕进行拍摄，对采集得到的图像进行实时的分析处理。但是这种方法大多只是针对一种或者几种特定的缺陷类型进行算法设计且遇到新的缺陷，又要针对性的设计新的算法，缺乏通用性。手机屏幕产品多种多样，材质、亮度、尺寸、分辨率各不相同。适用于这个手机屏幕的检测算法，不一定适用于另一种型号的手机屏幕。再者，相同的算法，应用于不同型号的手机屏，需要重新调整算法和参数，进而增加了时间成本和人力成本。因此，如何提升算法的通用性，减少算法的时间成本和人力成本，有效的统计缺陷类别是探索自动化手机屏幕缺陷检系统一项具有重要意义的工作。

发明内容

本发明的目的是克服现有技术中的不足，提供一种基于有向稀疏采样的手机屏幕缺陷检测方法。

这种基于有向稀疏采样的手机屏幕缺陷检测方法，包括以下步骤：

步骤1、构建DeNet模型；

步骤1.1、输入图片，使用对边界框注释的图像数据训练基于CNN的端到端检测模型；通过对绑定框的每个拐角应用朴素贝叶斯分类器来估计边界框B包含地面真实实例的概率：

上式中，s表示分类的状态，是一个二进制变量；B表示每个不同的边界框；null表示零；k为角点类型；x_k表示边界框的横坐标，y_k表示边界框的纵坐标；(x_k，y_k)＝f_k(B)表示与每个角点类型k相关的边界框位置；将具有最大非零概率Pr(s≠null|B)的N×N个边界框定义为采样边界框B_S，其中N为变量；

步骤1.2、采用用户定义的变量N平衡定向稀疏采样的手机屏幕缺陷检测模型处理的最大检测次数、计算次数和内存需求；在估计的边界框非零的情况下，将预定义长度的特征向量从拐角检测器传递到CNN的最终分类阶段，CNN的最终分类阶段是形为f的函数：

上式中，

是由采样边界唯一标识的特征向量；s表示分类的状态，B表示每个不同的边界框；Pr()表示概率值；

步骤1.3、通过在相对于每个采样边界框的预定义位置处连接最近的相邻采样特征来构造特征向量

边界框的宽度和边界框的高度，产生最终的分类分布Pr(s|B_S)和更新的边界框参数BBox，其中B_S为采样边界框；从特征向量中省略边界框中心位置；

步骤1.4、基于角点的RoI拐角检测器，通过估计图像中每个位置的角类型来估算拐角分布：

Pr(t|k，y，x)

上式中，t是二进制变量，指示在输入图像中存在类型为k∈{top left，topright，bottom left，bottom right}，其中k为角点类型；x表示边界框的横坐标，y表示边界框的纵坐标，Pr()表示概率值；top left、top right、bottom left、bottom right为边界框的四个拐角。

步骤2、DeNet模型训练；

步骤3、检测DeNet模型；

步骤4、输出手机屏幕缺陷检测结果。

作为优选，步骤2具体包括如下步骤：

步骤2.1、首先对DeNet模型进行前向传播，生成步骤1中的采样边界框B_S，使用地面真值边界框和随机生成的样本来扩展采样边界框B_S；

步骤2.2、然后激活与扩展的采样边界框集关联的特征向量

产生最终的分类分布Pr(s|B_S)和更新的边界框参数；

步骤2.3、通过DeNet模型优化拐角分布、最终分类分布和边界框回归成本：

上式中，φ()是地面真角和基准分布；φ_B，i＝{x_i，y_i，w_i，h_i}是地面真实边界框；(λ_s，λ_t，λ_b)是用户定义的常量，表示每个组件的相对强度；(Λ_s，Λ_t，Λ_b)是对每个组件进行归一化的常数给定模型初始化值，将其设置为1；φ(t|k，y，x)为角分布，\operatornamePr()表示求概率；β_i为DeNet模型中的超参数，0＜β_i＜1；

步骤2.4、通过将每个地面真实实例的角映射到角图中的单个位置来标识角分布φ(t|k，y，x)，将超出范围的角点丢弃；通过计算地面真值边界框和采样边界框B_S之间的并集交叉重叠来确定检测分布φ(s|B)；通过选择具有最大Lou重叠的地面真值边界框来确定回归目标边界框φ_B。

作为优选，步骤3具体包括如下步骤：

步骤3.1、选择34层21M参数ResNet-34模型和101层45M参数ResNet-101模型作为拐角检测器网络的基础模型；

步骤3.2、将每个拐角检测器网络基础模型的输入大小修改为512×512像素，删除最终的平均合并和完全连接层，并附加两个解卷积层，卷积层后面是拐角检测器，拐角检测器之后是稀疏层；拐角检测器负责产生拐角分布，并通过在每个空间位置具有F_s特征学习到的线性投影来生成特征采样图；稀疏层观察由拐角检测器标识的拐角，并生成一组采样边界框；

步骤3.3、用RoI从特征采样图中提取一组N×N个特征向量，；

步骤3.4、特征向量通过全连接网络传播，为每个采样RoI生成最终分类和微调边界框。

本发明的有益效果是：本发明通过低成本的图像处理技术提高手机屏幕缺陷检测的精度；结合了基于稀疏区域方法的易于训练、场景适应性和分类精度，以及基于密集非区域方法的快速训练和评估；本发明设定一个稀疏分布估计方案定向稀疏采样模型(DeNet模型)，并将其应用于一个基于CNN的端到端检测模型中，解决了现阶段手机屏幕缺陷检测中遇到的问题，实现了扩展和适用于以前的最先进的检测模型，并额外强调高评估率和减少人工工程。

附图说明

图1为手机屏幕缺陷检测模型构架图；

图2为本发明的检测流程图。

具体实施方式

下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

在随机梯度下降(SGD)的随机初始化条件下，前馈神经网络表现出良好的收敛性，并且在适当的网络设计和训练机制下，可以很好地推广到之前不可见的数据。特别是，由具有ReLU激活函数的交叉卷积和池化层构建的卷积神经网络(CNN)在计算机视觉任务中设置了无数的基准。这些方法之间的主要区别在于每种方法如何识别和处理要分类的区域。基于R-CNN的方法基于算法预处理步骤稀疏采样区域并将感兴趣的区域归一化，而基于YOLO的方法使用手工定义的检测器网格进行密集采样，无需图像归一化。密集方法通常非常适合当前的实现，因此相对于稀疏方法具有显著的时间优势。

本发明结合了基于稀疏区域方法的易于训练、场景适应性和分类精度，以及基于密集非区域方法的快速训练和评估。本发明使用定向稀疏采样来指代应用联合优化两阶段CNN的方法，其中一个阶段估计用户定义的有趣值发生的可能位置，另一个则稀疏地对识别出的值进行分类。图1展示了本发明手机屏幕缺陷检测模型(DeNet模型)的整体框架，主要包括转换、解压缩、拐角检测、稀疏和分类器五部分；本发明在其他模型的基础上增加了拐角检测和稀疏方面内容构成了DeNet模型。

作为一种实施例，图2展示了基于有向稀疏采样的手机屏幕缺陷检测方法的流程图，具体的实施方案如下：

步骤1、构建DeNet模型(手机屏幕缺陷检测模型)；

步骤1.1、输入图片，由于问题的自然平移不变性，可以使用对边界框注释的图像数据训练基于CNN的端到端检测模型，可以有效地估算角分布；通过对绑定框的每个拐角应用朴素贝叶斯分类器来估计边界框B包含地面真实实例的概率：

上式中，s表示分类的状态，是一个二进制变量；B表示每个不同的边界框；null表示零；k为角点类型；x_k表示边界框的横坐标，y_k表示边界框的纵坐标；(x_k，y_k)＝f_k(B)表示与每个角点类型k相关的边界框位置；为了易于实施，将具有最大非零概率Pr(s≠null|B)的N×N个边界框定义为采样边界框B_S，其中N为变量；

步骤1.2、采用用户定义的变量N平衡定向稀疏采样的手机屏幕缺陷检测模型处理的最大检测次数、计算次数和内存需求；在估计的边界框非零的情况下，将预定义长度的特征向量从拐角检测器传递到CNN的最终分类阶段，CNN的最终分类阶段是形为f的函数：

上式中，

是由采样边界唯一标识的特征向量；s表示分类的状态，B表示每个不同的边界框；Pr()表示概率值；

步骤1.3、要素必须与每个边界框唯一关联，否则朴素贝叶斯分类器将没有信息来区分具有相同的边界框，究竟如何构造特征向量仍是一个有待讨论的问题，但是通过在相对于每个采样边界框的预定义位置处连接最近的相邻采样特征来构造特征向量

边界框的宽度和边界框的高度，产生最终的分类分布Pr(s|B_S)和更新的边界框参数BBox，其中B_S为采样边界框；从特征向量中省略边界框中心位置，从而使分类器与图像偏移无关；

步骤1.4、基于角点的RoI(感兴趣区域region of interest)拐角检测器，通过估计图像中每个位置的角类型来估算拐角分布：

Pr(t|k，y，x)

上式中，t是二进制变量，指示在输入图像中存在类型为k∈{top left，topright，bottom left，bottom right}，其中k为角点类型；x表示边界框的横坐标，y表示边界框的纵坐标，Pr()表示概率值；top left、top right、bottom left、bottom right为边界框的四个拐角。

步骤2、DeNet模型训练；

步骤2.1、首先对DeNet模型进行前向传播，生成步骤1中的采样边界框B_S，使用地面真值边界框和随机生成的样本来扩展采样边界框B_S；

步骤2.2、然后通过其余模式来激活与扩展的采样边界框集关联的激活特征向量

产生最终的分类分布Pr(s|B_S)和更新的边界框参数；采样边界框B_S的集合在进行梯度估计时保持恒定，以进行端到端训练；因此结合边界框分类和估计任务对核心拐角检测器网络进行了优化，由于前向传播是通常用于优化神经网络的基于后向传播的SGD策略中的必要预处理步骤，因此DeNet方法不会对标准密集网络上的训练时间造成任何损失；

步骤2.3、通过DeNet模型优化拐角分布、最终分类分布和边界框回归成本：

上式中，φ(.)是地面真角和基准分布；φ_B，i＝{x_i，y_i，w_i，h_i}是地面真实边界框；(λ_s，λ_t，λ_b)是用户定义的常量，表示每个组件的相对强度；(Λ_s，Λ_t，Λ_b)是对每个组件进行归一化的常数给定模型初始化值；φ(t|k，y，x)为角分布，\operatornamePr(.)表示求概率；p_i为DeNet模型中的超参数，0＜β_i＜1；

步骤2.4、通过将每个地面真实实例的角映射到角图中的单个位置来标识角分布φ(t|k，y，x)，将超出范围的角点丢弃；通过计算地面真值边界框和采样边界框BS之间的并集交叉(0U)重叠来确定检测分布φ(s|B)；按照标准惯例，通过选择具有最大Lou重叠的地面真值边界框来确定回归目标边界框φ_B。

步骤3、检测DeNet模型；

步骤3.1、残差神经网络在许多大型数据集上都表现出令人印象深刻的回归能力，特别是当与Faster R-CNN结合使用时，101层残留网络模型(ResNet-101)在ILSVRC2015和MSCOCO数据集上达到了最先进的性能；选择34层21M参数ResNet-34模型(DeNet-34)和101层45M参数ResNet-101模型(DeNet-101)作为拐角检测器网络的基础模型；

步骤3.2、将每个拐角检测器网络基础模型的输入大小修改为512×512像素，删除最终的平均合并和完全连接层，并附加两个解卷积层，卷积层后面是拐角检测器，拐角检测器之后是稀疏层；拐角检测器负责产生拐角分布，并通过在每个空间位置具有F_s特征学习到的线性投影来生成特征采样图；稀疏层观察由拐角检测器标识的拐角，并生成一组采样边界框(RoIs)；

步骤3.3、用RoI从特征采样图中提取一组N×N个特征向量，最近的邻居采样就足够了，因为特征采样图具有与边界角相同的相对较高的空间分辨率；

步骤3.4、特征向量通过相对较浅的全连接网络传播，为每个采样RoI生成最终分类和微调边界框。

步骤4、输出手机屏幕缺陷检测结果。

Claims (3)

1.一种基于有向稀疏采样的手机屏幕缺陷检测方法，其特征在于，包括以下步骤：

步骤1、构建DeNet模型；

步骤1.1、输入图片，使用对边界框注释的图像数据训练基于CNN的端到端检测模型；通过对绑定框的每个拐角应用朴素贝叶斯分类器来估计边界框B包含地面真实实例的概率：

上式中，s表示分类的状态，是一个二进制变量；B表示每个不同的边界框；null表示零；k为角点类型；x_k表示边界框的横坐标，y_k表示边界框的纵坐标；(x_k,y_k)＝f_k(B)表示与每个角点类型k相关的边界框位置；将具有最大非零概率Pr(s≠null∣B)的N×N个边界框定义为采样边界框B_S，其中N为变量；

步骤1.2、采用用户定义的变量N平衡定向稀疏采样的手机屏幕缺陷检测模型处理的最大检测次数、计算次数和内存需求；在估计的边界框非零的情况下，将预定义长度的特征向量从拐角检测器传递到CNN的最终分类阶段，CNN的最终分类阶段是形为f的函数：

上式中，

是由采样边界唯一标识的特征向量；s表示分类的状态，B表示每个不同的边界框；Pr()表示概率值；

步骤1.3、通过在相对于每个采样边界框的预定义位置处连接最近的相邻采样特征来构造特征向量

边界框的宽度和边界框的高度，产生最终的分类分布Pr(s∣B_S)和更新的边界框参数BBox，其中B_S为采样边界框；从特征向量中省略边界框中心位置；

步骤1.4、基于角点的RoI拐角检测器，通过估计图像中每个位置的角类型来估算拐角分布：

Pr(t∣k,y,x)

上式中，t是二进制变量，指示在输入图像中存在类型为k∈{top left,top right,bottom left,bottom right}，其中k为角点类型；x表示边界框的横坐标,y表示边界框的纵坐标，Pr()表示概率值；top left、top right、bottom left、bottom right为边界框的四个拐角。

步骤2、DeNet模型训练；

步骤3、检测DeNet模型；

步骤4、输出手机屏幕缺陷检测结果。

2.根据权利要求1所述基于有向稀疏采样的手机屏幕缺陷检测方法，其特征在于，步骤2具体包括如下步骤：

步骤2.1、首先对DeNet模型进行前向传播，生成步骤1中的采样边界框B_S，使用地面真值边界框和随机生成的样本来扩展采样边界框B_S；

步骤2.2、然后激活与扩展的采样边界框集关联的特征向量

产生最终的分类分布Pr(s∣B_S)和更新的边界框参数；

步骤2.3、通过DeNet模型优化拐角分布、最终分类分布和边界框回归成本：

上式中，φ(.)是地面真角和基准分布；φ_B,i＝{x_i,y_i,w_i,h_i}是地面真实边界框；(λ_s,λ_t,λ_b)是用户定义的常量，表示每个组件的相对强度；(Λ_s,Λ_t,Λ_b)是对每个组件进行归一化的常数给定模型初始化值，将其设置为1；φ(t∣k,y,x)为角分布，\operatornamePr(.)表示求概率；β_i为DeNet模型中的超参数，0<β_i<1；

步骤2.4、通过将每个地面真实实例的角映射到角图中的单个位置来标识角分布φ(t∣k,y,x),将超出范围的角点丢弃；通过计算地面真值边界框和采样边界框B_S之间的并集交叉重叠来确定检测分布φ(s∣B)；通过选择具有最大Lou重叠的地面真值边界框来确定回归目标边界框φ_B。

3.根据权利要求1所述基于有向稀疏采样的手机屏幕缺陷检测方法，其特征在于，步骤3具体包括如下步骤：

步骤3.1、选择34层21M参数ResNet-34模型和101层45M参数ResNet-101模型作为拐角检测器网络的基础模型；

步骤3.2、将每个拐角检测器网络基础模型的输入大小修改为512×512像素，删除最终的平均合并和完全连接层，并附加两个解卷积层，卷积层后面是拐角检测器，拐角检测器之后是稀疏层；拐角检测器负责产生拐角分布，并通过在每个空间位置具有F_s特征学习到的线性投影来生成特征采样图；稀疏层观察由拐角检测器标识的拐角，并生成一组采样边界框；

步骤3.3、用RoI从特征采样图中提取一组N×N个特征向量，；

步骤3.4、特征向量通过全连接网络传播，为每个采样RoI生成最终分类和微调边界框。

Images