CN114898166A - 一种基于演进因果模型的检测玻璃洁净度的方法 - Google Patents

Abstract

本发明涉及玻璃表面洁净度检测技术领域，具体是一种基于演进因果模型的检测玻璃洁净度的方法，步骤如下：S1、对玻璃表面进行拍照识别，获取玻璃图片检测信息，将图片标记分类，并分成训练数据集和测试数据集；S2、应用工具变量I对训练数据集进行采样，将采样的样本数据输入因果模型进行训练，获得因果模型；S3、将测试数据集输入到因果模型中，测试因果模型的检测精度；若检测精度满足要求，则模型训练完成；若检测精度不满足要求，则在因果模型中加入降噪器C ^I ，接着将训练数据集输入到因果模型中训练直至精度满足要求，从而获得演进因果模型，继而模型训练完成；本发明在不观察混杂因子的情况下能够有效准确的检测玻璃表面的洁净度。

Description

一种基于演进因果模型的检测玻璃洁净度的方法

技术领域

本发明涉及玻璃表面洁净度检测技术领域，具体是一种基于演进因果模型的检测玻璃洁净度的方法。

背景技术

随着智能化产品的普及与推广，作为智能化产品重要组成部分的触摸屏的需求量急剧升高，同时对其质量的要求也越来越高。触摸屏的显示部分主要是由玻璃镜片组成，玻璃镜片表面的洁净程度影响着产品的质量以及使用感受，因此对产品玻璃表面洁净度的检测至关重要。

目前玻璃表面的洁净度检测通常由人工完成，工作人员拿起玻璃，在灯光的照射下，检测其表面的洁净程度，这种检测方式效率较低，满足不了生产的要求；并且工作人员手部的二次触摸容易使玻璃再次被污染，导致人工检测失效。除了人工检测，现在工业生产中均采用专业的检测仪器进行检测。检测仪器对玻璃镜片进行拍照识别，并通过一系列算法进行处理，最终得到识别的结果，进而确定玻璃表面的洁净度。在实际检测的时候，由于检测仪器所处的外界环境以及检测仪器本身产生的影响仪器本身的影响，这些影响会导致拍摄的照片产生变化，但是使用的一系列算法无法排出这些影响的干扰，进而导致检测的结果出现错误，因此亟待解决。

发明内容

为了避免和克服现有技术中存在的技术问题，本发明提供了模拟视网膜topic采样作为工具变量的采样机制，并由此提出演进因果模型的检测玻璃洁净度的方法，本发明聚焦因果模型演进建模，达到更好的特征结构和语义表征，能够有效准确的检测玻璃表面的洁净度。

为实现上述目的，本发明提供如下技术方案：

一种基于演进因果模型的检测玻璃洁净度的方法，包括以下步骤：

S1、对玻璃表面进行检测，获取玻璃图片检测信息，将图片标记分类，并分成训练数据集、验证数据集和测试数据集；

S2、应用工具变量I对训练数据集进行采样，将采样的样本数据输入因果模型进行训练，获得因果模型；

S3、将验证数据集输入到因果模型中，测试因果模型的检测精度；若检测精度满足要求，则模型训练完成；若检测精度不满足要求，则在因果模型中加入降噪器C ^I ，接着将训练数据集输入到因果模型中训练直至精度满足要求，从而获得演进因果模型，继而模型训练完成。

作为本发明进一步的方案：采用视网膜topic采样作为所述工具变量I进行采样；所述视网膜topic采样步骤如下：

S21、从训练数据集中任取一张图片，模拟人类的视觉受益于视觉注意和持续的眼动，按照预定的采样范围在该图片上采样；

S22、将该图片位于采样范围的部分划分成多个区域；

S23、将每个区域保存为新的独立的样本数据，作为训练模型的输入。

作为本发明再进一步的方案：采集S22中每个区域的采样中心(x, y)，以此生成视网膜定位罩；并给定视网膜代表中心(x, y)，定义视网膜代表抽样面具r如下所示：

其中i，j是图像像素且i∈(0 ,w)， j∈(0,h)，g(-)是一个非线性映射函数，ε是从[0, 1]中均匀采样的值，τ是采样阈值；因此空间覆盖率α _I 如下所示：

其中，w为图像的宽度，h为图像的高度；

获得玻璃洁净度检测结果Y，Y的计算公式如下：

其中，w ₄ 为X→Y的权重系数，也即因果效应。

作为本发明再进一步的方案：所述视网膜topic采样分为两种情况：

一、视网膜topic采样在玻璃表面的污染源的空间覆盖率α _I 在[0,α ₀ )，模型处于接受因果信息量阶段；

采用不同中心的视网膜topic采样作为工具变量I，其总效应与因果效应的关系如下式所示：

其中，I _i 和I _j 是空间覆盖α _Ii 和α _Ij 的两个视网膜原位采样掩模，通过不断训练最小化L1损失，解耦出更好地表征，剔除混杂因子获得因果效应。

二、视网膜topic采样在玻璃表面的污染源的空间覆盖率α _I 在[α ₀ ,+∞)，模型处于接受混杂信息量阶段；

通过视网膜topic采样机制减小视网膜在混杂因子上的覆盖率α' _I ，总效应与因果效应的关系如下式所示：

模型处于接受混杂信息量阶段；

通过视网膜topic采样机制减小视网膜在混杂因子上的覆盖率α' _I ，总效应与因果效应的关系如下式所示：

其中I _i 和I _j 是空间覆盖α _Ii 和α _Ij 的两个视网膜原位采样掩模，通过不断训练最小化L ₂ 损失，解耦出更好地表征，剔除混杂因子获得因果效应。

作为本发明再进一步的方案：采用神经网络作为因果模型，并根据空间覆盖率α _I 或α′ _I 选择L ₁ 或者L ₂ 作为神经网络的损失函数。

作为本发明再进一步的方案：S1的具体步骤如下：

S11、将玻璃放置在玻璃洁净度检测装置的载物台上，开启可变光源对玻璃表面进行进行不同种光源照射，随后相机进行拍摄，获取图片数据集；

S12、将获取的照片转化成矩阵数据，并标记照片的污染类别；

S13、将S12已经标记污染类别的图片按照预定比例划分成训练数据集，验证数据集和测试数据集；

S14、将训练数据集通过旋转、伸缩和尺度变换后生成新的带标注的训练数据集。

与现有技术相比，本发明的有益效果是：

1、本发明提供了模拟视网膜topic采样作为工具变量的采样机制，达到更好的特征结构和语义表征，能够准确有效的检测玻璃表面的洁净度。

2、本发明提出因果演进模型的检测玻璃洁净度的方法，聚焦因果模型的演进过程建模，符合认识论理论规律，丰富了因果理论基础。

附图说明

图1为本发明的工具变量因果模型。

图2为本发明的理想的因果辨识曲线图。

图3为本发明的演进因果模型示意图。

图4为本发明检测方法的流程示意图。

图5为本发明的深度学习模型图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

工具变量理论：

如图1，现因果模型中存在后门准则的理论，该理论中混杂因子可被能够完全观测到时，可以通过现有因果模型中的后门标准公式（1）计算：

但是混杂因子一般很难被完全观测到，一旦当混杂因子没有被完全观测时后门准则失效。现在使用工具变量I，不需要混杂物观察，但是必须满足以下三个条件：

（1）、（Relevance）变量I满足I是X的直接原因。

（2）、（Exclusion Restriction）I对Y的因果效应由X完全介导。

（3）、（Instrumental Unconfoundedness）I到Y没有畅通无阻的后门路径。满足以上公式就可得到各污染类型的因果效应估计，计算公式如公式（2）所示：

其中，w ₄ 为X→Y的权重系数，也即因果效应。

人类的视觉的持续的眼动可以通过不断地注视物体的不同位置来提高识别的准确性。受人类视觉启发，人眼视网膜被认为是由光感受器和各种其他神经元组成的。视网膜定位采样是这些受体非均匀空间分布的结果，其中中央凹明显比外周的密度大。这意味着一个中心化的面具会导致人类视觉的空间不平衡，即人眼会不自觉的一眼检索到我们所感兴趣的事物。我们认识客观物体随着我们视网膜定位罩所覆盖的空间面积的变化而变化，其变化规律可定性描述如图2所示。

演进过程是类比人类认识事物的过程，随着获取信息量增多，不断增加对事物的了解。就像从门缝中看人，当门只有一条缝时，我们只能看到人的一小部分，甚至更少，由于获取的信息较少，此时我们不能很好的判断是谁；但是随着门缝的增大，我们看到的也就越多，获取的信息也就会越多，因此判断的更加准确。当门全部打开时，我们就可以从不同角度观察人物，并且处人物以外的其他的信息也会被看到；也就是说在能够观察到作为主要判断依据的主体特征外，有引入了其他的干扰特征，进而影响判断的准确性。基于这样的情况，我们提出了演进因果模型，这种演进过程体现在：

（1）、信息耐受性；

（2）、模型演进性。

即我们在可以完全观测到主体特征时，增加一个降噪器C ^I ，减小外界混杂因子对判断结果的影响。如图3所示，为演进因果模型。

生物视觉系统控制着视网膜吸收的光量，对不同光照强度的反应不同。于是在对玻璃表面的洁净度进行检测的时候，相机的曝光量或者外界的光照强度都是需要进行特别的设定的，这是为了获得不同光照强度下的照片，原因如下：

（1）、通过改变光照强度来模拟人类视网膜进光量变化的反应。

（2）、从因果的角度出发，不同的光照强度会干扰图像处理结果；实际生产中很难控制所有拍摄环境的光照强度相同，也即因果干预（dooperator）并不适用，所以通过设置不同的进光量来提高训练模型的鲁棒性。

因果模型建立过程：

对玻璃表面进行检测，获取玻璃图片检测信息，将图片标记分类，并分成训练数据集、验证数据集和测试数据集。

对训练数据集的图片进行视网膜topic采样：首先从训练数据集中任取一张图片，按照预定的采样范围在该图片上采样；接着将该图片位于采样范围的部分均等划分成n个区域，每个区域的采样中心(x, y)；再将每个区域保存为新的独立的样本数据，作为训练模型的输入。

对训练集中的每张图片重复上面的视网膜topic采样操作。

视网膜topic采样采用n个采样中心(x, y)，以此生成视网膜定位罩；选定n个采样中心(x, y)中的一个作为网膜的代表中心(x, y)，定义网膜代表抽样面具r如下公式（3）所示：

其中i，j是图像像素i∈(0 ,w)， j∈(0,h), g(-)是一个非线性映射函数，ε是从[0, 1]中均匀采样的值，τ是采样阈值；因此空间覆盖率α _I 如公式（4）所示：

其中，w为图像的宽度，h为图像的高度；

使用视网膜topic采样，获得玻璃洁净度检测结果Y，Y的计算公式（5）如下：

其中，w ₄ 为X→Y的权重系数，也即因果效应。

从图2中的横坐标可知，空间覆盖率α _I 可以分成两个阶段：

第一个阶段：空间覆盖率α _I 在[0,α₀)：

此时，没有外界混杂因子的干扰，视网膜采样机制模拟人眼的连续眼动过程对污渍进行扫描，随着空间覆盖率的增加，认识逐渐达到极限，工具变量的“工具”特性减弱，即对应的是图3中的（a）向（b）逐渐演进。

第二个阶段：空间覆盖率α _I 在[α₀,+∞）：

此时，玻璃表面的污染源的空间覆盖率逐渐达到最大，并开始覆盖整张图片，并可能伴随不可被观察的混杂因子出现，工具变量的“工具”特性消失，模型演进为是图3中的（c）。

对于图3中的注解：

C、代表环境信息，即混杂因子：主要包括拍照的角度、距离、色温、光照强度，摄像头质量，相机和所处环境在玻璃上的像等物理环境；

X、代表待检测玻璃所的照片；

Y、代表该玻璃的洁净度检测结果，包括识别如灰尘、水、油污等各种污染源；

I、代表工具变量，这里采用类似人眼视网膜掩膜机制；

α' _I 、表示作用于混杂因子C的视网膜覆盖率；

C ^I 、表示经过视网膜topic采样机制过滤后的混杂信息，即C ^I =α' _I C。

因此我们可以利用视网膜topic采样机制原理设计一种基于演进因果模型的检测玻璃洁净度的方法。该方法根据视网膜topic采样覆盖率面积与辨识程度的关系分为两个阶段：

1、如图2所示，视网膜topic采样在玻璃表面的污染源的空间覆盖率α _I 在[0,α ₀ )，模型处于接受因果信息量阶段：

此时从我们的眼角移动到中心，它的可识别性随着其被捕获轮廓的比例单调地增加。因此，因果效应与视网膜定位罩的空间覆盖率线性α _I 对应，而混淆效应则不是。视觉混淆通常是空间中分布不均匀的高频局部分量。因此，可以采用不同中心的视网膜定位采样面具作为工具变量I，它也满足工具变量保证与图像中的任何混杂物都无关的要求，如图1所示。

因此，总效应与因果效应的关系可以写成公式（6）：

其中，C为混杂因子，w ₃ 为C→Y的权重系数；

注意，我们不需要明确地观察上面的C，我们可以通过指定不同的I来直接建模Y ，其损失函数L ₁ 定义为公式（7）：

其中I _i 和I _j 是空间覆盖α _Ii 和α _Ij 的两个视网膜原位采样掩模，通过对模型进行训练，最小化该损失函数即可以使模型抑制混杂效应，解耦到真正检测玻璃洁净度的判别信息。

2、如图2所示，视网膜topic采样在玻璃表面的污染源的空间覆盖率α _I 在[α ₀ ,+∞)，模型处于接受混杂信息量阶段：

当我们视网膜topic采样超过一定值时，我们已经辨识玻璃的洁净状态的能力已经达到极限，增加我们在污染源上的视网膜topic采样面积并不对会我们检测污染源或者是否有污染带来收益。当α大于100%，因果模型转为图2接受混杂信息量阶段所示，若继续增加覆盖率反而可能引入更多混杂因子，分散定位采样的注意力，降低辨识度。

对于混杂因子可被完全观察的玻璃洁净度检测任务，我们同样可以利用视网膜topic定位采样机制降低对混杂因子C→Y影响。通过视网膜topic定位采样机制减小视网膜在混在因子上的覆盖率α' _I ，也即C→Y中间加一个C ^I 降噪器 ，通过α' _I 控制消除混杂因子带来的不利影响。

此时，总效应与因果效应的关系转变为公式（8）所示：

其损失函数可定义为L ₂ ，其计算公式如公式（9）所示：

通过对模型进行训练，最小化该损失函数即可以使模型抑制混杂效应，解耦到真正检测玻璃洁净度的判别信息。

训练模型的主体构架采用神经网络，可以是前馈神经网络、循环神经网络或者对称连接网络。将视网膜topic采样后形成的新的视网膜定位采样的采样样本作为神经网络的输入，根据空间覆盖率α _I 将得到的损失函数L ₁ 用作神经网络的损失函数，进行因果模型训练。将验证数据集输入到因果模型中，检测模型的进度，符合进度要求，模型训练完成，输出因果模型；若不满足精度要求，则增加降噪器，将获得的损失函数L ₂ 用作神经网络的损失函数，进行因果模型训练，模型训练完成，输出演进因果模型。

请参阅图1～5，本发明实施例中，一种基于演进因果模型的检测玻璃洁净度的方法，将玻璃放置在玻璃洁净度检测装置的载物台上，开启光源对玻璃表面进行照射，光源的亮度色温和光照强度可调节并及时用相机进行拍摄，这种功能通过控制被吸收的光来模拟人眼对环境中不同光照强度的反应；随后相机进行拍摄，获取图片数据集。

获取图片以后，根据污染物的类型，对图片进行分类，并根据类别为图片打上标签。再将前一步已经标记污染类别的图片按照6: 2 : 2的比例划分成训练数据集，验证数据集和测试数据集。

对训练数据集的图片进行视网膜topic采样，对呈现在视网膜中的图片面积进行划分，划分成多个视网膜掩膜采样样本，在本实施例中，分成了9份。

把生成的采样样本输入到ResNet101网络中，卷积核进行卷积运算，深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行迭代训练后得到深度学习模型；在每个epoch完成后，将验证集数据集用来测试一下当前模型的准确率。把测试数据集合输入到深度学习模型，由深度学习模型输出玻璃清洁程度的置信度。

深度卷积神经网络Res101构成：

第1层：conv1卷积层+批量归一化+relu激活层+Maxpool；

第2~10层：layer1; 第11～22层–layer2；

第23～91层(233)：layer3; 第92～100层–layer4；

第101层：avgpool层+全连接层。

全连接层将学到的“分布式特征表示”映射到样本标记空间的作用，通过Softmax层作为最后的输出。当Softmax层输出的值在0-1区间，其中[0-0.9)表示玻璃带有污渍，(0.9-1]表示玻璃比较干净。并通过全连接层和Softmax层，将灰尘、油渍、水滴等各类污染源映射，实现对各种污染源玻璃的分类，便于清洗处理。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于演进因果模型的检测玻璃洁净度的方法，其特征在于，包括以下步骤：

S1、对玻璃表面进行检测，获取玻璃图片检测信息，将图片标记分类，并分成训练数据集和验证数据集；

S2、应用工具变量I对训练数据集进行采样并获得采样的样本数据，将该样本数据输入预先设定的训练模型进行训练，训练模型训练完成后形成因果模型；

S3、将验证数据集输入到因果模型中，测试因果模型的检测精度；若检测精度满足要求，则模型训练完成；若检测精度不满足要求，则在因果模型中加入降噪器C ^I ，接着将训练数据集输入到因果模型中训练直至精度满足要求，从而获得演进因果模型，继而模型训练完成。

2.根据权利要求1所述的一种基于演进因果模型的检测玻璃洁净度的方法，其特征在于，采用视网膜topic采样作为所述工具变量I进行采样；所述视网膜topic采样步骤如下：

S21、从训练数据集中任取一张图片，按照预定的采样范围在该图片上采样；

S22、将该图片位于采样范围的部分划分成多个区域；

S23、将每个区域保存为新的独立的样本数据，该样本数据作为训练模型的输入。

3.根据权利要求2所述的一种基于演进因果模型的检测玻璃洁净度的方法，其特征在于，采集S22中每个区域的采样中心(x, y)，以此生成视网膜定位罩；并给定视网膜代表中心(x, y)，定义视网膜代表抽样面具r如下所示：

其中i，j是图像像素且i∈(0 ,w)， j∈(0,h)，g(-)是一个非线性映射函数，ε是从[0,1]中均匀采样的值，τ是采样阈值；因此空间覆盖率α _I 如下所示：

其中，w为图像的宽度，h为图像的高度；

获得玻璃洁净度检测结果Y，Y的计算公式如下：

其中，w ₄ 为X→Y的权重系数，也即因果效应。

4.根据权利要求3所述的一种基于演进因果模型的检测玻璃洁净度的方法，其特征在于，所述视网膜topic采样分为两种情况：

一、视网膜topic采样在玻璃表面的污染源的空间覆盖率α _I 在[0,α ₀ )，模型处于接受因果信息量阶段；

采用不同中心的视网膜topic采样作为工具变量I，其总效应与因果效应的关系如下式所示：

其中，C为混杂因子，w ₃ 为C→Y的权重系数；

损失函数为L ₁ ，其计算公式如下式所示：

其中，I _i 和I _j 是空间覆盖α _Ii 和α _Ij 的两个视网膜原位采样掩模；

二、视网膜topic采样在玻璃表面的污染源的空间覆盖率α _I 在[α ₀ ,+∞)，模型处于接受混杂信息量阶段；

通过视网膜topic采样机制减小视网膜在混杂因子上的覆盖率α' _I ，总效应与因果效应的关系如下式所示：

其中，C为混杂因子，w ₃ 为C→Y的权重系数；

损失函数为L ₂ ，其计算公式如下式所示：

其中I _i 和I _j 是空间覆盖α _Ii 和α _Ij 的两个视网膜原位采样掩模。

5.根据权利要求4所述的一种基于演进因果模型的检测玻璃洁净度的方法，其特征在于，采用神经网络作为因果模型算法的主体框架，并根据空间覆盖率α _I 或者α′ _I 选择L ₁ 或者L ₂ 作为神经网络的损失函数。

6.根据权利要求1-5中任一项所述的一种基于演进因果模型的检测玻璃洁净度的方法，其特征在于，S1的具体步骤如下：

S11、将玻璃放置在玻璃洁净度检测装置的载物台上，开启光源对玻璃表面进行照射，随后相机进行拍摄，获取图片数据集；

S12、将获取的照片转化成矩阵数据，并标记照片的污染类别；

S13、将S12已经标记污染类别的图片按照预定比例划分成训练数据集，验证数据集和测试数据集；

S14、将训练数据集通过旋转、伸缩和尺度变换后生成新的带标注的训练数据集。

Images