CN108508018A - 一种基于图像数据的质量监控方法 - Google Patents

Abstract

本发明公开了一种基于图像数据的质量监控方法：1)获取图像数据：采集的图像减去标准图像后，对该图像进行区域划分，并计算每个区域的像素均值，将图像转化为一个多维向量，从而获取图像数据；2)统计量计算：分别构建参考图像集和实时图像集，将分为n组的参考图像集分别与实时图像集进行分类器计算，得到n个参考图像集分类准确率并求均值，得到最终的统计量；3)质量过程控制：通过过程控制第一阶段得到控制线，通过过程控制第二阶段得到失控产品，明确失控时间；对失控产品绘制该产品面向各个区域的重要性控制图，明确失控产品的缺陷位置。本发明能实现对生产过程的监控，并在过程失控时，及时找到产品缺陷发生的时间和位置。

Description

一种基于图像数据的质量监控方法

技术领域

本发明涉及质量控制，特别涉及一种基于图像数据的质量监控方法。

背景技术

图像数据是通过机器视觉系统采集的产品相关数据，可以反映产品的尺寸，形状等几何信息以及产品的表面粗糙度，均匀度等纹理信息。机器视觉系统是与图像采集装置集合的计算机系统，通过相机采集产品图像，传输到计算机进行相关图像处理，并根据需要进行一定的算法计算，满足产品识别，质量检测等目的。

质量监控是对产品生产过程的质量进行监测，控制。其中一种有效的方法是统计过程控制(SPC)，通过数理统计方法对生产过程的数据进行分析，当生产处于受控状态时，生产仅受随机误差的影响，过程服从一定的随机分布，当生产处于失控状态时，过程的分布会发生变化，通过对过程分布的参数进行监控实现对生产过程的质量控制。

Real-Time Contest方法可将过程控制问题转化为分类问题。其原理是将数据分为参考数据和实时数据，分别赋予类别0和类别1，通过一定的分类器对两类数据进行分类，当过程发生变化时，分类的准确率或错误率也会发生变化，通过对分类准确率或错误率进行监控，从而实现过程控制的目的。

产品生产装配过程中，对于产品的表面缺陷，例如划痕、凹陷等，传统采用人工检测，而这种方法速度慢，可靠性差。机器视觉为产品质量检测提供一种新的方法，为使机器视觉应用在产品的质量过程控制中，可将机器视觉与统计过程控制方法结合，即可将产品图像数据应用在统计过程控制中。产品图像数据具有高维，数据量大等特点，同时，不仅要通过图像数据监控生产过程受控与否，在过程失控时，要及时反映出失控的原因，即要及时找到产品表面缺陷发生的时间和位置，因此，有必要研究针对图像数据的过程质量控制方法。

发明内容

本发明针对产品图像数据高维，数据量大等特点，提供一种高效的质量监控方法，实现对生产过程的监控，并在过程失控时，及时找到产品缺陷发生的时间和位置。

本发明所采用的技术方案是：一种基于图像数据的质量监控方法，包括以下步骤：

步骤1，获取图像数据：对每个产品采集w张图像，将采集的图像进行预处理，并选择一张合格产品的图像作为标准图像，将其他经过预处理的产品图像减去标准图像，得到去掉产品冗余信息的图像，对去掉产品冗余信息的图像进行区域划分，并计算每个区域的像素均值，将图像转化为一个多维向量，从而获取图像数据；

步骤2，统计量计算：通过步骤1产生的图像数据分别构建参考图像集和实时图像集；将参考图像集根据产品分为n组，并将这n组参考图像集分别与实时图像集进行分类器计算，得到n个参考图像集分类准确率；对这n个分类准确率求均值，得到最终的统计量；

步骤3，质量过程控制：通过过程控制第一阶段得到控制线，通过过程控制第二阶段得到失控产品，明确失控时间；对失控产品绘制该产品面向各个区域的重要性控制图，明确失控产品的缺陷位置。

进一步的，步骤1具体包括以下步骤：

1-1采集图像

通过图像采集装置采集产品图像，需要保证每个产品在相同的位置和环境下进行采集，每个产品采集w张图片，第t个产品的图像记作

1-2图像预处理

对获得的原始图像进行一系列操作，降低环境因素对图像的影响，同时减少冗余数据提高计算效率；所述的一系列操作包括：图像灰度化、调整图像尺寸大小、图像压缩、增强图像对比度；

1-3与标准图像对比

选择一张合格产品的图像，将合格产品的图像经过预处理操作后得到的图像称为标准图像；其他每个经过预处理操作的产品图像与标准图像进行图像配准操作，继而用每个产品的图像减去标准图像，以去掉产品的冗余信息，使缺陷突出；

1-4获取图像数据

将步骤1-3得到的图像进行区域划分；根据要检测的缺陷尺寸大小将图像划分成一定尺寸的可重叠的矩形区域，重叠尺寸根据需要设置；每个矩形区域内包含多个像素点，对这些像素点的像素值取均值，作为该区域的图像数据；假定图像划分为q个可重叠区域，则该图像可以用一个q维向量X＝(x₁,x₂,…,x_i,…,x_q)′来表示，其中x_i即为图像第i个区域对应的特征变量。

进一步的，步骤2具体包括以下步骤：

2-1产生参考图像集

选择n个合格产品，通过步骤1产生的图像数据构成参考图像集，记作 S₀＝{X₁,X₂,…,X_m,…,X_n}，其中每个产品包含w张图像，即其中图像代表一个q维向量；

2-2产生实时图像集

对于t时刻待检测的一个产品，通过步骤1产生的图像数据构成实时图像集，记作其中图像代表一个q维向量；

2-3计算统计量

将参考图像集标记为类别0，将实时图像集标记为类别1；将参考图像集根据产品划分为组，即每个产品的w张图像为一组，共划分为n组，分别记作此时，每一组参考图像集的图像量与实时图像集的图像量相同；将这n组参考图像集分别与实时图像集S_w进行分类器计算；采用随机森林分类器，得到的参考图像集分类准确率分别记作

其中

其中为随机森林分类器计算得到的每张图像被估计为类别0的概率；

对这n个参考图像集分类准确率求均值，得到最终的统计量

进一步的，步骤3具体包括以下步骤：

3-1过程控制第一阶段

首先，通过步骤2-1产生参考图像集；接着选择一定量符合质量要求的产品，通过步骤2-2产生相应数量的实时图像集；通过步骤2-3分别进行统计量计算；采用计算机仿真的方法，用这些统计量求出一定ARL₀下的控制线h；

3-2过程控制第二阶段

将对应生产视为产品流，对待检测的产品分别通过步骤2-2产生对应的实时图像集，并与结合步骤3-1中的参考图像集，依次通过步骤2-3求出对应的统计量，绘制控制图，对过程进行监控，当过程失控时，依据失控产品判断缺陷发生的时间；通过随机森林同时得到各个区域的重要性，绘制重要性控制图，观测不同区域特征变量的变化；

3-3失控产品诊断

首先通过合格产品的变量重要性，用计算机仿真的方法估算在一定ARL₀下的重要性控制线；接着针对步骤3-2中失控的产品，单独绘制该产品面向各个区域的重要性控制图，超出重要性控制线的变量对应的区域将在产品图像中绘出，这些区域的重叠部分即为缺陷位置。

本发明的有益效果是：

1、本发明的一种基于图像数据的质量监控方法，通过将Real-Time Contest 方法改进，将图像的质量监控问题转化为分类问题，通过对同一产品采集多张图像，同时将参考图像集分组的方法解决了分类不平衡问题，实现快速高效地检测失控产品。

2、本发明的一种基于图像数据的质量监控方法，对于失控产品可以同时计算其变量重要性，从而确定变量发生变化的区域，即可以同时检测缺陷发生的时间和缺陷所在位置。

附图说明

图1为合格产品；

图2为缺陷产品；

图3为标准图像；

图4为产品质量过程控制图；

图5为产品重要性控制图；

图6为缺陷产品面向各区域的重要性控制图；

图7为缺陷区域及缺陷位置；

图8为获取图像数据流程图；

图9为过程控制第一阶段流程图；

图10为过程控制第二阶段流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：

实施例1

以附图1为例实现过程质量监控并找到缺陷发生的时间及缺陷位置。

步骤1，获取图像数据：对每个产品采集w张图像，将采集的图像进行预处理，并选择一张合格产品的图像作为标准图像，将其他经过预处理的产品图像减去该标准图像，得到去掉产品冗余信息的图像，对去掉产品冗余信息的图像进行区域划分，并计算每个区域的像素均值，将图像转化为一个多维向量，从而获取图像数据；具体包括以下步骤：

1-1采集图像

通过图像采集装置(如相机)采集产品图像，如附图1和图2，需要保证每个产品在相同的位置和环境下进行采集，每个产品采集10张图片，第t个产品的图像记作

1-2图像预处理

对获得的产品图像进行一系列操作，降低光照等环境因素对图像的影响，同时尽量减少冗余数据提高计算效率。对附图1进行以下操作：图像灰度化、调整图像尺寸大小使其像素尺寸为200*200、图像压缩、增强图像对比度。

1-3与标准图像对比

选择一张合格产品的图像，将其经过预处理操作后得到的图像称为标准图像。如附图3。其他每个经过预处理操作的产品图像与该标准图像进行图像配准操作，继而用每个产品的图像减去标准图像，该操作可以去掉产品的冗余信息，使缺陷突出。

1-4获取图像数据

将步骤1-3得到的图像进行区域划分。根据要检测的缺陷尺寸大小将图像划分成像素尺寸为20*20的可重叠矩形区域，水平和垂直方向的重叠尺寸均为10。每个矩形区域内包含多个像素点，对这些像素点的像素值取均值，作为该区域的图像数据。假定图像划分为361个可重叠区域，则该图像可以用一个361维向量 X＝(x₁,x₂,…,x_i,…,x₃₆₁)′来表示，其中x_i即为图像第i个区域对应的特征变量。

步骤2，统计量计算：通过步骤1产生的图像数据分别构建参考图像集和实时图像集；将参考图像集根据产品分为n组，并将这n组参考图像集分别与实时图像集进行分类器计算，得到n个参考图像集分类准确率；对这n个分类准确率求均值，得到最终的统计量。具体包括以下步骤：

2-1产生参考图像集

选择50个符合质量要求的产品，通过步骤1产生的图像数据构成参考图像集，记作S₀＝{X₁,X₂,…,X_m,…,X₅₀}，其中每个产品包含10张图像，即其中图像代表一个361维的向量。

2-2产生实时图像集

对于t时刻待检测的一个产品，通过步骤1产生的图像数据构成实时图像集，记作其中图像代表一个361维的向量。

2-3计算统计量

将参考图像集标记为类别0，将实时图像集标记为类别1。由于两类图像集数量相差较大，直接分类会导致数据不平衡问题。因此，将参考图像集根据产品划分为组，即每个产品的10张图像为一组，共划分50组，分别记作此时，每一组参考图像集的图像量与实时图像集的图像量相同。将这n组参考图像集分别与实时图像集S₁进行分类器计算。采用随机森林分类器，得到的参考图像集分类准确率分别记作

其中

其中为随机森林分类器计算得到的每张图像被估计为类别0的概率。

对这50个参考图像集分类准确率求均值，得到最终的统计量

步骤3，质量过程控制：通过过程控制第一阶段得到控制线，通过过程控制第二阶段得到失控产品，明确失控时间；对失控产品绘制该产品面向各个区域的重要性控制图，明确失控产品的缺陷位置。具体包括以下步骤：

3-1过程控制第一阶段

首先，通过步骤2-1产生参考图像集；其次，选择1000个符合质量要求的产品，通过步骤2-2产生相应数量的实时图像集；通过步骤2-3分别进行统计量计算。通过计算机仿真得到在ARL₀＝200下的控制线h＝0.4956。

3-2过程控制第二阶段

对待检测的产品(对应生产可视为产品流)，如附图1和附图2，前20个产品为合格产品，后30个产品为缺陷产品。分别通过步骤2-2产生对应的实时图像集，结合步骤3-1中的参考图像集，通过步骤2-3求出对应的统计量。绘制控制图，对过程进行监控，当过程失控时，依据失控产品判断缺陷发生的时间，如附图4，从中可以看到从产品21开始，过程失控。通过随机森林可以同时得到各个区域的重要性(随机森林分类器可以评估不同变量特征的重要程度，通过 Gini指数计算各个变量的重要性，这个过程在不同软件中有相应函数可以直接计算，这里不再介绍其原理)，绘制重要性控制图，观测不同区域特征变量的变化，如附图5，不同线条代表不同的区域变量。从中也可以看到从产品21开始，一些区域的变量重要性发生变化。

3-3失控产品诊断

通过合格产品的变量重要性，用计算机仿真得到在ARL₀＝200下重要性控制线h＝0.1636。针对步骤3-2中失控的产品，以产品21为例，单独绘制该产品面向各个区域的重要性控制图，如附图6，超出重要性控制线的变量对应的区域将在产品图像中绘出，这些区域的重叠部分即为缺陷位置，如附图7，其中黑色矩形为失控区域，深灰色矩形为重叠部分，即为缺陷位置。

尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于图像数据的质量监控方法，其特征在于，包括以下步骤：

步骤1，获取图像数据：对每个产品采集w张图像，将采集的图像进行预处理，并选择一张合格产品的图像作为标准图像，将其他经过预处理的产品图像减去标准图像，得到去掉产品冗余信息的图像，对去掉产品冗余信息的图像进行区域划分，并计算每个区域的像素均值，将图像转化为一个多维向量，从而获取图像数据；

步骤2，统计量计算：通过步骤1产生的图像数据分别构建参考图像集和实时图像集；将参考图像集根据产品分为n组，并将这n组参考图像集分别与实时图像集进行分类器计算，得到n个参考图像集分类准确率；对这n个分类准确率求均值，得到最终的统计量；

步骤3，质量过程控制：通过过程控制第一阶段得到控制线，通过过程控制第二阶段得到失控产品，明确失控时间；对失控产品绘制该产品面向各个区域的重要性控制图，明确失控产品的缺陷位置。

2.根据权利要求1所述的一种基于图像数据的质量监控方法，其特征在于，步骤1具体包括以下步骤：

1-1采集图像

通过图像采集装置采集产品图像，需要保证每个产品在相同的位置和环境下进行采集，每个产品采集w张图片，第t个产品的图像记作

1-2图像预处理

对获得的原始图像进行一系列操作，降低环境因素对图像的影响，同时减少冗余数据提高计算效率；所述的一系列操作包括：图像灰度化、调整图像尺寸大小、图像压缩、增强图像对比度；

1-3与标准图像对比

选择一张合格产品的图像，将合格产品的图像经过预处理操作后得到的图像称为标准图像；其他每个经过预处理操作的产品图像与标准图像进行图像配准操作，继而用每个产品的图像减去标准图像，以去掉产品的冗余信息，使缺陷突出；

1-4获取图像数据

将步骤1-3得到的图像进行区域划分；根据要检测的缺陷尺寸大小将图像划分成一定尺寸的可重叠的矩形区域，重叠尺寸根据需要设置；每个矩形区域内包含多个像素点，对这些像素点的像素值取均值，作为该区域的图像数据；假定图像划分为q个可重叠区域，则该图像可以用一个q维向量X＝(x₁,x₂,…,x_i,…,x_q)′来表示，其中x_i即为图像第i个区域对应的特征变量。

3.根据权利要求1所述的一种基于图像数据的质量监控方法，其特征在于，步骤2具体包括以下步骤：

2-1产生参考图像集

选择n个合格产品，通过步骤1产生的图像数据构成参考图像集，记作S₀＝{X₁,X₂,…,X_m,…,X_n}，其中每个产品包含w张图像，即其中图像代表一个q维向量；

2-2产生实时图像集

对于t时刻待检测的一个产品，通过步骤1产生的图像数据构成实时图像集，记作其中图像代表一个q维向量；

2-3计算统计量

将参考图像集标记为类别0，将实时图像集标记为类别1；将参考图像集根据产品划分为组，即每个产品的w张图像为一组，共划分为n组，分别记作此时，每一组参考图像集的图像量与实时图像集的图像量相同；将这n组参考图像集分别与实时图像集S_w进行分类器计算；采用随机森林分类器，得到的参考图像集分类准确率分别记作

其中

其中为随机森林分类器计算得到的每张图像被估计为类别0的概率；

对这n个参考图像集分类准确率求均值，得到最终的统计量

4.根据权利要求1所述的一种基于图像数据的质量监控方法，其特征在于，步骤3具体包括以下步骤：

3-1过程控制第一阶段

首先，通过步骤2-1产生参考图像集；接着选择一定量符合质量要求的产品，通过步骤2-2产生相应数量的实时图像集；通过步骤2-3分别进行统计量计算；采用计算机仿真的方法，用这些统计量求出一定ARL₀下的控制线h；

3-2过程控制第二阶段

将对应生产视为产品流，对待检测的产品分别通过步骤2-2产生对应的实时图像集，并与结合步骤3-1中的参考图像集，依次通过步骤2-3求出对应的统计量，绘制控制图，对过程进行监控，当过程失控时，依据失控产品判断缺陷发生的时间；通过随机森林同时得到各个区域的重要性，绘制重要性控制图，观测不同区域特征变量的变化；

3-3失控产品诊断

首先通过合格产品的变量重要性，用计算机仿真的方法估算在一定ARL₀下的重要性控制线；接着针对步骤3-2中失控的产品，单独绘制该产品面向各个区域的重要性控制图，超出重要性控制线的变量对应的区域将在产品图像中绘出，这些区域的重叠部分即为缺陷位置。