CN111145163B - 一种纸张褶皱缺陷检测方法及装置 - Google Patents

Abstract

本发明公开一种纸张褶皱缺陷检测方法及装置，该方法包括：获取待检测图像和待训练图像；对待检测图像和待训练图像进行预处理，以提取出待检测图像的纸区图像范围以及待训练图像的纸区图像范围；采用预设的检测模型及其训练好的模型参数，计算当前待检测图像的纸区图像范围的每个像素点分类，并分析每个像素点是褶皱的概率值，根据所得的每个像素点是褶皱的概率值来获得褶皱区域；其中，检测模型包括特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值。本申请的上述纸张褶皱缺陷检测方法，通过采用逐个像素进行分类，具有漏检风险极低的优势，同时具有较高的检测精度和在线检测实时性。

Description

一种纸张褶皱缺陷检测方法及装置

技术领域

本发明属于图像检测技术领域，具体涉及一种在线的纸张褶皱缺陷检测方法及装置。

背景技术

纸张褶皱是由于印刷过程中纸张不平整，在经过滚筒时受压不均而造成的褶痕。褶皱区域易出现油墨缺印、印刷变形等严重印刷缺陷，对印刷质量造成很大风险。传统方法检测纸张褶皱主要有以下步骤：

步骤1，使用线阵CCD相机、镜头、特制红外光源及展平装置对滚筒上运动的印刷品进行红外成像；

步骤2，用卷积算子对采集图像提取出褶皱特征，消除纸张不平整产生的阴影；

步骤3，检测图像与检测的模板匹配一致，得到褶皱残差图像；

步骤4，根据褶皱BLOB特征，根据参数设置报出褶皱错误。

图1是纸张褶皱图像，图2是采用上述步骤的传统检测纸张褶皱的方法的处理结果图，如图所示，由于采用卷积算子提取边缘特征，易受到图像纹理的干扰，在图像纹理处无法准确判断是否存在褶皱，存在检测弱项。

参见《高等数学下册》同济大学出版社，第九章第7节的说明：在微积分中，一维函数的一阶微分定位为：

而图像是一个二维函数f(x，y)，所以根据上式可以导出其偏微分形式：

因为图像是一个离散二维函数，最小的ε就是1个像素，因此上述偏微分变成如下形式：

其中(gx，gy)为图像在(x，y)点处x方向和y方向的梯度，即2个相邻像素之间的差值。沿着梯度方向的像素的值，就是灰度值。

发明内容

在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

针对传统技术图纹边缘难以剔除、存在检测弱项，根据本申请的一方面，提供一种纸张褶皱缺陷检测方法，其包括：

获取待检测图像和待训练图像；

对待检测图像和待训练图像进行预处理，以提取出待检测图像的纸区图像范围以及待训练图像的纸区图像范围；

采用预设的检测模型及其训练好的模型参数，计算当前待检测图像的纸区图像范围的每个像素点分类，并分析每个像素点是褶皱的概率值，根据所得的每个像素点是褶皱的概率值来获得褶皱区域；

其中，所述检测模型包括特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值。

进一步的，所述检测模型还包括对检测模型进行训练的过程：为平衡检测模型的正负样本数量，根据待训练图像(自然褶皱图像)的特征自动生成褶皱。其中，自动生成褶皱包括：首先在待训练图像的纸区图像范围内随机生成若干关键点，然后通过这些关键点拟合一条曲线(包括折线)，最后针对曲线上的每个位置，拟合一条正弦曲线对梯度方向的灰度值进行加权，模拟褶皱在固定光照环境下的灰度分布情况，即可生成一条模拟褶皱。

针对检测模型进行训练，由于生成过程中自然产生的褶皱数量较少，为了平衡正负样本数量，本申请创造性的设计根据自然褶皱图像的特征自动生成褶皱，以提高检测的精度和检测结果的准确度，具体的，自动生成褶皱包括：

在待训练图像的纸区图像范围内随机生成若干关键点，将p_i(x_i，y_i)表示第i个关键点，其中i∈[2，n]；

将这些关键点拟合为曲线c，其中可以通过关键点的数量来确定拟合函数的阶数，最多可以选取n-1阶多项式来作为目标函数，曲线c表示为如下形式：

其中a为需要求解的参数列向量，a是由[a₂，a₃，……，a_n]构成的向量，(x_i，f(x)_i)也即p_i；其中，n表示关键点个数，i表示多项式阶数，a_i表示多项式系数，f(x)_i表示通过x_i计算出来的结果，x^i-1表示x的i-1次方。在求得参数向量a之后，在待训练图像的纸区图像范围中画出对应的曲线c。首先统计关键点的坐标轴方向两个端点坐标[x₀，x₁]，然后按照一定的采样间隔得到一系列采样点[x₀，x_s1，x_s2，......x_sv，x₁]，根据公式(1)计算出对应的y值[y₀，y_s1，y_s2，......y_sv，y₁]，，最后将该点与上一点连接。计算完所有采样点[x₀，x_s1，x_s2，......x_sv，x₁]后，可以得到一系列分段连续的曲线，v+2等于总的采样点数量。

针对曲线c上的每个位置q，可以取k个近邻点拟合一段局部二次曲线g。其目标函教如下所示：

其中[b₁，b₂，b₃]^T为所求参数。g(x)即为k个近邻点拟合的一段局部二次曲线，x_m表示q的第m个近邻点。在求得参数[b₁，b₂，b₃]^T后，根据g(x)可计算q位置的梯度。为了模拟真实褶皱在单角度光源下的图像灰度分布，可预先设置一个参数W，代表褶皱宽度。在q的梯度方向以q为中心，W为半径等间距采样d个点，根据单周期正弦函数的图像分布，可以将[0，π/2，π，3π/2，2π]的正弦值[0，1，0，-1，0]对应到[0，d/4，d/2，3d/4，d]位置的点，组成五对采样点，并用这五对点拟合一条3次曲线，从而计算出d个点对应的d个灰度加权值ω。并根据(3)式：

gray_dst＝gray_src+gray_src*ω (3)

得到q位置的沿梯度方向褶皱图像；gray_src表示当前像素原始的灰度值；

最后将曲线c上的每个点都依次按上述针对曲线c上的每个位置q取k个近邻点拟合一段局部二次曲线g的步骤计算各位置的褶皱图像，就生成了最终模拟褶皱的图像。

其中，利用检测模型训练好的模型参数，对待检测图像进行褶皱分类以识别出该待检测图像中的褶皱区域。该步骤具体包括：通过检测模型生成一张对应的褶皱概率图，然后通过二值化，形态学操作提取出满足预置条件的高概率像素，最后对二值化后的高概率像素进行连通域提取和标记以获得褶皱区域。

进一步的，建立检测模型具体是：首先对图像进行特征编码，将图像投影到编码空间，然后进行解码，得到与输入图像相同分辨率的特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值；该模型通过反向传播法进行参数更新并完成训练。

根据本申请的另一方面，提供一种纸张褶皱缺陷检测装置，其包括：

获取装置，用于获取待检测图像和待训练图像；

预处理装置，用于对待检测图像和待训练图像进行预处理，以提取出待检测图像的纸区图像范围以及待训练图像的纸区图像范围；

褶皱分析装置，用于采用预设的检测模型及其训练好的模型参数，计算当前待检测图像的纸区图像范围的每个像素点分类，并分析每个像素点是褶皱的概率值，根据所得的每个像素点是褶皱的概率值来获得褶皱区域；

其中，所述检测模型包括特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值。优选的，所述检测模型还包括对检测模型进行训练的过程：根据待训练图像的特征自动生成褶皱，以平衡检测模型的正负样本数量。

具体的，根据待训练图像的特征自动生成褶皱包括：首先在待训练图像的纸区图像范围内随机生成若干关键点，然后通过这些关键点拟合一条曲线，最后针对曲线上的每个位置，拟合一条正弦曲线对梯度方向的灰度值进行加权，模拟褶皱在固定光照环境下的灰度分布情况，即可生成一条模拟褶皱。

该纸张褶皱检测方法，包括对纸张图像的预处理，检测模型的建立，检测模型的训练，以及检测模型的在线使用等几大步骤。与现有技术相比，本申请的方法具有如下优点：

1.现有技术中，对于每个像素点除了判断是否为疑似褶皱像素点，判断还需判断是否为纹理边缘。本申请的上述纸张褶皱缺陷检测方法通过根据自然褶皱图像的特征自动生成褶皱以平衡检测模型的正负样本数量，使得其仅需要对每个像素点分类并判断是否为褶皱像素点即可，无需同时判断是否为纹理边缘；

2.现有技术处理后的图像仍有纹理干扰，本申请通过预先提取出纸区图像范围，使得成像环境相对较好，图像背景无胶印条纹、颜色变化、胶凹套印等因素干扰；

3.现有技术是采用整个区域进行对比，存在整个褶皱区域全部错分的情况，漏废风险高。本申请通过采用逐个像素进行分类，及时存在一定错分概率，但不会将整个褶皱区域全部错分，漏废风险极低；

4.精度更高，本申请可满足检测精度要求和在线检测实时性的要求；

5.对于凹印边缘等区域，不存在检测弱项，检测结果明显优于背景算法；

6.现有技术需要根据不同的成像条件、不同检测品种设定不同的检测参数，不利于标准一致性管控。本申请的方案，可使行业内使用同一套深度学习训练结果，利用进行标准一致性管控。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附

图中：

图1是纸张褶皱图像示意图；

图2是采用传统检测纸张褶皱的方法的对图1处理的结果示意图。

图3是本实施例中检测纸张褶皱方法的流程图；

图4是采用本发明的检测纸张褶皱方法对图1处理的结果示意图。

具体实施方式

下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

作为一个具体的实施例，本申请的纸张褶皱检测方法，包括对纸张图像的预处理，检测模型的建立，检测模型的训练，以及检测模型的在线使用等几大步骤，参见图3，其具体包括如下过程：

步骤1，获取待检测图像和待训练图像，并对纸张图像进行预处理，以提取出待检测图像的纸区图像范围以及待训练图像的纸区图像范围；预处理过程可以是首先通过人工划定大概纸区范围，然后利用算法在人工划定范围内进行搜边，从而精确提取出纸区图像范围；当然，也可以是通过算法自动纸区图像范围；

步骤2，预先建立检测模型：该模型首先对图像进行特征编码，将图像投影到编码空间，然后进行解码，得到与输入图像相同分辨率的特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值。其中编码器和解码器通过卷积神经网络实现，整个模型通过反向传播法进行参数更新并完成训练；

步骤3，对检测模型进行训练：由于生成过程中自然产生的褶皱数量较少，为了平衡正负样本数量，根据待训练图像的特征自动生成褶皱，该自动生成褶皱算法首先在待训练图像的纸区图像范围内随机生成一些关键点，然后通过这些关键点拟合一条曲线/折线，最后针对曲线/折线上的每个位置，拟合一条正弦曲线对梯度方向的灰度值进行加权，模拟褶皱在固定光照环境下的灰度分布情况，通过上述三个步骤即可生成一条模拟褶皱；

步骤4，利用步骤2和步骤3中检测模型训练好的模型参数，对待检测图像进行褶皱分类以识别出该待检测图像中的褶皱区域。该步骤具体包括：通过检测模型生成一张对应的褶皱概率图，然后通过二值化，形态学操作提取出满足预置条件的高概率像素，最后通过blob分析标识出图像中的褶皱区域，blob分析是指对二值化后的高概率像素进行连通域提取和标记以获得褶皱区域。

其中步骤3中，本申请在检测模型的训练过程中，特别的增设了自动产生纸张褶皱图像的算法，由于生成过程中自然产生的褶皱数量较少，为了平衡正负样本数量，进而根据待训练图像的特征来自动生成褶皱。

自动产生纸张褶皱图像的算法包括如下具体步骤：

首先在待训练图像的纸区图像范围内随机生成一些关键点，可用p_i(x_i，y_i)表示第i个关键点，其中i∈[2，n]。

然后通过这些关键点拟合一条曲线/折线c，其中可以通过关键点的数量来确定拟合函数的阶数，最多可以选取n-1阶多项式来作为目标函数，可以写成如下形式：

其中a为需要求解的参数列向量，a是由[a₂，a₃，……，a_n]构成的向量，(x_i，f(x)_i)就等于p_i。

在求得参数向量a之后，可以在待训练图像的纸区图像范围中画出对应的曲线c。由于关键点是随机选取的，没有考虑采样频率采样间隔等因素，从而导致拟合出来的曲线和实际预期中的曲线不太一样，有的地方会出现断点或者在图像区域外等问题。由于待训练图像(自然褶皱图像)本身存在间断和不连续，不规则等情况，所以对上述两个问题不必过度修正，只要在图像中得到分段连续的曲线即可。首先统计关键点的坐标轴方向(例如x方向)两个端点[x₀，x₁]，然后按照一定的采样间隔得到一系列采样点[x₀，x_s1，x_s2，......x_sv，x₁]，根据公式(1)计算出对应的y值[y₀，y_s1，y_s2，......y_sv，y₁]，最后将各采样点连接。计算完所有采样点[x₀，x_s1，x_s2，......x_sv，x₁]后，可以得到一系列分段连续的曲线，v+2等于总的采样点数量。

针对曲线c上的每个位置q，可以取k个近邻点拟合一段局部二次曲线g。其目标函教如下所示：

其中[b₁，b₂，b₃]^T为所求参数。在求得参数[b₁，b₂，b₃]^T后，根据g(x)可计算q位置的梯度。为了模拟真实褶皱在单角度光源下的图像灰度分布，可预先设置一个参数w，代表褶皱宽度。在q的梯度方向以q为中心，w为半径等间距采样d个点，根据单周期正弦函数的图像分布，可以将[0，π/2，π，3π/2，2π]的正弦值[0，1，0，-1，0]对应到[0，d/4，d/2，3d/4，d]位置的点，组成五对采样点，并用这五对点拟合一条3次曲线，从而计算出d个点对应的d个灰度加权值ω。并根据(3)式：

gray_dst＝grat_src+gray_src*ω (3)

得到q位置的沿梯度方向褶皱图像。

最后将曲线c上的每个点都依次按上述步骤计算各位置的褶皱图像，就生成了最终模拟褶皱的图像。

图4为采用本申请的方法对图1进行处理的结果示意图，背景非常清晰，大大提高了检测结果的准确性。参见图2和图4的检测结果，可明显的获得本申请的方法具有检测准确度更好、无背景干扰的优越性。

此外，本实施例还提供一种纸张褶皱检测装置，该装置是实现上述纸张褶皱检测方法的装置。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (6)

1.一种纸张褶皱缺陷检测方法，其特征在于，包括：

获取待检测图像和待训练图像；

对待检测图像和待训练图像进行预处理，以提取出待检测图像的纸区图像范围以及待训练图像的纸区图像范围；

采用预设的检测模型及其训练好的模型参数，计算当前待检测图像的纸区图像范围的每个像素点分类，并分析每个像素点是褶皱的概率值，根据所得的每个像素点是褶皱的概率值来获得褶皱区域；

其中，所述检测模型包括特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值；

所述检测模型还包括对检测模型进行训练的过程：根据待训练图像的特征自动生成褶皱，以平衡检测模型的正负样本数量；

根据待训练图像的特征自动生成褶皱包括：首先在待训练图像的纸区图像范围内随机生成若干关键点，然后通过这些关键点拟合一条曲线，最后针对曲线上的每个位置，拟合一条正弦曲线对梯度方向的灰度值进行加权，模拟褶皱在固定光照环境下的灰度分布情况，即可生成一条模拟褶皱。

2.根据权利要求1所述的纸张褶皱缺陷检测方法，其特征在于：根据待训练图像的特征自动生成褶皱具体包括：

在待训练图像的纸区图像范围内随机生成若干关键点，将p_i(x_i，y_i)表示第i个关键点，其中i∈[2，n]；

将这些关键点拟合为曲线c，曲线c表示为如下形式:

其中a为需要求解的参数列向量，a是由[a₂，a₃，……，a_n]构成的向量，(x_i，f(x)_i)也即p_i；其中，n表示关键点个数，i表示多项式阶数，a_i表示多项式系数，f(x)_i表示通过x_i计算出来的结果，x^i-1表示x的i-1次方；在求得参数向量a之后，在待训练图像的纸区图像范围中画出对应的曲线c：首先统计关键点的坐标轴方向两个端点坐标[x₀，x₁]，然后按照一定的采样间隔得到一系列采样点[x₀,x_s1,x_s2，......x_sv，x₁]，根据公式(1)计算出对应的y值[y₀,y_s1,y_s2，……y_sv，y₁]，最后将各采样点连接；计算完所有采样点[x₀,x_s1,x_s2，......x_sv，x₁]后，可以得到一系列分段连续的曲线，v+2等于总的采样点数量；

针对曲线c上的每个位置q，取k个近邻点拟合一段局部二次曲线g，该局部二次曲线g的目标函数如下所示：

其中[b₁，b₂，b₃]^T为所求参数；g(x)即为k个近邻点拟合的一段局部二次曲线，x_m表示q的第m个近邻点；

在求得参数[b₁，b₂，b₃]^T后，根据g(x)计算q位置的梯度；

设置w为褶皱宽度，则在q的梯度方向以q为中心，w为半径等间距采样d个点，根据单周期正弦函数的图像分布，将[0，π/2，π，3π/2，2π]的正弦值[0，1，0，-1，0]对应到[0，d/4，d/2，3d/4，d]位置的点，组成五对采样点，并用这五对点拟合一条3次曲线，从而计算出d个点对应的d个灰度加权值ω；

并根据(3)式：

gray_dst＝gray_src+gray_src*ω (3)

得到q位置的沿梯度方向褶皱图像；gray_src表示当前像素原始的灰度值；

最后将曲线c上的每个点都依次按针对所述曲线c上的每个位置q取k个近邻点拟合一段局部二次曲线g的步骤计算各位置的褶皱图像，就生成了最终模拟褶皱的图像。

3.根据权利要求1或2所述的纸张褶皱缺陷检测方法，其特征在于：根据所得的每个像素点是褶皱的概率值来获得褶皱区域，具体是利用检测模型训练好的模型参数，对待检测图像进行褶皱分类以识别出该待检测图像中的褶皱区域。

4.根据权利要求3所述的纸张褶皱缺陷检测方法，其特征在于：根据所得的每个像素点是褶皱的概率值来获得褶皱区域，具体包括：通过检测模型生成一张对应的褶皱概率图，然后通过二值化，形态学操作提取出满足预置条件的高概率像素，最后对二值化后的高概率像素进行连通域提取和标记以获得褶皱区域。

5.根据权利要求1或2所述的纸张褶皱缺陷检测方法，其特征在于：建立检测模型具体是：首先对图像进行特征编码，将图像投影到编码空间，然后进行解码，得到与输入图像相同分辨率的特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值；该模型通过反向传播法进行参数更新并完成训练。

6.一种纸张褶皱缺陷检测装置，其包括：

获取单元，用于获取待检测图像和待训练图像；

预处理单元，用于对待检测图像和待训练图像进行预处理，以提取出待检测图像的纸区图像范围以及待训练图像的纸区图像范围；

褶皱分析单元，用于采用预设的检测模型及其训练好的模型参数，计算当前待检测图像的纸区图像范围的每个像素点分类，并分析每个像素点是褶皱的概率值，根据所得的每个像素点是褶皱的概率值来获得褶皱区域；

其中，所述检测模型包括特征图，该特征图的每个像素值定义为标识该像素是否是褶皱的概率值；

所述检测模型还包括对检测模型进行训练的过程：根据待训练图像的特征自动生成褶皱，以平衡检测模型的正负样本数量；

根据待训练图像的特征自动生成褶皱包括：首先在待训练图像的纸区图像范围内随机生成若干关键点，然后通过这些关键点拟合一条曲线，最后针对曲线上的每个位置，拟合一条正弦曲线对梯度方向的灰度值进行加权，模拟褶皱在固定光照环境下的灰度分布情况，即可生成一条模拟褶皱。

Images