CN109993728A - 一种热转印胶水偏位自动检测方法和系统 - Google Patents

Abstract

本发明公开了一种热转印胶水偏位自动检测方法和系统，所述方法包括以下步骤：获取图像标定数据和第一图像；对第一图像进行胶水层和图案层的分割；从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓；计算胶水外轮廓上的每个点到图案外轮廓上的距离的平均值；根据所述平均值和图像标定数据，得到胶水宽度；根据胶水宽度，得到检测结果。本发明从第一图层中分理处胶水层和图像层，并从中识别出胶水外轮廓和图像外轮廓，然后根据胶水外轮廓和图像外轮廓计算出胶水宽度，最后根据胶水宽度判断胶水是否偏位，本发明实现了自动化检测，相对于人工检测具备更高的检测效率。本发明可以广泛应用于图像识别技术。

Description

一种热转印胶水偏位自动检测方法和系统

技术领域

本发明涉及图像识别技术，尤其是一种热转印胶水偏位自动检测方法和系统。

背景技术

热转印技术广泛应用在纺织行业当中，主要用于将特定的图案、文字或者商品logo印制在服装上，热转印胶片则是这一技术的主要载体。热转印胶片上印刷着图案，图案周围有一层胶水，加热时胶水会粘附在服装上从而实现图案转印。理想的胶片中胶水和油墨图案应该完全重合，也就是在图案周围的胶水宽度是一致的，否则图案就不能完整地转印到衣服上。然而，由于生产工艺的偏差，不可能总是保证胶水位置满足要求，胶水位置和图案位置发生偏差，因此需要对胶片质量进行检测。目前，热转印胶片的胶水偏位检测工作靠人工进行，即通过人眼判断每一张胶片的胶水与图案的贴合情况，由于胶片的数量非常庞大，胶水层宽度很窄，而且与胶片薄膜的对比度很小，因此人工检测效率低；加之工人长时间用眼和动手会出现疲劳导致容易出现胶片漏检和误检等情况，因此还需要进行复检工序，这无疑将增加生产成本、降低生产效率。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种能够提升生产效率的热转印胶水偏位自动检测方法和系统。

本发明所采取的第一种技术方案是：

一种热转印胶水偏位自动检测方法，包括以下步骤：

获取图像标定数据和第一图像；

对第一图像进行胶水层和图案层的分割；

从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓；

计算胶水外轮廓上的每个点到图案外轮廓上的距离的平均值；

根据所述平均值和图像标定数据，得到胶水宽度；

根据胶水宽度，得到检测结果。

进一步，所述对第一图像进行胶水层和图案层的分割，其具体为：

采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层。

进一步，所述图像识别模型包括CNN分支和CRF-CNN分支；

所述采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层，其具体包括：

将第一图像分别输入到CNN分支和CRF-CNN分支进行处理；

计算CNN分支和CRF-CNN分支的总损失值；

根据总损失值，结果得到背景层、胶水层和图案层的二值图。

进一步，所述从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓，其具体包括：

使用边缘检测算法从图案层的二值图中检测出图案外轮廓；

使用边缘检测算法从胶水层的二值图中检测出胶水外轮廓。

进一步，所述每个点到图案外轮廓上的距离的平均值，具体是指每个点到图案外轮廓上的最小距离的平均值。

进一步，所述根据胶水宽度，得到检测结果，其具体为：

判断胶水宽度是否落入设定范围，若是，则判定为检测合格，反之，则判定为检测不合格。

本发明所采取的第二种技术方案是：

一种热转印胶水偏位自动检测系统，包括：

获取单元，用于获取图像标定数据和第一图像；

分割单元，用于对第一图像进行胶水层和图案层的分割；

检测单元，用于从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓；

第一计算单元，用于计算胶水外轮廓上的每个点到图案外轮廓上的距离的平均值；

第二计算单元，用于根据所述平均值和图像标定数据，得到胶水宽度；

结果生成单元，用于根据胶水宽度，得到检测结果。

进一步，所述分割单元具体用于：

采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层。

进一步，所述图像识别模型包括CNN分支和CRF-CNN分支；

所述采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层，其具体包括：

将第一图像分别输入到CNN分支和CRF-CNN分支进行处理；

计算CNN分支和CRF-CNN分支的总损失值；

根据总损失值，结果得到背景层、胶水层和图案层的二值图。

本发明所采取的第三种技术方案是：

一种热转印胶水偏位自动检测系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行一种热转印胶水偏位自动检测方法。

本发明的有益效果是：本发明从第一图层中分理处胶水层和图像层，并从中识别出胶水外轮廓和图像外轮廓，然后根据胶水外轮廓和图像外轮廓计算出胶水宽度，最后根据胶水宽度判断胶水是否偏位，本发明实现了自动化检测，相对于人工检测具备更高的检测效率。

附图说明

图1为本发明一种热转印胶水偏位自动检测方法的流程图；

图2为本发明一种具体实施例中的图像识别模型的架构示意图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

参照图1，本实施例公开了一种热转印胶水偏位自动检测方法，该方法包括以下步骤：

S1、获取图像标定数据和第一图像；

在本实施例中，所述图像标定数据至针对硬件设备进行的标定，其与图像采集设备和被采集物之间的几何关系有关。其标定方法可以在拍摄物的旁边放置标准的标尺，然后根据标尺在图片中的大小来确定图片像素点的实际距离。所述第一图像，是测量目标的图像，即将要被识别的热转印区域。当然所述第一图像可以是经过预处理的图像，例如通过canny算子将原始图像中的边界轮廓识别出来，然后通过裁剪的方式保留最大的边界轮廓所包围的部分。通过该处理得到的第一图像可以去除大面积的无用部分，降低干扰。

S2、对第一图像进行胶水层和图案层的分割；

在本实施例可以通过经过训练的图像识别模型来进行背景层、胶水层和图案层的识别分割。本发明所采用的图像识别模型包括CNN分支和CRF-CNN分支；将第一图像同时识别出CNN分支和CRF-CNN分支进行处理，然后将两个分支的损失函数的输出值进行相加处理，根据总的损失值来确定识别结果。

S3、从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓。

在本实施例中可以采取边缘检测算法从图案层和胶水层分别识别出图案外轮廓和胶水外轮廓。

S4、计算胶水外轮廓上的每个点到图案外轮廓上的距离的平均值。

胶水外轮廓上的点到图案外轮廓上的距离的算法有很多种。本实施例中，可以将胶水外轮廓上的点到图案外轮廓上的距离定义为该点到图案外轮廓最近点的距离。

S5、根据所述平均值和图像标定数据，得到胶水宽度。

由于在本实施例中，图像经过预先的标定，因此系统知道图像每个像素点代表的距离，因此可以算出胶水的宽度。

S6、根据胶水宽度，得到检测结果。

在本实施例中，可以根据胶水的宽度是否落入合格范围来判定胶水是否偏位。在胶片的胶水偏位时，胶水的宽度会发生异常，偏离正常值。

作为优选的实施例，所述步骤S2具体为：

采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层。所述图像识别模型包括CNN分支和CRF-CNN分支；

所述采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层，其具体包括：

S21、将第一图像分别输入到CNN分支和CRF-CNN分支进行处理；

S22、计算CNN分支和CRF-CNN分支的总损失值；

S23、根据总损失值，结果得到背景层、胶水层和图案层的二值图。

本实施例将CNN分支和CRF-CNN分支的特点进行融合，使模型在保持较好的识别精度时具备优良的泛化性，从而得到分割比较精确、边界也比较平滑的分割输出图。

作为优选的实施例，所述步骤S3具体包括：

S31、使用边缘检测算法从图案层的二值图中检测出图案外轮廓；

S32、使用边缘检测算法从胶水层的二值图中检测出胶水外轮廓。

所述边缘检测算法可以通过canny算子实现，也可以采用sobel算子实现。所述canny算子、sobel算子均为现有的边缘检测算法。

作为优选的实施例，所述每个点到图案外轮廓上的距离的平均值，具体是指每个点到图案外轮廓上的最小距离的平均值。

作为优选的实施例，所述根据胶水宽度，得到检测结果，其具体为：

判断胶水宽度是否落入设定范围，若是，则判定为检测合格，反之，则判定为检测不合格。

本实施例将对图像识别模型进行详细的说明。

将图像分割为背景层、胶水层、图案层，实际上是输出一张与输入图像相同大小的对应像素位置的预测标签图，是一个像素级预测问题。参照图2，图像识别模型由深度神经网络构成，该网络是一个端对端结构，其中分为2个分支。上方的分支为CNN分支，为全卷积神经网络，即FCN，其使用全卷积的结构，即全连接层由卷积层代替，直接输入原始图像，其好处是避免在进行分类的过程中丢失图像的空间信息，其中卷积操作和池化操作的作用是提取多层次特征，上采样操作的作用是根据一系列卷积层提取出的很紧密的特征图来重建与输入图像同样大小的像素级预测图，最后使用Softmax Loss损失函数进行学习，记为L₁(X，I)；下方的分支是CRF-CNN分支，由条件随机场和卷积神经网络组成，即由CRF和CNN组成，CRF层输入的是原始图像及其反映先验信息的图像，对边缘、梯度、形状、颜色等特征的先验知识进行建模，所述特征直接从原始图像获取，由此建立一个多特征的CRF模型，然后指导CNN(该CNN也是全卷积的结构)来进行图像分割，这个分支的损失函数记为L₂(X，I)。

CNN的优点是它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高。其缺点也比较明显：一是分割的结果还是不够精细，上采样的结果比较模糊和平滑，对图像中的细节不敏感；二是对各个像素进行分类，没有充分考虑像素与像素之间的关系，缺乏空间一致性。而CRF模型的优点是能够学习到任意两个像素之间的关系，可以灵活地对各种先验知识进行建模，其缺点是分割的结果过于精细，表现为边界上有过多毛刺。本发明综合两者的考虑，因此在CRF层之后接入一个CNN再学习，矫正过于精细的结果，最后将两个分支的输出结合起来，得到一个最终的分割比较精确、边界也比较平滑的分割输出图。

下面就CRF-CNN分支详细叙述：

本发明中引入的是稠密CRF模型，其将图像中的所有像素看成结点，记为V，像素间的关系看成边，记为E，则得到一个图G＝(V，E)。这个图的每个结点都与其他所有结点间都有边连接，为完全图，因此称为稠密CRF，也称为全连接CRF。这样的模型可以学习图像中任意两个像素间的关系。下面系统地描述建模过程。

考虑一个定义在每个像素位置上的随机变量集(一个随机场)X＝{X₁,X₂,…,X_N}，X中每个随机变量的取值范围为L＝{l₁,l₂,…,l_k}，即为类别标签集合，本发明中分割目标为3层，也就是3个类别，所以k＝3。以下特指l₁为背景层，l₂为胶水层，l₃为图案层。令观测变量集(即图像中的所有像素向量集合)I＝{I₁,I₂,…,I_N}，像素坐标集合P＝{P₁,P₂,…,P_N}，其中N是像素个数，根据输入图像大小确定。(I,X)构成一个条件随机场，服从吉布斯分布：

其中，C_G是图G中所有团的集合，φ_c(X_c|I)是团c具有的势函数。像素标注问题可以通过极大后验估计求解，即极大化P(X|I)。为了计算方便，对P(X|I)取负对数，得到吉布斯能量函数，即

只需要极小化E(X|I)即可得到：

我们将势函数分为3个模块：形状、边缘、颜色3个特征，分别引入不同类型的先验知识，即

其中，ψ_s(x_i)为一元势函数，其只与像素i自身有关，其余两项均是二元势函数，反映了原始图像各像素对间的关系，先验知识需要从原始图像引入。上式也可以称为CRF层的损失函数，记为L_CRF(X,I)。

其中对于形状特征：

本发明通过统计的方法引入形状先验，通过最小能量过程使分割结果向与形状相似处收敛，从而提高分割精度，达到改善分割效果的目的。利用形状特征可以抑制颜色特征对图案层过度分割的作用。由于胶水层和图案层拥有同样的轮廓，胶水层包围着图案层，故将胶水层和图案层视为前景，手工描绘前景的大致形状并获取二值图，得到一个与原始图像对应的形状图S＝{S₁,S₂,…,S_N}，设像素服从形状先验概率分布为二项分布，记像素点p属于前景的概率为P(S(p)＝1)，属于背景的概率为P(S(p)＝0)，先验分布为：

其中，分子是对形状图S的灰度值求和，分母是像素点个数。对上式各取负对数，引入形状特征的势函数，得到：

其中W(^S)是权衡形状特征重要程度的因子。

对于边缘特征：

本发明引入图像的已知边缘特征，通过对分割目标的边界进行约束，使结果向目标边缘收敛，达到精细分割的目的。由于热转印图像中的背景层和图案层轮廓比较明显，而胶水层的轮廓相对比较模糊，而且宽度非常窄，边界不明显，只有微小边缘，因此不能利用胶水的形状特征指导分割，而采用其边缘特征。本发明先使用canny算子对图像进行边缘提取，得到梯度图Grad和边缘二值图Edge。对该边缘二值图做距离变换，计算像素i到距离其最近的边缘上像素的距离，表达式如下：

除此之外，还将梯度信息参数化以调节该距离变换。若像素i离边缘越近，梯度幅值越大，这个像素的能量值有相应越小，故引入参数μ将其定义为：

其中，分子为最大梯度幅值，分母为像素t的梯度幅值。P(S(p)＝1)的公式表明，像素i距边缘越近，则该距离变换值也就越小，反之则越大；若其在边缘上，则该值为零。

至此，完成边缘特征的建模，将其引入势函数，表达式为：

其中W(e)是权衡边缘特征重要程度的因子。是标签兼容性函数，用于惩罚像素相似度高却被分配不同标签的情况。

对于颜色特征：

由于热转印胶片训练图像中，每一个样本的背景层、胶水层、图案层的颜色分布各不相同，但是背景层和胶水层颜色比较单一。根据这个特点，采用双边高斯核函数来对颜色特征进行建模，即：

至此，完成对颜色特征的建模。颜色特征的势函数表达式为：

其中，W(k)是权衡边缘特征重要程度的因子,是标签兼容性函数，用于惩罚像素相似度高却被分配不同标签的情况。

至此，完成Dense CRF模型的建模。之后使用CNN对CRF的学习结果再学习，采用Softmax Loss损失函数，记为L_CNN(X,I)。于是CRF-CNN分支的损失函数为结合两者，即

L₂(X，I)＝αL_CRF(X，I)+βA_CNN(X，I)

其中α，β为权衡因子，衡量两个模型的学习任务的权重，可以调节CNN对CRF的修正作用。

两个分支构成一个端对端的结构，其总损失函数为：

Loss＝γL₁+ηL₂

其中γ,η是两个分支的权衡因子，在训练时根据实际输出效果调整。

由于热转印胶片图像中的背景层、胶水层、图案层所占的面积并不均匀，背景层、图案层所占的区域较大，胶水层所占的区域非常小，所以训练集必然发生类别不平衡问题。在训练过程中，类别不平衡问题会导致训练的分类器往类别数多的样本偏移。例如，有998个反例，但是正例只有2个，那么学习方法只需要返回一个永远将新样本预测为反例的学习器，就能达到99.8％的精度；然而这样的学习器往往没有价值，因为它不能预测出任何正例。输入一个像素值时，分类器往往识别成背景层的概率比胶水层要高，这样的分类器无法对胶水层做精确的分割。为了解决这个问题，我们对损失函数的学习策略做出调整。假设模型对于样本x输出的各类别概率分布为真实标签的独热码为y，则预测的类别为真实标签为l。学习策略调整如下：

对于一个分支的样本x＝{x_i},i＝1,2,…,n，根据总损失函数计算损失值。

根据真实类别情况调整损失值

统计当前分支的各类别占比，记为α₁,α₂,…,α_m，满足m为类别总数。

根据各类比的占比调整每个样本的权重，调整策略为，样本所属类别占比大则适当增大loss，样本所属类别占比小则适当减小loss。

其中N_batch是当前batch样本数。

计算总损失：

total_loss+＝loss

根据loss反向传播训练模型

以上学习策略的基本思想是对类别占比大的样本适当增大loss，而对于类别占比小的样本适当地降低loss，这样学习得到的分类器相当于对类别占比大的样本增加了一定的惩罚，在预测过程中会降低把样本预测成占比大的类别的概率，间接起到了平衡样本的作用。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种热转印胶水偏位自动检测方法，其特征在于：包括以下步骤：

获取图像标定数据和第一图像；

对第一图像进行胶水层和图案层的分割；

从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓；

计算胶水外轮廓上的每个点到图案外轮廓上的距离的平均值；

根据所述平均值和图像标定数据，得到胶水宽度；

根据胶水宽度，得到检测结果。

2.根据权利要求1所述的一种热转印胶水偏位自动检测方法，其特征在于：所述对第一图像进行胶水层和图案层的分割，其具体为：

采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层。

3.根据权利要求2所述的一种热转印胶水偏位自动检测方法，其特征在于：所述图像识别模型包括CNN分支和CRF-CNN分支；

所述采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层，其具体包括：

将第一图像分别输入到CNN分支和CRF-CNN分支进行处理；

计算CNN分支和CRF-CNN分支的总损失值；

根据总损失值，结果得到背景层、胶水层和图案层的二值图。

4.根据权利要求3所述的一种热转印胶水偏位自动检测方法，其特征在于：所述从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓，其具体包括：

使用边缘检测算法从图案层的二值图中检测出图案外轮廓；

使用边缘检测算法从胶水层的二值图中检测出胶水外轮廓。

5.根据权利要求1所述的一种热转印胶水偏位自动检测方法，其特征在于：所述每个点到图案外轮廓上的距离的平均值，具体是指每个点到图案外轮廓上的最小距离的平均值。

6.根据权利要求1所述的一种热转印胶水偏位自动检测方法，其特征在于：所述根据胶水宽度，得到检测结果，其具体为：

判断胶水宽度是否落入设定范围，若是，则判定为检测合格，反之，则判定为检测不合格。

7.一种热转印胶水偏位自动检测系统，其特征在于：包括：

获取单元，用于获取图像标定数据和第一图像；

分割单元，用于对第一图像进行胶水层和图案层的分割；

检测单元，用于从图案层检测出图案外轮廓，以及从胶水层检测出胶水外轮廓；

第一计算单元，用于计算胶水外轮廓上的每个点到图案外轮廓上的距离的平均值；

第二计算单元，用于根据所述平均值和图像标定数据，得到胶水宽度；

结果生成单元，用于根据胶水宽度，得到检测结果。

8.根据权利要求7所述的一种热转印胶水偏位自动检测系统，其特征在于：所述分割单元具体用于：

采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层。

9.根据权利要求8所述的一种热转印胶水偏位自动检测系统，其特征在于：所述图像识别模型包括CNN分支和CRF-CNN分支；

所述采用经过训练的图像识别模型对第一图像进行分割，得到背景层、胶水层和图案层，其具体包括：

将第一图像分别输入到CNN分支和CRF-CNN分支进行处理；

计算CNN分支和CRF-CNN分支的总损失值；

根据总损失值，结果得到背景层、胶水层和图案层的二值图。

10.一种热转印胶水偏位自动检测系统，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-6任一项所述的热转印胶水偏位自动检测方法。