CN108805862B - 一种基于改进结构相似度的标签鉴别方法 - Google Patents

Abstract

一种基于改进结构相似度的曲面相似标签鉴别方法，包括图像采集、模板图像处理、图像分割与拉伸、图像配准、相似度鉴别等步骤；图像采集包括待测图像和模板图像的采集；模板图像处理实现模板图像的拉伸和标签区域的裁剪；图像分割与拉伸实现了从待测图像中分割出标签区域，得到待测标签图像；图像配准步骤对模板标签图像和待测标签图像进行配准；相似度鉴别步骤通过改进的结构相似度GDSSIM计算模板标签图像和待测标签图像之间的相似度，从而鉴别标签是否为相同的标签。本发明的标签鉴别方法步骤简单，不仅适用于平面标签，尤其适用于曲面标签，面对标签图像中光照不均匀和轻微形变的情况下不易鉴别的问题，能取得良好的鉴别效果。

Description

一种基于改进结构相似度的标签鉴别方法

技术领域

本发明涉及机器视觉以及图像处理技术领域，为一种给予改进结构相似度的标签鉴别方法。

背景技术

标签用于记载产品的关键信息，尤其是在食品包装领域，在目前的食品生产线上，受环境、设备、人为因素等众多不确定因素的影响，食品上的标签可能会存在各种缺陷，例如标签漏贴、歪贴、错贴等，这些缺陷是严重的产品质量问题。其中相似标签的错贴是一种很难鉴别的缺陷，相似标签之间标签图案相似或者大部分文字相同，因此相似标签的鉴别问题对传统的缺陷检测方法是个难题。

传统的标签鉴别以人工鉴别的方法为主，人工鉴别受主观因素影响较大，工人工作强度大，长时间工作容易造成视觉疲劳，出现判断错误。随着工业生产速度的不断提高以及人力成本的日益增长，传统人工检测的方法无法满足现代化生成的要求。除了人工检测，基于图像处理的自动化标贴检测方法被引入生产线，提高了检测效率，降低了生产成本。

目前用于标签鉴别的方法主要有图像差影分析法、特征区块模板匹配法、图像质量评价法等。图像差影分析法将模板标签图像与待测标签进行差分，根据差分结果鉴别两者是否相同标签，适用于光照条件良好的平面标签鉴别，但光照不均匀时鉴别率较低，且无法解决曲面标签的鉴别问题；模板匹配法通过事先选定标签图像的特征区块，根据这些特征块在待测标签图像的匹配结果来实现标签的鉴别，需要事先人工选定多个特征块，且进行多次模板匹配比较耗时。此外，以结构相似度(Structural SIMilarity，SSIM)算法为代表的图像质量评价法，通过计算模板标签图像和待测标签之间的相似度来进行鉴别标签，但SSIM因为参考了图像的亮度因素，仅适用于光照环境稳定的标签图像鉴别，对光照不均匀的情况鲁棒性不够；还要基于图像相位一致性特征和梯度幅值的FSIM算法，其图像相位一致性特征对相似标签的区分度不够。

发明内容

本发明要解决的问题是：目前标签鉴别应用中的主要技术问题，是由于标签图像中存在一定程度的光照不均匀以及标签形变情况，不仅导致了图像配准中的精度丢失，而且现有标签鉴别方法对光照不均匀和形变的鲁棒性不够，检测精度不能满足使用需求。

本发明的技术方案为：一种基于改进结构相似度的标签鉴别方法，利用改进的结构相似度算法求取模板标签图像与待测标签图像的相似度，用于鉴别相似标签，所述改进的结构相似度算法为基于梯度信息、差异值哈希的结构相似度算法，简称GDSSIM，所述标签鉴别方法包括以下步骤：

步骤一、图像采集：采集标签图像，包括无损的模板图像T，以及在生产线上实时采集的待测图像S；

步骤二、模板处理：如模板图像T为平面图像，裁剪出图像中的标签部分，作为模板标签图像M，如模板图像T为曲面图像，拉伸为平面图像，然后裁剪出拉伸结果图像中的标签部分，作为模板标签图像M；

步骤三、图像分割与拉伸：对步骤一中采集的待测图像S进行分割操作得到标签区域图像，利用柱面反投影法对分割得到的图像进行拉伸，获得拉伸校正后的待测标签图像F；

步骤四、图像配准：利用SIFT特征点匹配算法对模板标签图像M和待测标签图像F进行配准，得到配准后的待测标签区域图像F_M；

步骤五、相似度鉴别：利用改进的结构相似度算法GDSSIM对模板标签图像M和待测标签区域图像F_M进行相似度计算，如果结果高于设定阈值t，则认为待测标签图像F与模板标签图像M内容一致，待测标签与模板标签是同类标签，反之，如果小于等于t则认为是不同类标签；

所述改进的结构相似度算法GDSSIM计算相似度具体为：

设需要计算相似度的两幅图像分别为f₁与f₂，则

GDSSIM＝[g(f₁,f₂)]^α[d(f₁,f₂)]^β[s(f₁,f₂)]^γ

其中GDSSIM表示相似度的值，α、β、γ表示对应项的权重值，取α＝0.33，β＝0.33，γ＝0.34，

g(f₁,f₂)代表f₁与f₂的梯度幅值相似度，表示如下：

其中m、n分别为图像的宽和高，S_g(u,v)代表f₁与f₂在(u,v)点处像素的梯度幅值相似度，表示如下：

C₁为正常数,其值取决于图像梯度幅值的动态范围，取C₁＝255；G_k(u,v)代表图像f_k在(u,v)点处像素的梯度幅值，k＝1，2，如下：

其中G_kx(u,v)与G_ky(u,v)分别为图像f_k在(u,v)点像素处，x与y方向的偏导数，利用Scharr算子计算得出：

f_k(u,v)表示图像f_k中(u,v)处的像素值；

d(f₁,f₂)代表f₁与f₂的差异值哈希相似度，表示如下：

S_d(w)代表f₁与f₂在第w位的差异值哈希相似度，表示如下：

其中C₂是为了防止分母为零而设置的正常数,取C₂＝0.01，D_k(w)代表图像f_k第w位的差异值哈希编码值；

s(f₁,f₂)代表f₁与f₂的结构信息相似度，表示如下：

其中C₃是为了防止分母为零而设置的正常数，取C₃＝29.26,σ₁和σ₂分别代表图像f₁与图像f₂的标准差，表示如下：

其中，m、n分别表示图像的宽和高，f_k(i,j)表示图像f_k在像素点(i,j)处的像素值，μ_k表示图像f_k的像素均值；

σ₁₂代表f₁与f₂的协方差，表示如下：

f₁(i,j)和f₂(i,j)分别表示图像f₁和图像f₂在像素点(i,j)处的像素值，μ₁和μ₂分别表示图像f₁和图像f₂的像素均值。

作为优选方式，步骤一中，在相同的环境下采集模板图像T和待测图像S。

作为优选，步骤一中，采用CCD相机采集标签图像，相机镜头正对标签，高度为标签中心高度，同时在相机的两侧分别放置一根条形光源，用于保证相机拍摄图像的质量。

进一步的，步骤二中，利用柱面反投影法将模板图像T拉伸为平面图像，进而将平面图像上包含标签图像的矩形区域截取成为模板标签图像M。

进一步的，征是步骤三中，将当前时刻采集的待测图像S与上一时刻采集的图像S’进行图像差分操作，去除图像中背景元素干扰，在差分结果图中检测出标签边缘，以此分割出标签区域，然后利用柱面反投影法将标签区域图像拉伸为平面图像，得到待测标签图像F。

步骤四的图像配准为：利用SIFT特征点检测算法在模板标签图像M和待测标签图像F中提取SIFT特征点和描述符，对两幅图像中的特征点进行交叉匹配后，对匹配上的点对计算变换矩阵，对待测标签图像F应用变换矩阵，得到配准后的待测标签区域图像F_M。

GDSSIM的计算中，图像的差异值哈希D(w)计算如下：

1)将图像缩小到8x9像素的尺寸，并转换为灰度图像G；

2)逐列对比相邻像素的强度，如果一个像素的颜色强度大于后一个像素，那么该像素位置差异值为1，否则，差异值为0；

3)每列9个像素，则每列得到8个差异值，8x9大小的图像得到8x8的差异值矩阵，转化成64位的二进制哈希编码；

4)综上几个步骤，D(w)表示如下：

其中，G(x,y)代表灰度图像G中像素点(x,y)位置的像素值，x为w整除8的结果值，y为w对8取余的结果值。

作为优选方式，步骤五中标签鉴别将计算得到的相似度和阈值作比较，相似度阈值t＝0.8。

针对现有标签鉴别方法的不足，本发明提出了一种基于改进结构相似度的曲面相似标签鉴别方法，可以在标签图像中光照不均匀以及轻微形变的情况下，通过计算图像的相似度，来达到标签鉴别的目的。本发明提出的方法包含图像采集、模板处理、图像分割与拉伸、图像配准和相似度鉴别几个步骤，图像采集包括模板标签图像和待测标签图像的采集两部分；模板处理对采集的模板标签进行裁剪去除冗余部分；图像分割与拉伸步骤利用图像差分从采集的待测标签图像将标签部分分割出来，并通过柱面反投影将曲面标签图像转化为平面图像；相似度鉴别步骤通过改进的结构相似度算法，计算处理后的模板标签图像与待测标签图像之间的相似度，与事先设定的阈值比较得出鉴别结果，实现自动化标签鉴别。

本发明提出的技术方案与现有技术相比，具有以下优势和创新点：

1)现有的标签缺陷检测技术大多针对平面标签图像，鉴别时需要输入特征区块，操作繁琐，对于瓶装标贴，即曲面标签图像的识别能力不足，本发明的标签鉴别方法步骤简单，不仅适用于平面标签，尤其适用于曲面标签，在对待测图像进行分割和拉伸后，将曲面图像转化为平面图像处理，相似度计算的对象是全局标签图像，鉴别效果好。

2)本发明提出了一种新的结构相似度算法，即基于梯度信息、差异值哈希的结构相似度算法GDSSIM(Gradient information and Difference hash based StructuralSIMilarity)，并基于这一算法设计了适用于平面以及曲面标签的鉴别方法，针对标签图像中可能会存在的光照不均匀和轻微形变，一方面通过拉伸部分解决曲面识别的问题，另一方面，在经典的结构相似度算法基础上去除了图像亮度和对比度特征，保留了结构信息特征，同时引入了对光照变化和轻微形变鲁棒性较强的梯度信息和差异值哈希特征，来应对光照不均匀和轻微形变的影响，改进后的基于梯度信息、差异值哈希的结构相似度计算，在光照变化和轻微形变的情况下也有较好的鉴别效果。

附图说明

图1为本发明曲面相似标签鉴别方法的流程图。

图2为本发明方法中改进结构相似度GDSSIM的算法流程。

图3为本发明相似度检测结果展示图。

具体实施方式

为了进一步说明本发明的内容，结合附图和实施例对本发明作详细描述。

结合附图，本发明提出了一种基于改进结构度的曲面相似标签鉴别方法，能够有效鉴别粘贴在瓶体上的相似标签。本发明主要包括图像预处理、图像配准、标签相似度鉴别三个部分。

如图1和图2所示，本实施例的基于改进结构相似度的曲面标签鉴别方法，具体实施步骤如下：

1、图像预处理

常见产品标签包括平面产品标签和瓶装产品标签，即采集的标签图像包括平面图像和曲面图像两种，本实施例以瓶装产品标签为例进行说明，平面图像的标签对应曲面图像拉伸后的处理步骤处理即可。下面进行说明。

图像预处理包括图像采集、模板图像处理、图像分割、图像拉伸等四个部分，用于获取后续相似度检测所用的模板标签图像和待测标签图像，具体步骤如下：

(1)图像采集

具体为利用CCD相机采集瓶体标签图像，相机正对标签，高度为标签中心高度，同时在相机的两侧分别放置一根条形光源，保证相机拍摄到清晰和高对比度的图像。采集的初始模板图像记为T，待测图像记为S，两者的采集环境最好一致，包括相机、光源、采集位置等，其中对于光源亮度这一条件，在不影响采集图像特征的情况下，也并不要求完全一致。

(2)模板图像处理

采集到的瓶体产品标签图像是曲面图像，存在严重的曲面形变，需要首先将曲面图像转化为平面图像，本实施例采用柱面反投影算法，实现通过标定获得柱面的参数，将模板标签图像拉伸为平面图像，所述柱面反投影算法在中国申请201610368246.3中已有详细介绍，不再详述；同时模板图像中不仅包含标签区域，还包含瓶体信息和背景信息等冗余部分，为了排除冗余部分的干扰，需要对模板图像T进行裁剪，将包含标签图案的矩形区域截取成为模板标签图像M。

(3)图像分割

为了排除待测标签图像中冗余部分的干扰，需要将标签区域分割出来。通过将当前待测图像与前一张待测图像进行差分，可以去除图像中冗余背景部分的干扰，再在差分结果图像中检测标签区域的边缘，提取出标签区域。

(4)图像拉伸

曲面标签图像中存在严重的曲面形变，需要将曲面图像转化，采用柱面反投影算法将提取了标签区域的曲面图像拉伸转化为待测标签图像F。

2、图像配准

在相似度检测之前，需要对模板标签图像M和待测标签图像F进行图像配准，具体实施方式如下：

(1)使用SIFT特征点检测算法分别在模板标签图像M和待测标签图像F中提取SIFT特征点和描述符。

(2)对两幅图像中的特征点进行交叉匹配，得到一组匹配点对。

(3)计算匹配点对的透视变换矩阵，得到矩阵H12.

(4)对待测标签图像F应用矩阵H12，得到配准后的待测标签区域图像F_M。配准后得到的待测标签区域图像F_M的长宽与模板标签图像M一致。

3、标签相似度鉴别

使用改进的结构相似度GDSSIM计算模板标签图像M和配准后的待测标签区域图像F_M之间的相似度，将得到的相似度与事先设定的阈值进行比较，如果结果高于一定阈值t则认为待测标签是同类标签，反之，如果小于等于t则认为是不同类标签。本实施例中，设定阈值取t＝0.8。改进的结构相似度GDSSIM的计算方法具体如下：

GDSSIM计算具有通用性，设需要计算相似度的两幅图像分别为f₁与f₂，则

GDSSIM＝[g(f₁,f₂)]^α[d(f₁,f₂)]^β[s(f₁,f₂)]^γ

上式中

(1)α、β、γ表示权重值，在计算中为指数权重，取α＝0.33，β＝0.33，γ＝0.34。

(2)g(f₁,f₂)代表f₁与f₂的梯度幅值相似度，表示如下：

其中m、n分别为图像的宽和高，S_g(u,v)代表f₁与f₂在(u,v)点像素的梯度幅值相似度，表示如下：

其中C₁为正常数,其值取决于图像梯度幅值的动态范围，取C₁＝255；G_k(u,v)代表图像f_k在(u,v)点处像素的梯度幅值，k＝1，2，如下：

其中G_kx(u,v)与G_ky(u,v)分别为图像f_k在(u,v)点像素处，x与y方向的偏导数，利用Scharr算子计算得出：

f_k(u,v)表示图像f_k中(u,v)处的像素值；

(3)d(f₁,f₂)代表f₁与f₂的差异值哈希相似度，表示如下：

图像差异值哈希是一串编码，w表示编码的位置，S_d(w)代表f₁与f₂在第w位的差异值哈希相似度，表示如下：

其中C₂是为了防止分母为零而设置的正常数,取C₂＝0.01，D_k(w)代表图像f_k第w位的差异值哈希编码值，图像的差异值哈希编码的具体计算方式如下：

3.1)、将图像缩小到8x9像素的尺寸，并转换为灰度图像G；

3.2)、逐列对比相邻像素的强度，如果一个像素的颜色强度大于后一个像素，那么该像素位置差异值为1，否则，差异值为0。

3.3)、每列9个像素，则每列得到8个差异值，8x9大小的图像可以得到8x8的差异值矩阵，转化成64位的二进制哈希编码。

3.4)、综上几个步骤，D(w)表示如下：

其中，G(x,y)代表灰度图像G中像素点(x,y)位置的像素值，x为w整除8的结果值，y为w对8取余的结果值。

(4)s(f₁,f₂)代表f₁与f₂的结构相似度，表示如下：

其中C₃是为了防止分母为零而设置的正常数，取C₃＝29.26；σ₁和σ₂分别代表图像f₁与图像f₂的标准差，表示如下：

其中，m、n分别表示图像的宽和高，k＝1，2，f_k(i,j)表示图像f_k在像素点(i,j)处的像素值，μ_k表示图像f_k的像素均值。

σ₁₂代表f₁与f₂的协方差，表示如下：

其中，m、n分别为图像的宽和高，f₁(i,j)和f₂(i,j)分别表示图像f₁和图像f₂在像素点(i,j)处的像素值，μ₁和μ₂分别表示图像f₁和图像的像素均值。

参看图3，图3中的(a)、(b)、(c)分别为3种不同标签的模板图像，图3中的(a1)、(a2)、(b1)、(b2)、(c1)、(c2)分别为对应的3组经过预处理和配准后的待测图像。结果如表1。从图3和表1可以看出，本发明提出的方法能够实现曲面相似标签的鉴别。

表1本发明标签鉴别实施例

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (8)

1.一种基于改进结构相似度的标签鉴别方法，其特征是利用改进的结构相似度算法求取模板标签图像与待测标签图像的相似度，用于鉴别相似标签，所述改进的结构相似度算法为基于梯度信息、差异值哈希的结构相似度算法，简称GDSSIM，所述标签鉴别方法包括以下步骤：

步骤一、图像采集：采集标签图像，包括无损的模板图像T，以及在生产线上实时采集的待测图像S；

步骤二、模板处理：如模板图像T为平面图像，裁剪出图像中的标签部分，作为模板标签图像M，如模板图像T为曲面图像，拉伸为平面图像，然后裁剪出拉伸结果图像中的标签部分，作为模板标签图像M；

步骤三、图像分割与拉伸：对步骤一中采集的待测图像S进行分割操作得到标签区域图像，利用柱面反投影法对分割得到的图像进行拉伸，获得拉伸校正后的待测标签图像F；

步骤四、图像配准：利用SIFT特征点匹配算法对模板标签图像M和待测标签图像F进行配准，得到配准后的待测标签区域图像F_M；

步骤五、相似度鉴别：利用改进的结构相似度算法GDSSIM对模板标签图像M和待测标签区域图像F_M进行相似度计算，如果结果高于设定阈值t，则认为待测标签图像F与模板标签图像M内容一致，待测标签与模板标签是同类标签，反之，如果小于等于t则认为是不同类标签；

所述改进的结构相似度算法GDSSIM计算相似度具体为：

设需要计算相似度的两幅图像分别为f₁与f₂，则

GDSSIM＝[g(f₁,f₂)]^α[d(f₁,f₂)]^β[s(f₁,f₂)]^γ

其中GDSSIM表示相似度的值，α、β、γ表示对应项的权重值，取α＝0.33，β＝0.33，γ＝0.34，

g(f₁,f₂)代表f₁与f₂的梯度幅值相似度，表示如下：

其中m、n分别为图像的宽和高，S_g(u,v)代表f₁与f₂在(u,v)点处像素的梯度幅值相似度，表示如下：

C₁为正常数,其值取决于图像梯度幅值的动态范围，取C₁＝255；G_k(u,v)代表图像f_k在(u,v)点处像素的梯度幅值，k＝1，2，如下：

其中G_kx(u,v)与G_ky(u,v)分别为图像f_k在(u,v)点像素处，x与y方向的偏导数，利用Scharr算子计算得出：

f_k(u,v)表示图像f_k中(u,v)处的像素值；

d(f₁,f₂)代表f₁与f₂的差异值哈希相似度，表示如下：

S_d(w)代表f₁与f₂在第w位的差异值哈希相似度，表示如下：

其中C₂是为了防止分母为零而设置的正常数,取C₂＝0.01，D_k(w)代表图像f_k第w位的差异值哈希编码值；

s(f₁,f₂)代表f₁与f₂的结构信息相似度，表示如下：

其中C₃是为了防止分母为零而设置的正常数，取C₃＝29.26,σ₁和σ₂分别代表图像f₁与图像f₂的标准差，表示如下：

其中，m、n分别表示图像的宽和高，f_k(i,j)表示图像f_k在像素点(i,j)处的像素值，μ_k表示图像f_k的像素均值；

σ₁₂代表f₁与f₂的协方差，表示如下：

f₁(i,j)和f₂(i,j)分别表示图像f₁和图像f₂在像素点(i,j)处的像素值，μ₁和μ₂分别表示图像f₁和图像f₂的像素均值。

2.根据权利要求1所述的一种基于改进结构相似度的标签鉴别方法，其特征是步骤一中，在相同的环境下采集模板图像T和待测图像S。

3.根据权利要求1所述的一种基于改进结构相似度的标签鉴别方法，其特征是步骤一中，采用CCD相机采集标签图像，相机镜头正对标签，高度为标签中心高度，同时在相机的两侧分别放置一根条形光源，用于保证相机拍摄图像的质量。

4.根据权利要求1所述的一种基于改进结构相似度的标签鉴别方法，其特征是步骤二中，利用柱面反投影法将模板图像T拉伸为平面图像，进而将平面图像上包含标签图像的矩形区域截取成为模板标签图像M。

5.根据权利要求1所述的一种基于改进结构相似度的标签鉴别方法，其特征是步骤三中，将当前时刻采集的待测图像S与上一时刻采集的图像S’进行图像差分操作，去除图像中背景元素干扰，在差分结果图中检测出标签边缘，以此分割出标签区域，然后利用柱面反投影法将标签区域图像拉伸为平面图像，得到待测标签图像F。

6.根据权利要求1所述的一种基于改进结构相似度的标签鉴别方法，其特征是步骤四的图像配准为：利用SIFT特征点检测算法在模板标签图像M和待测标签图像F中提取SIFT特征点和描述符，对两幅图像中的特征点进行交叉匹配后，对匹配上的点对计算变换矩阵，对待测标签图像F应用变换矩阵，得到配准后的待测标签区域图像F_M。

7.根据权利要求1所述的一种基于改进结构相似度的标签鉴别方法，其特征是GDSSIM的计算中，图像的差异值哈希D(w)计算如下：

1)将图像缩小到8x9像素的尺寸，并转换为灰度图像G；

2)逐列对比相邻像素的强度，如果一个像素的颜色强度大于后一个像素，那么该像素位置差异值为1，否则，差异值为0；

3)每列9个像素，则每列得到8个差异值，8x9大小的图像得到8x8的差异值矩阵，转化成64位的二进制哈希编码；

4)综上几个步骤，D(w)表示如下：

其中，G(x,y)代表灰度图像G中像素点(x,y)位置的像素值，x为w整除8的结果值，y为w对8取余的结果值。

8.根据权利要求1所述的一种基于改进结构相似度的标签鉴别方法，其特征是步骤五中标签鉴别将计算得到的相似度和阈值作比较，相似度阈值t＝0.8。

Images