CN106952257B - 一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，属于机器视觉与视频图像处理技术领域。本发明包含图像采集、图像预处理、模板区域提取、缺陷检测、结果显示等步骤；图像采集包括待测标签和模板标签从三个角度拍摄的不同图像；预处理过程实现了标签区域的分割和曲面转化为平面的图像处理操作；模板区域提取实现了待测标签三个不同角度图像与模板全景图某一区域的一一对应，使得图像采集中瓶体旋转角度不受限制，降低系统实现难度；缺陷检测模块基于模板匹配与相似度计算相结合的方法，通过耗时较短的模板匹配锁定可能的缺陷区域，再利用精确的相似度计算判定缺陷是否存在，在保证检测效果的基础上有效提高了检测效率。

Description

一种基于模板匹配与相似度计算的曲面标签破损缺陷检测 方法

技术领域

本发明涉及机器视觉与视频图像处理技术领域，更具体地说，涉及一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法。

背景技术

在食品、饮料以及药品等包装领域，在PET塑料、玻璃等材质的容器外往往需要附有标签。标签不仅对产品有非常重要的美观作用，而且标明大量的产品信息。标签存在缺陷对于产品而言是较为严重的质量问题，不能够上市销售。

传统瓶体标贴破损缺陷检测多在灌装产品生产线后端以人工检测的方法完成检测工作，通常存在效率低、成本高、稳定性差以及可靠性差等问题，不能满足大规模工业化的生产需要。随着生产速度的日益加快、对产品品质要求的逐渐提高以及人力成本的快速升高，人工检测标签缺陷的方式越来越难以为继。基于机器视觉的图像检测算法能够自动进行标贴缺陷检测，无论是在提高效率、降低成本，还是在提高稳定性与可靠性方面都有很大的提升，具有很好的发展前景。

就目前国内外研究现状来说，常用于标贴缺陷检测的算法有基于图像滤波的方法、基于边缘提取的方法、基于深度学习的方法等。但这些方法通常对图像拍摄条件较为苛刻，操作环境也较为复杂，在投入到实际工业应用中时往往受到限制。

而经检索已经公开的相关方案中，也存在着应用上的缺陷或局限，如中国专利号ZL 201310703385.3，授权公告日为2015年12月30日，发明创造名称为：一种扁平酒瓶标签粘贴缺陷自动检测方法；该申请案利用照明取像系统采集已贴标签的酒瓶图像；依次通过：图像对比度拉伸变换、图像降噪处理、图像阈值处理、图像填充处理对所获得的酒瓶图像进行预处理；再定位酒瓶瓶身和设定点在酒瓶图像中的位置，并将标签正确粘贴时特殊点与标签的位姿关系、和需要检测的图像中特殊点与标签的位姿关系进行对比，以此来判断标签是否有粘贴缺陷。该申请案基于图像中点之间的位置关系，克服了传统检测方法不便于检测扁平酒瓶的标签粘贴缺陷的问题，但该申请案用于扁平状瓶体表面标贴检测，对圆柱状瓶体不适用，且方案本身很大程度上依赖于三个预设点，且对瓶体摆放角度有一定要求，必须在有标贴面一侧采集图像，在实际应用中有一定的局限性。

中国专利号ZL201410610077.0，发明创造名称为：标签缺陷检测方法；该申请案对打印好的标签进行图像获取；逐一的将标准字符与标签上的其中一待比对字符进行叠加并计算相似度值；若存在求和结果最大的相似度值大于或等于第一阈值，则将求和结果最大的相似度值所对应的标准字符作为待比对字符，记录待比对字符的当前坐标并进一步判断所述待比对字符的相似度值是否小于预设的第二阈值，若是，则将对应的标准字符与待比对字符进行叠加并计算二者乘积为0的次数，并将乘积为0的位置连接起来形成缺陷区域；若所述次数超过预设的第三阈值，且所述缺陷区域的面积超过预设的第四阈值，则将所述缺陷区域进行颜色标记。该申请案能够识别出标签中出现的字符缺陷，比对效率高。但该申请案的应用对象主要是平面字符标贴，不适用于有形变的曲面标贴，且该申请案针对的是包含字符、条形码的简单标签，并不适用于包含图形、文字等各种复杂内容的标签。

中国专利号ZL 201310160165.0，授权公告日为2015年8月19日，发明创造名称为：基于3D建模的近柱面瓶体标签的检测方法；该申请案包括瓶体标签位置的精确定位和标签掩码提取、瓶体标签的3D建模、瓶体标签图像的反柱面展开、瓶体标签图像的检测四个步骤，该申请案可以实现实时不间断检测，检测出标签劣标、大小标、高低标等缺陷，但该申请案的缺陷检测是利用分类器对图像各分块的特征矢量进行分类以判断当前块有无缺陷，处理过程复杂、计算量大，因此效率较低，且特征矢量鲁棒性不够强，可能受光照不均等因素干扰，影响检测结果。

发明内容

1.发明要解决的技术问题

本发明的目的在于克服现有技术中不足，提供了一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，本发明包含了图像采集、图像预处理、模板区域提取、缺陷检测、结果显示等多个处理步骤，图像采集包括待测标签和模板标签从三个角度拍摄的不同图像；预处理过程实现了标签区域的分割和曲面转化为平面的图像处理操作；模板区域提取步骤实现了待测标签三个不同角度图像与模板全景图某一区域的一一对应，使得图像采集中瓶体旋转角度不受限制，降低系统实现难度；缺陷检测基于模板匹配与相似度计算相结合的方法，通过耗时较短的模板匹配锁定可能的缺陷区域，再利用精确的相似度计算判定缺陷是否存在，在保证检测效果的基础上有效提高了检测效率。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，包括以下步骤：

步骤一、图像采集：在低亮度环境中利用一组光源和三个相机采集圆柱状瓶体的表面标签图像；采集到的无损模板初始图像组记为(M_o1,M_o2,M_o3)，待测初始图像组记为(F_o1,F_o2,F_o3)；

步骤二、图像分割与拉伸：对步骤一获得的图像分别进行分割操作，获得分割后的标签区域图像组，并利用相机标定法对其分别进行拉伸，获得曲面标签区域的平面图像，模板标签平面图像组记为(M_S1,M_S2,M_S3)，待测标签平面图像组记为(F₁,F₂,F₃)；

步骤三、图像拼接：利用特征点匹配法对步骤二中获得的模板标签平面图像组(M_S1,M_S2,M_S3)进行拼接，获得模板全景图像M；

步骤四、图像定位：对步骤二中获得的待测标签平面图像组(F₁,F₂,F₃)分别在模板全景图像M中实现定位，并分割出定位区域，记为映射模板图像组(M₁,M₂,M₃)；

步骤五、破损缺陷检测：将模板匹配法和特征相似度FSIM计算有机结合，对每一个待测-模板图像组(Fi,Mi)进行相似度计算，相似度低于设定阈值的认定为破损缺陷区域；

步骤六、结果显示：显示步骤五所得的破损缺陷检测结果。

更进一步地，步骤一在低亮度环境中利用CCD相机采集瓶体标签图像，三个相机分别处于以瓶体为中心的等边三角形顶点位置，并在每个相机的正下方放置一个光源，保证每个相机摄像头的中轴线方向保持水平并穿过瓶体放置区域中心。

更进一步地，步骤二对无损模板初始图像组(M_o1,M_o2,M_o3)和待测初始图像组(F_o1,F_o2,F_o3)进行预处理操作，通过预设比标签区域稍大的ROI区域并在此基础上利用canny算子进行边缘检测，以此准确分割标签区域；然后采用张正友平面标定方法获取相机内外参数，进而将曲面图像转为平面图像。

更进一步地，步骤三中模板标签平面图像组(M_S1,M_S2,M_S3)中图像内容有两两重叠，通过SURF特征提取和特征点匹配，实现三幅图像的拼接，获得模板全景图像M。

更进一步地，步骤四进行图像定位的具体过程为：利用模板匹配法，分别找出待测标签平面图像组(F₁,F₂,F₃)中每张图像在模板全景图像M中的对应区域，并将对应区域分别分割出来，获得与(F₁,F₂,F₃)相对应的映射模板图像组(M₁,M₂,M₃)。

更进一步地，步骤五中将待测标签平面图像组(F₁,F₂,F₃)与映射模板图像组(M₁,M₂,M₃)中的图像一一对应，分为三组待测-模板图像组(Fi,Mi)分别进行破损缺陷检测处理；通过计算待测图像Fi与模板图像Mi之间的相似度，若相似度低于设定阈值，则认为待测图像与模板图像间存在较大差异，有破损缺陷存在；相似度计算方法采用模板匹配法和特征相似度FSIM计算有机结合的方式，判断有无破损缺陷存在，及实现破损缺陷区域的定位。

更进一步地，步骤五计算待测图像Fi与模板图像Mi之间相似度的具体处理过程为：

(1)设设定宽度w、高度h、列方向步长col_step、行方向步长row_step的滑动窗口，同步遍历待测图像Fi与模板图像Mi，记遍历一张图像可获得分块图像数目为m；

(2)设定模板匹配相似度数值阈值t1与t2，t1<t2；FSIM相似度数值阈值s1；

(3)待测图像Fi与模板图像Mi当前窗口内的分块图像记为f_k、m_k，1≤k≤m，计算其模板匹配相似度；模板匹配采用归一化平方差匹配方式，得相似度数值为t，若t<t1，待测图f_k与模板图m_k相似度较小，可判定待测图中有破损缺陷存在；若t>t2，待测图f_k与模板图m_k相似度较高，可判定待测图中无破损缺陷存在；否则，待测图f_k与模板图m_k相似度适中，无法进行判断，进行下一步处理；

(4)对相似度适中的待测图f_k与模板图m_k，利用FSIM计算法计算两图特征相似度，得相似度数值为s；若s≥s1，待测图f_k与模板图m_k相似度较高，可判定待测图中无破损缺陷存在；若s<s1，可判定待测图中存在破损缺陷；

(5)重复步骤(3)(4)，直至完成所有分块图像的相似度计算。

更进一步地，特征相似度FSIM的计算方法具体如下：

需计算相似度的两幅图像分别记为f₁(x)与f₂(x)，则

其中

S_L(x)＝[S_PC(x)]^α·[S_G(x)]^β，PC_m(x)＝max(PC₁(x),PC₂(x))

取α＝β＝1，SPC(x)表示f₁(x)与f₂(x)在像素点x处的相位相似性，表示如下：

SG(x)表示f₁(x)与f₂(x)在像素点x处的梯度幅值相似性，表示如下：

以上两式中T₁与T₂为常数，用于防止分母为0，取T₁＝0.85，T₂＝160；G₁(x)与G₂(x)分别表示图像f₁(x)与f₂(x)在像素点x处的梯度幅值；一副图像f(x)的梯度幅G(x)计算方法如下：

其中G_x(x)与G_y(x)为图像于像素点x处在x与y两个方向的偏导数，可利用sobel算子求得：

PC₁(x)与PC₂(x)分别表示图像f₁(x)与f₂(x)在像素点x处的相位一致性；一副图像f(x)的相位一致性PC(x)计算方法如下：

其中A_n(x)为第n个余弦分量的振幅，为相位偏移函数，表示为：

为像素点x处傅里叶变换的局部相位，为x处所有傅里叶变换分量局部相位的加权平均，T为估计噪声，ε为一微小正常量，取0.001，防止分母为0，W(x)为滤波器频带加权函数，表示为：

W(x)＝1/(1+e^g(c-s(x)))

其中

A_max(x)为x处滤波器组的最大相应幅值，常数c取0.4，g取10，ε取0.001。

更进一步地，步骤五破损缺陷检测中共涉及以下参数设置：

(1)滑动窗口尺寸与步长：包括宽度w、高度h、列方向步长col_step、行方向步长row_step，具体为宽度w取图像宽度的1/4，高度h取图像高度的1/4，列向步长col_step取图像宽度的1/8，行向步长row_step取图像高度的1/8；

(2)相似度阈值：包括模板匹配相似度下限阈值t1和上限阈值t2、FSIM相似度s1，具体为t1＝0.9，t2＝0.95，s1＝0.8。

更进一步地，步骤六的具体过程为：步骤五中滑动窗口同步遍历模板图像和待测图像，并对相对应的模板与待测分块图像进行相似度计算，以判定当前分块是否有破损缺陷，若有破损缺陷，在待测图像中相应位置进行标记，最终显示标记后的待测图像。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明提出的基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，待测图像利用模板匹配法分别在模板全景图中提取出其所对应的模板区域，在此基础上才能进行后续的缺陷检测步骤；现有曲面标签缺陷检测技术大多针对非全包标签，采集图像时需在有标贴一侧进行，后续再进行拉伸与融合，因此对拍摄角度有一定要求；本发明提出的方案针对全包标贴(非全包标贴也可当成全包处理，将空白部分当成标贴一并处理，不影响检测结果)，将围绕瓶体一周的标贴进行拉伸与拼接，获得模板全景图，因此在实际检测过程中，无论从何角度拍摄待检测瓶体，当前角度标贴均可在模板全景图中找到对应的模板映射图，由此本发明提出的处理方法使得图像采集中瓶体旋转角度不受限制，降低了系统实现难度；

(2)本发明提出的基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，采用基于模板匹配与相似度计算相结合的方法进行缺陷检测，通过耗时较短的模板匹配锁定可能的缺陷区域，再利用精确的相似度计算判定缺陷是否存在，在保证检测效果的基础上有效提高了检测效率。

附图说明

图1为本发明破损缺陷检测方法的流程图；

图2为本发明方法中缺陷检测模块的具体流程图；

图3为本发明破损缺陷检测结果展示图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

结合附图，本发明提供了一种新的曲面标签破损缺陷检测方法，能够快速、有效的实现瓶体标贴破损缺陷的自动化检测。本发明主要包括图像预处理、模板区域提取、缺陷检测、结果显示四个部分。本实施例能够快速有效的对一个圆柱状瓶体表面的环状标签进行破损缺陷检测。

下面结合实施例对本发明的具体实现方法进行详细介绍。

实施例1

参看图1和图2，本实施例的基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，包括以下步骤：

图像预处理

图像预处理包括图像采集、图像分割、图像拉伸、模板图像拼接等一系列步骤，用于获取待测图像的平面标签区域和模板图像的平面标签全景区域，其具体步骤如下：

(1)图像采集：

具体为在低亮度环境中利用CCD相机采集瓶体标签图像，三个相机分别处于以瓶体为中心的等边三角形顶点位置，并在每个相机的正下方放置一个光源，保证每个相机摄像头的中轴线方向保持水平并穿过瓶体放置区域中心。采集到的无损模板图像组记为(M_o1,M_o2,M_o3)，待测图像组记为(F_o1,F_o2,F_o3)。采集到的图像均为灰度图，下标O表示该图像为原始图像，下标数字1-3表示图像组中序号。

(2)图像分割与拉伸：

无损模板初始图像组(M_o1,M_o2,M_o3)和待测初始图像组(F_o1,F_o2,F_o3)不仅包含标签信息，还包含瓶体信息和拍摄背景信息，为检测标签破损缺陷情况，需要将标签区域分割出来。同时，图像中瓶体表面为曲面，为方便后续检测，利用相机标定对曲面图像进行拉伸，获得相应的平面图像。对两组图像共六张图像分别进行分割和拉伸处理，获得处理后的模板标签平面图像组(M_S1,M_S2,M_S3)和待测标签平面图像组(F₁,F₂,F₃)，下标S表示该图像为已经过分割与拉伸的平面标签区域图像。具体如下：

图像分割：图像采集在低亮度环境中进行，并无复杂背景，分割操作相对简单。因图像采集时瓶体摆放位置相对固定，即标签区域出现在采集图像中的位置相对固定，故可提前设定比标签区域稍大的ROI区域，其中包含标签区域和少量背景区域，再利用canny算子进行边缘检测，即可准确分割标签区域。

图像拉伸：对分割后的图像进行拉伸，使其从曲面图像转化为对应的平面图像。本实施例采用张正友平面标定方法获取相机内外参数，进而将曲面图像转化为平面图像。OpenCV作为一个开源视觉库提供多种标定的实现方法，其中包含了基于张正友平面标定算法实现的标定方法，可直接调用。

(3)模板图像拼接：

为了方便后续处理中待检测图像能够找出其在模板图中对应的映射图像，需要将模板图像组进行拼接，获得其全景图像。模板标签平面图像组(M_S1,M_S2,M_S3)中图像内容两两重叠，通过提取SURF特征和特征点匹配，实现三幅图像的拼接，获得模板全景图像M。

模板区域提取

待测图像组共有三张图像，分别对应于模板全景图M中的某一区域。利用模板匹配法，分别找出待测标签平面图像组(F₁,F₂,F₃)中每张图像在模板全景图像M中的对应区域，并将对应区域分别分割出来，获得与(F₁,F₂,F₃)相对应的映射模板图像组(M₁,M₂,M₃)。

缺陷检测

待测标签平面图像组(F₁,F₂,F₃)与映射模板图像组(M₁,M₂,M₃)中的图像一一对应，可分为(F₁,M₁)、(F₂,M₂)、(F₃,M₃)三组分别进行破损缺陷检测处理。以(F₁,M₁)为例，通过计算待测图像F₁与模板图像M₁之间的相似度，若相似度低于设定阈值，则可认为待测图像与模板图像间存在较大差异，有破损缺陷存在。相似度计算方法采用模板匹配法和特征相似度FSIM计算有机结合的方式，不仅可以判断有无破损缺陷存在，还可实现破损缺陷区域的定位，具体处理过程如下：

(1)设定宽度w、高度h、列方向步长col_step、行方向步长row_step的滑动窗口，同步遍历图像F₁与M₁，记遍历一张图像可获得分块图像数目为m。

(2)设定模板匹配相似度数值阈值t1与t2(t1<t2)、FSIM相似度数值阈值s1。相似度数值越大表明待测图与模板图相似度越高，存在破损缺陷的可能性越小。

(3)待测图像F₁与模板图像M₁当前窗口内的分块图像记为f_k、m_k(1≤k≤m)。计算其模板匹配相似度。模板匹配采用归一化平方差匹配方式，得相似度数值为t(0≤t≤1，数值越大表示越相似，t＝1时两图完全相同)。若t<t1，待测图f_k与模板图m_k相似度较小，可判定待测图中有破损缺陷存在；若t>t2，待测图f_k与模板图m_k相似度较高，可判定待测图中无破损缺陷存在；若t1<t<t2，待测图f_k与模板图m_k相似度适中，无法进行判断，进行下一步处理。

(4)对相似度适中(即t1<t<t2)的待测图f_k与模板图m_k，利用FSIM计算法计算两图特征相似度，得相似度数值为s。若s≥s1，待测图f_k与模板图m_k相似度较高，可判定待测图中无破损缺陷存在；若s<s1，可判定待测图中存在破损缺陷。特征相似度FSIM的计算方法具体如下：

FSIM计算具有通用性，为避免k下标对后续表述造成干扰，将需计算相似度的两幅图像分别记为f₁(x)与f₂(x)，则

其中

S_L(x)＝[S_PC(x)]^α·[S_G(x)]^β，PC_m(x)＝max(PC₁(x),PC₂(x))

取α＝β＝1。S_PC(x)表示f₁(x)与f₂(x)在像素点x处的相位相似性，表示如下：

S_G(x)表示f₁(x)与f₂(x)在像素点x处的梯度幅值相似性，表示如下：

以上两式中

1)T₁与T₂为常数，用于防止分母为0，取T₁＝0.85，T₂＝160。

2)G₁(x)与G₂(x)分别表示图像f₁(x)与f₂(x)在像素点x处的梯度幅值。一副图像f(x)的梯度幅值G(x)计算方法如下

其中G_x(x)与G_y(x)为图像于像素点x处在x与y两个方向的偏导数，可利用sobel算子求得

3)PC₁(x)与PC₂(x)分别表示图像f₁(x)与f₂(x)在像素点x处的相位一致性。一副图像f(x)的相位一致性PC(x)计算方法如下

其中A_n(x)为第n个余弦分量的振幅，为相位偏移函数，表示为

为像素点x处傅里叶变换的局部相位，为x处所有傅里叶变换分量局部相位的加权平均，T为估计噪声，ε为一微小正常量，取0.001，防止分母为0，W(x)为滤波器频带加权函数，表示为

W(x)＝1/(1+e^g(c-s(x)))

其中

A_max(x)为x处滤波器组的最大相应幅值，常数c取0.4，g取10，ε取0.001。

(5)重复步骤(3)(4)，直至完成所有分块图像的相似度计算。

其中，参数设置如下：

1)滑动窗口尺寸与步长：包括宽度w、高度h、列方向步长col_step、行方向步长row_step，具体为宽度w取图像宽度的1/4，高度h取图像高度的1/4，列向步长col_step取图像宽度的1/8，行向步长row_step取图像高度的1/8。

2)相似度阈值：包括模板匹配相似度下限阈值t1和上限阈值t2、FSIM相似度s1，具体为t1＝0.9，t2＝0.95，s1＝0.8。

结果显示

滑动窗口同步遍历模板图像和待测图像，并对相对应的模板与待测分块图像进行相似度计算，以判定当前分块是否有破损缺陷，若有破损缺陷，在待测图像中相应位置进行标记，最终显示标记后的待测图像。

参看图3，图(a1)、(a2)、(a3)为待测图像组的三幅初始图像，图(b1)为其中一幅标签破损缺陷的待测图像的分割拉伸后图像，图(b2)其对应位置的模板区域图像，图(b3)为检测结果，方框标出区域表示该分块内有缺陷存在。从图3可以看出，本发明提出的方案能够较好地实现图像的全景拼接，有效检出标签破损缺陷并进行缺陷定位。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，包括以下步骤：

步骤一、图像采集：在低亮度环境中利用一组光源和三个相机采集圆柱状瓶体的表面标签图像；采集到的无损模板初始图像组记为(M_o1,M_o2,M_o3)，待测初始图像组记为(F_o1,F_o2,F_o3)；

步骤二、图像分割与拉伸：对步骤一获得的图像分别进行分割操作，获得分割后的标签区域图像组，并利用相机标定法对其分别进行拉伸，获得曲面标签区域的平面图像，模板标签平面图像组记为(M_S1,M_S2,M_S3)，待测标签平面图像组记为(F₁,F₂,F₃)；

步骤三、图像拼接：利用特征点匹配法对步骤二中获得的模板标签平面图像组(M_S1,M_S2,M_S3)进行拼接，获得模板全景图像M；

步骤四、图像定位：对步骤二中获得的待测标签平面图像组(F₁,F₂,F₃)分别在模板全景图像M中实现定位，并分割出定位区域，记为映射模板图像组(M₁,M₂,M₃)；

步骤五、破损缺陷检测：将模板匹配法和特征相似度FSIM计算有机结合，对每一个待测-模板图像组(Fi,Mi)进行相似度计算，相似度低于设定阈值的认定为破损缺陷区域；

步骤六、结果显示：显示步骤五所得的破损缺陷检测结果。

2.根据权利要求1所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤一在低亮度环境中利用CCD相机采集瓶体标签图像，三个相机分别处于以瓶体为中心的等边三角形顶点位置，并在每个相机的正下方放置一个光源，保证每个相机摄像头的中轴线方向保持水平并穿过瓶体放置区域中心。

3.根据权利要求1或2所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤二对无损模板初始图像组(M_o1,M_o2,M_o3)和待测初始图像组(F_o1,F_o2,F_o3)进行一定预处理操作；通过预设比标签区域稍大的ROI区域并在此基础上利用canny算子进行边缘检测，以此准确分割标签区域；然后采用张正友平面标定方法获取相机内外参数，进而将曲面图像转为平面图像。

4.根据权利要求3所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤四进行图像定位的具体过程为：利用模板匹配法，分别找出待测标签平面图像组(F₁,F₂,F₃)中每张图像在模板全景图像M中的对应区域，并将对应区域分别分割出来，获得与(F₁,F₂,F₃)相对应的映射模板图像组(M₁,M₂,M₃)。

5.根据权利要求4所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤五中将待测标签平面图像组(F₁,F₂,F₃)与映射模板图像组(M₁,M₂,M₃)中的图像一一对应，分为三组待测-模板图像组(Fi,Mi)分别进行破损缺陷检测处理；通过计算待测图像Fi与模板图像Mi之间的相似度，若相似度低于设定阈值，则认为待测图像与模板图像间存在较大差异，有破损缺陷存在；相似度计算方法采用模板匹配法和特征相似度FSIM计算有机结合的方式，判断有无破损缺陷存在，及实现破损缺陷区域的定位。

6.根据权利要求5所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤五计算待测图像Fi与模板图像Mi之间相似度的具体处理过程为：

(1)设定宽度w、高度h、列方向步长col_step、行方向步长row_step的滑动窗口，同步遍历待测图像Fi与模板图像Mi，记遍历一张图像可获得分块图像数目为m；

(2)设定模板匹配相似度数值阈值t1与t2，t1<t2；FSIM相似度数值阈值s1；

(3)待测图像Fi与模板图像Mi当前窗口内的分块图像记为f_k、m_k，1≤k≤m，计算其模板匹配相似度；模板匹配采用归一化平方差匹配方式，得相似度数值为t，若t<t1，待测图f_k与模板图m_k相似度较小，可判定待测图中有破损缺陷存在；若t>t2，待测图f_k与模板图m_k相似度较高，可判定待测图中无破损缺陷存在；否则，待测图f_k与模板图m_k相似度适中，无法进行判断，进行下一步处理；

(4)对相似度适中的待测图f_k与模板图m_k，利用FSIM计算法计算两图特征相似度，得相似度数值为s；若s≥s1，待测图f_k与模板图m_k相似度较高，可判定待测图中无破损缺陷存在；若s<s1，可判定待测图中存在破损缺陷；

(5)重复步骤(3)、(4)，直至完成所有分块图像的相似度计算。

7.根据权利要求6所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：特征相似度FSIM的计算方法具体如下：

需计算相似度的两幅图像分别记为f₁(x)与f₂(x)，则

其中

S_L(x)＝[S_PC(x)]^α·[S_G(x)]^β，PC_m(x)＝max(PC₁(x),PC₂(x))

取α＝β＝1，SPC(x)表示f₁(x)与f₂(x)在像素点x处的相位相似性，表示如下：

SG(x)表示f₁(x)与f₂(x)在像素点x处的梯度幅值相似性，表示如下：

以上两式中T₁与T₂为常数，用于防止分母为0，取T₁＝0.85，T₂＝160；G₁(x)与G₂(x)分别表示图像f₁(x)与f₂(x)在像素点x处的梯度幅值；一副图像f(x)的梯度幅G(x)计算方法如下：

其中G_x(x)与G_y(x)为图像于像素点x处在x与y两个方向的偏导数，可利用sobel算子求得：

PC₁(x)与PC₂(x)分别表示图像f₁(x)与f₂(x)在像素点x处的相位一致性；一副图像f(x)的相位一致性PC(x)计算方法如下：

其中A_n(x)为第n个余弦分量的振幅，为相位偏移函数，表示为：

为像素点x处傅里叶变换的局部相位，为x处所有傅里叶变换分量局部相位的加权平均，T为估计噪声，ε为一微小正常量，取0.001，防止分母为0，W(x)为滤波器频带加权函数，表示为：

W(x)＝1/(1+e^g(c-s(x)))

其中

A_max(x)为x处滤波器组的最大相应幅值，常数c取0.4，g取10，ε取0.001。

8.根据权利要求7所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤五破损缺陷检测中共涉及以下参数设置：

(1)滑动窗口尺寸与步长：包括宽度w、高度h、列方向步长col_step、行方向步长row_step，具体为宽度w取图像宽度的1/4，高度h取图像高度的1/4，列向步长col_step取图像宽度的1/8，行向步长row_step取图像高度的1/8；

(2)相似度阈值：包括模板匹配相似度下限阈值t1和上限阈值t2、FSIM相似度s1，具体为t1＝0.9，t2＝0.95，s1＝0.8。

9.根据权利要求8所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤六的具体过程为：步骤五中滑动窗口同步遍历模板图像和待测图像，并对相对应的模板与待测分块图像进行相似度计算，以判定当前分块是否有破损缺陷，若有破损缺陷，在待测图像中相应位置进行标记，最终显示标记后的待测图像。