CN112837257A - 一种基于机器视觉的曲面标签拼接检测方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的曲面标签拼接检测方法，属于视觉检测技术领域，用于解决对圆柱形饮料瓶标签进行检测的问题。其包括多相机联合标定，进行曲面标签拼接与检测技术，将四相机联合进行标定，然后将圆柱物体展开为平面后，采用特征提取的方式将每个相机的平面标签图像进行拼接融合，获得拼接标签平面图像。本基于机器视觉的曲面标签拼接检测方法通过基于机器视觉的检测方法，实现了对圆柱包装产品外观标签、表面脏污、标签破损的检测与控制策略研究，大大提高生产线品质效率。

Description

一种基于机器视觉的曲面标签拼接检测方法

技术领域

本发明属于视觉检测技术领域，涉及一种检测方法，特别是一种基于机器视觉的曲面标签拼接检测方法。

背景技术

随着生活水平的不断提高，瓶装水、饮料、乳制品、啤酒、口香糖、奶粉及罐装产品需求日益剧增，智能制造技术的高速发展，生产线的生产速度持续增加(＞28000个/小时)等，传统生产线上人工检测方式已无法满足现代化生产需求，针对圆柱形包装品的外观检测需求会越来越多，设备代替人工是具有重大意义。

目前市场中针对圆柱形产品的标签检测软件系统都是四个相机独立的软件检测系统，没有将四个相机拍照的内容联系起来的检测系统(每个相机图像完成曲面矫正平面后，进行特征拼接及融合)，市场中现有软件的缺点为检测系统检测内容单一(标签位置，高低标签、倒标及斜标)，检测精度低，并且检测效率较低。

发明内容

本发明的目的是针对现有的技术存在上述问题，提出了一种基于机器视觉的曲面标签拼接检测方法，该装置要解决的技术问题是：如何实现对圆柱形饮料瓶标签进行检测。

本发明的目的可通过下列技术方案来实现：

一种基于机器视觉的曲面标签拼接检测方法，在检测系统中，包括四台高速高分辨率CCD面阵相机、八个高亮LED光源、一套图像处理系统和一套信号控制系统，四台面阵相机呈90度间隔放置，对圆柱形饮料瓶标签进行360度无盲区检测，每个相机配套两块LED光源，分别从上面和下面对标签区域进行打光，通过采用上面光和下面光相结合的方式，可保证标签区域亮度均匀，极大提高标签印刷缺陷检测精度，其包括以下步骤：

步骤一：建立四目联合标定系统，得到产品的深度图像，利用含有深度信息的图像获得产品轮廓与模板的偏差，通过线性比例变化得到缩放比；

步骤二：相机实时自动采集图片，使用软件实时裁切图像，模拟产品距离中心位置左右偏移，软件通过标定后，自动放射变换到模板位置，实现与模板一样的大小；

步骤三：将曲面图像展开为平面图像，将平面图像修正到亚像素精度；

步骤四：通过曲面展开图像后，可以获得每个产品的边界特征图，需要在边界处将四个相机的图像进行融合，确定每个相机图像的连接处没有图像重叠及上下错位的情况；

步骤五：针对不同的标签检测需求，利用Halcon实现算法实现对标签褶皱、歪斜和字符模糊缺陷的提取及检测；

步骤六：检测人员观察计算机终端，记录识别结果。

使用单个相机进行多点棋盘格标定工作，将每个相机的视场角畸变进行调整，其次确定相机的内参和外参，使用相邻两个相机的联合标定整个系统，多点棋盘格使用SUDDLE_POINT_SUB_PIX函数获得鞍点，获取棋盘格图形亚像素信息，并且利用棋盘格黑白的顺序，制定出图像的方向信息及图像灰度的变化信息，通过高斯滤波函数平滑图形信息，提取出棋盘格边缘特征，使用连续的二次多边形拟合查找定位出每个点X和Y的序列关系，采用黑塞矩阵判断出每个边缘特征的权重信息，与预设值的偏差变化从而判断出鞍点坐标位置，相机具有相同的内参即焦距、畸变、中心坐标与像元尺寸，两相机的中心一第一相机的X轴重合，P(x_cy_cz_c)为空间某点，Image1和Image2为两成像平面，点P在左成像平面成像的点为P_i(u_iv_i)，在右成像平面成像为P_r(u_rv_r),假设相机安装的高度相同，即P点在两成像平面的安装高度相同，则有：

v_l＝v_r

由几何关系可得到：

式中x_c——P点x方向空间坐标；

y_c——P点y方向空间坐标；

z_c——P点z方向空间坐标；

u_l——图像上P点行坐标；

v_l——图像上P点列坐标；

b——基线距离，即两相机的距离；

d——视差值，即视差图求得的像素值；

f——焦距；

双目视觉系统中视场差的定义为点P在两侧成像平面相应点P_l和P_r的位置差；

由此可以计算出空间中某点在左摄像机坐标系中的坐标为：

确定相机的外参，即图像坐标系与像素坐标系有以下关系：

(1)世界坐标系(X_w,Y_w,Z_w)的坐标转换为摄像机坐标系(X_c,Y_c,Z_c)的坐标，需要通过一次刚体变换，所谓刚体变换为世界坐标系经过平移加旋转与摄像机坐标系重合，该变换关系为：

式中R——旋转矩阵

T——平移向量

T(T_x,T_y,T_z)为平移向量，R(α,β,γ)为旋转矩阵，其中α,β,γ分别是绕相机x、y和z轴分别旋转的角度，即

R(α,β,γ)＝R(α)R(β)R(γ)

(2)下面是相机坐标系(X_c,Y_c,Z_c)到图像坐标系(x,y)的齐次变换，如果不考虑畸变，则有：

(3)以上是理想的情况，但是事实上因为加工误差等，相机畸变不可避免。把畸变考虑进去，则畸变图像坐标(x,y)与原图像坐标(x′,y′)有以下关系：

(4)图像坐标系(x,y)在不考虑畸变的情况下，其与像素坐标系(u,v)有如下的齐次变换关系：

不考虑相机镜头畸变的情况下，世界坐标系与图像坐标系的关系，即为通用的相机模型。

式中M₁——相机内部参数；

M₂——相机外部参数；

W_h——三维空间点在世界坐标系下的齐次坐标；

s——比例因子；

M₁等参数是相机加工时确定的，与相机本身的结构有关，称为相机的内参，而M₂描述了两相机的位置，与相机的摆放有关，即为通常所说的外参，而W_h为世界坐标系下物体的齐次坐标，用于描述物体的空间位置；

考虑畸变，则相机模型变为非线性模型，其比线性模型多了畸变系数，如相机针孔成像模型计算得到的理想坐标为(x,y)，而实际图像点的坐标为(x′,y′)，则有：

式中k₁——x方向的畸变；

k₂——y方向的畸变系数；

在双目系统标定过程中，首先需要提供相机内参的初始值，相机畸变系数设为0，相机设置内参初始值用到的算子为：gen_cam_par_area_scan_division，标定板的圆形标记点空间坐标可以从标定板描述文件中读取，用到的算子为set_calib_data_calib_object，左右相机的内参标定结果如下表所示，

从上表可以看出，左相机畸变系数κ＝1226.62，右相机的畸变系数κ＝3425.91，左右摄像机的畸变均为正数，说明所拍摄的照片畸变属于枕形畸变；

标定得到的该双目的外参如下表所示，

标定得到的旋转矩阵得到的信息有：右相机相对于左相机绕X轴旋转0.95°，绕Y轴旋转13.67°，绕Z轴旋转0.75°，X轴和Z轴的旋转相对于X轴小很多，这说明基本上右相机绕着Y轴旋转了13.67°和左相机重合，由平移向量得到的信息为右相机相对左相机平移距离为：

通过相机标定结果，建立模板产品在中心位置时，在每个相机中的深度信息相机一表示为Z1，相机二表示为Z2，相机三表示为Z3，相机四表示为Z4，产品通过检测中心位置，每个相机获得的产品中心的偏移位置(深度信息)分别为Z1'，Z2'，Z3'和Z4'，根据预先模板关系，导出当前图像中产品的直径，通过获取产品直径变化；

获取出图像的边缘后，通过线性比例变换得出图像横向X及纵向Y缩放比系数ψ，从而保证产品做曲面矫正时，保证与建模比例相同。

采用鞍点、黑塞矩阵、高斯核、双线性插值等方法得到曲面图像展开为平面的图像，亚像素精度修正步骤如下：

步骤一：在模板图像中设置包含目标物体的的感兴趣区域，将其他不需要的部分排除在外，并对模板中感兴趣区域构建多层金字塔；

步骤二：对模板的金字塔各层进行边缘滤波，得到模板的边缘系列，然后对这边缘系列进行旋转；

步骤三：在目标图像中设置感兴趣检测区域作为搜索区域来提高搜索速度；

步骤四：同样对目标图像的搜索区域生成金字塔，然后边缘滤波的处理，得到的是经过边缘滤波图像金字塔；

步骤五：从金字塔的最顶层开始逐层对处理后的目标图像进行模板匹配，得到相应的相似度量，取得局部最大的相似度量为匹配点；

步骤六：对上述最后得到的匹配点用最小二乘法修正得到亚像素精度的匹配

相机的边缘进行特征提取方式分为两种方式：第一种是基于外形匹配的，将特征明显的区域手动建立模板，第二种是基于角点匹配的方式，通过角点特征和灰度值变化的方式提取特征。

Halcon算法如下：

(1)使用Halcon的算子rgb1_to_gray将RGB图像转化为灰度图像，正常的彩色图片有R、G、B三个通道，称之为真彩色图片，为了提高图像处理速度，图像处理时需要将彩色图像转化为灰度图像，彩色图像转化为灰度图像时，需要计算每个通道的有效亮度值，其计算公式为：

G(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

式中G(i,j)——(i,j)点的灰度值；

R(i,j)——彩色图像(i,j)点的R通道灰度值；

G(i,j)——彩色图像(i,j)点的G通道灰度值；

B(i,j)——彩色图像(i,j)点的B通道灰度值；

(2)设置ROI，设置ROI的目的是减小处理的区域，设置的ROI区域为板坯附近的区域，用算子gen_rectangle1得到一个矩形，然后用reduce_domain去除掉ROI以外的区域；

(3)均值滤波，使用的算子为mean_image，该算子利用均值来平滑图像去除噪声，均值滤波的尺寸自己可以选取；

(4)动态阈值，动态阈值的算子是dyn_threshold。输入为均值滤波后的图像和原图像，输出为动态阈值分割的结果，可以通过调节滤波的尺寸来调节图像分割的结果，滤波尺寸越小，分割出来的是一些边缘，随着滤波尺寸的增加，边缘也会越来越宽，通俗讲动态阈值可以理解为对比度，即某一像素和其周边的像素进行比较；

(5)联通域分析，联通域分析为计算分割的区域中连接在一起的部分，连接在一起的部分属于一个连通域，该过程用到的算子是connection，即把上述动态阈值分割的区域分开成单个联通区域；

(6)形状选择。形状选择用到的算子是select_shape，通过面积特征把干扰区域去掉，面积特征的参数为“area”，另外，该算子有大约70个参数，其中有“col”、“row”、“width”、“height”等；

(7)形状填充，使用的算子为fill_up，即把区域的孔洞填充上，使其成为单连通区域。

(8)开运算，开运算的算子为opening_circle，为利用圆形结构元对图形进行开运算；另外Halcon还有算子opening_rectangle1，为利用矩形区域对图形进行开运算，opening为利用自己定义的结构元对图形进行开运算；

(9)求差，使用模板信息中的预设特征，用算子difference求差，计算两个区域的差值；

(10)缺陷提取，在halcon里是一种形状变换，算子用到的是shape_trans，参数设为“convex”，使原始图形变换为凸图形，另外还有参数“ellipse”和“rectangle2”等，即把原始形状的区域变换为椭圆和矩形。

与现有技术相比，本基于机器视觉的曲面标签拼接检测方法具有以下优点：

提出使用多相机联合标定，进行曲面标签拼接与检测技术。将四相机联合进行标定，然后将圆柱物体展开为平面后，采用特征提取的方式将每个相机的平面标签图像进行拼接融合。获得拼接标签平面图像后，可以检测标签的合缝线偏差、主要特征歪斜、前后标签的位移偏差距离、标签褶皱、标签破损、字符多印、字符缺印以及可以提高传统检测缺陷的种类及精度。

附图说明

图1是本发明中工位分布图；

图2是本发明中检测方法的流程图；

图3是本发明中四目标定系统的标定流程图；

图4是本发明中产品缩放比例及裁切比例的流程图；

图5是本发明中棋盘格展开的流程图；

图6是本发明中特征匹配及边缘融合的流程图；

图7是本发明中缺陷提取及特殊位置测量的流程图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参阅图1-7，本实施例提供了一种基于机器视觉的曲面标签拼接检测方法，在检测系统中，包括四台高速高分辨率CCD面阵相机、八个高亮LED光源、一套图像处理系统和一套信号控制系统，四台面阵相机呈90度间隔放置，对圆柱形饮料瓶标签进行360度无盲区检测，每个相机配套两块LED光源，分别从上面和下面对标签区域进行打光，通过采用上面光和下面光相结合的方式，可保证标签区域亮度均匀，极大提高标签印刷缺陷检测精度，其包括以下步骤：

步骤一：建立四目联合标定系统，得到产品的深度图像，利用含有深度信息的图像获得产品轮廓与模板的偏差，通过线性比例变化得到缩放比；

步骤二：相机实时自动采集图片，使用软件实时裁切图像，模拟产品距离中心位置左右偏移，软件通过标定后，自动放射变换到模板位置，实现与模板一样的大小；

步骤三：将曲面图像展开为平面图像，将平面图像修正到亚像素精度；

步骤四：通过曲面展开图像后，可以获得每个产品的边界特征图，需要在边界处将四个相机的图像进行融合，确定每个相机图像的连接处没有图像重叠及上下错位的情况；

步骤五：针对不同的标签检测需求，利用Halcon实现算法实现对标签褶皱、歪斜和字符模糊缺陷的提取及检测；

步骤六：检测人员观察计算机终端，记录识别结果。

使用单个相机进行多点棋盘格标定工作，将每个相机的视场角畸变进行调整，其次确定相机的内参和外参，使用相邻两个相机的联合标定整个系统，多点棋盘格使用SUDDLE_POINT_SUB_PIX函数获得鞍点，获取棋盘格图形亚像素信息，并且利用棋盘格黑白的顺序，制定出图像的方向信息及图像灰度的变化信息，通过高斯滤波函数平滑图形信息，提取出棋盘格边缘特征，使用连续的二次多边形拟合查找定位出每个点X和Y的序列关系，采用黑塞矩阵判断出每个边缘特征的权重信息，与预设值的偏差变化从而判断出鞍点坐标位置，相机具有相同的内参即焦距、畸变、中心坐标与像元尺寸，两相机的中心一第一相机的X轴重合，P(x_cy_cz_c)为空间某点，Image1和Image2为两成像平面，点P在左成像平面成像的点为P_i(u_iv_i)，在右成像平面成像为P_r(u_rv_r),假设相机安装的高度相同，即P点在两成像平面的安装高度相同，则有：

v_l＝v_r

由几何关系可得到：

式中x_c——P点x方向空间坐标；

y_c——P点y方向空间坐标；

z_c——P点z方向空间坐标；

u_l——图像上P点行坐标；

v_l——图像上P点列坐标；

b——基线距离，即两相机的距离；

d——视差值，即视差图求得的像素值；

f——焦距；

双目视觉系统中视场差的定义为点P在两侧成像平面相应点P_l和P_r的位置差。

由此可以计算出空间中某点在左摄像机坐标系中的坐标为：

确定相机的外参，即图像坐标系与像素坐标系有以下关系：

(1)世界坐标系(X_w,Y_w,Z_w)的坐标转换为摄像机坐标系(X_c,Y_c,Z_c)的坐标，需要通过一次刚体变换，所谓刚体变换为世界坐标系经过平移加旋转与摄像机坐标系重合，该变换关系为：

式中R——旋转矩阵

T——平移向量

T(T_x,T_y,T_z)为平移向量，R(α,β,γ)为旋转矩阵，其中α,β,γ分别是绕相机x、y和z轴分别旋转的角度，即

R(α,β,γ)＝R(α)R(β)R(γ)

(2)下面是相机坐标系(X_c,Y_c,Z_c)到图像坐标系(x,y)的齐次变换，如果不考虑畸变，则有：

(3)以上是理想的情况，但是事实上因为加工误差等，相机畸变不可避免。把畸变考虑进去，则畸变图像坐标(x,y)与原图像坐标(x′,y′)有以下关系：

(4)图像坐标系(x,y)在不考虑畸变的情况下，其与像素坐标系(u,v)有如下的齐次变换关系：

不考虑相机镜头畸变的情况下，世界坐标系与图像坐标系的关系，即为通用的相机模型。

式中M₁——相机内部参数；

M₂——相机外部参数；

W_h——三维空间点在世界坐标系下的齐次坐标；

s——比例因子；

M₁等参数是相机加工时确定的，与相机本身的结构有关，称为相机的内参，而M₂描述了两相机的位置，与相机的摆放有关，即为通常所说的外参，而W_h为世界坐标系下物体的齐次坐标，用于描述物体的空间位置；

考虑畸变，则相机模型变为非线性模型，其比线性模型多了畸变系数，如相机针孔成像模型计算得到的理想坐标为(x,y)，而实际图像点的坐标为(x′,y′)，则有：

式中k₁——x方向的畸变；

k₂——y方向的畸变系数；

在双目系统标定过程中，首先需要提供相机内参的初始值，相机畸变系数设为0，相机设置内参初始值用到的算子为：gen_cam_par_area_scan_division，标定板的圆形标记点空间坐标可以从标定板描述文件中读取，用到的算子为set_calib_data_calib_object，左右相机的内参标定结果如下表所示，

从上表可以看出，左相机畸变系数κ＝1226.62，右相机的畸变系数κ＝3425.91，左右摄像机的畸变均为正数，说明所拍摄的照片畸变属于枕形畸变；

标定得到的该双目的外参如下表所示，

标定得到的旋转矩阵得到的信息有：右相机相对于左相机绕X轴旋转0.95°，绕Y轴旋转13.67°，绕Z轴旋转0.75°，X轴和Z轴的旋转相对于X轴小很多，这说明基本上右相机绕着Y轴旋转了13.67°和左相机重合，由平移向量得到的信息为右相机相对左相机平移距离为：

通过相机标定结果，建立模板产品在中心位置时，在每个相机中的深度信息相机一表示为Z1，相机二表示为Z2，相机三表示为Z3，相机四表示为Z4，产品通过检测中心位置，每个相机获得的产品中心的偏移位置(深度信息)分别为Z1'，Z2'，Z3'和Z4'，根据预先模板关系，导出当前图像中产品的直径，通过获取产品直径变化；

获取出图像的边缘后，通过线性比例变换得出图像横向X及纵向Y缩放比系数ψ，从而保证产品做曲面矫正时，保证与建模比例相同。

在本实施例中，确定两相机内参和第二个相机相对第一个相机的位置对得到点P到双目系统的距离。

采用鞍点、黑塞矩阵、高斯核、双线性插值等方法得到曲面图像展开为平面的图像，亚像素精度修正步骤如下：

步骤一：在模板图像中设置包含目标物体的的感兴趣区域，将其他不需要的部分排除在外，并对模板中感兴趣区域构建多层金字塔；

步骤二：对模板的金字塔各层进行边缘滤波，得到模板的边缘系列，然后对这边缘系列进行旋转；

步骤三：在目标图像中设置感兴趣检测区域作为搜索区域来提高搜索速度；

步骤四：同样对目标图像的搜索区域生成金字塔，然后边缘滤波的处理，得到的是经过边缘滤波图像金字塔；

步骤五：从金字塔的最顶层开始逐层对处理后的目标图像进行模板匹配，得到相应的相似度量，取得局部最大的相似度量为匹配点；

步骤六：对上述最后得到的匹配点用最小二乘法修正得到亚像素精度的匹配。

相机的边缘进行特征提取方式分为两种方式：第一种是基于外形匹配的，将特征明显的区域手动建立模板，第二种是基于角点匹配的方式，通过角点特征和灰度值变化的方式提取特征。

Halcon算法如下：

(1)使用Halcon的算子rgb1_to_gray将RGB图像转化为灰度图像，正常的彩色图片有R、G、B三个通道，称之为真彩色图片，为了提高图像处理速度，图像处理时需要将彩色图像转化为灰度图像，彩色图像转化为灰度图像时，需要计算每个通道的有效亮度值，其计算公式为：

G(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

式中G(i,j)——(i,j)点的灰度值；

R(i,j)——彩色图像(i,j)点的R通道灰度值；

G(i,j)——彩色图像(i,j)点的G通道灰度值；

B(i,j)——彩色图像(i,j)点的B通道灰度值；

(2)设置ROI，设置ROI的目的是减小处理的区域，设置的ROI区域为板坯附近的区域，用算子gen_rectangle1得到一个矩形，然后用reduce_domain去除掉ROI以外的区域

(3)均值滤波，使用的算子为mean_image，该算子利用均值来平滑图像去除噪声，均值滤波的尺寸自己可以选取；

(4)动态阈值，动态阈值的算子是dyn_threshold。输入为均值滤波后的图像和原图像，输出为动态阈值分割的结果，可以通过调节滤波的尺寸来调节图像分割的结果，滤波尺寸越小，分割出来的是一些边缘，随着滤波尺寸的增加，边缘也会越来越宽，通俗讲动态阈值可以理解为对比度，即某一像素和其周边的像素进行比较；

(5)联通域分析，联通域分析为计算分割的区域中连接在一起的部分，连接在一起的部分属于一个连通域，该过程用到的算子是connection，即把上述动态阈值分割的区域分开成单个联通区域；

(6)形状选择，形状选择用到的算子是select_shape，通过面积特征把干扰区域去掉，面积特征的参数为“area”，另外，该算子有大约70个参数，其中有“col”、“row”、“width”、“height”等；

(7)形状填充，使用的算子为fill_up，即把区域的孔洞填充上，使其成为单连通区域。

(8)开运算，开运算的算子为opening_circle，为利用圆形结构元对图形进行开运算；另外Halcon还有算子opening_rectangle1，为利用矩形区域对图形进行开运算，opening为利用自己定义的结构元对图形进行开运算；

(9)求差。使用模板信息中的预设特征，用算子difference求差，计算两个区域的差值；

(10)缺陷提取，在halcon里是一种形状变换，算子用到的是shape_trans，参数设为“convex”，使原始图形变换为凸图形，另外还有参数“ellipse”和“rectangle2”等，即把原始形状的区域变换为椭圆和矩形。

综上，提出使用多相机联合标定，进行曲面标签拼接与检测技术。将四相机联合进行标定，然后将圆柱物体展开为平面后，采用特征提取的方式将每个相机的平面标签图像进行拼接融合。获得拼接标签平面图像后，可以检测标签的合缝线偏差、主要特征歪斜、前后标签的位移偏差距离、标签褶皱、标签破损、字符多印、字符缺印以及可以提高传统检测缺陷的种类及精度。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下做出各种变化。

Claims (6)

1.一种基于机器视觉的曲面标签拼接检测方法，在检测系统中，包括四台高速高分辨率CCD面阵相机、八个高亮LED光源、一套图像处理系统和一套信号控制系统，四台面阵相机呈90度间隔放置，对圆柱形饮料瓶标签进行360度无盲区检测，每个相机配套两块LED光源，分别从上面和下面对标签区域进行打光，通过采用上面光和下面光相结合的方式，可保证标签区域亮度均匀，极大提高标签印刷缺陷检测精度，其包括以下步骤：

步骤一：建立四目联合标定系统，得到产品的深度图像，利用含有深度信息的图像获得产品轮廓与模板的偏差，通过线性比例变化得到缩放比；

步骤二：相机实时自动采集图片，使用软件实时裁切图像，模拟产品距离中心位置左右偏移，软件通过标定后，自动放射变换到模板位置，实现与模板一样的大小；

步骤三：将曲面图像展开为平面图像，将平面图像修正到亚像素精度；

步骤四：通过曲面展开图像后，可以获得每个产品的边界特征图，需要在边界处将四个相机的图像进行融合，确定每个相机图像的连接处没有图像重叠及上下错位的情况；

步骤五：针对不同的标签检测需求，利用Halcon实现算法实现对标签褶皱、歪斜和字符模糊缺陷的提取及检测；

步骤六：检测人员观察计算机终端，记录识别结果。

2.根据权利要求1所述的一种基于机器视觉的曲面标签拼接检测方法，其特征在于，所述步骤一中使用单个相机进行多点棋盘格标定工作，将每个相机的视场角畸变进行调整，其次确定相机的内参和外参，使用相邻两个相机的联合标定整个系统，多点棋盘格使用SUDDLE_POINT_SUB_PIX函数获得鞍点，获取棋盘格图形亚像素信息，并且利用棋盘格黑白的顺序，制定出图像的方向信息及图像灰度的变化信息，通过高斯滤波函数平滑图形信息，提取出棋盘格边缘特征，使用连续的二次多边形拟合查找定位出每个点X和Y的序列关系，采用黑塞矩阵判断出每个边缘特征的权重信息，与预设值的偏差变化从而判断出鞍点坐标位置，相机具有相同的内参即焦距、畸变、中心坐标与像元尺寸，两相机的中心一第一相机的X轴重合，P(x_cy_cz_c)为空间某点，Image1和Image2为两成像平面，点P在左成像平面成像的点为P_i(u_iv_i)，在右成像平面成像为P_r(u_rv_r),假设相机安装的高度相同，即P点在两成像平面的安装高度相同，则有：

v_l＝v_r

由几何关系可得到：

式中x_c——P点x方向空间坐标；

y_c——P点y方向空间坐标；

z_c——P点z方向空间坐标；

u_l——图像上P点行坐标；

v_l——图像上P点列坐标；

b——基线距离，即两相机的距离；

d——视差值，即视差图求得的像素值；

f——焦距；

双目视觉系统中视场差的定义为点P在两侧成像平面相应点P_l和P_r的位置差；

由此可以计算出空间中某点在左摄像机坐标系中的坐标为：

3.根据权利要求2所述的一种基于机器视觉的曲面标签拼接检测方法，其特征在于，所述确定相机的外参，即图像坐标系与像素坐标系有以下关系：

(1)世界坐标系(X_w,Y_w,Z_w)的坐标转换为摄像机坐标系(X_c,Y_c,Z_c)的坐标，需要通过一次刚体变换，所谓刚体变换为世界坐标系经过平移加旋转与摄像机坐标系重合，该变换关系为：

式中R——旋转矩阵

T——平移向量

T(T_x,T_y,T_z)为平移向量，R(α,β,γ)为旋转矩阵，其中α,β,γ分别是绕相机x、y和z轴分别旋转的角度，即

R(α,β,γ)＝R(α)R(β)R(γ)

(2)下面是相机坐标系(X_c,Y_c,Z_c)到图像坐标系(x,y)的齐次变换，如果不考虑畸变，则有：

(3)以上是理想的情况，但是事实上因为加工误差等，相机畸变不可避免。把畸变考虑进去，则畸变图像坐标(x,y)与原图像坐标(x′,y′)有以下关系：

(4)图像坐标系(x,y)在不考虑畸变的情况下，其与像素坐标系(u,v)有如下的齐次变换关系：

不考虑相机镜头畸变的情况下，世界坐标系与图像坐标系的关系，即为通用的相机模型

式中M₁——相机内部参数；

M₂——相机外部参数；

W_h——三维空间点在世界坐标系下的齐次坐标；

s——比例因子；

M₁等参数是相机加工时确定的，与相机本身的结构有关，称为相机的内参，而M₂描述了两相机的位置，与相机的摆放有关，即为通常所说的外参，而W_h为世界坐标系下物体的齐次坐标，用于描述物体的空间位置；

考虑畸变，则相机模型变为非线性模型，其比线性模型多了畸变系数，如相机针孔成像模型计算得到的理想坐标为(x,y)，而实际图像点的坐标为(x′,y′)，则有：

式中k₁——x方向的畸变；

k₂——y方向的畸变系数；

在双目系统标定过程中，首先需要提供相机内参的初始值，相机畸变系数设为0，相机设置内参初始值用到的算子为：gen_cam_par_area_scan_division，标定板的圆形标记点空间坐标可以从标定板描述文件中读取，用到的算子为set_calib_data_calib_object，左右相机的内参标定结果如下表所示，

从上表可以看出，左相机畸变系数κ＝1226.62，右相机的畸变系数κ＝3425.91，左右摄像机的畸变均为正数，说明所拍摄的照片畸变属于枕形畸变；

标定得到的该双目的外参如下表所示，

标定得到的旋转矩阵得到的信息有：右相机相对于左相机绕X轴旋转0.95°，绕Y轴旋转13.67°，绕Z轴旋转0.75°，X轴和Z轴的旋转相对于X轴小很多，这说明基本上右相机绕着Y轴旋转了13.67°和左相机重合，由平移向量得到的信息为右相机相对左相机平移距离为：

通过相机标定结果，建立模板产品在中心位置时，在每个相机中的深度信息相机一表示为Z1，相机二表示为Z2，相机三表示为Z3，相机四表示为Z4，产品通过检测中心位置，每个相机获得的产品中心的偏移位置(深度信息)分别为Z1'，Z2'，Z3'和Z4'，根据预先模板关系，导出当前图像中产品的直径，通过获取产品直径变化；

获取出图像的边缘后，通过线性比例变换得出图像横向X及纵向Y缩放比系数ψ，从而保证产品做曲面矫正时，保证与建模比例相同。

4.根据权利要求1所述的一种基于机器视觉的曲面标签拼接检测方法，其特征在于，所述步骤三采用鞍点、黑塞矩阵、高斯核、双线性插值等方法得到曲面图像展开为平面的图像，亚像素精度修正步骤如下：

步骤一：在模板图像中设置包含目标物体的的感兴趣区域，将其他不需要的部分排除在外，并对模板中感兴趣区域构建多层金字塔；

步骤二：对模板的金字塔各层进行边缘滤波，得到模板的边缘系列，然后对这边缘系列进行旋转；

步骤三：在目标图像中设置感兴趣检测区域作为搜索区域来提高搜索速度；

步骤四：同样对目标图像的搜索区域生成金字塔，然后边缘滤波的处理，得到的是经过边缘滤波图像金字塔；

步骤五：从金字塔的最顶层开始逐层对处理后的目标图像进行模板匹配，得到相应的相似度量，取得局部最大的相似度量为匹配点；

步骤六：对上述最后得到的匹配点用最小二乘法修正得到亚像素精度的匹配。

5.根据权利要求1所述的一种基于机器视觉的曲面标签拼接检测方法，其特征在于，所述步骤四中所述相机的边缘进行特征提取方式分为两种方式：第一种是基于外形匹配的，将特征明显的区域手动建立模板，第二种是基于角点匹配的方式，通过角点特征和灰度值变化的方式提取特征。

6.根据权利要求1所述的一种基于机器视觉的曲面标签拼接检测方法，其特征在于，所述步骤四中所述的Halcon算法如下：

(1)使用Halcon的算子rgb1_to_gray将RGB图像转化为灰度图像，正常的彩色图片有R、G、B三个通道，称之为真彩色图片，为了提高图像处理速度，图像处理时需要将彩色图像转化为灰度图像，彩色图像转化为灰度图像时，需要计算每个通道的有效亮度值，其计算公式为：

G(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

式中G(i,j)——(i,j)点的灰度值；

R(i,j)——彩色图像(i,j)点的R通道灰度值；

G(i,j)——彩色图像(i,j)点的G通道灰度值；

B(i,j)——彩色图像(i,j)点的B通道灰度值；

(2)设置ROI，设置ROI的目的是减小处理的区域，设置的ROI区域为板坯附近的区域，用算子gen_rectangle1得到一个矩形，然后用reduce_domain去除掉ROI以外的区域；

(3)均值滤波，使用的算子为mean_image，该算子利用均值来平滑图像去除噪声，均值滤波的尺寸自己可以选取；

(4)动态阈值，动态阈值的算子是dyn_threshold。输入为均值滤波后的图像和原图像，输出为动态阈值分割的结果，可以通过调节滤波的尺寸来调节图像分割的结果，滤波尺寸越小，分割出来的是一些边缘，随着滤波尺寸的增加，边缘也会越来越宽，通俗讲动态阈值可以理解为对比度，即某一像素和其周边的像素进行比较；

(5)联通域分析，联通域分析为计算分割的区域中连接在一起的部分，连接在一起的部分属于一个连通域，该过程用到的算子是connection，即把上述动态阈值分割的区域分开成单个联通区域；

(6)形状选择。形状选择用到的算子是select_shape，通过面积特征把干扰区域去掉，面积特征的参数为“area”，另外，该算子有大约70个参数，其中有“col”、“row”、“width”、“height”等；

(7)形状填充，使用的算子为fill_up，即把区域的孔洞填充上，使其成为单连通区域；

(8)开运算，开运算的算子为opening_circle，为利用圆形结构元对图形进行开运算；另外Halcon还有算子opening_rectangle1，为利用矩形区域对图形进行开运算，opening为利用自己定义的结构元对图形进行开运算；

(9)求差，使用模板信息中的预设特征，用算子difference求差，计算两个区域的差值；

(10)缺陷提取，在halcon里是一种形状变换，算子用到的是shape_trans，参数设为“convex”，使原始图形变换为凸图形，另外还有参数“ellipse”和“rectangle2”等，即把原始形状的区域变换为椭圆和矩形。

Images