CN114331833A - 基于标定与精确几何结构的瓶体标签稳定高质量拼接方法 - Google Patents

Abstract

本发明公开了计算机视觉领域内的基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，包括离线数据建立：对瓶体建立坐标系模型，假设瓶体处于四相机平台的几何中心；建立瓶体模板，进行模板匹配；在线算法建立：确定真实的瓶体轴线；瓶体体表面点采样，在各相机最优观测位置上获取标签图像上像素点的灰度值，赋值给瓶体标签展开图像上对应的像素；图像拼接，首先将处理后标签部分图像进行匹配定位裁剪，然后利用NCC优化调整后，将四幅图像拼接成一幅标签展开图，并统一拼接时的起始位置图像，本发明大大提高建立模板的速度，降低建立模板对操作人员的技术要求，相比于四图像普通拼接效果更精确平滑，并提高了圆柱标签检测的准确率和稳定性。

Description

基于标定与精确几何结构的瓶体标签稳定高质量拼接方法

技术领域

本发明涉及计算机视觉处理技术领域，特别涉及一种瓶体标签拼接方法。

背景技术

目前，国内外在产品标签质量检测上严格把控。我国海克斯康制造智能 提供瓶体柔性自动检测专机，实现自动化检测塑料材质与玻璃材质的多种产 品的瓶体标签检测。美国生产Tabasco辣椒酱的Mcllhenny公司采用四摄像 头全身扫描代替原来的红外线和摄像眼相结合的标签检测，其方法不仅能统 一标签是否粘贴在正确的位置，而且还能统一标签本身与该批次产品是否一 致和匹配。近年来，有学者在这方面进行相关研究。张树君[1]和杨海明[2] 都对圆柱产品标签检测系统做了相应的研究。前者采用以增量为90度放置的 4相机对产品同步采集，对四幅图像进行自动排列调整，与预先设定好的完 整图像进行对比，效果粗糙，只能检测标签的有无和偏移。后者采用折返光 路结构和时分异步采集模式同时结合多种背光及前置光架构实现360°无盲 区全方位检测，该系统采用6相机采集图像设备成本比较高，而且机器安装 精度要求比较高。

[1]张树君,辛莹莹,陈大千.基于机器视觉的饮料瓶标签检测设备[J]. 食品研究与开发,2014(3):134-136。

[2]杨海明,苟岩岩.饮料瓶标签360°全方位检测系统研究[J].包装与 食品机械,2017,35(3):41-45。

发明内容

针对现有技术中存在的不足，本发明提供了一种基于标定与精确几何结 构的瓶体标签稳定高质量拼接方法，通过建立检测目标的离线数据和在线算 法从而实现显著提高周标检测的稳定性和准确性，大大减少了传统人工检测 圆柱标签缺陷的成本。

本发明的目的是这样实现的：一种基于标定与精确几何结构的瓶体标签 稳定高质量拼接方法，包括离线数据建立与在线算法建立两个过程；

离线数据建立：

步骤S1：设置四组相机，采用张正友标定板法对相机进行四目标定，通 过相机两两标定，得到四个相机间的实际内参和相机间位姿传递关系；

步骤S2：设定周标瓶体的半径，并设置像素的物理尺寸；

步骤S3：对瓶体建立坐标系模型，假设瓶体处于四相机平台的几何中心；

步骤S4：建立瓶体模板，进行模板匹配；

在线算法建立：

步骤S5：确定真实的瓶体轴线，首先利用瓶盖模板匹配方法提取标签在 图像中的边缘点；然后根据扰动矩阵迭代优化剔除的误差较大的图像点，即 可确定真实的瓶体轴线；

步骤S6：瓶体体表面点采样，在各相机最优观测位置上获取标签图像上 像素点的灰度值，赋值给瓶体标签展开图像上对应的像素；

步骤S7：图像拼接，首先将处理后标签部分图像进行匹配定位裁剪，然 后对四幅图像普通拼接成一幅标签展开图，并统一拼接时的起始位置图像； 再采用NCC匹配算法对拼接图像进行调整，在优化调整后可拼接成一幅连续、 无错位、清晰的、完整的高质量的圆周标签展开拼接图，并统一优化后的标 签起始位置。

作为本发明的进一步限定，步骤S1具体为：

第一步，建立四相机实验平台，使标定板位于四相机平台中心；

第二步，采集位置方向不同的10幅标定板图像对图像；

第三步，相机四目标定，先对相邻两个相机进行标定，得到两相机间的 内部参数和位姿关系；接着顺时针依次对相邻两相机、共计三组相机执行两 两标定，即可得到四个相机间的实际内参和位姿传递关系。

作为本发明的进一步限定，步骤S4具体为：

第一步,确定出感兴趣的矩形区域，从图像中获取这个区域图像；

第二步，创建瓶体模板。

作为本发明的进一步限定，步骤S5具体为：

第一步，根据S4建立的瓶体模板，进行瓶体模板匹配；

第二步，提取标签图像边缘点；

第三步，确定真实的瓶体轴线，首先利用标定后的相机内外参数，将图 像边缘点转换到瓶体体坐标系中，得到边缘点的世界坐标。

作为本发明的进一步限定，第三步在确定轴线过程中在系统矩阵A上加 入扰动矩阵E,利用最小二乘法求解：

(A+E)x＝y (1)

其中A为系统矩阵，E为扰动矩阵，x为最优轴线的解，y为图像边缘点 坐标

将式1两边同时乘以(A+E)^T转换成下面的式子：

(A+E)^T(A+E)x＝(A+E)^Ty (2)

对式2利用cholesky分解简化计算,令B＝(A+E)^T(A+E)，B是对称正 定矩阵，将矩阵B分解成一个下三角矩阵G和一个上三角矩阵G^T相乘的形式， 如下式：

求解的x为扰动后优化迭代下最小误差所对应的最优解，即可得到瓶体 体坐标系的Z轴为最优轴；

x＝(G^T)^-1G^-1(A+E)^Ty (4)

最终，根据扰动矩阵优化迭代下求得圆柱体最优轴，该轴满足到各边缘 点距离与圆柱体半径r的差值最小，进而精准定位待检测圆柱体，也为后续 圆柱体表面点采样做了预处理。在此优化迭代过程中，剔除误差较大的图像 边缘点，用红色×显示。

作为本发明的进一步限定，步骤S6具体为：

第一步，确定最佳的相机观测位置，最佳观测范围是在瓶体的圆弧面上；

第二步，获取瓶体面标签最佳观测位置上的点到各相机的单位向量e； 根据公式5求出观测角度，当满足cos(O′P′,e)＞|cosα|，一系列的点组成 集合P_si′，即为相机C_i的最佳观测点集，这些点集组成四个对应相机最佳观测 区域；

其中，O′为瓶体的实际几何中心，点P′弧PQ上的任意一点，PQ为各相 机视角与标签瓶体的切线交点，再与圆心的连线跟瓶体的交点，P、Q关于C_iO′对称；

第三步，将各相机对应的最佳观测位置的三维点集P_si′投影到图像上获取 标签图像部分；通过双线性插值法，获取标签图像上像素P_si′|C_i各点的灰度 值grayval，其中P_si′|C_i为各相机对应的点集，i为相机编号，坐标为(u，v)， 一一赋值给瓶体标签展开图像上对应的像素，坐标为(row,column)；

grayval(row,column)←grayval(u,v) (6)

通过上述步骤采样的圆柱体表面点，能够快速且精确地将圆柱体产品侧 面标签平面展开。

作为本发明的进一步限定，步骤7具体为：在S5、S6步骤基础上，进 行图像拼接；首先，扩展图像重叠的宽度，其次，保证第一张展开图像的部 分不变，确定拼接图像的偏移，选择用于匹配的图像类型，并创建NCC模板 和搜索图像，从而获得正确的拟合图像，并将标签部分图像进行按顺序、连 续、无错位、清晰地拼接成一幅完整的高质量的圆周标签展开图，并统一优 化后的标签起始位置。使用四张图片直接拼接得到的整个标签拼接图像，相邻2幅图像拼接处存在明显的错位，并且重叠部分失真，图像的纹理特征不 均匀。对后续检测标签造成了更大的影响。使用本设计提出NCC模板匹配的 拼接方法，对2幅图像拼接边缝区域进行微调，并通过图像融合技术进行图 像拼接，这样使拼接处错位清除，拼接效果更加平滑精确。

与现有技术相比，本发明的有益效果在于，只在第一步相机标定和创建 模板需要人工参与，其余步骤均由算法自动完成，大大提高建立模板的速度， 降低建立模板对操作人员的技术要求，且通过多幅图片建立的在线算法用于 稳定高质量图像拼接时可降低周标检测的误检率，研究快速准确的圆柱产品 标签缺陷检测算法；设计相应的检测系统，来实现圆柱产品标签检测自动化 替代人工目检；让该检测系统的检测结果与产品质量产量要求准则相一致， 提高了圆柱标签检测的准确率和稳定性；可替代人工对产品标签缺陷进行有 效快速检测，匹配定位裁剪、拼接。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明中圆周标检测流程图。

图2为本发明中四相机平台与相机标定

图3为本发明中生成形状匹配模板图。

图4为本发明中提取边缘点图。

图5为本发明中剔除干扰边缘点(红色)图。

图6为本发明中获取最佳位置的点集图。

图7为本发明中处理后图像上获取标签图像部分图。

图8为本发明中未进行优化下普通标签拼接图。

图9为本发明中未进行优化下统一标签起始位置拼接图。

图10为本发明中优化后高质量标签拼接图。

图11为本发明中优化后统一标签起始位置拼接图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合具体实施例对本发明做进一步说明。

实施例

如图1所示的一种基于标定与精确几何结构的圆柱标签稳定高质量拼接 方法，包括离线与在线两个子过程：

离线数据建立：

步骤S1：采用张正友标定板法对相机进行四目标定；通过相机两两标定， 可获得到四个相机间的实际内参和相机间位姿传递关系(见附图2)；

步骤S2：设定周标瓶子的半径，并设置像素的物理尺寸；

步骤S3：对瓶体建立坐标系模型；假设瓶体处于四相机平台的几何重心 O处，即直立在四相机的中央；

步骤S4：建立瓶体模板，进行模板匹配(见附图3)；

在线算法建立：

步骤S5：确定真实的瓶体轴线；首先利用瓶体模板匹配方法提取标签在 图像中的边缘点(见附图4)；然后根据扰动矩阵迭代优化剔除的误差较大 的图像点，即可确定真实的瓶体轴线；实验剔除的点对，用红色×显示(见 附图5)；

步骤S6：圆柱体表面点采样(见附图6)；在各相机最优观测位置上获 取标签图像上像素点的灰度值，赋值给圆柱标签展开图像上对应的像素；

步骤S7：图像拼接；首先将处理后标签部分图像进行匹配定位裁剪(见 附图7)，然后对四幅图像普通拼接成一幅标签展开图(见附图8)，并统一 拼接时的起始位置图像(见附图9)；再采用NCC匹配算法对拼接图像进行 调整(见附图10)，在优化调整后可拼接成一幅连续、无错位、清晰的、完 整的高质量的圆周标签展开拼接图，并统一优化后的标签起始位置(见附图 11)。

本实施例中，步骤S1具体为：

第一步，建立四相机实验平台，使标定板位于四相机平台中心；

第二步，采集位置方向不同的10幅标定板图像对图像；

第三步，相机四目标定；先对C₀、C₁号两个相机进行标定，得到两相机 间的内部参数和位姿关系；接着依次对C₁、C₂；C₂、C₃；C₃、C₀三组相机执 行两两标定(C_i为各相机，i为相机编号)，即可得到四个相机间的实际内参 和位姿传递关系。

本实施例中，步骤S4具体为：

第一步,确定出感兴趣的矩形区域(ROI)，从图像中获取这个区域图像；

第二步，利用HALCON中create_shape_model算子来创建瓶体模板；

本实施例中，步骤S5具体为：

第一步，根据S4建立的瓶体模板，进行模板匹配；

第二步，使用HALCON中gen_rectangle2和measure-Pos算子，提取标 签图像边缘点；

第三步，确定真实的瓶体轴线；首先利用标定后的相机内外参数，将图 像边缘点转换到圆柱体坐标系中，得到边缘点的世界坐标；实际情况下，圆 柱体位姿会相对于理想圆柱体位置有所偏移，需要拟合出一条圆柱体最优Z 轴，使该轴到各边缘点距离与圆柱体半径r的差值最小。但实际检测到部分 边缘点与半径的差值较大，直接求解，最终拟合出的轴线误差相对比较大， 因此本设计在系统矩阵A上加入扰动矩阵E,利用最小二乘法求解:

(A+E)x＝y (1)

其中A为系统矩阵，x为最优轴线的解，y为图像边缘点坐标

由于加入扰动E后的矩阵A+E不对称，因此将式1两边同时乘以 (A+E)^T转换成下面的式子:

(A+E)^T(A+E)x＝(A+E)^Ty (2)

对式2利用cholesky分解简化计算,令B＝(A+E)^T(A+E)，由于(A+E) 满秩，所以B是对称正定矩阵，此时式2有且仅有一解；那么可将矩阵B分 解成一个下三角和矩阵G和一个上三角矩阵G^T相乘的形式；如下式:

最终求解的x为扰动后优化迭代下最小误差所对应的最优解，即可得到 圆柱体坐标系的Z轴为最优轴；

x＝(G^T)^-1G^-1(A+E)^Ty (4)

最终，根据扰动矩阵优化迭代下求得圆柱体最优轴，该轴满足到各边缘 点距离与圆柱体半径r的差值最小，进而精准定位待检测圆柱体，也为后续 圆柱体表面点采样做了预处理；在此优化迭代过程中，剔除误差较大的图像 边缘点，用红色×显示。

本实施例中，步骤S6具体为：

第一步，为获取圆柱体表面各像素点的3D坐标，需要先确定最佳的相机 观测位置；如图12所示：

圆柱体的实际几何中心O′相对于理想圆柱体几何中心O会有所偏移，根 据S5所求的圆柱体真实轴线，确定此时的最佳观测范围是PQ所在圆柱的圆 弧面上(它们是各相机视角与标签圆柱的切线交点，再与圆心的连线跟圆柱 的交点，P、Q关于C_iO′对称)，点P′弧PQ上的任意一点；

第二步，获取圆柱面标签最佳观测位置上的点到各相机P′C_i的单位向量e； 由公式5可以求出观测角度，当P′点满足cos(O′P′,e)＞|cosα|，这一系列 的点组成集合P_si′，即为相机C_i的最佳观测点集，这些点集组成四个对应相机 C_i最佳观测区域；

第三步，将各相机对应的最佳观测位置的三维点集P_si′投影到图像上获取 标签图像部分；通过双线性插值法，将获取标签图像上像素P_si′|C_i各点的灰 度值grayval，其中P_si′|C_i为各相机对应的点集，i为相机编号，坐标为(u， v)，一一赋值给圆柱标签展开图像上对应的像素，坐标为(row,column)。

grayval(row,column)←grayval(u,v) (6)

通过上述步骤采样的圆柱体表面点，投影到图像上畸变小，效果更佳， 同时能够快速且精确地将圆柱体产品侧面标签平面展开。

本实施例中，步骤7具体为：

在S5、S6步骤基础上，进行图像拼接；

第一步，将标签部分图像进行匹配定位裁剪；

第二步，未进行优化下普通拼接；在进行圆柱标签全图像拼接时，拼接 处错位明显，对后续标签内部检测造成较大影响；

第三步，优化调整后高质量拼接；首先，扩展图像重叠的宽度，为了使 拼接图像之间有重叠以便更好地进行拼接。其次，保证第一张展开图像的部 分不变，确定拼接图像的偏移。选择用于匹配的图像类型，并创建NCC模板 和搜索图像，从而获得正确的拟合图像，并将标签部分图像进行按顺序、连 续、无错位、清晰地拼接成一幅完整的高质量的圆周标签展开图，并统一优 化后的标签起始位置。

使用四张图片直接拼接得到如图8、9中的整个标签拼接图像，从图中可 以看出，相邻2幅图像拼接处存在明显的错位，并且重叠部分失真，图像的 纹理特征不均匀。对后续检测标签造成了更大的影响。使用本设计提出NCC 模板匹配的拼接方法，对2幅图像拼接边缝区域进行微调，并通过图像融合 技术进行图像拼接，这样使拼接处错位清除，拼接效果更加平滑精确，效果 如图10、11所示。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当 指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下， 还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要 求的保护范围内。

Claims (7)

1.一种基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，其特征在于，包括离线数据建立与在线算法建立两个过程；

离线数据建立：

步骤S1：设置四组相机，采用张正友标定板法对相机进行四目标定，通过相机两两标定，得到四个相机间的实际内参和相机间位姿传递关系；

步骤S2：设定周标瓶体的半径，并设置像素的物理尺寸；

步骤S3：对瓶体建立坐标系模型，假设瓶体处于四相机平台的几何中心；

步骤S4：建立瓶体模板，进行模板匹配；

在线算法建立：

步骤S5：确定真实的瓶体轴线，首先利用瓶盖模板匹配方法提取标签在图像中的边缘点；然后根据扰动矩阵迭代优化剔除的误差较大的图像点，即可确定真实的瓶体轴线；

步骤S6：瓶体体表面点采样，在各相机最优观测位置上获取标签图像上像素点的灰度值，赋值给瓶体标签展开图像上对应的像素；

步骤S7：图像拼接，首先将处理后标签部分图像进行匹配定位裁剪，然后对四幅图像普通拼接成一幅标签展开图，并统一拼接时的起始位置图像；再采用NCC匹配算法对拼接图像进行调整，在优化调整后可拼接成一幅连续、无错位、清晰的、完整的高质量的圆周标签展开拼接图，并统一优化后的标签起始位置。

2.根据权利要求1所述的一种基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，其特征在于，步骤S1具体为：

第一步，建立四相机实验平台，使标定板位于四相机平台中心；

第二步，采集位置方向不同的10幅标定板图像对图像；

第三步，相机四目标定，先对相邻两个相机进行标定，得到两相机间的内部参数和位姿关系；接着顺时针依次对相邻两相机、共计三组相机执行两两标定，即可得到四个相机间的实际内参和位姿传递关系。

3.根据权利要求1所述的一种基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，其特征在于，步骤S4具体为：

第一步，确定出感兴趣的矩形区域，从图像中获取这个区域图像；

第二步，创建瓶体模板。

4.根据权利要求1所述的一种基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，其特征在于，步骤S5具体为：

第一步，根据S4建立的瓶体模板，进行瓶体模板匹配；

第二步，提取标签图像边缘点；

第三步，确定真实的瓶体轴线，首先利用标定后的相机内外参数，将图像边缘点转换到瓶体体坐标系中，得到边缘点的世界坐标。

5.根据权利要求4所述的一种基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，其特征在于，第三步在确定轴线过程中在系统矩阵A上加入扰动矩阵E，利用最小二乘法求解：

(A+E)x＝y (1)

其中A为系统矩阵，E为扰动矩阵，x为最优轴线的解，y为图像边缘点坐标

将式1两边同时乘以(A+E)^T转换成下面的式子：

(A+E)^T(A+E)x＝(A+E)^Ty (2)

对式2利用cholesky分解简化计算，令B＝(A+E)^T(A+E)，B是对称正定矩阵，将矩阵B分解成一个下三角矩阵G和一个上三角矩阵G^T相乘的形式，如下式：

求解的x为扰动后优化迭代下最小误差所对应的最优解，即可得到瓶体体坐标系的Z轴为最优轴；

x＝(G^T)^-1G^-1(A+E)^Ty (4)

最终，根据扰动矩阵优化迭代下求得圆柱体最优轴，该轴满足到各边缘点距离与圆柱体半径r的差值最小，进而精准定位待检测圆柱体，也为后续圆柱体表面点采样做了预处理。在此优化迭代过程中，剔除误差较大的图像边缘点，用红色×显示。

6.根据权利要求1所述的一种基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，其特征在于，步骤S6具体为：

第一步，确定最佳的相机观测位置，最佳观测范围是在瓶体的圆弧面上；

第二步，获取瓶体面标签最佳观测位置上的点到各相机的单位向量e；根据公式5求出观测角度，当满足cos(O′P′，e)＞|cosα|，一系列的点组成集合P_si′，即为相机C_i的最佳观测点集，这些点集组成四个对应相机最佳观测区域；

其中，O′为瓶体的实际几何中心，点P′弧PQ上的任意一点，PQ为各相机视角与标签瓶体的切线交点，再与圆心的连线跟瓶体的交点，P、Q关于C_iO′对称；

第三步，将各相机对应的最佳观测位置的三维点集P_si′投影到图像上获取标签图像部分；通过双线性插值法，获取标签图像上像素P_si′|C_i各点的灰度值grayval，其中P_si′|C_i为各相机对应的点集，i为相机编号，坐标为(u，v)，一一赋值给瓶体标签展开图像上对应的像素，坐标为(row，column)；

grayval(row，column)←grayval(u，v) (6)

通过上述步骤采样的圆柱体表面点，能够快速且精确地将圆柱体产品侧面标签平面展开。

7.根据权利要求1所述的一种基于标定与精确几何结构的瓶体标签稳定高质量拼接方法，其特征在于，步骤7具体为：在S5、S6步骤基础上，进行图像拼接；首先，扩展图像重叠的宽度，其次，保证第一张展开图像的部分不变，确定拼接图像的偏移，选择用于匹配的图像类型，并创建NCC模板和搜索图像，从而获得正确的拟合图像，并将标签部分图像进行按顺序、连续、无错位、清晰地拼接成一幅完整的高质量的圆周标签展开图，并统一优化后的标签起始位置。使用四张图片直接拼接得到的整个标签拼接图像，相邻2幅图像拼接处存在明显的错位，并且重叠部分失真，图像的纹理特征不均匀。对后续检测标签造成了更大的影响。使用本设计提出NCC模板匹配的拼接方法，对2幅图像拼接边缝区域进行微调，并通过图像融合技术进行图像拼接，这样使拼接处错位清除，拼接效果更加平滑精确。

Images