CN110940670B - 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法 - Google Patents

Abstract

本发明公开了基于机器视觉的柔印标签印刷首稿检测系统及其实现方法，方法包括：建立柔印标签的pdf模板，确定待测画稿的内容区域；采集待测物体在直线运动过程中的被测图像；将采集到的被测图像进行拼接处理；根据待测画稿的内容区域，对拼接处理后的被测图像进行匹配，确定待测物体的印刷品画稿；根据印刷品画稿，对待测画稿进行缺陷检测，确定缺陷位置。本发明提高了柔印标签印刷首稿的检测效率，能够保证出品首稿的印刷质量，可广泛应用于印刷设备技术领域。

Description

基于机器视觉的柔印标签印刷首稿检测系统及其实现方法

技术领域

本发明涉及印刷设备技术领域，尤其是基于机器视觉的柔印标签印刷首稿检测系统及其实现方法。

背景技术

柔印标签是纺织印刷品之一，与大部分印刷品工艺流程类似，主要成分为油墨。柔印标签的生产过程中，客户下单以pdf稿件为存档，再做菲林模板，将菲林安装至印刷设备指定位置，调试好设备后，可以开始批量生产。但菲林在生产和安装过程中，容易出现不可控的因素，如菲林制作某处字符缺漏，内容与pdf稿件不符，菲林安装过程，可能会有粉尘，如果印刷前不校验菲林印刷效果，容易出现大批量的次品，对工厂造成重大损失。

目前柔印车间，一半采用双次校验的方式来进行质量检测，操作工人需要抽检，并且多台设备配一名QA质检人员，做印刷效果的复合。尽管如此，因为印刷标签上的语言涉及世界各地语言，质检人员校核难度高，仍旧会出现批量印刷错误，甚至因为人眼的主观性，出现次品流入后工序，最终导致客户投诉。

发明内容

有鉴于此，本发明实施例提供一种效率高且印刷质量高的，基于机器视觉的柔印标签印刷首稿检测系统及其实现方法。

第一方面，本发明实施例提供了一种基于机器视觉的柔印标签印刷首稿检测系统，包括检测机本体和软件系统，所述检测机本体上设有：

扫码相机，用于采集订单号二维码图像数据，以确定当前订单对应的pdf稿件；

检测相机，用于采集清晰的待测样本的图像数据；

光源，用于提供图像采集的光照；

运动模块，用于根据扫码相机和检测相机的采集数据，带动待测物体运动，以便实现对待测物体的移动图像采集；

所述软件系统，用于对采集到的图像数据进行处理，并控制运动模块的运动。

进一步，所述运动模块包括：

直线模组，用于带动待测物体直线运动；

工控板，用于控制整体系统的IO通讯，实现信号采集和运动控制信号的输出；

驱动器，用于根据工控板的控制信号来驱动直线模组运动；

步进电机，用于将工控板输出的电脉冲控制信号转变为角位移或者线位移。

进一步，还包括：

视觉光源一体机，用于控制直线模组的运动通讯工作；

开关电源，用于将220V交流电转化为步进电机及视觉光源一体机所需的直流电。

第二方面，本发明实施例提供了一种基于机器视觉的柔印标签印刷首稿检测系统的实现方法，包括以下步骤：

建立柔印标签的pdf模板，确定待测画稿的内容区域；

采集待测物体在直线运动过程中的被测图像；

将采集到的被测图像进行拼接处理；

根据待测画稿的内容区域，对拼接处理后的被测图像进行匹配，确定待测物体的印刷品画稿；

根据印刷品画稿，对待测画稿进行缺陷检测，确定缺陷位置。

进一步，所述将采集到的被测图像进行拼接处理这一步骤，包括以下步骤：

通过直线导轨带动样品延长度方向来回运动若干次，拍摄得到若干张有重叠区域的局部待测标签图；

寻找所述若干张图的surf特征点及surf特征向量；

采用欧式距离计算方法，计算任意两张相邻图片之间的匹配点对的欧式距离；

通过RANSAC方法，计算局部最优的点对之间的线性变换矩阵；

根据变换矩阵，拼接得到所述若干张图的全景拼接图。

进一步，所述根据柔印标签的pdf模板，对拼接处理后的被测图像进行匹配，确定待测物体的印刷品画稿这一步骤，包括以下步骤：

采用surf特征匹配方法，计算待测画稿的内容区域和拼接得到的全景拼接图的特征点及特征向量；

采用近似最近邻的快速词典查找法，找到对应的特征点对；

对特征点对的距离进行排序，并根据排序结果确定若干组特征点对；

从所述若干组特征点对中遍历选取任意三组特征点，计算这三组特征点的变换矩阵；

根据所述变换矩阵确定其他未被选取的特征点的变换位置；

计算所述特征点的变换位置与实际位置之间的距离，若该计算得到的距离小于第一阈值，则计票一次；反之，则不计票；

根据计票统计结果，确定得票最高的3个特征点组的最终图像变换矩阵；

根据该最终图像变换矩阵，对待匹配图像做映射变换，得到待测物体的印刷品画稿。

进一步，所述根据印刷品画稿，对待测画稿进行缺陷检测，确定缺陷位置这一步骤，包括以下步骤：

根据灰度模板匹配的方法，对印刷品画稿中的每个字符的搜索邻域内查找对应的印刷字符位置；

将所述印刷字符位置进行移动，得到与待测样品内容位置相同的印刷品画稿；

将所述印刷品画稿转换为二值图；

根据所述印刷品画稿的二值图确定待测图的二值图；

计算印刷品画稿的二值图与待测图的二值图之间的差值，确定距离图；

根据所述距离图确定缺陷位置的标记结果。

上述本发明实施例中的一个或多个技术方案具有如下优点：本发明的实施例首先建立柔印标签的pdf模板，确定待测画稿的内容区域；接着采集待测物体在直线运动过程中的被测图像；然后将采集到的被测图像进行拼接处理；进而根据待测画稿的内容区域，对拼接处理后的被测图像进行匹配，确定待测物体的印刷品画稿；最后根据印刷品画稿，对待测画稿进行缺陷检测，确定缺陷位置；本发明提高了柔印标签印刷首稿的检测效率，能够保证出品首稿的印刷质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的柔印标签印刷首稿的检测系统的整体结构框图；

图2为本发明实施例的整体步骤流程示意图；

图3为本发明实施例的柔印产品示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明提出一种面阵相机+直线导轨的柔印首件检测系统。包括高清扫码相机1、扫码相机安装板2、检测相机3、镜头4、视觉光源一体机5、环形光源6、直线模组7、驱动器8、工控板9、雷赛步进电机10、开关电源11。

其中，高清扫码相机1，用于采集订单号二维码图像数据，以用于自动识别单号，确定订单对应的pdf稿件；

扫码相机安装板2，用于支撑扫码相机安装，以方便客户的扫码操作；

检测相机3，用于采集清晰的待测样本的图像数据；

镜头4，用于控制进入相机感光芯片的光的角度(即视野大小)，并可以通过光圈调节进入相机感光芯片的光的强度，以用于采集所需视野及合适对比度的图片；

视觉光源一体机5，用于控制直线模组的运动通讯工作；

环形光源6，用于提供采集被测图的光照，以采集清晰的图像数据。

直线模组7，用于带动检测物体运动，实现对大视野的移动采集功能；

驱动器8，用于通过同步带驱动直线模组快速运动；

工控板9，用于替代PLC，负责整机的运行逻辑，包括IO输出、运动控制、信号采集；

雷赛步进电机10，用于将电脉冲信号转变为角位移或线位移，该步进电机是开环控制电机，是现代数字程序控制系统中的主要执行元件。

开关电源11，用于将220V交流电转化为电机及视觉光源一体机所需的直流电。

下面详细描述本发明的检测系统的具体工作原理：

所述的相机1安装在安装板上，相机3与镜头4连接，所述视觉光源一体机5与相机3连接，获取相机采集的待测图数据。所述视觉光源一体机5与相机1连接，进而获取得到扫码图片数据信息。所述环形光源6安装在光源支架上，用于提供采集被测图的光照，以采集清晰便于处理的图像数据。所述直线模组7、驱动器8及雷赛步进电机10，组成直线运动模块，相机每采集一张图片，直线运动模块载着样品移动固定步长，继续拍照，重复六次。将所采集的图像进行拼接处理，即可得到完整的待测标签图像。所述开关电源11为运动模块的供电电源，提供其元器件所需要的电压。

在本实施例中，扫码相机安装板采用的是型号为WLI-T03A-17的安装板，视觉光源一体机采用的是VC-Q02-4/32G的一体机，直线模组采用的是型号为CCM-W45-400的模组，驱动器采用的是M542H-57型号的驱动器，步进电机采用的是57HS22型号的雷赛步进电机，开关电源采用的是NES-100-24开关电源。

另外，因为柔印标签的底料一般是软材料，如丝带，胶带，棉带，尼龙带等等，这些材料印刷过程中拉伸容易变形，导致印刷的排版距离与pdf画稿存在一定差异。所以在做缺陷检测的过程前，先对pdf印刷画稿中的每个字符，查找对应的印刷字符位置，并将画稿字符位置移动到相应位置，得到调整后与待测样品内容位置相同的印刷品画稿。

本发明所述的画稿图是黑白分明的图片。

如图2所示，下面详细描述本发明的基于机器视觉的柔印标签印刷首稿检测系统的实现方法的整体实施步骤：

S1、建立柔印标签的pdf模板，确定待测画稿的内容区域；

本实施例将Pdf转换为Image格式，显示界面，鼠标框选待测画稿的内容区域，命名模板名称，确定即可完成新模板的建立。

S2、采集待测物体在直线运动过程中的被测图像；

S3、将采集到的被测图像进行拼接处理；

因为柔印产品的最大长度一般都是290mm，通过检测精度后，固定步长采集6张图片。因为产品长度不一致，为了规避无内容区域，因为没有纹理内容，导致图像无法拼接。所以画稿内容底部加少量部分纹理。本实施例展示了部分柔印产品的示意图，如图3所示。

本实施例采用Surf特征点匹配，重叠部分使用线性图像融合技术，将不同时刻采集的6张图像拼接为同一张图片上。

S4、根据待测画稿的内容区域，对拼接处理后的被测图像进行匹配，确定待测物体的印刷品画稿；

本实施例将pdf中选择的画稿内容与拼接好的待测图像进行匹配，此处选用surf匹配算法，因为surf对光照，尺度，噪点干扰具有一定的鲁棒性。为了提高算法的稳定性，普通的随机一致性估计，容易出现同组图像，匹配结果不稳定，只能偶尔匹配准确。所以修改匹配结果筛选的方式，选择固定数量(如300组)的匹配点，每3个点，计算出一个变换矩阵，通过变换矩阵验证其他点是否满足该变换矩阵的误差范围，如果满足，投票一次，最后得到其中一个变换矩阵投票数量最多的一个变换方式作为最终的变换矩阵。该方法，规避了因为匹配点数量过多，导致计算变换矩阵慢的问题，同时也规避了，同一张图片，每次匹配效果存在随机性。

S5、根据印刷品画稿，对待测画稿进行缺陷检测，确定缺陷位置。

具体的，因为柔印标签的底料一般是软材料，如丝带，胶带，棉带，尼龙带等等，这些材料印刷过程中拉伸容易变形，导致印刷的排版距离与pdf画稿存在一定差异。

所以在做缺陷检测的过程前，先对pdf印刷画稿中的每个字符，在其附近的搜索邻域内查找对应的印刷字符位置，并将画稿字符位置移动到相应位置，得到与待测品内容位置相同的印刷品画稿。

然后，设置自适应阈值分割对应的pdf画稿，阈值设置标准为，与pdf二值图的差值最小为最优阈值。

最后，计算pdf画稿图二值图与待测图二值图的差值，并计算其差值二值图到pdf画稿图二值图的距离图，设置距离标准，超越某个固定距离阈值的差值二值图定义为缺陷。并标记到待测图。得到最后的检查结果，提供给工人核验。

参照图1的装置结构图，本实施例描述该装置的具体使用过程：

1、采用pdf解析器将pdf文档转换为JPEG格式的数据；

2、将JPEG格式数据显示在QT软件交互界面，其中QT是一个1991年由Qt Company开发的跨平台C++图形用户界面应用程序开发框架；

3、在QT软件交互界面使用鼠标按住左键拖动框出画稿中，印刷内容的区域；

4、确认，软件将弹出请输入模板名称对话框，在框中输入模板名称后，点击确定，即完成建模过程。

其中，本实施例所述的图像拼接处理包括以下步骤：

1、图像采集，直线导轨带动样品延长度方向运动六次，拍六张有一定重叠区域的局部待测标签图。

1、寻找六张图的surf特征点及surf特征向量。

2、采用欧式距离，计算相邻两张图片的匹配点对。

3、通过RANSAC方法，计算局部最优的点对之间的线性变换矩阵，本实施例的线性变换矩阵为3×3矩阵。

4、根据变换矩阵，将第二张图拼接至第一张图，重叠部分，采用线性融合，得到拼接图。

5、如此重复5次，得到6张图的全景拼接图。

本实施例所述的图像匹配包括以下步骤：

1、被匹配对象为，建模时框选的内容区域和拼接得到的待测图拼接图。

2、继续使用surf特征匹配的方法，计算两张待匹配图像的特征点及特征向量。

3、采用近似最近邻的快速词典(Fast Library for Approximate NearestNeighbors，FLANN)查找法，找到对应的特征点对。

4、取特征点对中，距离最近的前150组。

5、排列组合，从150组中遍历取3组点，计算变换矩阵，并计算其他未选中的点根据变换矩阵变换的位置与实际位置距离，距离小于0.5，则投票一次，统计投票结果。得到投票最高的3个匹配点组的变换矩阵，即是最终的图像变换矩阵。

6、根据变换矩阵，对带匹配图做映射变换，得到与画稿图一致的待测图。

本实施例所述的缺陷检测包括以下步骤：

1、因为柔印标签的底料一般是软材料，如丝带，胶带，棉带，尼龙带等等，这些材料印刷过程中拉伸容易变形，导致印刷的排版距离与pdf画稿存在一定差异。所以在做缺陷检测的过程前，先对pdf印刷画稿中的每个字符，根据灰度模板匹配的方法，在其附近的搜索邻域内查找对应的印刷字符位置，并将画稿字符位置移动到相应位置，得到调整后与待测样品内容位置相同的印刷品画稿。

2、画稿图是黑白分明的图片，直接采用硬性阈值，阈值灰度取为128，将画稿变为二值化的图(即灰度大于128，像素灰度改为为255，灰度小于128，灰度全部变为0)，再根据画稿二值化的结果，通过搜索某个区域像素值为70-150之间的灰度阈值(间隔为5)，找其中二值化待测图与画稿内容最接近的灰度阈值作为待测图的二值化阈值，得到待测图二值图。

最后，计算pdf画稿图二值图与待测图二值图的差值，并根据差值白色像素点到画稿图非白色最近像素点的距离，得到距离图，设置距离标准，超越某个固定距离阈值的差值二值图定义为缺陷。并标记到待测图。得到最后的检查结果，提供给工人核验。

综上所述，本发明提高了柔印标签印刷首稿的检测效率，能够保证出品首稿的印刷质量。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.基于机器视觉的柔印标签印刷首稿检测系统的实现方法，其特征在于：所述柔印标签印刷首稿检测系统包括检测机本体和软件系统，所述检测机本体上设有：

扫码相机，用于采集订单号二维码图像数据，以确定当前订单对应的pdf稿件；

检测相机，用于采集清晰的待测样本的图像数据；

光源，用于提供图像采集的光照；

运动模块，用于根据扫码相机和检测相机的采集数据，带动待测物体运动，以便实现对待测物体的移动图像采集；

所述软件系统，用于对采集到的图像数据进行处理，并控制运动模块的运动；

所述运动模块包括：

直线模组，用于带动待测物体直线运动；

工控板，用于控制整体系统的IO通讯，实现信号采集和运动控制信号的输出；

驱动器，用于根据工控板的控制信号来驱动直线模组运动；

步进电机，用于将工控板输出的电脉冲控制信号转变为角位移或者线位移；

所述方法包括以下步骤：

建立柔印标签的pdf模板，确定待测画稿的内容区域；

采集待测物体在直线运动过程中的被测图像；

将采集到的被测图像进行拼接处理；

根据待测画稿的内容区域，对拼接处理后的被测图像进行匹配，确定待测物体的印刷品画稿；

根据印刷品画稿，对待测画稿进行缺陷检测，确定缺陷位置；

所述根据待测画稿的内容区域，对拼接处理后的被测图像进行匹配，确定待测物体的印刷品画稿这一步骤，包括以下步骤：

采用surf特征匹配方法，计算待测画稿的内容区域和拼接得到的全景拼接图的特征点及特征向量；

采用近似最近邻的快速词典查找法，找到对应的特征点对；

对特征点对的距离进行排序，并根据排序结果确定若干组特征点对；

从所述若干组特征点对中遍历选取任意三组特征点，计算这三组特征点的变换矩阵；

根据所述变换矩阵确定其他未被选取的特征点的变换位置；

计算所述特征点的变换位置与实际位置之间的距离，若该计算得到的距离小于第一阈值，则计票一次；反之，则不计票；

根据计票统计结果，确定得票最高的3个特征点组的最终图像变换矩阵；

根据该最终图像变换矩阵，对待匹配图像做映射变换，得到待测物体的印刷品画稿。

2.根据权利要求1所述的基于机器视觉的柔印标签印刷首稿检测系统的实现方法，其特征在于：所述柔印标签印刷首稿检测系统还包括：

视觉光源一体机，用于控制直线模组的运动通讯工作；

开关电源，用于将220V交流电转化为步进电机及视觉光源一体机所需的直流电。

3.根据权利要求1所述的基于机器视觉的柔印标签印刷首稿检测系统的实现方法，其特征在于：所述将采集到的被测图像进行拼接处理这一步骤，包括以下步骤：

通过直线导轨带动样品延长度方向来回运动若干次，拍摄得到若干张有重叠区域的局部待测标签图；

寻找所述若干张有重叠区域的局部待测标签图的surf特征点及surf特征向量；

采用欧式距离计算方法，计算任意两张相邻图片之间的匹配点对的欧式距离；

通过RANSAC方法，计算局部最优的点对之间的线性变换矩阵；

根据变换矩阵，拼接得到所述若干张图的全景拼接图。

4.根据权利要求1所述的基于机器视觉的柔印标签印刷首稿检测系统的实现方法，其特征在于：所述根据印刷品画稿，对待测画稿进行缺陷检测，确定缺陷位置这一步骤，包括以下步骤：

根据灰度模板匹配的方法，在印刷品画稿中的每个字符的搜索邻域内查找对应的印刷字符位置；

将所述印刷字符位置进行移动，得到与待测样品内容位置相同的印刷品画稿；

将所述印刷品画稿转换为二值图；

根据所述印刷品画稿的二值图确定待测图的二值图；

计算印刷品画稿的二值图与待测图的二值图之间的差值，确定距离图；

根据所述距离图确定缺陷位置的标记结果。

Images