CN102565074B - 小张清分机疑似缺陷产品图像复检系统及方法 - Google Patents

Abstract

本发明涉及小张清分机疑似缺陷产品图像复检系统及方法，包括依次通信的清分机通道、图像获取伺服单元以及复检服务器；清分机通道用于获取判为废品的原始信息；图像获取伺服单元用于获取原始信息，并将所获取的原始信息传输给复检服务器；复检服务器包括光线归一化模块、胶凹分离模块、特征提取模块、分类器以及用于为光线归一化模块、胶凹分离模块和特征提取模块提供运行平台的图形处理单元。本发明解决了现有的小张清分机存在误废量大且无法对机检结果进行分析的技术问题，本发明实时获取清分机的机检废品图像信息，按照预设的标准进行再次处理，便于人工区别分析、质量反馈、追溯及印刷工序协调改进工作的开展。

Description

小张清分机疑似缺陷产品图像复检系统及方法

技术领域

本发明涉及小张清分机疑似缺陷产品图像复检系统及方法。

背景技术

随着全机检工艺的逐步实施，机检设备在工艺生产的过程质量管理及末端质量管理中逐渐取代了手工劳动的劳动密集型生产方式。小张清分机作为印钞检封工艺中控制出厂产品质量的重要机检设备，生产过程中会产生大量的误废，据统计彩色清分机误废率为1.5％，黑白清分机误废率为2％。目前，统计我公司4至5月份的平均测算量，清分机全检生产后，平均每万的人工分析量为7500小张，清分机生产产生的废品直接销毁，存在误废量大而导致人员、材料等生产成本的浪费。

我公司两台彩色清分机每台日生产量5万，平均误废率1.5％，按9607A品0.28元/小张的市值计算，每台清分机所产生的误废，直接造成每月15.435万元，每年185.22万元的成本损失。因此，降低清分机机检误废，是降低生产成本，提高效率的关键环节。与此同时，清分机检出的作废产品直接销毁，无法通过对机检结果的分析、统计等方式直观的反映并协调改进印刷质量，使得清分机成为仅仅是好坏票分离的工具，机检信息无法在质量管控中得到应用。

发明内容

为了解决现有的小张清分机存在误废量大且无法对机检结果进行分析的技术问题，本发明提供了一种小张清分机疑似缺陷产品图像复检系统及方法。

本发明的技术解决方案：

小张清分机疑似缺陷产品图像复检系统，其特殊之处在于：包括依次通信的清分机通道、图像获取伺服单元以及复检服务器；

所述清分机通道用于向图像获取伺服单元提供清分机所检测判为废品的原始信息，所述原始信息包括小张图像以及检测结果；所述检测结果包括缺陷作废类型、缺陷几何位置、缺陷面积和缺陷能量；

所述图像获取伺服单元用于从清分机通道获取原始信息，并将所获取的原始信息传输给复检服务器；

所述复检服务器包括用于将待复检的小张图像与标准图像的进行光照归一化的光线归一化模块、用于将待复检的小张图像进行胶凹分离的胶凹分离模块、用于提取待复检的小张图像特征的特征提取模块、用于输出分类结果的分类器以及用于为光线归一化模块、胶凹分离模块和特征提取模块提供运行平台的图形处理单元GPU。

还包括人工图像分析平台，所述人工图像分析平台用于接收复检服务器发送的信息经过人工分析、统计生成判废结果发送给复检服务器。

还包括剔废单元，所述剔废单元包括用于存储原始信息的检测信息存储单元、用于存储复检服务器判为废品的小张图像以及缺陷信息的缺陷数据存储单元、用于根据缺陷数据存储单元和检测信息存储单元关联生成剔废报表的剔废信息生成单元、用于与小张剔废机连接的剔废数据接口以及小张剔废机。

小张清分机疑似缺陷产品图像复检方法，其特殊之处在于：包括以下步骤：

1】图像获取伺服单元从清分机数据接口读取小张清分机判为废品的废品原始信息；所述原始信息包括小张图像以及检测结果；所述检测结果包括缺陷作废类型、缺陷几何位置、缺陷面积和缺陷能量；

2】图像获取伺服单元将原始信息通过网络发送给复检服务器；

3】在复检服务器中处理待检测的小张图像：

3.1】光线归一化：将待检测小张图像进行光线归一化处理；

3.1.1】提取标准图像的图像直方图并保存；

3.1.2】提取待检测小张图像的图像直方图；

3.1.3】读取标准图像的图像直方图，根据直方图规定化规则，对待检测小张图像的图像直方图进行修正；

3.2】胶凹分离：

3.2.1】采用求边缘算法求出标准图像的标准边缘曲线；

3.2.2】采用求边缘算法求出待检测小张图像的待测边缘曲线；

3.2.3】让标准边缘曲线和待测边缘曲线匹配确定合适的边缘曲线，匹配原则：灰度差最小且坐标差最小；

3.2.4】采用边缘缺陷进行胶凹分离；

3.3】提取特征：

3.4】分类：

3.4.1】制作分类器：缺陷特征和人工分类结果进行训练形成分类标准，所述分类标准由各种缺陷特征权值组成；

3.4.2】将步骤3.3】中所提取的特征与分类标准进行运算得到分类结果，所述分类结果包括缺陷类型和缺陷得分，所述缺陷得分为所提取特征与分类标准的相似程度，相似程度越高缺陷得分越高；

3.5】判废：

3.5.1】人工建模：各种缺陷类型与缺陷得分针对分类结果建立判废标准；

3.5.2】缺陷得分与判废标准作比较，输出实废、疑似废或误废的判断结果。

本发明所具有的优点：

1、小张清分机疑似缺陷产品图像复检系统实时获取清分机的机检废品图像信息，按照预设的标准进行再次处理，将其分为误废、疑似废和实废三类信息，便于人工区别分析、质量反馈、追溯及印刷工序协调改进工作的开展。

2、本发明采用GPU通用计算技术，每张废品图像检测时间小于1.25秒，可实现与小张清分机的生产周期同步；对墨点、拉道、蹭脏等缺陷类型具有较强的识别能力，并根据缺陷类型和各类型的容忍程度，将缺陷将其分为误废、疑似废和实废三类信息。

3、本发明采用基于盲信号分离的胶凹分离技术，系统对胶凹图像分离更加彻底，因印次套印引起的误报将大大减少.

4、本发明采用光线归一化技术，对成像环境中的光线变化具有一定的适应能力，减少了该类型引起的误报。

5、本发明的小张清分机疑似缺陷产品图像复检系统实时获取清分机的机检废品图像信息，实现清分机疑似缺陷产品图像的同步解码、复原、复检功能。明通过工业现场网络将复检结果传递给小张挑残机等按号剔废设备进行剔废，直接消除工艺中人工干预环节的质量风险，对简化工艺，节省人员等生产资源起到至关重要的作用，是较为理想的全机检工艺。

6、由于复检系统只对小张清分机的机检废品图像进行分析，平均单张处理周期更长(小于1.25秒)，因此适合采用检测结果更加精准，但算法复杂度更高的图像处理和模式识别算法，对疑似缺陷图像作再次检测。

7、安全稳定性保障：具有索引效验机制，对数据在传输和存储时发生的错误能及时提示；对小张清分机疑似缺陷图像及信息实施共享互斥访问机制，避免小张清分机和复检系统之间发生信息共享冲突。

附图说明

图1检测系统结构框图；

图2小张清分机疑似缺陷产品图像复检系统工艺流程；

图3小张清分机疑似缺陷产品图像复检系统软件架构；

图4CPU图像处理过程与GPU纹理处理过程对应关系；

图5GPU在小张清分机疑似缺陷产品图像复检系统各模块中的应用；

图6GPU图像处理流程。

具体实施方方式

如图1所示，小张清分机和人工图像分析平台之间设置了复检系统，通过工业现场网络连接，可实现快速的图像数据下载和上传功能；数据传输采用索引效验机制，对数据在传输和存储时发生的错误能及时提示；数据访问采用共享互斥访问机制，避免小张清分机和复检工作站信息共享冲突；人工图像分析平台实现机检数据的实时处理，同时实现与小张挑残机等剔废设备的连接。

小张清分机疑似缺陷产品图像复检系统采用更精准复杂的图像处理和模式识别算法，对清分机疑似缺陷小开图像进行再次检查，并通过识别冠字号将每张检测图像对应于产品实物，提供报表和分拣接口，以便将误废和实废产品进一步分流。详细流程如图2所示：

1】小张清分机疑似缺陷产品图像复检系统实时获取清分机机检废品图像与检测结果；小张清分机机检好品经过封装生产被装箱、入库；小张清分机机检废品流入分拣环节(即小张挑残机)；

2】小张清分机机检疑似废品信息经复检系统分析，被分为误废信息和实废信息；

3】分拣设备根据复检系统分析结果将小张清分机机检疑似废品中的误废产品剔出，并送至装箱、入库；分拣设备根据复检系统分析结果将小张清分机机检疑似废品中的实废产品剔出，并送至废品库。

4】人工图像分析平台用于接收复检服务器判为废品的废品图像及缺陷信息，供人工分析、统计。人工图像分析平台剔废报表生成程序：查询缺陷数据表，生成剔废报表，以供后续分拣接口和人工分析所用。剔废数据接口：用于与分拣机构的通信，将判废结果传输给清分机或挑残机等设备，以完成最终的小张产品分拣工艺。

小张清分机疑似缺陷产品图像复检系统的软件技术方案主要分为8个单元，如图3所示。

清分机数据接口：由小张清分机提供每张产品的采集图像、检测结果等原始信息。

图像获取伺服单元：内置于清分机，采用轮询机制访问清分机磁盘，获取新采集的图像及检测信息，并将其传输给后续检测模块。

复检服务器：采用更精准复杂的图像处理和模式识别算法，对清分机疑似缺陷小开图像进行再次计算机判废处理。

缺陷信息的缺陷数据存储单元、用于根据缺陷数据存储单元和检测信息存储单元关联生成剔废报表的剔废信息生成单元、用于与小张剔废机连接的剔废数据接口以及小张剔废机。

检测信息存储单元：存储每张检测疑似废品的原始图像，记录检测信息，为以后跟踪追溯提供依据。该模块采用Microsoft SQL Server 2000数据库构建。

缺陷数据存储单元：存储废品图像，记录废品缺陷信息，为后续分拣机构提供判断依据。该模块采用Microsoft SQL Server 2000数据库构建。

人工图像分析平台：接收废品图像及缺陷信息，供人工分析、统计。

剔废信息生成单元：查询缺陷数据表，根据缺陷数据存储单元和检测信息存储单元关联生成剔废报表，以供后续分拣接口和人工分析所用。

剔废数据接口：用于与分拣机构的通信，将判废结果传输给清分机或挑残机等设备，以完成最终的小张产品分拣工艺。

图像获取伺服单元从清分机数据接口获取疑似废品信息。图像获取后通过网络发送给复检服务器。每一张图像记录检测结果到检测信息表。实废品记录到缺陷数据表。检测信息表与缺陷数据表之间建立关联存储。复检结果送入人工分析计废程序。人工完成分析计废后，将最终结果返回给缺陷数据表。最终废品结果传送给剔废报表生成程序。报表生成完毕后送入剔废数据接口。

为了尽量降低清分机机检和复检服务器之间的耦合性，数据录入的方式采取读取图像文件的方式录入，缺陷图像自动存储到目标文件夹。本地放置图像获取伺服单元，由图像获取伺服单元自动轮询小张清分机目标文件夹，并获取清分机原始图像。目标文件名格式：日期+冠字+印码号+缺陷类型.bmp

图像获取伺服单元把获取到的图像自动传送到复检服务器。

复检服务器的结构如图5所示，复检服务器包括用于将待复检图像与标准图像的光照归一化的光线归一化模块、用于将待复检图像进行胶凹分离的胶凹分离模块、对于提供待复检图像特征的特征提取模块、用于输出分类结果的分类器以及用于为光线归一化模块、胶凹分离模块和特征提取模块提供运行平台的GPU。

分类器：小张清分机等在线机检设备实时性要求较高，因此只能采用简单快速的检测算法。复检系统在判废过程中采用了分类器技术，相对于简单的模板匹配和阈值比较法，分类器在缺陷分类和缺陷判废阶段具有更精确的识别率。

高维特征：特征数量越大，所构造的分类器模型表达能力更加丰富，算法的识别能力更接近人脑。复检系统所用的特征包含亮度度、颜色、空间结构、纹理、不变矩等特征。图像特征信息包括色彩信息、色差信息、定位核信息、空间位置信息、小尺度纹理信息以及大尺度图像结构信息。

以下是对“提取特征”的详细介绍：

将人脸识别方法应用于印刷产品检测，除了大张检测采用的色彩信息、色差信息、定位核信息之外，还从图像中提取了更多可用信息，如空间位置信息、小尺度纹理信息、大尺度图像结构信息等，结合这些信息，算法将具有比大张检测机更高的识别区分度。源于人脸识别的思想，这些信息对于光线变化、结构变化具有更高的鲁棒性，因而对于印刷品时常发生的微小且在允许范围内的光线及空间形状变化具有较强的容忍度。

为了使获得的信息对于旋转、尺度缩放、仿射变换、视角变化、光照变化等图像变化因素保持一定的不变性，需要从原始图像中提取鲁棒性特征，并对这些特征做归一化运算。

GPU通用计算：虽然CPU(Graphic Processing Unit)的发展突飞猛进，但GPU具有独特的多内核并发机制，使其对图像处理等高可并行问题的处理能力远高于CPU。

基于GPU的通用计算已成为近几年业界关注的一个研究热点。将GPU用于通用计算的主要目的是为了加速计算，加速的动力来自GPU在高性能计算方面所具有的优势：高效的并行性、高密集的运算、超长图形流水线。正是由于GPU在并行处理和计算密集型问题求解等方面所具有的诸多优势，GPU已成为目前普通PC机所拥有的强大、高效的计算资源。从系统架构上看，GPU是针对向量计算进行了优化的高度并行的数据流处理机。这种以数据流作为处理单元的处理机，在对数据流的处理上可以获得很高的效率。

GPU采用对图形纹理渲染的并行机制来进行图像处理，其处理原理与CPU的对应关系如图4所示。相对于CPU对2D图像的处理过程，GPU采用2D纹理技术，将2D图像转化为2D纹理信息进行处理；相对于CPU对单个像素的运算过程，GPU采用片段程序实现；CPU对图像的处理方式为内存密集型计算方式，而GPU则采用快速纹理查找方式。

在小张清分机疑似缺陷产品图像复检系统中，GPU为光线归一化模块、胶凹分离模块和特征提取模块提供运行平台，如图5所示。缺陷图像和检测结果一并传递给光线归一化模块，经过GPU计算后，将光线归一化后的结果传递给胶凹分离模块，该模块通过GPU完成运算后，再次传递给特征提取模块，GPU运算完毕后将提取的特征提交分类器进行分类，判废模块根据分类结果进行判废，此后输出结果。

在图像处理的过程中，GPU获取图像数据后，将其构造成纹理，此后按照通过绘制四边形确定图像处理范围，顶点处理确定图像四个顶点后，对顶点内的每个像素，调用片段处理程序，以期望的方式对图像进行滤波、逻辑运算等处理过程，处理后的结果存入图形处理器的帧缓存和离线渲染缓存，处理后的纹理数据输出后，作为图像数据交还给GPU，以做后续处理。如图6所示。

复检服务器的工作流程：

处理检测小张图像：

1】光线归一化处理：将待检测小张图像进行光线归一化处理，参照标准图像直方图对待测图像直方图进行修正，进而使得检测图像光线趋近于标准图像光线，提高图像检测精度，在光线归一化模块中完成，具体步骤如下：

1.1】提取标准图像的图像直方图并以文件形式保存；

1.2】提取待检测小张图像的图像直方图；

1.3】读取标准图像的图像直方图文件，根据“直方图规定化”规则，对待检测小张图像的图像直方图进行修正。

2】通过胶凹分离模块进行胶凹分离处理，具有步骤如下：

2.1】采用求边缘算法求出标准图像的标准边缘曲线；

2.2】采用求边缘算法求出待检测小张图像的待测边缘曲线；

2.3】让标准边缘曲线和待测边缘曲线匹配确定合适的边缘曲线，匹配原则：灰度差最小且坐标差最小；

2.4】采用边缘缺陷进行胶凹分离；

3】通过特征提取模块提取特征；

4】通过分离器进行分类：

4.1】制作分类器：缺陷特征和人工分类结果进行训练形成分类标准，所述分类标准由各种缺陷特征权值组成；

4.2】将步骤3.3】中所提取的特征与分类标准进行运算得到分类结果，所述分类结果包括缺陷类型和缺陷得分，所述缺陷得分为所提取特征与分类标准的相似程度，相似程度越高缺陷得分越高；

3.5】判废：

3.5.1】人工建模：各种缺陷类型与缺陷得分针对分类结果建立判废标准；

3.5.2】缺陷得分与判废标准作比较，输出实废、疑似废或误废的判断结果。

胶凹分离：与传统的掩模技术不同，基于盲信号分离的胶凹分离技术对胶凹印次的分离更加精确，避免了大量因为套印导致的误报。

光线归一化：采用基于光照无关图的光线归一化技术，去除了光照变化导致的成像结果不稳定因素，有利于提高检测精确度。

小张清分机疑似缺陷产品图像复检系统的复检服务器检测以下检测项：

墨色检测：使用彩色层面检测印刷有无错误。

透视检测：检测项有安全线，黑水印，白水印等。

红外检测：红外印刷质量检测。

号码检测：检测号码印刷有无质量问题。

距离测量：包括纸张、胶印、凹印之间的套印测量，纸张各类长度的测量。

纸张检测：纸张有无异常，包括有无折角，撕纸之类检测。

检测时间限制：按好品率98％，1秒中40张计算，检测时间在1/(40×(1-0.98))＝1.25s内完成，即可实现与小张清分机的生产周期同步。

Claims (4)

1.小张清分机疑似缺陷产品图像复检系统，其特征在于：包括依次通信的清分机通道、图像获取伺服单元以及复检服务器；

所述清分机通道用于向图像获取伺服单元提供清分机所检测判为废品的原始信息，所述原始信息包括小张图像以及检测结果；所述检测结果包括缺陷作废类型、缺陷几何位置、缺陷面积和缺陷能量；

所述图像获取伺服单元用于从清分机通道获取原始信息，并将所获取的原始信息传输给复检服务器；

所述复检服务器包括用于将待复检的小张图像与标准图像进行光照归一化的光线归一化模块、用于将待复检的小张图像进行胶凹分离的胶凹分离模块、用于提取待复检的小张图像特征的特征提取模块、用于输出分类结果的分类器以及用于为光线归一化模块、胶凹分离模块和特征提取模块提供运行平台的图形处理单元GPU；

所述胶凹分离模块为：采用求边缘算法求出标准图像的标准边缘曲线；采用求边缘算法求出待检测小张图像的待测边缘曲线；让标准边缘曲线和待测边缘曲线匹配确定合适的边缘曲线，匹配原则：灰度差最小且坐标差最小；采用边缘缺陷进行胶凹分离。

2.根据权利要求1所述的小张清分机疑似缺陷产品图像复检系统，其特征在于：还包括人工图像分析平台，所述人工图像分析平台用于接收复检服务器发送的信息经过人工分析、统计生成判废结果发送给复检服务器。

3.根据权利要求1所述的小张清分机疑似缺陷产品图像复检系统，其特征在于：还包括剔废单元，所述剔废单元包括用于存储原始信息的检测信息存储单元、用于存储复检服务器判为废品的小张图像以及缺陷信息的缺陷数据存储单元、用于根据缺陷数据存储单元和检测信息存储单元关联生成剔废报表的剔废信息生成单元、用于与小张剔废机连接的剔废数据接口以及小张剔废机。

4.小张清分机疑似缺陷产品图像复检方法，其特征在于：包括以下步骤：

1】图像获取伺服单元从清分机数据接口读取小张清分机判为废品的废品原始信息；所述原始信息包括小张图像以及检测结果；所述检测结果包括缺陷作废类型、缺陷几何位置、缺陷面积和缺陷能量；

2】图像获取伺服单元将原始信息通过网络发送给复检服务器；

3】在复检服务器中处理待检测的小张图像：

3.1】光线归一化：将待检测小张图像进行光线归一化处理；

3.1.1】提取标准图像的图像直方图并保存；

3.1.2】提取待检测小张图像的图像直方图；

3.1.3】读取标准图像的图像直方图，根据直方图规定化规则，对待检测小张图像的图像直方图进行修正；

3.2】胶凹分离：

3.2.1】采用求边缘算法求出标准图像的标准边缘曲线；

3.2.2】采用求边缘算法求出待检测小张图像的待测边缘曲线；

3.2.3】让标准边缘曲线和待测边缘曲线匹配确定合适的边缘曲线，匹配原则：灰度差最小且坐标差最小；

3.2.4】采用边缘缺陷进行胶凹分离；

3.3】提取特征：

3.4】分类：

3.4.1】制作分类器：缺陷特征和人工分类结果进行训练形成分类标准，所述分类标准由各种缺陷特征权值组成；

3.4.2】将步骤3.3】中所提取的特征与分类标准进行运算得到分类结果，所述分类结果包括缺陷类型和缺陷得分，所述缺陷得分为所提取特征与分类标准的相似程度，相似程度越高缺陷得分越高；

3.5】判废：

3.5.1】人工建模：各种缺陷类型与缺陷得分针对分类结果建立判废标准；

3.5.2】缺陷得分与判废标准作比较，输出实废、疑似废或误废的判断结果。

Images