CN108548820B - 化妆品纸质标签缺陷检测方法 - Google Patents

化妆品纸质标签缺陷检测方法 Download PDF

Info

Publication number
CN108548820B
CN108548820B CN201810268283.6A CN201810268283A CN108548820B CN 108548820 B CN108548820 B CN 108548820B CN 201810268283 A CN201810268283 A CN 201810268283A CN 108548820 B CN108548820 B CN 108548820B
Authority
CN
China
Prior art keywords
image
region
label
angle
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810268283.6A
Other languages
English (en)
Other versions
CN108548820A (zh
Inventor
李俊峰
刘鹏
戴文战
柳锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN201810268283.6A priority Critical patent/CN108548820B/zh
Publication of CN108548820A publication Critical patent/CN108548820A/zh
Application granted granted Critical
Publication of CN108548820B publication Critical patent/CN108548820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种化妆品纸质标签缺陷检测方法，包括判断标贴位置是否正确、汉字识别是否正确、日期位置是否正确和日期识别是否正确。本发明设计了化妆品标签中不同颜色信息的汉字提取算法和识别算法；设计了化妆品标签中机打字符的预处理算法及高精度识别算法。本发明算法稳定，便于系统的检修与维护，且在生产时只需调节相应控制参数，按下启动按钮后即可全部自动检测无需人工看守。

Description

化妆品纸质标签缺陷检测方法
技术领域
本发明涉及一种化妆品纸质标签检测方法，属于计算机视觉领域，具体为一种化妆品纸质标签缺陷检测方法。
背景技术
标签被用于商品的识别，具有标记产品名称、型号、性能、关键技术参数、使用说明、价格、成分等一些为消费者及经销商所关注的关键信息的作用，堪称商品的“身份证”。现如今，市面上如化妆品、药品、电器、文化用品、服装、食品等很多商品都带有标签。标签已成为企业跟踪产品、质量监控以及生产管理的有效载体，同时标签也是个人对产品质量进行核对的有效工具。尤其是出口外贸商品，产品标签的质量关系着出口经销商的第一印象，一个不合格的标签有可能导致客户对企业的产品质量及信誉产生质疑，从而给企业带来利益及其他不可估量的损失。因此在标签出厂前需要对其质量进行检测，将不合格的标签分拣出来尤为重要。
化妆品纸质标签上的内容大部分是由印刷机在线印刷而成的，有一部分内容是先将产品信息印刷到不干胶标贴上，然后再贴到纸质标签上，生产日期则是喷墨喷上去的。在现代快速印刷环境下，标签在印刷、粘贴、喷墨等生产过程中会受到生产工艺、环境、设备等众多不确定因素的影响，生产出来的标签会存在各种缺陷及瑕疵，例如标签上不干胶标贴位置粘贴错位掩盖住其它信息、标贴的倾斜，生产日期的漏喷、位置偏移、倾斜、及其日期内容的正确与否，标贴印刷内容是否正确等。通过现场调研发现，在标签印刷流水线上，工人是通过人眼对比的方法检测标签的质量，并将质量合格的标签贴到化妆品包装盒上，丢弃不合格的标签。这样则存在很多局限性和问题：(1)工人既要检测标贴和日期的位置又要检测标贴内容和日期正确与否，这样导致检测速度较慢，难以满足目前的生产速度和要求；(2)检验人员长时间进行集中注意力的作业，极易造成人的眼疲劳，眼花等不良反应；(3)检验结果易受质检人员的主观情绪所影响，导致检测同一产品在不同检测人员的眼中也会有所差异；(4)人工无误检率较高，随机性较大，没有量化标准，且成本较高。随着计算机软件、电子通信技术和硬件技术、图像处理及与人类视觉相关技术的发展，基于机器视觉的表面缺陷检测技术得到了的快速发展。
本检测算法最终要应用于化妆品纸质标签表面缺陷的在线检测。由于要识别标签内用汉字和数字表达的重要信息，且标签印刷字体较小，所以采用高分辨率的CCD面阵相机进行成像，而且标签的表面缺陷检测一般要求在快速的生产情况下能够准确的检出各种类型的缺陷。因而既对硬件提出了高性能、高分辨率的要求，又对图像分析与处理算法提出了高稳定性、高效率、鲁棒性强的要求，但是在计算机视觉检测中，算法的时效性、准确性和鲁棒性难以同时实现。因此根据化妆品制造工艺及实际印刷情况，针对化妆品标签表面缺陷检测算法的研究，本专利将化妆品表面缺陷分为两类并采用模板匹配和神经网络技术设计相应的缺陷检测及识别算法。
因此，需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供一种高效的化妆品纸质标签缺陷检测方法。
为解决上述技术问题，本发明提供一种化妆品纸质标签缺陷检测方法，包括以下步骤：
步骤(1)：获取图像G，执行步骤(2)；
步骤(2)：对获取的图像G进行角度旋转，使图像前景与水平方向垂直，得到图像F，执行步骤(3)；
步骤(3)：提取图像F中的前景图像中的不干胶标贴区域R1，判断其位置及相对于水平位置的倾斜角度Phi2；执行步骤(4)；
步骤(4)：判断不干胶标贴所占区域R1的位置相对于标签的位置是否正确，若位置不正确则结束检测，判为不合格产品；若位置正确则执行步骤(5)；
步骤(5)：将汉字图像从图像F中提取出来，得到图像W；
步骤(6)：对图像W的汉字字符进行分割处理，得到交集区域R4；
步骤(7)：训练BP神经网络；
步骤(8)：将交集区域R4用步骤(7.2)训练好的BP神经网络进行识别，然后将识别出的汉字与预先输入的汉字信息进行比较，如果相同，执行步骤(9)；否则，判定不合格，结束检测；
步骤(9)：提取图像F中日期在标签上所对应的区域Rd；
步骤(10)：对区域Rd作最小外接矩形，并求出相应的质心坐标(x2,y2)、区域Rd的宽高Dw、Dh及其相对于水平位置的倾斜角度Phi3，从而确定日期位置；
步骤(11)：判断日期所占区域Rd的位置相对于标签的位置是否正确，若位置不正确，判为不合格产品，结束检测；若位置正确则执行步骤(12)；
步骤(12)：求区域Rd的最小外接矩形区域Rd1，根据矩形区域Rd1的坐标从图像F中提取出相对应的日期图像，得到图像D；
步骤(13)：对图像D的日期字符做分割处理，得到分割开的日期字符区域RS，
步骤(14)：用步骤(7)中保存的训练好的神经网络，对分割开的日期字符区域RS进行识别；
步骤(15)：将步骤(14)识别出来的字母与数字与预先输入的字母与数字相比较，若信息相同，则判为产品合格，结束检测；否则，判为不合格产品，结束检测。
作为对本发明化妆品纸质标签缺陷检测方法的改进，步骤(2)包括以下步骤：
步骤(2.1)：对图像G进行OTSU阈值分割，将标签与背景分割开来，得出相应的前景所占区域R；
步骤(2.2)：遍历区域R的像素，统计出区域R包含的N个像素坐标(xi，yi)(i＝1，2，...，N)，计算区域的中心坐标(x0，y0)：
区域R与水平方向的夹角Phi：
(7)式中M11、M02和M20是区域R的二阶矩；
步骤(2.3)：以中心坐标(x0，y0)为基准点，(Phi1-Phi)为旋转角度对原图像进行旋转变换，得到仿射变换后的图像F；
构造齐次旋转变换矩阵H：
(8)式中phi1＝rad(90°)是旋转后图像与水平方向的夹角；
则有：
F＝H*G (9)
(9)式中F为仿射变换后的图像。
作为对本发明化妆品纸质标签缺陷检测方法的进一步改进，步骤(3)包括以下步骤：
步骤(3.1)：对图像F进行OTSU双阈值分割，提取出不干胶标贴区域R1；
步骤(3.2)：对提取出的不干胶标贴区域R1作最小外接矩形，求出区域R1的质心位置(x1，y1)、标贴的宽高DW，DH及其相对于水平位置的倾斜角度Phi2；
区域R1的(i+j)阶几何矩mi，j公式为：
(10)式中(r，c)表示区域R1内点的坐标，i，j表示行列坐标的次幂；
区域R1的质心坐标(x1，y1)为：
(11)式中m10，m01是区域R1的一阶矩，m00是区域R1的零阶矩；
区域R1的宽DW和高DH：
其中有：
区域R1的方向角度Phi2：
以上(12)和(13)式中的m20、m02、m11是区域R1的二阶距。
作为对本发明化妆品纸质标签缺陷检测方法的进一步改进，步骤(4)包括以下步骤：
步骤(4.1)：根据步骤(3.2)所得区域R1的倾斜角度Phi2与步骤(2.4)中的角度Phil，来判定不干胶标贴的倾斜角度是否达到产品参数要求：
其中R_Angle为相应角度技术参数；
步骤(4.2)：判断不干胶标贴在竖直方向上是否覆盖住标签上其它描述产品信息内容的汉字及字符：
其中x0、x1分别由步骤(2.2)和步骤(3.2)获得，R_DistanceL和R_DistanceH为相应的竖直方向位置技术参数；
步骤(4.3)：判断不干胶标贴在水平方向上的位置是否达到相关参数要求：
其中y0、y1分别由步骤(2.2)和步骤(3.2)获得，C_Distance为相应水平方向上位置技术参数。
作为对本发明化妆品纸质标签缺陷检测方法的进一步改进，步骤(5)包括以下步骤：
步骤(5.1)：根据区域R1的坐标位置将对应的不干胶标贴图像从图像F中提取出来得到不干胶标贴图像；
步骤(5.2)：对不干胶标贴图像进行灰度拉伸，增强对比度，得到图像C(如图12-2)；
灰度拉伸公式：
s(x,y)＝a*w(x,y)+b (1)
其中a和b为实验所取得的固定值，a取值为5，b取值-120；
步骤(5.3)：手动选取样本标签图像的ROI图像作为模板图像P，采用自适应阈值的Canny算法检测模板图像P的边缘轮廓；
先利用高斯滤波器H(X,Y,σ)对模板图像P(X,Y)进行降噪处理，平滑后的图像G(X,Y)如下：
G(X,Y)＝H(X,Y,σ)×P(X,Y) (2)
其中，高斯函数为：
σ为高斯滤波函数的标准差控制的平滑程度；
计算图像G(X,Y)的梯度幅值T和方向角θ：
θ[X,Y]＝arctan(GX(X,Y)/GY(X,Y)) (5)
其中GX、GY分别为X、Y的偏导；GX和GY利用如下2×2一阶差分近似计算：
GX＝[P(X+1,Y)-P(X,Y)+P(X+1,Y+1)-P(X,Y+1)]/2 (6)
GY＝[P(X,Y+1)-P(X,Y)+P(X+1,Y+1)-P(X+1,Y)]/2 (7)
利用阈值对梯度幅值T(X,Y)进行非极大值抑制，选取双阈值并连接图像边缘，查找经过中最大的像素值记为L，构建图像边缘梯度直方图，统计非极大值抑制(NMS)后的图像中不为0的像素总数数的累积记为Hist；
假设k×Hist(0＜k＜1)处的灰度值为L，则高低阈值THH、THL计算如下：
THH＝L+1 (8)
THL＝k×THH (9)
通过以上Canny边缘检测算法用梯度幅值T大于等于THH为边缘，小于THL舍弃，其他的点若与边缘连接则为边缘点，从而可以得到边缘检测图像Q(X,Y)；
然后对边缘检测图像Q(X,Y)进行图像边缘轮廓的提取，利用Freeman链码对此边缘检测图像Q(X,Y)进行编码，用来表示图像边缘轮廓；
然后对图像边缘轮廓的特征提取；得到Mi和Ni；
步骤(5.4)：用基于轮廓的模板匹配方法定位图像C中汉字所在区域；
用归一化法对匹配结果进行相似度的计算，其公式为：
上式中Mi表示模板图像P的7个轮廓不变矩，Ni表示图像C中匹配目标区域的7个轮廓不变矩，S表示匹配值，S∈(0,1)；
计算出所匹配区域的中心坐标，并根据汉字所占像素大小，以该中心坐标为基准点生成一个能覆盖住表示颜色信息汉字的矩形区域R2；根据区域R2的坐标位置将对应的汉字图像从图像F中提取出来，得到图像W。
作为对本发明化妆品纸质标签缺陷检测方法的进一步改进，步骤(6)包括以下步骤：
步骤(6.1)：对图像W进行灰度变换，增强对比度，得到图像S；
步骤(6.2)：对图像S进行阈值分割，得到汉字区域R3，并对区域R3进行形态学开运算操作，得到区域R31；
选取结构元素H，则H对R3的开运算可以表示为：
步骤(6.3)：将步骤(5.4)中得到的区域R2按照汉字的宽高进行分割，将分割后的区域R21与区域R31求交集，得到交集区域R4其表达式为：
R4＝R21∩R31 (2)
作为对本发明化妆品纸质标签缺陷检测方法的进一步改进，步骤(9)包括以下步骤：
步骤(9.1)：对图像F用OTSU算法做分割，得到相应区域R5；
步骤(9.2)：采用宽和高均为40的结构元H1对区域R5进行膨胀，其表达式可表示为：
式中M表示集合的平移量，代表膨胀操作符；
步骤(9.3)：计算区域R51的连通域组件，并计算各组件连通域面积，用筛选面积的方法提取出日期所对应的连通区域Rd。
作为对本发明化妆品纸质标签缺陷检测方法的进一步改进，步骤(11)包括以下步骤：
步骤(11.1)：判定日期的倾斜角度Phi3是否达到产品参数要求：
其中D_Angle为相应角度技术参数；
步骤(11.2)：判断日期在竖直方向上的位置：
其中x0、x2分别由步骤(2.2)和步骤(10)获得，D_DistanceL和D_DistanceH为相应的竖直方向位置技术参数；
步骤(11.3)：判断日期在水平方向上的位置：
其中y0、y2分别由步骤(2.2)和步骤(10)获得，D_Distance为相应水平方向上位置技术参数。
本发明化妆品纸质标签缺陷检测方法的技术优势为：
1)、对光照变化、标签产品类型有很强的适应性；
2)、在生产时只需调节相应控制参数，按下启动按钮后即可全部自动检测无需人工看守；
3)、本发明算法稳定，便于系统的检修与维护；
4)、设计了用于化妆品标签合格品和不合格品分类的分类板，分类板由转轴的电机驱动，利用其倾斜度导向合格品和不合格品分别滑入不同的收纳装置中。相对于目前利用吸盘和旋转臂的分类装置，效率和可靠性更高；
5)、采用色标传感器检测化妆品标签并触发相机拍照，相对于其它采用漫反射光电传感器，通过设置可以检测不同颜色的化妆品标签，检测范围更广泛，触发相机可靠性更高；
6)、设计了化妆品标签中不同颜色信息的汉字提取算法和识别算法。化妆品标签中标识颜色信息的汉字识别是其难点之一，截至目前，我国专利和学术论文中均没有涉及到化妆品标签中颜色的汉字识别。因为标识的颜色汉字在化妆品标签中的位置不确定，汉字的个数也不确定；标签尺寸比较大，而字体的尺寸很小；
7)、设计了化妆品标签中机打字符的预处理算法及高精度识别算法，机打字符(本发明中日期字符)是由圆点组成的，而且组成每个字符的圆点是无粘连的。化妆品标签中机打字符的识别也是非常困难的，因为化妆品标签中机打字符的位置不确定，不同标签的字符字体和大小也不相同。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明化妆品纸质标签表面缺陷检测装置的立体结构示意图；
图2为图1的侧视结构示意图；
图3为图1的正视结构示意图；
图4为图像处理系统框图；
图5为部分标签表面缺陷图像；
图6为标签中不干胶标贴位置检测算法流程图；
图7为标签中不干胶标贴内容汉字识别算法流程图；
图8为模板匹配流程图；
图9为标签生产日期位置检测算法流程图；
图10为标签生产日期的字符与数字的识别算法流程图；
图11为不干胶标贴位置检测过程状态图；
11-1：读取原图，11-2：标签前景区域图，11-3：仿射变换旋转图，11-4：不干胶标贴区域图，11-5：不干胶标贴位置图；
图12为不干胶标贴颜色信息汉字识别过程状态图；
12-1：不干胶标贴裁剪图，12-2：灰度拉伸图，12-3：模板图，12-4：模板边缘轮廓，12-5模板匹配结果图，12-6：汉字矩形区域位置，12-7：汉字矩形区域裁剪图，12-8：灰度拉伸图，12-9：阈值分割汉字区域，12-10：汉字单个字符分割图，12-11：汉字识别结果图
图13为日期位置检测过程状态图；
13-1：旋转后图像，13-2：OTSU阈值分割图，13-3：形态学膨胀操作图，13-4：日期对应区域位置，13-5：日期最小外接矩形区域位置图；
图14为日期字符识别过程状态图；
14-1：日期最小外接矩形裁剪图，14-2：图像增强，14-3：阈值分割图，14-4：形态学开运算处理图，14-5：分割单独字符，14-6：字符识别结果图
图15为算法检测过程中检测到的部分缺陷类型；
15-1：不干胶标贴角度倾斜缺陷图，15-2：缺少不干胶(漏贴)图，15-3：日期位置偏移缺陷图，15-4：缺少日期(漏印)图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。
实施例1、化妆品纸质标签缺陷检测装置，如图1-3所示，包括机体架1、标签储存箱4、面板光源7、相机8、色标传感器9、传送带11和分类板12。
相机8为CCD面阵相机。
机体架1承载一块底座15，底座15上固定设置有两个调节板10，两个调节板10分别为平行设置的调节板一101和调节板二102。调节板一101和调节板二102之间设置有传送带11，(调节板一101和调节板二102之间设置有与两者固定连接的固定轴103，传送带11通过固定轴103设置在调节板一101和调节板二102之间)。
面板光源7位于传送带11的尾端正上方，且在传送带11两侧各设置一个面板光源7，两个面板光源7对称设置。面板光源7与U型连接体61转动连接(面板光源7位于U型连接体61内，面板光源7能相对于U型连接体61转动)，U型连接体61与横轴51固定连接，固定轴103与机体架1活动连接(固定轴103能在机体架1上沿着竖直方向移动)。通过U型连接体61可以调节面板光源7的照明角度，通过固定轴103可以调节面板光源7竖直方向的高度。
相机8位于两个面板光源7中间位置的正上方，相机8的镜头朝向传送带11。
相机8通过移动连接体64活动设置在移动水平支架65上(移动连接体64可在移动水平支架65上水平方向滑动)，移动水平支架65活动设置在机体架1上(移动水平支架65可以在机体架1上竖直方向上移动)，通过移动水平支架65可以调节调节相机8竖直方向的位置，通过移动连接体64可以调节相机8水平方向的位置。
相机8在竖直方向的投影与传送带11尾端的距离为传送带11总长的1/3，方便相机8对传送带11上的标签进行图像采集。
机体架1底部设置有转轮2.
分类板12位于传送带11尾端正下方，分类板12与转轴14固定连接，转轴14与底座15转动连接。转轴14带有电机，转轴14能带动分类板12转动，分类板12为两头打通的长方体结构，即为分类板12上设置有供标签滑落的通道，用于防止标签在滑落的过程中出现飞落及偏移的情况。
控制器3固定在机体架1上，控制器3采用三菱公司生产FX_3Gx系列控制器，控制器3用于控制面板光源7、相机8、色标传感器9和传送带11的供断电，同时转轴14的电机与控制器3信号连接，控制器3能控制转轴14的转动。
标签储存箱4内设置有隔板41，由隔板41分隔成前后两部分，标签储存箱4前部分用于存放良品标签，标签储存箱4后部分存放次品标签。标签储存箱4位于传送带11尾端正下方(即为分类板12正下方)，标签储存箱4前部分为靠近传送带11的一侧，标签储存箱4后部分为远离传送带11的一侧。分类板12在良品标签情况下竖直向下设置在传送带11尾端(标签储存箱4左端的正上方)，使得良品标签落入标签储存箱4前部分；在次品标签情况下转轴带动分类板12旋转一定角度(向传送带运动方向旋转)，使得次品标签落入标签储存箱4后部分。
两个面板光源7朝向相对一侧倾斜向下设置，面板光源7可以通过固定轴103和U型连接体61进行角度和高度位置的调节。
色标传感器9位于传送带11的正上方，且色标传感器9位于相机8的前端。色标传感器9与色标连接体63固定连接，色标连接体63与色标固定轴53活动连接，色标固定轴53与机体架1活动连接。通过色标连接体63可以调节色标传感器9在水平方向的位置及倾斜角度，通过色标固定轴53可以调节色标传感器9竖直方向的位置。色标传感器9的探头对准传送带11，当标签在传送带11上运输到色标传感器9检测区域时，会触发色标传感器9发送一个脉冲触发相机8进行拍照(相机8设置延迟触发)。
化妆品纸质标签缺陷检测装置的工作原理为：
将待检测的化妆品纸质标签放置在传送带11首端上，标签经传送带11运输到达色标传感器9的检测区域，色标传感器9检测到标签后发送脉冲延迟给控制器3，控制器3控制相机8进行图像采集；
相机8将采集的图片发送给控制器3，控制器3对采集的图片进行表面缺陷检测算法处理；如果判断标签不存在缺陷，则标签为良品标签，控制器3控制转轴14转动，使得分类板12为竖直向下设置，使良品标签从传送带11尾端通过分类板12的通道落入标签储存箱4前部分；如果判断标签存在缺陷，则标签为次品标签，控制器16控制转轴14转动，使得分类板12以一定角度倾斜(沿着传送带11首端到尾端的方向倾斜)，使次品标签能从传送带11尾端通过分类板12的通道落入标签储存箱4后部分。
本发明的具体算法检测过程包括以下步骤：
步骤(1)：从相机8中获取图像G；
经观察，标签喷码日期及标贴识别内容字体比较小，为了能够准确识别日期及汉字内容采用高分辨率的CCD面阵相机成像。
步骤(2)：对获取的图像G进行角度旋转，使图像前景(标签)与水平方向垂直，得到图像F；
步骤(2.1)：对图像G进行OTSU阈值分割，将标签与背景分割开来，得出相应的区域R(如图11-2)；
首先对给定的原始图像G进行均值滤波处理，图像G中的每个像素点P，取其领域S。若S中包含N个像素，使其像素平均值作为处理后所得图像像素P的灰度值：
其中g(i，j)表示经过均值滤波后的图像在(i，j)处的像素值，S表示点(i，j)的领域，N是领域内总的像素点数，f(i，j)表示原图像在(i，j)处的像素值。
上述过程需要在图像上对目标像素构建一个模板T：
该模板包括了(i，j)周围的临近像素，如下图所示：
9 7 3
8 (i，j) 6
7 6 5
g(i，j)＝1/9*(f(i-1，j-1)+f(i-1，j)+f(i-1，j+1)+f(i，j-1)+f(i，j+1)+f(i，j)+f(i+1，j-1)+f(i+1，j)+f(i+1，j+1)) (3)
(1)式表明，领域的选取能很好的抑制噪声。但当领域增大后，图像也变得愈发模糊，采取如下阈值方法能较好的消除均值滤波带来的模糊，公式如下：
公式(4)的意思是：若被模糊的点与其模糊后的灰度值之差大于R时，则选取平均值，若小于R时则选取原像素值，式中R是非负闭区间值。
经均值滤波后的新图像N(x，y)＝g(x，y)
接着对图像N进行OTSU阈值分割，OSTU分割算法计算简单，不受图像亮度及对比度影响，按照灰度特性，将新图像N(x，y)分成背景和前景两部分(前景部分即为标签部分)。此分割算法又称为最大类间方差法，当前景与背景之间的类间方差越大，则前景和背景差别就越大，所以按照此法，计算出图像的最大类间方差，则可以选择出最佳阈值T，具体公式如下：
g＝Max[ω0(t)*(μ0(t)-μ)2+ω1(t)*(μ1(t)-μ)2] (5)
式中ω0表示前景所占图像比例，ω1表示背景所占图像比例，μ0表示前景灰度平均值，μ1表示背景灰度平均值，μ表示图像总的灰度均值，当g取得最大值时，此时的阀值t为最佳阈值T，利用最佳阈值T分割新图像N(x，y)，从而得到前景所占区域R。
步骤(2.2)：然后求出区域R的中心坐标(x0，y0)及与水平线的夹角Phi；
遍历区域R的像素，统计出区域R包含的N个像素坐标(xi，yi)(i＝1，2，...，N)，计算区域的中心坐标(x0，y0)：
区域R与水平方向的夹角：
(7)式中M11、M02和M20是区域R的二阶矩。
步骤(2.3)：以步骤(2.2)取得的中心坐标(x0，y0)为基准点，(Phi1-Phi)为旋转角度对原图像进行旋转变换，得到仿射变换后的图像F(如图11-3)；
构造齐次旋转变换矩阵H：
(8)式中phi1＝rad(90°)是旋转后图像与水平方向的夹角。
则有：
F＝H*G (9)
(9)式中G为原始图像，F为仿射变换后的图像，此时图像F中的的前景图像(标签)与水平方向呈90度夹角。
步骤(3)：提取图像F中的前景图像(标签)中的不干胶标贴区域R1(如图11-4)，判断其位置及相对于水平位置的倾斜角度Phi2(倾斜角度Phi2是区域R1的竖直边与水平线之间的夹角)；
步骤(3.1)：对图像F进行OTSU双阈值分割，提取出不干胶标贴区域；
所谓OTSU双阈值分割即是将图像F的灰度值分为m个等级，再将m个等级的灰度值分为C0(0～TL)，C1(TL+1～TH)，C2(TH+1～m)三类，其中TH、TL为图像F的高低阈值，其阈值规则是：选取在高低阈值TH、TL之间的灰度值作为区域R1，舍弃比低阈值TL小的和比高阈值TH大的灰度值区域。其中高低阈值TH、TL大小按如下公式来确定：
上式中，ω0为C0出现的概率，μ0为C0灰度平均值；ω1为C1出现的概率，μ1为C1灰度平均值；C2出现的概率为(1-ω0-ω1)，灰度平均值为μ为整幅图像F的灰度平均值。当g(TL：TH)取最大值时对应的(TL：TH)即为最佳阈值。
步骤(3.2)：对提取出的区域R1作最小外接矩形，求出区域R1的质心位置(x1，y1)、标贴的宽高DW，DH及其相对于水平位置的倾斜角度Phi2。
区域R1的(i+j)阶几何矩mi，j公式为：
(10)式中(r，c)表示区域R1内点的坐标，i，j表示行列坐标的次幂。
区域R1的质心坐标(x1，y1)为：
(11)式中m10，m01是区域R1的一阶矩，m00是区域R1的零阶矩。
区域R1的宽DW和高DH：
其中有：
区域R1的方向角度Phi2
以上(12)和(13)式中的m20m02、m11是区域R1的二价矩。
步骤(4)：判断不干胶标贴所占区域R1的位置相对于标签的位置是否正确，若位置不正确则结束检测，判为不合格产品；若位置正确则执行步骤(5)；
步骤(4.1)：根据步骤(3.2)所得区域R1的倾斜角度Phi2与步骤(2)中的角度Phi1，来判定标贴的倾斜角度是否达到产品参数要求：
其中R_Angle为相应角度技术参数，设定值为0.015(弧度制)；
步骤(4.2)：判断不干胶标贴在竖直方向上是否覆盖住标签上其它描述产品信息内容的汉字及字符：
其中x0、x1分别由步骤(2.2)和步骤(3.2)获得，R_DistanceL和R_DistanceH为相应的竖直方向位置技术参数，分别设定为168、192(像素)；
步骤(4.3)：判断不干胶标贴在水平方向上的位置是否达到相关参数要求：
其中y0、y1分别由步骤(2.2)和步骤(3.2)获得，C_Distance为相应水平方向上位置技术参数，设定值为11(像素)；
步骤(5)：用基于轮廓的模板匹配方法用来辅助定位不干胶标贴区域R1中具有表示化妆品颜色信息的汉字；
步骤(5.1)：根据区域R1的坐标位置将对应的不干胶标贴图像从图像F中提取出来(如图12-1)。
步骤(5.2)：对不干胶标贴图像进行灰度拉伸，增强对比度，得到图像C(如图12-2)。
灰度拉伸公式：
s(x,y)＝a*w(x,y)+b (1)
其中a和b为实验所取得的固定值，a取值为5，b取值-120；s(x,y)指的是图像C；w(x,y)指的是不干胶标贴图像。
步骤(5.3)：制作轮廓匹配模板，其制作流程图如图8所示；(模板是在离线状态下制作的，即在线检测之前先采集图片进行模板的制作，之后只需保存到文件，在线检测的时候只需要读取模板即可。步骤(5.3)可以理解为在线检测之前的准备工作)
首先获取模板图像，模板图像P是从离线采集的标签图像上手动选取的ROI图像(模板图像P内容为汉字区域两边的括号符号，如图12‐3)；
接着检测模板图像P边缘轮廓：为了较好的保留边缘轮廓信息以及增强算法的适用性和鲁棒性，本专利采用自适应阈值的Canny算法检测模板图像P的边缘轮廓；
先利用高斯滤波器H(X,Y,σ)对模板图像P(X,Y)进行降噪处理，平滑后的图像G(X,Y)如下：
G(X,Y)＝H(X,Y,σ)×P(X,Y) (2)
其中，高斯函数为：
σ为高斯滤波函数的标准差控制的平滑程度，通过大量实验对比，本专利σ取为1.1。
计算图像G(X,Y)的梯度幅值T和方向角θ：
θ[X,Y]＝arctan(GX(X,Y)/GY(X,Y)) (5)
其中GX、GY分别为X、Y的偏导。GX和GY可以利用如下2×2一阶差分近似计算：
GX＝[P(X+1,Y)-P(X,Y)+P(X+1,Y+1)-P(X,Y+1)]/2 (6)
GY＝[P(X,Y+1)-P(X,Y)+P(X+1,Y+1)-P(X+1,Y)]/2 (7)
利用阈值对梯度幅值T(X,Y)进行非极大值抑制。选取双阈值并连接图像边缘，传统的Canny算法中高低阈值参数都是人为选定，为增强算法的适用性及灵敏性，本专利的阈值采取自适应阈值，查找经过中最大的像素值记为L，构建图像边缘梯度直方图，统计非极大值抑制(NMS)后的图像中不为0的像素总数数的累积记为Hist。
假设k×Hist(0＜k＜1)处的灰度值为L，则高低阈值THH、THL计算如下：
THH＝L+1 (8)
THL＝k×THH (9)
通过以上Canny边缘检测算法用梯度幅值T大于等于THH为边缘，小于THL舍弃，其他的点若与边缘连接则为边缘点，从而可以得到边缘检测图像Q(X,Y)，k值的大小决定了算法中边缘检测Canny算子的检测效果，k值的改变通过(9)式影响滞后阈值。滞后阈值如果取大了边缘检测的线会断断续续，取小了会产生伪边缘；二者对边缘的检测都会造成很大的干扰，本专利k取0.50。
然后对边缘检测图像Q(X,Y)进行图像边缘轮廓的提取(如图12-4)。边缘检测图像Q(X,Y)为一幅二值图像，利用Freeman链码对此二值图像进行编码，用来表示图像边缘轮廓。
然后对图像边缘轮廓的特征提取，主要是计算图像边缘轮廓的Hu不变矩，它是归一化中心矩的线性组合，对于缩放、旋转、镜像映射具有不变性。对于一个二维离散图像的轮廓上的一点f(i,j)的p+q阶矩定义为：
式中n和m分别代表图像的高和宽。
中心矩μpq公式为：
其中有：
用零阶中心矩来归一化中心距，其公式为：
ηpq＝μpq/μ00 (13)
Hu不变矩公式：
最后将提取轮廓作为模板，保存到本地文件。
Ni的计算方法是否与Mi相同。
步骤(5.4)：用基于轮廓的模板匹配方法定位标贴图像C中汉字所在区域。为了提高匹配效率构造图像金字塔模型用以降低匹配的复杂度，一般步骤为：
1、根据图像自身尺寸确定图像金字塔的层数(本专利构造4层图像金字塔)；
2、采用低通滤波器对图像进行平滑处理(本专利应用均值滤波器)；
3、对图像进行二分下采样，构建每一个上层金字塔图像；
4、在图像金字塔的最高层对目标进行识别，由高层开始到底层搜索；
5、将高层图像搜索到的模板实例追踪到图像金字塔的最底层，即将匹配结果映射到比其低一层的图像，直到映射到最底层图像。记录匹配点的映射位置所在区域(如图12-5)，并对其计算相似度。
用归一化法对匹配结果进行相似度的计算，其公式为：
上式中Mi表示模板图像P的7个轮廓不变矩，Ni表示图像C中匹配目标区域的7个轮廓不变矩，S表示匹配值，S∈(0,1)，值越接近1，表示匹配的精确度越高。
用步骤(2.2)的方法计算出所匹配区域的中心坐标，并根据汉字所占像素大小，以该中心坐标为基准点生成一个能覆盖住表示颜色信息汉字的矩形区域R2；(如图12-6)根据区域R2的坐标位置将对应的汉字图像从图像F中提取出来。，得到图像W(如图12-7)，至此，表达颜色信息的汉字被准确定位；
步骤(6)：对图像W进行汉字字符分割处理。
步骤(6.1)：对图像W根据步骤(5.2)中的方法进行灰度变换，增强对比度，得到图像S(如图12-8)；其中a和b为实验所取得的固定值，a取值为5.4，b取值-165；
步骤(6.2)：对图像S进行阈值分割，得到汉字区域R3，并对区域R3进行形态学开运算操作，得到区域R31(如图12-9)；
选取结构元素H，则H对R3的开运算可以表示为：
步骤(6.3)：将步骤(5.4)中得到的区域R2按照汉字的宽高进行分割(统计区域R2的面积，然后按照汉字所占区域的面积来进行平均分割，其中每个汉字的宽和高是已知的且是相等的)。将分割后的区域R21与区域R31求交集，得到交集区域(汉字单独分割区域)R4(如图12-10)，其表达式为：
R4＝R21∩R31 (2)
步骤(7)：训练BP神经网络；(此步骤可以理解为在线检测前的准备工作，即离线训练神经网络)
BP神经网络又叫误差反向传播算法，是一种多层前馈神经网络。这种网络采用Sigmoid函数作为激发函数，BP网络不仅有信息的正向传播，还有误差的反向传播过程，输入层接受外部的信息，传递到隐藏层处理，然后处理后的信息输出到输出层，这是网络学习的正向传播过程；实际输出有时会与期望输出值不符即出现误差，这就需要进行误差的反向传播，通过对样本数据的分析，构建出误差函数，然后采用梯度下降法求出误差函数的最小值，进而得到神经网络的阈值以及连接权值，通过不断修正其值使误差达到最小化。
步骤(7.1)：设计BP网络结构，表示颜色信息汉字和日期的识别是一个多样本类的分类问题，含有一层隐含层的神经网络可以逼近任意非线性函数，因此本专利选择三层神经网络结构即可满足训练、识别的要求及目的。即输入层、隐藏层、输出层三层网络。其中把归一化的字符图像中的每个像素点作为神经网络的一个输入，字符统一大小为18*18，故共有324个输入即输入层的节点数设为324(输出层节点数是人为判断后设定)；隐藏层节点数根据公式确定，其中n为隐层节点数，a为输入层节点数，b为输出层节点数；输出层节点数根据需要识别汉字和字符的个数来确定，由于最终希望神经网络系统可以识别出10个汉字，26个大写英文字母及10个数字，网络的输出端可以采用一个46*46的单位矩阵，当输入一个汉字或字符时，矩阵按照alphabetnum中给定顺序在其相应位置上输出为1，其余位置输出为0，所以输出层的节点选定为46个。
步骤(7.2)：对汉字BP神经网络进行训练，训练过程是神经网络字符识别的重要组成部分，直接影响分类器的好坏，其训练步骤为：
1、确定网络结构，根据实际情况设定网络参数；
2、选取训练样本：本发明中训练样本为经过预处理及字符分割以后的样本(训练样本为单个汉字及字符图片)，这些样本中包含标签中常见表达颜色信息的汉字，如“棕”、“灰”等汉字以及大写字母“A-Z”和数字“0-9”；
3、应用BP算法对网络进行训练，一般执行步骤为：
(3.1)给定连接权值wij和阈值θi的初始值(此处为随机生成)，选定误差函数E的终止值为ε(本专利设为0.0002)，步长控制量为λ；
(3.2)对于每个训练样本up，正向计算出节点输出并计算出误差函数值E，其计算公式如下：/>
其中为网络t层的第i个神经元的激励总和，dpi为网络输出。N代表样本个数，m代表第t层网络节点数。
(3.3)若E＜ε，则算法结束，否则执行(3.4)；
(3.4)反向计算出每个训练样本的以及阈值修正量/>并用变步长λ改进方法计算连接权值修正量/>其计算公式为：
λt＝2αλt-1 (21)
经过上述算式，可以根据梯度方向调节步长的大小，从而动态的修改连接权值修正量
(3.5)修正网络权值：
(3.6)转到(3.2)，继续进行权值和阈值的优化修正。
保存训练好的神经网络，为汉字及字符的识别提供数据；
步骤(8)：识别汉字并判断其内容是否正确；
步骤(8.1)：将步骤(6.3)中获得的交集区域R4用步骤(7)训练好的BP神经网络进行识别(如图12-11)；
步骤(8.2)：将识别出的汉字与预先输入的汉字信息进行比较，如果相同，执行步骤(9)，否则，判定不合格，结束检测；至此汉字识别结束；
步骤(9)：用计算连通域面积的方法，提取日期在标签上所对应的区域Rd；
步骤(9.1)：对步骤(2.3)得到的图像F用OTSU算法做分割，得到相应区域R5(如图13-2)；
步骤(9.2)：对区域R5进行形态学膨胀操作，得到区域R51(如图13-3)；
采用宽和高均为40的结构元H1对区域R5进行膨胀，其表达式可表示为：
式中M表示集合的平移量，代表膨胀操作符，此公式的含义是用结构元H1来膨胀R5得到的集合R51，R51是由H1映像的位移与R5至少有一个像素相同时H1的中心点位置的集合。
步骤(9.3)：计算区域R51的连通域组件，并计算各组件连通域面积，用筛选面积的方法提取出日期所对应的连通区域Rd(如图13-4)；
步骤(10)：对区域Rd作最小外接矩形，并求出相应的质心坐标(x2,y2)、区域Rd的宽高Dw、Dh及其相对于水平位置的倾斜角度Phi3，从而确定日期位置。(如图13-5)。
步骤(11)：判断日期所占区域Rd的位置相对于标签的位置是否正确，若位置不正确，判为不合格产品，结束检测；若位置正确则执行步骤(12)；
步骤(11.1)：判定日期的倾斜角度Phi3是否达到产品参数要求：
其中D_Angle为相应角度技术参数，设定值为0.015(弧度制)；
步骤(11.2)：判断日期在竖直方向上的位置：
其中x0、x2分别由步骤(2.2)和步骤(10)获得，D_DistanceL和D_DistanceH为相应的竖直方向位置技术参数，分别设定为505、575(像素)；
步骤(11.3)：判断日期在水平方向上的位置：
其中y0、y2分别由步骤(2.2)和步骤(10)获得,D_Distance为相应水平方向上位置技术参数，设定值为20(像素)；
步骤(12)：求区域Rd的最小外接矩形区域Rd1，根据矩形区域Rd1的坐标从图像F中提取出相对应的日期图像，得到图像D(如图14-1)；
步骤(13)：对图像D中的日期字符做字符分割，其分割步骤同步骤(6)相同，简要流程为：
首先对图像D进行灰度拉伸，以增强图像的对比度(如图14-2)；然后用阈值分割的方法将字符区域粗略的提取出来(如图14-3)；对字符区域作开运算得到区域Rd2(14-4)；将区域Rd1按照日期字符的大小进行均等分割，分割方法同步骤(6.3)一样，得到区域Rd3；最后将区域Rd3与区域Rd2求交集，得到分割开的日期字符区域RS(如图14-5)；
步骤(14)：BP神经网络对日期字符进行识别；
用步骤(7)中保存的训练好的神经网络，对分割开的日期字符区域RS进行识别(如图14-6)。
步骤(15)：将步骤(14)识别出来的字母与数字与预先输入的字母与数字相比较，若信息相同，则判为产品合格，结束检测，否则，判为不合格产品，结束检测。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (1)

1.化妆品纸质标签缺陷检测方法，其特征在于，包括以下步骤：
步骤(1)：获取图像G，执行步骤(2)；
步骤(2)：对获取的图像G进行角度旋转，使图像前景与水平方向垂直，得到图像F，执行步骤(3)；
步骤(2)包括以下步骤：
步骤(2.1)：对图像G进行OTSU阈值分割，将标签与背景分割开来，得出相应的前景所占区域R；
步骤(2.2)：遍历区域R的像素，统计出区域R包含的N个像素坐标(xi，yi)，i＝1，2，...，N，计算区域的中心坐标(x0，y0)：
区域R与水平方向的夹角Phi：
(7)式中M11、M02和M20是区域R的二阶矩；
步骤(2.3)：以中心坐标(x0，y0)为基准点，(Phi1-Phi)为旋转角度对原图像进行旋转变换，得到仿射变换后的图像F；
构造齐次旋转变换矩阵H：
(8)式中phi1＝rad(90°)是旋转后图像与水平方向的夹角；
则有：
F＝H*G (9)
(9)式中F为仿射变换后的图像；
步骤(3)：提取图像F中的前景图像中的不干胶标贴区域R1，判断其位置及相对于水平位置的倾斜角度Phi2；执行步骤(4)；
步骤(3)包括以下步骤：
步骤(3.1)：对图像F进行OTSU双阈值分割，提取出不干胶标贴区域R1；
步骤(3.2)：对提取出的不干胶标贴区域R1作最小外接矩形，求出区域R1的质心位置(x1，y1)、标贴的宽高DW，DH及其相对于水平位置的倾斜角度Phi2；
区域R1的(i+j)阶几何矩mi，j公式为:
(11)式中(r，c)表示区域R1内点的坐标，i,j表示行列坐标的次幂；
区域R1的质心坐标(x1，y1)为：
(12)式中m10，m01是区域R1的一阶矩，m00是区域R1的零阶矩；
区域R1的宽DW和高DH：
其中有：
区域R1的方向角度Phi2：
以上(13)和(14)式中的m20、m02、m11是区域R1的二阶矩；
步骤(4)：判断不干胶标贴所占区域R1的位置相对于标签的位置是否正确，若位置不正确则结束检测，判为不合格产品；若位置正确则执行步骤(5)；
步骤(4)包括以下步骤：
步骤(4.1)：根据步骤(3.2)所得区域R1的倾斜角度Phi2与步骤(2.2)中的角度Phi1，来判定不干胶标贴的倾斜角度是否达到产品参数要求：
If(abs[abs(Phi1)-abs(Phi2)]<＝R_Angle)
Cout<<”执行步骤(4.2)”<<endl；
Else
Cout<<”产品不合格，结束检测”<<endl；
其中R_Angle为相应角度技术参数；
步骤(4.2)：判断不干胶标贴在竖直方向上是否覆盖住标签上其它描述产品信息内容的汉字及字符：
If(R_DistanceL<＝abs(x1-x0)<＝R_DistanceH)
Cout<<”执行步骤(4.3)”<<endl；
Else
Cout<<”产品不合格，结束检测”<<endl；
其中x0、x1分别由步骤(2.2)和步骤(3.2)获得，R_DistanceL和R_DistanceH为相应的竖直方向位置技术参数；
步骤(4.3)：判断不干胶标贴在水平方向上的位置是否达到相关参数要求：
If(abs(y1-y0)<＝C_Distance)
Cout<<”执行步骤(5)”<<endl；
Else
Cout<<”产品不合格，结束检测”<<endl；
其中y0、y1分别由步骤(2.2)和步骤(3.2)获得，C_Distance为相应水平方向上位置技术参数；
步骤(5)：将汉字图像从图像F中提取出来，得到图像W；
步骤(5)包括以下步骤：
步骤(5.1)：根据区域R1的坐标位置将对应的不干胶标贴图像从图像F中提取出来得到不干胶标贴图像；
步骤(5.2)：对不干胶标贴图像进行灰度拉伸，增强对比度，得到图像C；
灰度拉伸公式：
s(x,y)＝a*w(x,y)+b (1)
其中a和b为实验所取得的固定值，a取值为5，b取值-120；
步骤(5.3)：手动选取样本标签图像的ROI图像作为模板图像P，采用自适应阈值的Canny算法检测模板图像P的边缘轮廓；
先利用高斯滤波器H(X,Y,σ)对模板图像P(X,Y)进行降噪处理，平滑后的图像G(X,Y)如下：
G(X,Y)＝H(X,Y,σ)×P(X,Y) (2)
其中，高斯函数为：
σ为高斯滤波函数的标准差控制的平滑程度；
计算图像G(X,Y)的梯度幅值T和方向角θ：
θ[X,Y]＝arctan(GX(X,Y)/GY(X,Y)) (5)
其中GX、GY分别为X、Y的偏导；GX和GY利用如下2×2一阶差分近似计算：
GX＝[P(X+1,Y)-P(X,Y)+P(X+1,Y+1)-P(X,Y+1)]/2 (6)
GY＝[P(X,Y+1)-P(X,Y)+P(X+1,Y+1)-P(X+1,Y)]/2 (7)
利用阈值对梯度幅值T(X,Y)进行非极大值抑制，选取双阈值并连接图像边缘，查找经过中最大的像素值记为L，构建图像边缘梯度直方图，统计非极大值抑制(NMS)后的图像中不为0的像素总数数的累积记为Hist；
假设k×Hist处的灰度值为L，0<k<1，则高低阈值THH、THL计算如下：
THH＝L+1 (8)
THL＝k×THH (9)
通过以上Canny边缘检测算法用梯度幅值T大于等于THH为边缘，小于THL舍弃，其他的点若与边缘连接则为边缘点，从而可以得到边缘检测图像Q(X,Y)；
然后对边缘检测图像Q(X,Y)进行图像边缘轮廓的提取，利用Freeman链码对此边缘检测图像Q(X,Y)进行编码，用来表示图像边缘轮廓；
然后对图像边缘轮廓的特征提取；得到Mi和Ni；
步骤(5.4)：用基于轮廓的模板匹配方法定位图像C中汉字所在区域；
用归一化法对匹配结果进行相似度的计算，其公式为：
上式中Mi表示模板图像P的7个轮廓不变矩，Ni表示图像C中匹配目标区域的7个轮廓不变矩，S表示匹配值，S∈(0,1)；
计算出所匹配区域的中心坐标，并根据汉字所占像素大小，以该中心坐标为基准点生成一个能覆盖住表示颜色信息汉字的矩形区域R2；根据区域R2的坐标位置将对应的汉字图像从图像F中提取出来，得到图像W；
步骤(6)：对图像W的汉字字符进行分割处理，得到交集区域R4；
步骤(6)包括以下步骤：
步骤(6.1)：对图像W进行灰度变换，增强对比度，得到图像S；
步骤(6.2)：对图像S进行阈值分割，得到汉字区域R3，并对区域R3进行形态学开运算操作，得到区域R31；
选取结构元素H，则H对R3的开运算可以表示为：
步骤(6.3)：将步骤(5.4)中得到的区域R2按照汉字的宽高进行分割，将分割后的区域R21与区域R31求交集，得到交集区域R4其表达式为：
R4＝R21∩R31 (2)；
步骤(7)：训练BP神经网络；
步骤(8)：将交集区域R4用步骤(7)训练好的BP神经网络进行识别，然后将识别出的汉字与预先输入的汉字信息进行比较，如果相同，执行步骤(9)；否则，判定不合格，结束检测；
步骤(9)：提取图像F中日期在标签上所对应的区域Rd；
步骤(9)包括以下步骤：
步骤(9.1)：对图像F用OTSU算法做分割，得到相应区域R5；
步骤(9.2)：采用宽和高均为40的结构元H1对区域R5进行膨胀，其表达式可表示为：
式中M表示集合的平移量，代表膨胀操作符；
步骤(9.3)：计算区域R51的连通域组件，并计算各组件连通域面积，用筛选面积的方法提取出日期所对应的连通区域Rd；
步骤(10)：对区域Rd作最小外接矩形，并求出相应的质心坐标(x2,y2)、区域Rd的宽高Dw、Dh及其相对于水平位置的倾斜角度Phi3，从而确定日期位置；
步骤(11)：判断日期所占区域Rd的位置相对于标签的位置是否正确，若位置不正确，判为不合格产品，结束检测；若位置正确则执行步骤(12)；
步骤(11)包括以下步骤：
步骤(11.1)：判定日期的倾斜角度Phi3是否达到产品参数要求：
If(abs(Phi3)<＝D_Angle)
Cout<<”执行步骤(11.2)”<<endl；
Else
Cout<<”产品不合格，结束检测”<<endl；
其中D_Angle为相应角度技术参数；
步骤(11.2)：判断日期在竖直方向上的位置：
If(D_DistanceL<＝abs(x2-x0)<＝D_DistanceH)
Cout<<”执行步骤(11.3)”<<endl；
Else
Cout<<”产品不合格，结束检测”<<endl；
其中x0、x2分别由步骤(2.2)和步骤(10)获得，D_DistanceL和D_DistanceH为相应的竖直方向位置技术参数；
步骤(11.3)：判断日期在水平方向上的位置：
If(abs(y2-y0)<＝D_Distance)
Cout<<”执行步骤(12)”<<endl；
Else
Cout<<”产品不合格，结束检测”<<endl；
其中y0、y2分别由步骤(2.2)和步骤(10)获得，D_Distance为相应水平方向上位置技术参数；
步骤(12)：求区域Rd的最小外接矩形区域Rd1，根据矩形区域Rd1的坐标从图像F中提取出相对应的日期图像，得到图像D；
步骤(13)：对图像D的日期字符做分割处理，得到分割开的日期字符区域RS，
步骤(14)：用步骤(7)中保存的训练好的神经网络，对分割开的日期字符区域RS进行识别；
步骤(15)：将步骤(14)识别出来的字母与数字与预先输入的字母与数字相比较，若信息相同，则判为产品合格，结束检测；否则，判为不合格产品，结束检测。
CN201810268283.6A 2018-03-28 2018-03-28 化妆品纸质标签缺陷检测方法 Active CN108548820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810268283.6A CN108548820B (zh) 2018-03-28 2018-03-28 化妆品纸质标签缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810268283.6A CN108548820B (zh) 2018-03-28 2018-03-28 化妆品纸质标签缺陷检测方法

Publications (2)

Publication Number Publication Date
CN108548820A CN108548820A (zh) 2018-09-18
CN108548820B true CN108548820B (zh) 2023-08-15

Family

ID=63517212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810268283.6A Active CN108548820B (zh) 2018-03-28 2018-03-28 化妆品纸质标签缺陷检测方法

Country Status (1)

Country Link
CN (1) CN108548820B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543687A (zh) * 2018-11-13 2019-03-29 南京赤狐智能科技有限公司 一种流水线快餐盒自动识别方法
CN109271979A (zh) * 2018-11-29 2019-01-25 郑州云海信息技术有限公司 一种智能检测服务器产品标签方法
CN109584165A (zh) * 2018-11-30 2019-04-05 泰康保险集团股份有限公司 一种数字图像的矫正方法、装置、介质及电子设备
CN109636815B (zh) * 2018-12-19 2021-05-25 东北大学 一种基于计算机视觉的金属板带产品标签信息识别方法
CN109724990B (zh) * 2019-01-08 2021-08-06 上海大学 一种包装盒标签中喷码区域的快速定位与检测方法
CN109827973A (zh) * 2019-03-12 2019-05-31 东莞市骏智机电科技有限公司 一种检测电芯保护膜视觉检测方法
CN110032960B (zh) * 2019-03-29 2020-11-17 杭州诚道科技股份有限公司 一种机动车查验表电子档案拓印膜自动定位方法
CN110070090B (zh) * 2019-04-25 2021-06-25 上海大学 一种基于手写文字识别的物流标签信息检测方法及系统
CN110222691A (zh) * 2019-05-05 2019-09-10 山西大数据产业发展有限公司 产品标签识别系统及方法
CN110378337B (zh) * 2019-07-05 2023-03-31 上海交通大学 金属切削刀具图纸标识信息视觉输入方法及系统
CN110223296B (zh) * 2019-07-08 2021-06-11 山东建筑大学 一种基于机器视觉的螺纹钢表面缺陷检测方法及系统
CN110443245B (zh) * 2019-08-14 2022-02-15 上海世茂物联网科技有限公司 一种非限制场景下的车牌区域的定位方法、装置及设备
CN110514675B (zh) * 2019-08-29 2020-12-11 珠海格力电器股份有限公司 一种标签的智能检测方法及系统
CN110672617B (zh) * 2019-09-14 2022-06-14 华南理工大学 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法
CN111141741B (zh) * 2019-12-09 2023-02-10 合肥中科迪宏自动化有限公司 一种可识别打印机标签缺陷的检测装置
CN111504192B (zh) * 2020-05-07 2021-08-27 东华大学 一种基于机器视觉的压缩机外观检测方法
CN112418265A (zh) * 2020-10-14 2021-02-26 合肥联宝信息技术有限公司 一种标签检测方法、装置及存储介质
CN112505049B (zh) * 2020-10-14 2021-08-03 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
CN112508935A (zh) * 2020-12-22 2021-03-16 郑州金惠计算机系统工程有限公司 基于深度学习的产品包装检测方法及系统和产品包装分拣系统
CN112903716B (zh) * 2021-01-21 2022-07-08 安徽祁鸣春农业科技有限公司 一种放置稳定的食品加工用罐底喷码检测机
CN114581360B (zh) * 2021-04-01 2024-03-12 正泰集团研发中心(上海)有限公司 光伏组件标签检测方法、装置、设备和计算机存储介质
CN113112503B (zh) * 2021-05-10 2022-11-22 上海合乐医疗科技有限公司 一种基于机器视觉实现药品标签自动检测的方法
CN113688815A (zh) * 2021-06-01 2021-11-23 无锡启凌科技有限公司 用于复杂光照环境的药品包装文字计算机识别算法及装置
CN113870225B (zh) * 2021-09-28 2022-07-19 广州市华颉电子科技有限公司 一种汽车域控制器的人工智能标签内容与粘贴质量检测方法
CN114494265B (zh) * 2022-04-19 2022-06-17 南通宝田包装科技有限公司 识别化妆品生产领域包装印刷质量方法及人工智能系统
CN115026021B (zh) * 2022-04-25 2023-08-25 广州市力驰微电子科技有限公司 一种电源芯片生产的分拣装置及操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103698337A (zh) * 2013-12-19 2014-04-02 三峡大学 一种扁平酒瓶标签粘贴缺陷自动检测方法
CN104318573A (zh) * 2014-10-31 2015-01-28 广州超音速自动化科技有限公司 标签缺陷检测方法
CN105160654A (zh) * 2015-07-09 2015-12-16 浙江工商大学 基于特征点提取的毛巾标签缺陷检测方法
CN106570511A (zh) * 2016-11-02 2017-04-19 上海大学 基于计算机视觉的键盘字符缺陷在线检测系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103698337A (zh) * 2013-12-19 2014-04-02 三峡大学 一种扁平酒瓶标签粘贴缺陷自动检测方法
CN104318573A (zh) * 2014-10-31 2015-01-28 广州超音速自动化科技有限公司 标签缺陷检测方法
CN105160654A (zh) * 2015-07-09 2015-12-16 浙江工商大学 基于特征点提取的毛巾标签缺陷检测方法
CN106570511A (zh) * 2016-11-02 2017-04-19 上海大学 基于计算机视觉的键盘字符缺陷在线检测系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李颖媛.标签连续实时质量检测系统.《印刷技术》.2006,全文. *

Also Published As

Publication number Publication date
CN108548820A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN108548820B (zh) 化妆品纸质标签缺陷检测方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN109816644B (zh) 一种基于多角度光源影像的轴承缺陷自动检测系统
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
Anagnostopoulos et al. A license plate-recognition algorithm for intelligent transportation system applications
LeBourgeois Robust multifont OCR system from gray level images
CN108346159A (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
US20150042791A1 (en) Apparatus, systems and methods for enrollment of irregular shaped objects
WO2018192662A1 (en) Defect classification in an image or printed output
Asi et al. A coarse-to-fine approach for layout analysis of ancient manuscripts
Peng et al. Handwritten text separation from annotated machine printed documents using Markov Random Fields
CN110458158B (zh) 一种针对盲人辅助阅读的文本检测与识别方法
CN109859164A (zh) 一种通过快速型卷积神经网络对pcba外观检验的方法
Breuel Robust, simple page segmentation using hybrid convolutional mdlstm networks
Verma et al. Automatic container code recognition via spatial transformer networks and connected component region proposals
CN114445365A (zh) 基于深度学习算法的钞票印刷质量检查方法
CN115728309A (zh) 一种喷墨打印线路缺陷识别方法及工艺调控方法
Pham et al. CNN-based character recognition for license plate recognition system
Gong et al. Adaptive visual inspection method for transparent label defect detection of curved glass bottle
CN113822869B (zh) 一种基于机器视觉的透明软性包装袋静态检测方法及系统
CN111967457A (zh) 一种基于深度学习的ocr检测方法
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法
Al-Zoubi Efficient coin recognition using a statistical approach
Rehman Offline touched cursive script segmentation based on pixel intensity analysis: Character segmentation based on pixel intensity analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant