CN116309573B - 一种牛奶包装盒印刷字符的缺陷检测方法 - Google Patents
一种牛奶包装盒印刷字符的缺陷检测方法 Download PDFInfo
- Publication number
- CN116309573B CN116309573B CN202310564565.1A CN202310564565A CN116309573B CN 116309573 B CN116309573 B CN 116309573B CN 202310564565 A CN202310564565 A CN 202310564565A CN 116309573 B CN116309573 B CN 116309573B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- images
- points
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 48
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 239000008267 milk Substances 0.000 title claims abstract description 40
- 210000004080 milk Anatomy 0.000 title claims abstract description 40
- 235000013336 milk Nutrition 0.000 title claims abstract description 40
- 230000009466 transformation Effects 0.000 claims abstract description 52
- 230000001131 transforming effect Effects 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012856 packing Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000004873 anchoring Methods 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 10
- 235000013305 food Nutrition 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007641 inkjet printing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种牛奶包装盒印刷字符的缺陷检测方法，首先将待检测图像和标注图像都变换到相同的位置，然后利用特征点检测算法找出两幅图像中完全配准的位置，利用特征点之间的变换关系，将两幅图像字符区域完全对准，最后利用二值图减法运算实现字符缺陷检测。能够准确定位字符区域，保证两幅图像字符区域的大小、方向完全一致，准确配准两幅图像，从而通过两幅图像之间的对比实现缺陷检测。及检测准确率高，速度快，能够代替人工进行检测，满足企业实际检测要求。
Description
技术领域
本发明涉及图像检测技术领域，具体涉及一种牛奶包装盒印刷字符的缺陷检测方法。
背景技术
我国《食品安全国家标准，预包装食品标签通则》和《食品标识管理规定》对食品包装有明确规定。食品包装上应当标注生产企业名称、地址、生产日期、保质期、产品名称、配料表、储存条件及方法等信息，确保消费者获取准确的产品信息。食品包装及标签应当真实、准确、清晰、易于识别和辨认，不得使用虚假、夸大、缩小、模糊、误导等不良信息。据统计，我国的牛奶消费量在近年来持续增长，预计未来仍将保持稳定增长的趋势。因此，对于牛奶包装的要求也越来越高，不仅要求包装材质符合国家标准，还要求印刷质量好、信息准确、易于识别等。牛奶包装盒印刷字符的正确性和清晰度直接关系到产品质量和消费者的健康。如果印刷字符出现缺失、错误或模糊，可能会导致消费者误解产品信息、购买错误的产品或误食过期变质的牛奶。因此，在生产过程中需要对牛奶包装盒的印刷字符进行检测，以确保字符的正确性和清晰度，防止因印刷错误或模糊导致的品质问题和安全隐患。
目前牛奶包装盒表面的字符通常采用喷墨打印的方式。由于各种原因。打印的字符存在各种不同的缺陷。如墨点不饱满、字体模糊、字体错位、墨水晕染以及墨水脱落等。因此，需要对打印字符进行检测，确保字符没有缺陷。当前，多数企业主要还依靠人工进行检测，远远落后于发达国家的自动化检测手段。对于我国大多数牛奶生产企业而言，人工检测成本巨大，对企业是沉重的负担，急迫需要一种自动化检测技术。通常，在牛奶包装产线中，每秒的运动速度在6到10个产品之间，其运动速度较快。由于被检测产品处于运动中，导致采集的图像质量容易受到外界因素的影响而变得不可预知，从而增加了图像处理的难度。
发明内容
本发明目的在于提供一种牛奶包装盒印刷字符的缺陷检测方法，用来解决目前大多数企业仍然需要人工进行检测，无法自动识别包装盒字符缺陷的问题。
本发明通过下述技术方案实现：
一种牛奶包装盒印刷字符的缺陷检测方法，包括：
抽选一份完整包装盒，将其按照待识别面的轴线方向投影到任一平面，手动锚定其投影图形的四个角点作为定位角点；
利用图像采集设备采集完整包装盒的原始图像，对其图形切割并与定位角点定位匹配进行透视变换，获得没有透视变形的标准图像；在标准图像上选取兴趣标识进行提取，按照不同的预设条件生成多个带有兴趣标识的模板图像；
利用图像采集设备采集待测包装盒的原始图像，对其进行透视变换，获得没有透视变形的待测第一图像，对待测第一图像进行降采样，并计算降采样后每个像素点的方向；根据每个像素点的方向与对应模板图像的大小，将待测第一图像与标准图像进行差异度识别获得匹配得分；
将匹配得分达到预设值的模板图像的预设条件代入待测第一图像中，使得待测第一图像通过该预设条件进行变换获得矫正后的待测第二图像，并将待测第二图像与标准图像进行特征点提取，并分别对二者进行滤波，计算特征点描述算子，并基于特征点描述算子，提取所有待测第二图像与标准图像中两两匹配的特征点；
采用随机抽样一致集计算任意两两匹配的特征点之间的单应性变换矩阵，并对待测第二图像进行变换，获得兴趣标识与标准图像兴趣标识区域重合的待测第三图像；对标准图像和待测第三图像进行二值化运算，再对二者二值化后的图像进行形态学处理，根据处理结果中字符缺陷大小的面积与阈值的差值，判断待测第三图像的字符缺陷情况。
作为一种可选方式，对任一图像的透视变换操作包括如下方法：
利用二值化算法分割出包装盒的投影图形区域，获得其图形区域四个角点坐标；通过该图形的四个角点坐标与定位角点计算透视变换矩阵，再对图像进行透视变换，获得该包装盒没有透视变形的图像。
作为一种可选方式，对图像的降采样操作采用高斯金字塔进行降采样，降采样后，分别计算每个图像的像素点的向量/>：
；
；
其中，分别表示点/>的/>和/>方向。
作为一种可选方式，对已经降采样后的图像中每个像素点，以模板图像的大小，以该点为中心，将每个降采样后的模板图像每个点的方向向量与该图像选择的区域每个点的方向向量按照：
来计算向量点积之和，作为匹配得分score，并将匹配得分score做归一化处理：
；
其中，表示为第j次的匹配得分，/>表示归一化后的得分，/>表示每个降采样后模板图像中的点数量，/>分别表示模板图像上像素点和待匹配图像区域像素点的向量，/>分别表示向量的模。
作为一种可选方式，对于每个降采样的模板图像，都计算匹配得分；其中，计算匹配得分是否达到预设值包括如下步骤：
设经过降采样的待检测图像中共有M个点，有N个模板图像，由此将得到N*M个匹配得分值，其中，M表示模板图像在待检测图像上的移动次数，即每次移动会计算N个匹配得分；在其中取最大值；并以该最大值为预设条件，找出对应的模板图像，得到待检测第一图像相对于标准图像的缩放尺度和旋转角度，通过仿射变换将所述待检测第一图像变换到与所述标准图像大小一致，即获得待检测第二图像；其中，所述大小一致是指：所述待检测第一图像中的兴趣标记区域与标准图像中的兴趣标记区域大小一致。
作为一种可选方式，特征点提取包括如下方法：
设图像用二维离散函数表示，首先构造Hessian矩阵如下：
；
其中，等式右边部分表示图像函数分别对/>和/>以及/>求二阶导数，定义/>，/>，/>；
然后，得到所有特征点：
；
其中，等式左边表示Hessian矩阵对应的行列式的值，Dxy上乘的一个加权系数0.9表示近似高斯滤波，由此得到特征点。
作为一种可选方式，滤波处理包括如下方法：利用不同的盒式滤波器模板尺寸进行处理，生成多组滤波后的图像；每组图像包括三幅，同一组的图像滤波器模板尺寸相同，不同组之间的滤波器模板尺寸依次增大，由此得到多组不同尺度的一系列的滤波后的图像；将经过Hessian矩阵处理的每个像素点与每组图像的三幅图像空间邻域内的26个点进行比较，初步定位出关键点，最后采用三维线性插值法得到亚像素级的特征点，并同时去掉值小于预设阈值的点，筛选出最终的稳定的特征点。
作为一种可选方式，计算特征点描述算子包括如下步骤：
设标准图像的特征点描述算子表示为descriptor1，待测第二图像的特征点描述算子表示为descriptor2；
在任一特征点周围选取一个20×20大小的区域形成矩形区域块，并按照4×4大小划分为16个子区域块，矩形区域块的方向为沿着特征点的主方向；
在每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，其中，主方向采用的是统计特征点圆形邻域内的harr小波特征，即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。
作为一种可选方式，标准图像与待测第二图像中，判断其两两特征点是否匹配包括如下方法：
计算任一两两对应的特征点的欧氏距离：
；
设任意两个对应的特征点匹配的距离阈值，如果距离满足/>，则认为两个特征点匹配；/>表示两个特征点描述算子之间的欧氏距离，/>表示设定的距离阈值，Descriptor1和descriptor2分别表示两个特征点的描述算子。
作为一种可选方式，采用随机抽样一致集计算任意两两匹配的特征点之间的单应性变换矩阵包括如下方法：
对于标准图像中的匹配点集记为，待检测第二图像中的匹配点集记为/>，使用/>次随机抽样，每次从/>和/>中各抽取/>个点，由此，得到每个点集对/>；然后分别计算每个点集对应的单应性变换矩阵，得到/>个单应性变换矩阵，最后，选择这些单应性矩阵的平均值最为最终的变换矩阵/>，即
；
另外， 对于每个单应性矩阵的计算，利用齐次坐标的性质，对于每次选取的个点，在/>和/>点集中，分别记为如下矩阵形式
；
；
其中，和/>分别表示第i次抽样的第1个点，其它以此类推；
根据等式，获得单应性变换矩阵/>。
作为一种可选方式，根据单应性变换矩阵，将待测第二图像进行变换获得的待测第三图像；重合是指：待测第三图像中的兴趣标识区域与标准图像中的兴趣标识区域位置一致。
作为一种可选方式，对标准图像与待测第三图像进行二值化运算后，进行减法运算获得相减后的对比图像；对对比图像进行形态学运算去除杂点；统计其去掉杂点后的每个连通区域的面积，并比较每个连通区域的面积与预设的字符缺陷面积的差值。
另一方面，本发明还提供了一种电子设备，包括存储器和处理器，存储器存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的牛奶包装盒印刷字符的缺陷检测方法的步骤。
另一方面，本发明还提供了一种存储介质，其上存储有计算机程序，作为一种可选方式，计算机程序被处理器执行时实现上述的牛奶包装盒印刷字符的缺陷检测方法中的步骤。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明首先将待检测图像和标注图像都变换到相同的位置，然后利用特征点检测算法找出两幅图像中完全配准的位置，利用特征点之间的变换关系，将两幅图像字符区域完全对准，最后利用二值图减法运算实现字符缺陷检测。能够准确定位字符区域，保证两幅图像字符区域的大小、方向完全一致，准确配准两幅图像，从而通过两幅图像之间的对比实现缺陷检测。及检测准确率高，速度快，能够代替人工进行检测，满足企业实际检测要求。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明实施例提供的牛奶包装盒印刷字符的缺陷检测方法步骤流程图。
具体实施方式
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
实施例：在牛奶盒字符缺陷检测中，字符缺陷类型有字符模糊不清，字符整体缺失或部分笔画缺失，字符印刷错误等。这些缺陷不能通过字符识别来解决，因为某些缺陷即使存在，通过识别的方法来判断有可能判断为正确的字符。现有检测方法中，都是通过字符识别的方式来检测，由此导致结果无法达到检测要求。
本实施例采用如下方法解决上述问题：首先，对于任一型号的牛奶包装盒，在静态条件下采集一张没有缺陷的图像，通过确定图像中牛奶盒矩形区域四个角点的坐标，利用透视变换，将该图像变换到没有透视变形的位置，得到一张标准图像；其次，对于在线采集的每一张图像，通过二值化算法，找出图像中牛奶盒矩形区域的四个角点坐标，利用与标准图像一样的透视变换方法，将待检测图像变换到没有变形的位置；然后，根据包装盒上的明显标识，利用梯度方向向量进行模板匹配，找出待检测图像与标准图像之间的旋转角度和缩放大小，利用仿射变换将待检测图像变换到与标准图像相同的位置；最后，利用特征点检测算法，找出待检测图像与标准图像上的相同特征点，根据特征点将两幅图字符变换到完全重合的位置，将图像二值化后进行减法运算，从而找出待检测图像与标准图像之间的差异部分，从而判断字符是否存在缺陷。
本实施例采用待检测图像与标准图像进行比对的方式实现字符缺陷检测。其中，由于在线检测时拍摄的图像总是存在位置和角度的变化，导致图像与标准图像之间存在角度和大小有一些区别，如果直接进行比对存在很大的误差。因此，本实施例首先将待检测图像和标注图像都变换到相同的位置，然后利用特征点检测算法找出两幅图像中完全配准的位置，利用特征点之间的变换关系，将两幅图像字符区域完全对准，最后利用二值图减法运算实现字符缺陷检测。该发明能够准确定位字符区域，保证两幅图像字符区域的大小、方向完全一致，准确配准两幅图像，从而通过两幅图像之间的对比实现缺陷检测。及检测准确率高，速度快。具体而言，如图1所示，图1为本发明实施例提供的牛奶包装盒印刷字符的缺陷检测方法步骤流程图；本实施例是按照如下方式实现的：
抽选一份完整包装盒，将其按照待识别面的轴线方向投影到任一平面，手动锚定其投影图形的四个角点作为定位角点。即手工设定牛奶包装盒四个角点的图像坐标位置，这四个角点组成一个水平放置的矩形（或者其他图形的牛奶盒所对应的平面图形，本实施例以普通的立方体牛奶包装盒作为一种可选实施例）区域，所有图像都以这四个角点为基准进行变换。
由于在线拍摄图像时，产品处理运动状态，与相机之间的距离和角度会发生变化，可以利用透视变换将所有图像校正到没有透视变形的位置。于是利用图像采集设备采集下完整包装盒的原始图像，对其图形切割并与定位角点定位匹配进行透视变换，获得没有透视变形的标准图像。是因为，包装盒上的字符处于水平位置，由于牛奶包装盒在图像上呈矩形形状，在线采集时，牛奶包装盒与背景之间的差别比较明显，因此，通过二值化算法提取图像中牛奶包装盒区域四个角点的图像坐标，利用手工设置的四个角点坐标和自动提取的四个角点坐标，计算透视变换矩阵，然后将图像进行透视变换，得到没有透视变形的标准图像。落实到本实施例中，设变换前后的坐标分别为（u, v）和（x,y,z）。透视变换的计算公式如下：
；
其中，a1、b1和c1等均为现有技术中的透视变换矩阵的系数；
然后，在标准图像上选取兴趣标识进行提取，按照不同的预设条件生成多个带有兴趣标识的模板图像。所述兴趣标识为包装盒上具有明显标识的区域，如条形码图标等。
利用图像采集设备采集待测包装盒的原始图像，对其进行透视变换，获得没有透视变形的待测第一图像，对待测第一图像进行降采样，并计算降采样后每个像素点的方向；根据每个像素点的方向与对应模板图像的大小，将待测第一图像与标准图像进行差异度识别获得匹配得分；
将匹配得分达到预设值的模板图像的预设条件代入待测第一图像中，使得待测第一图像通过该预设条件进行变换获得矫正后的待测第二图像，并将待测第二图像与标准图像进行特征点提取，并分别对二者进行滤波，计算特征点描述算子，并基于特征点描述算子，提取所有待测第二图像与标准图像中两两匹配的特征点；
采用随机抽样一致集计算任意两两匹配的特征点之间的单应性变换矩阵，并对待测第二图像进行变换，获得兴趣标识与标准图像兴趣标识区域重合的待测第三图像；对标准图像和待测第三图像进行二值化运算，再对二者二值化后的图像进行形态学处理，根据处理结果中字符缺陷大小的面积与阈值的差值，判断待测第三图像的字符缺陷情况。
在具体的实施过程中，利用二值化算法分割出包装盒的投影图形区域，获得其图形区域四个角点坐标；通过该图形的四个角点坐标与定位角点计算透视变换矩阵，再对图像进行透视变换，获得该包装盒没有透视变形的图像。落实到本实施例中，对于模板图像，首先进行高斯金字塔降采样，然后根据预设条件包括但不限于：模板图像旋转最大角度、最大增量角度、最大和最小缩放比例以及缩放增量，生成多个模板图像，设生成的模板图像数量为N。对图像的降采样操作采用高斯金字塔进行降采样，降采样后，分别计算每个图像的像素点的向量/>：
；
；
其中，分别表示点/>的/>和/>方向。
之后，对已经降采样后的图像中每个像素点，以模板图像的大小，以该点为中心，将每个降采样后的模板图像每个点的方向向量与该图像选择的区域每个点的方向向量按照：
来计算向量点积之和，作为匹配得分score，并将匹配得分score做归一化处理：
；
其中，表示为第j次的匹配得分，/>表示归一化后的得分，/>表示每个降采样后模板图像中的点数量，/>分别表示模板图像上像素点和待匹配图像区域像素点的向量，/>分别表示向量的模。
对于每个降采样的模板图像，都计算匹配得分；其中，计算匹配得分是否达到预设值包括如下步骤：
设经过降采样的待检测图像中共有M个点，有N个模板图像，由此将得到N*M个匹配得分值，其中，M表示模板图像在待检测图像上的移动次数，即每次移动会计算N个匹配得分；在其中取最大值；并以该最大值为预设条件，找出对应的模板图像，得到待检测第一图像相对于标准图像的缩放尺度和旋转角度，通过仿射变换将所述待检测第一图像变换到与所述标准图像大小一致，即获得待检测第二图像；其中，所述大小一致是指：所述待检测第一图像中的兴趣标记区域与标准图像中的兴趣标记区域大小一致。
对标准图像和矫正后的待检测图像，利用特征点提取算法，分别提取两幅图像的特征点，包括如下方法：
设图像用二维离散函数表示，首先构造Hessian矩阵如下：
；
其中，等式右边部分表示图像函数分别对/>和/>以及/>求二阶导数，定义/>，/>，/>；
然后，得到所有特征点：
；
其中，等式左边表示Hessian矩阵对应的行列式的值，Dxy上乘的一个加权系数0.9表示近似高斯滤波，由此得到特征点。
在对图像的处理过程中，滤波处理包括如下方法：利用不同的盒式滤波器模板尺寸进行处理，生成多组滤波后的图像；每组图像包括三幅，同一组的图像滤波器模板尺寸相同，不同组之间的滤波器模板尺寸依次增大，由此得到多组不同尺度的一系列的滤波后的图像；将经过Hessian矩阵处理的每个像素点与每组图像的三幅图像空间邻域内的26个点进行比较，初步定位出关键点，最后采用三维线性插值法得到亚像素级的特征点，并同时去掉值小于预设阈值的点，筛选出最终的稳定的特征点。
计算特征点描述算子包括如下步骤：
设标准图像的特征点描述算子表示为descriptor1，待测第二图像的特征点描述算子表示为descriptor2；
在任一特征点周围选取一个20×20大小的区域，并按照4×4大小划分为16个子区域块，矩形区域块的方向为沿着特征点的主方向；
在每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，其中，主方向采用的是统计特征点圆形邻域内的harr小波特征，即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。
因此，标准图像与待测第二图像中，判断其两两特征点是否匹配包括如下方法：
计算任一两两对应的特征点的欧氏距离：
；
设任意两个对应的特征点匹配的距离阈值，如果距离满足/>，则认为两个特征点匹配；/>表示两个特征点描述算子之间的欧氏距离，/>表示设定的距离阈值，Descriptor1和descriptor2分别表示两个特征点的描述算子。
作为一种可选方式，采用随机抽样一致集计算任意两两匹配的特征点之间的单应性变换矩阵，包括如下方法：
对于标准图像中的匹配点集记为，待检测第二图像中的匹配点集记为/>，使用/>次随机抽样，每次从/>和/>中各抽取/>个点，由此，得到每个点集对/>；然后分别计算每个点集对应的单应性变换矩阵，得到/>个单应性变换矩阵，最后，选择这些单应性矩阵的平均值最为最终的变换矩阵/>，即
；
另外， 对于每个单应性矩阵的计算，利用齐次坐标的性质，对于每次选取的个点，在/>和/>点集中，分别记为如下矩阵形式
；
；
其中，和/>分别表示第i次抽样的第1个点，其它以此类推；
根据等式，获得单应性变换矩阵/>。
然后，根据上述获得的单应性变换矩阵，将待测第二图像进行变换获得的待测第三图像；重合是指：待测第三图像中的兴趣标识区域与标准图像中的兴趣标识区域位置一致。最后，对标准图像与待测第三图像进行二值化运算后，进行减法运算获得相减后的对比图像；对对比图像进行形态学运算去除杂点；统计其去掉杂点后的每个连通区域的面积，并比较每个连通区域的面积与预设的字符缺陷面积的差值。
另一方面，本发明还提供了一种电子设备，包括存储器和处理器，存储器存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的牛奶包装盒印刷字符的缺陷检测方法的步骤。
另一方面，本发明还提供了一种存储介质，其上存储有计算机程序，作为一种可选方式，计算机程序被处理器执行时实现上述的牛奶包装盒印刷字符的缺陷检测方法中的步骤。
本实施例采用透视变换作为粗定位，保证待检测图像和标准图像一样大小，采用模板图像上像素点的方向向量与待检测图像进行模板匹配，保证了待检测图像和标准图像上的字符区域在大小和方向上一致，采用特征点匹配保证两幅图像的字符区域完全对齐。两次定位和第三次特征点匹配，为准确检测字符缺陷提供了保证。并且利用字符区域对齐的图像进行相减运算，同时利用形态学过滤杂点，设定阈值确定缺陷面积大小，最终准确检测字符是否存在缺陷。检测速度快，检测准确率高。有效提高了字符却喜爱检测的准确率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，包括：
抽选一份完整包装盒，将其按照待识别面的轴线方向投影到任一平面，手动锚定其投影图形的四个角点作为定位角点；
利用图像采集设备采集完整包装盒的原始图像，对其图形切割并与所述定位角点定位匹配进行透视变换，获得没有透视变形的标准图像；在所述标准图像上选取兴趣标识进行提取，按照不同的预设条件生成多个带有兴趣标识的模板图像；
利用图像采集设备采集待测包装盒的原始图像，对其进行透视变换，获得没有透视变形的待测第一图像，对所述待测第一图像进行降采样，并计算降采样后每个像素点的方向；根据每个像素点的方向与对应模板图像的大小，将所述待测第一图像与标准图像进行差异度识别获得匹配得分；
将匹配得分达到预设值的模板图像的预设条件代入所述待测第一图像中，使得待测第一图像通过该预设条件进行变换获得矫正后的待测第二图像，并将所述待测第二图像与标准图像进行特征点提取，并分别对二者进行滤波，计算特征点描述算子，并基于所述特征点描述算子，提取所有所述待测第二图像与标准图像中两两匹配的特征点；
采用随机抽样一致集计算任意两两匹配的特征点之间的单应性变换矩阵，并对所述待测第二图像进行变换，获得兴趣标识与标准图像兴趣标识区域重合的待测第三图像；对所述标准图像和待测第三图像进行二值化运算，再对二者二值化后的图像进行形态学处理，根据处理结果中字符缺陷大小的面积与阈值的差值，判断待测第三图像的字符缺陷情况。
2.根据权利要求1所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，对任一图像的透视变换操作包括如下方法：
利用二值化算法分割出包装盒的投影图形区域，获得其图形区域四个角点坐标；通过该图形四个角点坐标与所述定位角点计算透视变换矩阵，再对图像进行透视变换，获得的该包装盒没有透视变形的图像。
3.根据权利要求1所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，对图像的降采样操作采用高斯金字塔进行降采样，降采样后，分别计算每个图像的像素点的向量/>：
；
；
其中，分别表示点/>的/>和/>方向。
4.根据权利要求3所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，对已经降采样后的图像中每个像素点，以模板图像的大小，以该点为中心，将每个降采样后的模板图像每个点的方向向量与该图像选择的区域每个点的方向向量按照：
来计算向量点积之和，作为匹配得分score，并将匹配得分score做归一化处理：
；
其中，表示为第j次的匹配得分，/>表示归一化后的得分，/>表示每个降采样后模板图像中的点数量，/>分别表示模板图像上像素点和待匹配图像区域像素点的向量，/>分别表示向量的模。
5.根据权利要求4所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，对于每个降采样的模板图像，都计算匹配得分；其中，计算匹配得分是否达到预设值包括如下步骤：
设经过降采样的待检测图像中共有M个点，有N个模板图像，由此将得到N*M个匹配得分值，其中，M表示模板图像在待检测图像上的移动次数，即每次移动会计算N个匹配得分；在其中取最大值；并以该最大值为预设条件，找出对应的模板图像，得到待检测第一图像相对于标准图像的缩放尺度和旋转角度，通过仿射变换将所述待检测第一图像变换到与所述标准图像大小一致，即获得待检测第二图像；其中，所述大小一致是指：所述待检测第一图像中的兴趣标记区域与标准图像中的兴趣标记区域大小一致。
6.根据权利要求1所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，所述特征点提取包括如下方法：
设图像用二维离散函数表示，首先构造Hessian矩阵如下：
；
其中，等式右边部分表示图像函数分别对/>和/>以及/>求二阶导数，定义/>，/>，/>；
然后，得到所有特征点：
；
其中，等式左边表示Hessian矩阵对应的行列式的值，Dxy上乘的一个加权系数0.9表示近似高斯滤波，由此得到特征点。
7.根据权利要求6所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，所述滤波的处理包括如下方法：利用不同的盒式滤波器模板尺寸进行处理，生成多组滤波后的图像；每组图像包括三幅，同一组的图像滤波器模板尺寸相同，不同组之间的滤波器模板尺寸依次增大，由此得到多组不同尺度的一系列的滤波后的图像；将经过Hessian矩阵处理的每个像素点与每组图像的三幅图像空间邻域内的26个点进行比较，初步定位出关键点，最后采用三维线性插值法得到亚像素级的特征点，并同时去掉值小于预设阈值的点，筛选出最终的稳定的特征点。
8.根据权利要求1所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，计算特征点描述算子包括如下步骤：
设所述标准图像的特征点描述算子表示为descriptor1，所述待测第二图像的特征点描述算子表示为descriptor2；
在任一特征点周围选取一个20×20大小的区域形成矩形区域块，并按照4×4大小划分为16个子区域块，所述矩形区域块的方向为沿着特征点的主方向；
在每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，其中，主方向采用的是统计特征点圆形邻域内的harr小波特征，即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。
9.根据权利要求1所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，所述标准图像与待测第二图像中，判断其两两特征点是否匹配包括如下方法：
计算任一两两对应的特征点的欧氏距离：
；
设任意两个对应的特征点匹配的距离阈值，如果距离满足/>，则认为两个特征点匹配；/>表示两个特征点描述算子之间的欧氏距离，/>表示设定的距离阈值，Descriptor1和descriptor2分别表示两个特征点的描述算子。
10.根据权利要求9所述的一种牛奶包装盒印刷字符的缺陷检测方法，其特征在于，所述采用随机抽样一致集计算任意两两匹配的特征点之间的单应性变换矩阵包括如下方法：
对于标准图像中的匹配点集记为，待检测第二图像中的匹配点集记为/>，使用/>次随机抽样，每次从/>和/>中各抽取/>个点，由此，得到每个点集对/>；然后分别计算每个点集对应的单应性变换矩阵，得到/>个单应性变换矩阵，最后，选择这些单应性矩阵的平均值最为最终的变换矩阵/>，即
；
另外， 对于每个单应性矩阵的计算，利用齐次坐标的性质，对于每次选取的/>个点，在/>和/>点集中，分别记为如下矩阵形式
；
；
其中，和/>分别表示第i次抽样的第1个点，其它以此类推；
根据等式，获得单应性变换矩阵/>；
对所述待测第二图像进行变换，获得兴趣标识与标准图像兴趣标识区域重合的待测第三图像时，根据所述单应性变换矩阵，对所述待测第二图像进行变换，将待测第二图像进行变换获得的待测第三图像；所述重合是指：所述待测第三图像中的兴趣标识区域与所述标准图像中的兴趣标识区域位置一致；
对所述标准图像与待测第三图像进行二值化运算后，进行减法运算获得相减后的对比图像；对所述对比图像进行形态学运算去除杂点；统计其去掉杂点后的每个连通区域的面积，并比较每个连通区域的面积与预设的字符缺陷面积的差值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310564565.1A CN116309573B (zh) | 2023-05-19 | 2023-05-19 | 一种牛奶包装盒印刷字符的缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310564565.1A CN116309573B (zh) | 2023-05-19 | 2023-05-19 | 一种牛奶包装盒印刷字符的缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309573A CN116309573A (zh) | 2023-06-23 |
| CN116309573B true CN116309573B (zh) | 2023-07-25 |
Family
ID=86798212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310564565.1A Active CN116309573B (zh) | 2023-05-19 | 2023-05-19 | 一种牛奶包装盒印刷字符的缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309573B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704513B (zh) * | 2023-08-04 | 2023-12-15 | 深圳思谋信息科技有限公司 | 文本质量检测方法、装置、计算机设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014045508A1 (ja) * | 2012-09-18 | 2014-03-27 | 日本電気株式会社 | 検査装置、検査方法、および検査プログラム |
| CN104568986A (zh) * | 2015-01-26 | 2015-04-29 | 中国科学院半导体研究所 | 基于surf算法的遥控器面板印刷缺陷自动检测方法 |
| RU2647670C1 (ru) * | 2016-09-27 | 2018-03-16 | Общество с ограниченной ответственностью "Аби Девелопмент" | Автоматизированные способы и системы выявления на изображениях, содержащих документы, фрагментов изображений для облегчения извлечения информации из выявленных содержащих документы фрагментов изображений |
| CN111650220A (zh) * | 2020-07-15 | 2020-09-11 | 博科视(苏州)技术有限公司 | 一种基于视觉的图文缺陷检测方法 |
| CN112288734A (zh) * | 2020-11-06 | 2021-01-29 | 西安工程大学 | 一种基于图像处理的印花织物表面缺陷检测方法 |
| CN113012145A (zh) * | 2021-04-10 | 2021-06-22 | 苏州诺维博得智能装备科技有限公司 | 一种化妆品外包装字符缺陷检测的方法 |
| CN113627446A (zh) * | 2021-08-18 | 2021-11-09 | 成都工业学院 | 基于梯度向量的特征点描述算子的图像匹配方法及系统 |
| CN114549504A (zh) * | 2022-03-01 | 2022-05-27 | 安徽工业技术创新研究院六安院 | 一种基于机器视觉的外观质量检测方法 |
| CN114548250A (zh) * | 2022-02-15 | 2022-05-27 | 深圳闪回科技有限公司 | 一种基于数据分析的手机外观检测方法及装置 |
| CN114926671A (zh) * | 2022-06-16 | 2022-08-19 | 福州大学 | 基于模板匹配的nled/qled/oled像素缺陷定位方法及系统 |
-
2023
- 2023-05-19 CN CN202310564565.1A patent/CN116309573B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014045508A1 (ja) * | 2012-09-18 | 2014-03-27 | 日本電気株式会社 | 検査装置、検査方法、および検査プログラム |
| CN104568986A (zh) * | 2015-01-26 | 2015-04-29 | 中国科学院半导体研究所 | 基于surf算法的遥控器面板印刷缺陷自动检测方法 |
| RU2647670C1 (ru) * | 2016-09-27 | 2018-03-16 | Общество с ограниченной ответственностью "Аби Девелопмент" | Автоматизированные способы и системы выявления на изображениях, содержащих документы, фрагментов изображений для облегчения извлечения информации из выявленных содержащих документы фрагментов изображений |
| CN111650220A (zh) * | 2020-07-15 | 2020-09-11 | 博科视(苏州)技术有限公司 | 一种基于视觉的图文缺陷检测方法 |
| CN112288734A (zh) * | 2020-11-06 | 2021-01-29 | 西安工程大学 | 一种基于图像处理的印花织物表面缺陷检测方法 |
| CN113012145A (zh) * | 2021-04-10 | 2021-06-22 | 苏州诺维博得智能装备科技有限公司 | 一种化妆品外包装字符缺陷检测的方法 |
| CN113627446A (zh) * | 2021-08-18 | 2021-11-09 | 成都工业学院 | 基于梯度向量的特征点描述算子的图像匹配方法及系统 |
| CN114548250A (zh) * | 2022-02-15 | 2022-05-27 | 深圳闪回科技有限公司 | 一种基于数据分析的手机外观检测方法及装置 |
| CN114549504A (zh) * | 2022-03-01 | 2022-05-27 | 安徽工业技术创新研究院六安院 | 一种基于机器视觉的外观质量检测方法 |
| CN114926671A (zh) * | 2022-06-16 | 2022-08-19 | 福州大学 | 基于模板匹配的nled/qled/oled像素缺陷定位方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Multi-view based template matching method for surface defect detection of circuit board;Junyu Zhou 等;《Journal of Physics Conference Series 》;1-6 * |
| 基于多特征匹配的液晶屏字符缺陷检测;陈昕 等;《包装工程》;第44卷(第3期);157-163 * |
| 基于深度学习的音频包装喷码字符缺陷检测研究;彭建忠;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;B024-99 * |
| 基于管道缺陷的漏磁信号分布规律研究;丁超 等;《西部特种设备》;第4卷(第4期);22-27 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309573A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111474184B (zh) | 基于工业机器视觉的aoi字符缺陷检测方法和装置 | |
| CN109724990B (zh) | 一种包装盒标签中喷码区域的快速定位与检测方法 | |
| CN107492091B (zh) | 基于机器视觉的标签外观检测方法及终端设备 | |
| CN108389179B (zh) | 一种基于机器视觉的罐盖表面缺陷检测方法 | |
| US5220621A (en) | Character recognition system using the generalized hough transformation and method | |
| US6778703B1 (en) | Form recognition using reference areas | |
| US10025977B2 (en) | Method for identifying a sign on a deformed document | |
| CN110706293B (zh) | 基于surf特征匹配的电子元器件定位和检测方法 | |
| CN116309573B (zh) | 一种牛奶包装盒印刷字符的缺陷检测方法 | |
| JPH0685183B2 (ja) | ２次元像による３次元物体の同定方法 | |
| CN110765992B (zh) | 印章鉴别方法、介质、设备及装置 | |
| CN112233116B (zh) | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 | |
| CN111489337A (zh) | 一种自动光学检测伪缺陷去除方法及系统 | |
| CN113850749A (zh) | 训练缺陷侦测器的方法 | |
| CN111553422A (zh) | 手术器械自动识别回收方法及系统 | |
| CN106529368A (zh) | 二维码识别区域定位的方法 | |
| CN114266764A (zh) | 一种印刷标签的字符完整性检测方法及其装置 | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| CN113822836B (zh) | 标记图像的方法 | |
| CN113658039A (zh) | 一种药瓶标签图像的拼接顺序确定方法 | |
| CN112150541A (zh) | 一种多led晶片定位算法 | |
| CN115690104B (zh) | 一种晶圆裂缝检测方法、装置及存储介质 | |
| CN115512381A (zh) | 文本识别方法、装置、设备、存储介质及作业机械 | |
| CN115578594A (zh) | 基于计算机视觉的边缘定位方法、装置及相关设备 | |
| Konishi et al. | Fast and precise template matching based on oriented gradients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |