CN112508826A - 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法 - Google Patents
一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法 Download PDFInfo
- Publication number
- CN112508826A CN112508826A CN202011276192.0A CN202011276192A CN112508826A CN 112508826 A CN112508826 A CN 112508826A CN 202011276192 A CN202011276192 A CN 202011276192A CN 112508826 A CN112508826 A CN 112508826A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- matching
- detected
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 167
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 abstract description 10
- 239000013598 vector Substances 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000003313 weakening effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 14
- 230000006872 improvement Effects 0.000 description 10
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000009699 differential effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06T3/02—
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本发明提供了一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法，包括制作标准模板图像步骤、待测图像初次定位配准步骤、基于AKAZE特征点的二次配准步骤、提取潜在缺陷区域及掩模步骤、基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤和缺陷融合判定及可视化步骤。本发明的有益效果是：本发明基于非线性尺度空间的AKAZE特征点二次配准矫正，AKAZE特征点相对于SURF和SIFT更进稳定，在保留真缺陷的前提下对待测图像进行有效的伪影剔除。本发明对潜在缺陷范围加以限制，避免由于潜在缺陷的膨胀导致粘连，导致缺陷区域对得分的影响减弱。潜在缺陷区域掩模的引入，只保留潜在缺陷本身的信息，屏蔽潜在缺陷外的信息，能有效去除缺陷外的图像对特征提取的干扰。本发明的缺陷判别采用改进的余弦相似度形状匹配算法，引入非线性激活函数同步考虑图像梯度向量的方向和长度对相似度得分的影响。
Description
技术领域
本发明涉及工业视觉印刷品缺陷检测技术领域，尤其涉及一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法。
背景技术
印刷品表面缺陷检测，目前一般是采用人工目检的方法，由有经验的工人采用肉眼检测。但是长时间的肉眼检测会使人产生视觉疲劳，容易造成漏检或者误判。另外，人工目检效率低下，成本高。
图1为待检测样品。目前的印刷品缺陷检测存在的技术难点如下：
实时采集的图像相对于标准模板图像会由于夹具松动、机械振动、表面反光等原因，不可避免的出现角度、位置和大小的偏差。
纸质印刷品是非刚体，易发生各种随机形态的形变，例如轻微翘边或褶皱。
受环境光或者拍照设置的影响，不可避免引入随机噪声。
工业检测要求较高实时性及检测精度。
受光照、印刷品表面双重反射及光晕效果等影响，会引起轮廓伪影。伪影的剔除对最终检测效果起决定性影响。
现有技术一：现有的发明专利《基于特征点提取的毛巾标签缺陷检测方法》(申请号:201510405923.X)，涉及一种基于ORB特征点提取的毛巾标签缺陷检测方法。发明首先待检测毛巾标签图像采集，将采集到的待检测图像经过一系列的图像预处理操作，其次通过ORB特征提取算法提取出模板图像和待检图像的特征点，依据LSH(局部敏感哈希)搜索算法寻求最优匹配点，采用RANSAC剔除误配点，得出仿射变换所需的参数，建立相应的单应矩阵，得到配准后的图像，最后将配准后的图像与模板图像进行图像差分运算，根据差分结果统计二值化图像中像素值0和1分别所占的比例，将比例与预先设定的经验门限值相比较，最终判定图像中是否存在缺陷，从而决断毛巾标签是否为合格产品。
现有技术一的缺点：
1.对于图文信息量较大的印刷品，ORB特征点提取不如AKAZE稳定，ORB配准效果和AKAZE配准效果比对，如图15所示。
2.差分后直接通过像素统计的方法来判别缺陷，该做法未充分考虑到图像差分伪影的影响，无法有效剔除伪影。差分伪影的剔除是缺陷检测的难点之一。
现有技术二：
现有的发明专利《基于SIFT图像配准与余弦相似度的列车部件检测方法》(申请号:201911283008.2)，该发明公开了一种基于SIFT图像配准与余弦相似度的列车部件检测方法，具体步骤为：1、安装线阵相机对列车车身进行拍摄，并将图像发送给计算机；2、计算机在读取图像后，利用图片相对坐标来截取待检测部件区域，并调用对应部件的标准图；3、使用SIFT算法提取图片SIFT特征；4、利用FLANN算法进行特征匹配，并通过仿射变换将待测图像和标准图像重叠在在一张图上，从而消除待测图像的图像畸变；5、配准后，运用掩模截取出重合区域，滑动窗口来进行缺陷检测；6、计算待检测区域图像和标准图像的余弦相似度并比对出结果。本发明硬件要求少，节约成本；操作简单，方便使用；同时提高了故障检测的速度和精确度。
现有技术二的缺点：
1.SIFT特征提取实时性不足，一般很难满足工业实时检测的要求。
2.采用不同大小和比例的滑动窗口在配准后的图像上滑动，属于暴力搜索法，计算效率低。
3.该专利并未就如何计算余弦相似度做具体说明，并未揭露如何提取图像的特征来计算余弦相似度。可默认理解为是基于滑动窗口的图像灰度值来计算，每滑动一次，滑窗内的所有像素点的灰度值都需要参与余弦相似度计算，计算量巨大且重复计算，同时图像灰度值容易受光照的影响，从而影响余弦相似度的得分判定。另一方面，相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。
现有技术三：现有的发明专利《一种基于视觉的图文缺陷检测方法》(申请号:202010683186.0)，该发明公开了一种基于视觉的图文缺陷检测方法，涉及计算机视觉识别领域。该方法采用彩色高清工业相机和镜头对尺寸以内的印刷品进行拍照，首先对合格品制作标准模板，提取模板的特征信息，然后对随意姿态放置的印刷样本进行拍照后比对；算法在图像比对的过程中，将样本图像自动与模板图像进行高精度多尺度配准矫正，省去了目前单张印刷品需要治具进行高精度摆放或需要人工矫正旋转角度等复杂工作，并能够针对不同摆放姿态的样本产生的形变进行自动矫正，最后识别出较小的图文印刷缺陷。不仅能处理文字、符号，也可处理各类含有图像、文字、表格的印刷内容，可更好地检测出各类缺陷，满足了3C、食品、药品等领域对印刷品的高标准品质检测要求。
现有技术三的缺点：
1.初次配准利用AKAZE特征匹配算法，易出现过度矫正。一旦待测品本身存在过度的印刷偏位、倾斜等形变，矫正算法有可能将待测物矫正为良品，如图2所示。
2.该方法可以在一定程度上减少伪影，但是不能彻底消除图像差分伪影。图像差分后残留的伪影会继续影响后续的图像缺陷判别，而该专利后续的图像缺陷判别基本是基于灰度均值、长宽、面积等灰度统计特征的方法。灰度统计特征最大的弊端在于对光照敏感，算法鲁棒性差。且需要人工预先定义不同缺陷种类的特征，一旦伪影的特征和人工定义的特征类似，将无法有效区分真伪缺陷，导致误判。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法，印刷品缺陷检测是对印刷品表面的印刷错误进行检测，目的是保证印刷品的质量。伪影剔除的好坏会直接影响到后期缺陷检测的效率和准确率。
本发明提供了一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法，包括如下步骤：
制作标准模板图像步骤：依据工业相机对生产线上的印刷品进行图像采集，从采集到的所有图像中挑选出和所要达到的标准模板图最接近的图像,对模板图像通过网页界面设定模板区域、搜索区域、裁剪区域、模板特征点数量、模板旋转角度步长、模板旋转角度的上下限及图像金字塔滑动步长参数，然后生成所有旋转角度的标准模板图像并保存；
待测图像初次定位配准步骤：从工业相机采集待检测图像，先进行高斯滤波预处理，利用基于linemod特征点定位配准算法将所有角度的标准图像逐个与待检测图像进行定位配准，按匹配分数从高到低排序，选取匹配分数最高的标准图像作为最终匹配标准图像，根据最终匹配标准的角度及匹配位置坐标，由几何关系在待测图像中裁剪出配准后的目标图像；
基于AKAZE特征点的二次配准步骤：使用AKAZE特征提取算法分别对标准模板图像、配准后的目标图像提取特征点；通过暴力法匹配求解得到特征点集合，剔除匹配精度低的特征点；通过筛选后的特征点集合计算单应性矩阵，并通过单应性矩阵对待测图像进行仿射变换，得到二次配准后的待测图像；
提取潜在缺陷区域及掩模步骤：将二次配准后的待测图像T’和标准模板图像I作绝对值差分，得到差分图像Diff，对差分图像Diff进行固定阈值二值化，用形态学开运算，过滤图像中比较小的孤立点及噪声，得到最终差分图Diff’；利用canny算子对Diff’提取轮廓及对应的外接矩形Li(i＝1,…,n)，每个轮廓的外接矩形Li往外扩展设定像素后作为潜在缺陷的限制矩形区域Ri，如果扩展之后的宽度或者高度超过图像边界，则最大扩展到图像边界，对最终差分图Diff’进行形态学膨胀得到潜在缺陷MASK图像，依据Ri从模板图像I取出相应的潜在缺陷子图Ii，依据Ri再扩展设定像素从待测图像T’取出子图Ti’，作为匹配的被搜索图；
基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤：首先用潜在缺陷Mask图像和潜在缺陷图像做与运算从而剔除非缺陷区域对相似度的影响；再利用Canny算子和Sobel算子获取特征点的位置与梯度特征；再使用加入非线性激活函数的改进的余弦相似度来计算出第一个正向匹配相似度；最后把模板图像当作待测图像，待测图像当作模板图像再进行一次反向相似度计算，得到第二个相似度。若两次相似度均大于阈值，则判别该子区域为伪影区域，否则判别为缺陷；
缺陷融合判定及可视化步骤：对任一个潜在缺陷候选区域，取正反两次匹配相似度最低分数作为本候选区域的最终得分；如果最终得分小于设定的阈值，并且缺陷面积大于设定的面积阈值，则判定为该潜在缺陷区域为真缺陷，否则判定为伪影；只要待测图的缺陷区域总数量大于1，则判断该待测图为不良品；否则，判断为良品。
作为本发明的进一步改进，在所述制作标准模板图像步骤中，采用1200万分辨率的CMOS工业相机现场采集图像，选一张标准图像作为模板，通过界面设置模板图像ROI、搜索范围ROI及最终裁剪ROI。最终裁剪ROI图像用于差分图像直接比对。
作为本发明的进一步改进，在所述待测图像初次定位配准步骤中，基于linemod特征点定位配准，具体为对标准图像和目标图像同时处理：先对标准图像和目标图像进行7*7的高斯模糊，然后利用Sobel算子求解出每个像素点的梯度方向以及幅值，只有超过一定阈值的梯度才会被保留；接着在3*3的领域内统计梯度的方向，数量超过5的梯度方向才会被采用，在一定邻域里对目标图像提取完梯度方向得到的特征图进行扩散，将标准图像在目标图像上从左到右、从上到下做滑窗移动，计算每次滑动位置的余弦匹配分数，选取最大的匹配分数作为匹配结果，将所有角度的标准图像逐个与工业相机采集到的待检测图像进行定位配准，按匹配分数从高到低排序，选取匹配分数最高的模板作为最终匹配标准图像，根据最终匹配图像的角度及匹配位置坐标，由几何关系，在待测图像中裁剪出配准后的目标图像。
作为本发明的进一步改进，所述基于AKAZE特征点的二次配准步骤包括：
步骤1：初次配准后的目标图像计算AKAZE特征点，标准模板图像计算AKAZE特征点；
步骤2：筛选匹配成功的特征点数量MACHES；
步骤3：判断MACHES是否大于设定值，如果是，那么执行步骤4，否则使用初次配准待测图像，然后执行步骤6；
步骤4：计算单应性矩阵H；
步骤5：通过H仿射变换得到二次配准后的待测图像；
步骤6：输出二次配准后的待测图像。
作为本发明的进一步改进，在所述提取潜在缺陷区域及掩模步骤中，用用3x3的结构元进行形态学开运算，过滤图像中比较小的孤立点及噪声，得到最终差分图Diff’；对最终差分图Diff’进行结构元为3x3的形态学膨胀得到潜在缺陷MASK图像，只保留潜在缺陷本身的信息，屏蔽潜在缺陷外的背景信息。
作为本发明的进一步改进，所述基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤包括：
步骤a：用Sobel算子对模板图像I和待测图像T’分别进行x、y方向的边缘检测，得到两个图在x、y两个方向的梯度；
步骤b：用Canny算子对标准模板图像I提取轮廓，得到标准模板图像I的Canny轮廓图；
步骤c：将模板Canny轮廓图和掩模MASK与运算，得到特征图IF，根据Ri得到相应位置的特征子图IFi；
步骤d：将特征子图IFi在扩展后的待测子图Ti’上从左到右、从上到下依次滑动；
步骤e：根据坐标映射关系，计算出滑动后的特征子图IFi每个特征点相对于标准模板图像I左上角顶点的坐标；
步骤f：根据预先计算的标准模板图像I上的梯度，查找出对应位置的特征点的梯度，进行改进的余弦相似度计算；
步骤g：判断是否遍历所有滑窗，若是，那么执行步骤h，否则返回执行步骤d；
步骤h：将滑动过程中的最高分计为本次匹配的最终相似度得分。
作为本发明的进一步改进，在所述步骤d中，将特征子图IFi在扩展后的待测子图Ti’上从左到右、从上到下以步长1依次滑动。
作为本发明的进一步改进，在所述步骤f中，提出了一种激活函数用于修正相似度的衡量标准，如下：
其中，
式中，Si为第i个潜在缺陷子图Ii的相似度得分，n为第i个子图Ii特征点的数量，
分别为第i个子图Ii的第j个特征点在x、y方向的梯度，
分别为T’i图的第j个特征点在x、y方向的梯度，函数F(rj，dj)为激活函数，Tr和Td为依照具体场景所需要设置的阈值，若相似度得分S小于设定的阈值，则判定为真瑕疵；若相似度得分S不小于设定的阈值，则判定为假瑕疵。
作为本发明的进一步改进，在所述基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤中，进行正反两次匹配过程，正向匹配之后还需要进行反向匹配的过程；反向匹配，只需对调待测图像和模板图像，重复以上步骤c-h即可。
作为本发明的进一步改进，在所述基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤中，对每个潜在的缺陷候选区域，重复执行步骤c-h及进行正反两次匹配过程，直到所有潜在缺陷候选区域都检测完毕。
本发明的有益效果是：本发明基于非线性尺度空间的AKAZE特征点二次配准矫正，AKAZE特征点相对于SURF和SIFT更进稳定，可以保证在保留真缺陷的前提下对待测图像进行有效的伪影剔除。本发明对潜在缺陷范围加以限制，避免由于潜在缺陷的膨胀导致粘连，导致缺陷区域对得分的影响减弱。潜在缺陷区域掩模的引入，只保留潜在缺陷本身的信息，屏蔽潜在缺陷外的信息，能有效去除缺陷外的图像对特征提取的干扰。本发明的缺陷判别采用改进的余弦相似度形状匹配算法，引入非线性激活函数同步考虑图像梯度向量的方向和长度对相似度得分的影响。
附图说明
图1是印刷品待测样品图；
图2是AKAZE过度校正说明图；
图3是待测图和模板图绝对值差分效果图；
图4是待测图和模板图子块滑动绝对值差分效果图；
图5是AKAZE配准校正后的待测图和模板图绝对值差分效果图；
图6是缺陷检测流程图；
图7是待测品和标准模板比对观察图；
图8是待测品和标准模板绝对值差分图；
图9是待测品和标准模板绝对值差分图；
图10是AKAZE特征点配准校正流程图；
图11是缺陷判别流程图；
图12是改进的余弦相似度匹配过程图；
图13是某次匹配的模板子图像和被搜索图像，图13a是模板子图，图13b是被搜索图；
图14是掩模效果：(a)包含缺陷的子图；(b)canny特征子图；(c)掩模子图；(d)掩模过滤后的canny特征子图；
图15是ORB配准和AKAZE配准比对图；
图16是漏印检测效果图(第一个数字表示相似度得分，第二个数字表示面积)；
图17是多印检测效果图(第一个数字表示相似度得分，第二个数字表示面积)。
具体实施方式
本发明主要解决印刷品表面缺陷检测，缺陷的类别包含脏污、残缺、重影、移位、划伤、多印、漏印及颜色失真等。
如图6所示，本发明公开了一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法，包括如下步骤：
制作标准模板图像步骤：工人依据工业相机对生产线上的印刷品进行图像采集，从采集到的所有图像中挑选出和所要达到的标准模板图最接近的图像。对模板图像通过网页界面设定模板区域、搜索区域、裁剪区域、模板特征点数量、模板旋转角度步长、模板旋转角度的上下限及图像金字塔滑动步长等参数，然后生成所有旋转角度的标准模板图像并保存。
在所述制作标准模板图像步骤中，考虑到基于灰度的模板匹配算法对光照敏感，不适用于工业视觉检测场景。针对每一类别，为了满足检测精度大于等于0.1mm的要求，本发明采用1200万分辨率的CMOS工业相机现场采集图像，选一张标准图像作为模板，通过界面设置模板图像ROI、搜索范围ROI及最终裁剪ROI。最终裁剪ROI图像用于差分图像直接比对。另外，设置特征点数量，设置模板旋转角度步长，模板旋转角度的上限及下限，图像金字塔加速层级等参数。
待测图像初次定位配准步骤：从工业相机采集待检测图像，先进行高斯滤波预处理，利用基于linemod特征点定位配准算法将所有角度的标准图像逐个与待检测图像进行定位配准，按匹配分数从高到低排序，选取匹配分数最高的标准图像作为最终匹配标准图像，根据最终匹配标准的角度及匹配位置坐标，由几何关系在待测图像中裁剪出配准后的目标图像。
在待测图像初次定位配准步骤中，基于linemod特征点定位配准，具体为对标准图像和目标图像同时处理：先对标准图像和目标图像进行7*7的高斯模糊，然后利用Sobel算子求解出每个像素点的梯度方向以及幅值，只有超过一定阈值的梯度才会被保留；接着在3*3的领域内统计梯度的方向，数量超过5的梯度方向才会被采用，为了使得匹配有一定的容错度，在一定邻域里对目标图像提取完梯度方向得到的特征图进行扩散，将标准图像在目标图像上从左到右、从上到下做滑窗移动，计算每次滑动位置的余弦匹配分数，选取最大的匹配分数作为匹配结果，将所有角度的标准图像逐个与工业相机采集到的待检测图像进行定位配准，按匹配分数从高到低排序，选取匹配分数最高的模板作为最终匹配标准图像，根据最终匹配图像的角度及匹配位置坐标，由几何关系，在待测图像中裁剪出配准后的目标图像。
基于AKAZE特征点的二次配准步骤：目的是有效剔除由待测图像局部轻微形变引入的伪影。由于在待测图像初次定位配准步骤中图像初步配准的限制，可避免将大形变的不良品过度矫正为良品。使用AKAZE特征提取算法分别对标准模板图像、配准后的目标图像提取特征点；通过Brute Force(暴力法)匹配求解得到特征点集合，剔除匹配精度低的特征点；通过筛选后的特征点集合计算单应性矩阵，并通过单应性矩阵对待测图像进行仿射变换，得到二次配准后的待测图像。
由于印刷品多为柔性材料，在检测环境下易发生轻微形变，如图7所示，待测品与标准品，通过肉眼观察并无明显不同。但通过图像差分，如图8所示，可发现由于在图像采集时待测品右下角发生轻微翘起导致的形变。
因此，在基于AKAZE特征点的二次配准步骤中，本发明引入AKAZE特征点匹配算法对待测图像进行二次配准矫正，可在一定范围内剔除由待测图局部轻微形变导致的伪影，同时保留了真缺陷。算法具体执行步骤如图10。通过二次配准算法操作，最终实现将图8中初次配准因局部形变无法对齐的状态，矫正至图9状态。可以看出，矫正后的图像差分图，伪影剔除效果显著。
如图10所示，基于AKAZE特征点的二次配准步骤包括：
步骤1：初次配准后的目标图像计算AKAZE特征点，标准模板图像计算AKAZE特征点；
步骤2：筛选匹配成功的特征点数量MACHES；
步骤3：判断MACHES是否大于设定值，如果是，那么执行步骤4，否则使用初次配准待测图像，然后执行步骤6，该设定值优选为4；
步骤4：计算单应性矩阵H；
步骤5：通过H仿射变换得到二次配准后的待测图像；
步骤6：输出二次配准后的待测图像。
提取潜在缺陷区域及掩模步骤：将二次配准后的待测图像T’和标准模板图像I作绝对值差分，得到差分图像Diff。对差分图像Diff进行固定阈值(一般人眼能分辨的最低灰度差为20)二值化，用3x3的结构元进行形态学开运算，过滤图像中比较小的孤立点及噪声，得到最终差分图Diff’；利用canny算子对Diff’提取轮廓及对应的外接矩形Li(i＝1,…,n)，每个轮廓的外接矩形Li往外扩展设定像素(例如，3个像素)后作为潜在缺陷的限制矩形区域Ri。如果扩展之后的宽度或者高度超过图像边界，则最大扩展到图像边界。限制潜在缺陷区域范围，可避免后续对潜在缺陷进行形态学膨胀引起间隔较小的字符粘连。对最终差分图Diff’进行结构元为3x3的形态学膨胀得到潜在缺陷MASK图像(只保留潜在缺陷本身的信息，屏蔽潜在缺陷外的背景信息)，其能有效去除背景图像对特征提取的干扰，特别适用于不规则缺陷的检测(例如，弧形或者S形不规则细长缺陷)。依据Ri从模板图像I取出相应的潜在缺陷子图Ii。依据Ri再扩展设定像素(例如，几个像素)从待测图像T’取出子图Ti’，作为匹配的被搜索图。流程如图11所示。
基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤：印刷品缺陷检测所需相似度度量的方法具有的特征：a.速度快；b.精度高；c.对局部形变有较强鲁棒性；d.较为直观地体现出人对不同图像的感受。現有主流的相似度度量方法：
结构性相似度(SSIM)：更多是用于图像质量的对比。在印刷品检测中，由于形变，会把相似性得分压的很低，造成大量误判，且该方法的运算量较大。
直方图相似度：一方面会把分数压的特别低，另一方面，由于只是各种灰度的数量的度量，并没有像素位置的区别带来的分数的改变。
互信息相似度：缺点同直方图相似度一样。
基于BRIEF，SIFT，SURF等特征点的相似度度量：计算量大，一般难以满足工业实时检测要求。
PSNR峰值信噪比：结果经常和人的主观感受不同。
在对目前衡量图片相似度的方法进行总结之后，本发明提出了一种改进的余弦相似度算法。首先用潜在缺陷Mask图像和潜在缺陷图像做“与”运算从而剔除非缺陷区域对相似度的影响；再利用Canny算子和Sobel算子获取特征点的位置与梯度特征；再使用加入非线性激活函数的改进的余弦相似度来计算出第一个正向匹配相似度；最后把模板图像当作待测图像，待测图像当作模板图像再进行一次反向相似度计算，得到第二个相似度。若两次相似度均大于阈值，则判别该子区域为伪影区域，否则判别为缺陷。
如图11和图12所示，基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤包括：
步骤a：用Sobel算子对模板图像I和待测图像T’分别进行x、y方向的边缘检测，得到两个图在x、y两个方向的梯度。
步骤b：用Canny算子对标准模板图像I提取轮廓，得到标准模板图像I的Canny轮廓图。
步骤c：将模板Canny轮廓图和掩模MASK与运算，得到特征图IF，根据Ri得到相应位置的特征子图IFi，IFi上的白色点即为特征点集合。如图14所示。
步骤d：将特征子图IFi在扩展后的待测子图Ti’上从左到右、从上到下以步长1依次滑动。
步骤e：根据坐标映射关系，计算出滑动后的特征子图IFi每个特征点相对于标准模板图像I左上角顶点的坐标。
步骤f：根据预先计算的标准模板图像I上的梯度，查找出对应位置的特征点的梯度，进行改进的余弦相似度计算。
步骤g：判断是否遍历所有滑窗，若是，那么执行步骤h，否则返回执行步骤d。
步骤h：将滑动过程中的最高分计为本次匹配的最终相似度得分。
相似性度量采用一种改进的余弦相似度。
传统的余弦相似度公式为：
式中，Si为第i个潜在缺陷子图Ii的相似度得分，n为第i个子图Ii特征点的数量，
分别为第i个子图Ii的第j个特征点在x、y方向的梯度，
分别为T’i图的第j个特征点在x、y方向的梯度，四个梯度均从步骤a-c中获得。
使用余弦相似度可有效避免光照该来的影响。梯度是一种矢量，矢量是既有大小又有方向的量。余弦相似度仅能反映方向的相似性，不能反映两个矢量由于大小不同带来的相似性的差异。在缺陷识别中，具体表现的影响是使系统无法探测出图像灰度的变化。如图13所示的情况下，传统的余弦相似度就没法衡量出两者的差异。
因此，需要采用一种修正的余弦相似度作为相似度的衡量标准。由于人眼对亮度的感知是非线性的，因此，得分的修正需要非线性的处理。工程中，应用最广泛的是深度学习的激活函数，如sigmoid函数，Relu函数。正是由于激活函数的使用才使得深度学习具有很强的非线性拟合能力。对于印刷缺陷检测，人眼的分辨能力有一个单一阈值。因此，由理论推导和工程经验相结合，在公式1.1的基础上，本发明提出了一种激活函数用于修正相似度的衡量标准，如下：
其中，
式中，函数F(rj，dj)为激活函数，Tr和Td为依照具体场景所需要设置的经验阈值。通过测试发现，激活函数与sigmoid相比的计算量较少，与ReLu函数相比的效果较好。若相似度得分S小于设定的阈值，则判定为真瑕疵；若相似度得分S不小于设定的阈值，则判定为假瑕疵。
若只进行正向匹配过程，则无法检测到多印的瑕疵；若只进行反向匹配过程，则无法检测到漏印的瑕疵。故本发明要进行正反两次匹配过程，正向匹配之后还需要进行反向匹配的过程。反向匹配，只需对调待测图像和模板图像，重复以上步骤c-h即可。
对每个潜在的缺陷候选区域，重复执行步骤c-h及进行正反两次匹配过程，直到所有潜在缺陷候选区域都检测完毕。
缺陷融合判定及可视化步骤：对任一个潜在缺陷候选区域，取正反两次匹配相似度最低分数作为本候选区域的最终得分；如果最终得分小于设定的阈值，并且缺陷面积大于设定的面积阈值，则判定为该潜在缺陷区域为真缺陷，否则判定为伪影；只要待测图的缺陷区域总数量大于1，则判断该待测图为不良品；否则，判断为良品。
本发明是对《一种基于伪影剔除的印刷品缺陷检测方法及装置》(申请号:2020108849568)的重大技术改进，主要的差异及创新点如下：
1.剔除伪影的部分。前案(申请号:2020108849568)是把原图划分为几个不同的子块，再通过子块滑动的方式来剔除伪影。此做法能有效剔除线性形变，但是一旦伪影随机不规则分布，此算法易“顾此失彼”，难以达到全局有效剔除伪影的效果。本发明利用AKAZE算法进行二次配准矫正，相对子块滑动能更有效剔除伪影，效果如图3、4、5所示。
2.潜在缺陷区域范围的限制的部分。前案无潜在缺陷区域范围的限制，当字符间隔小于形态学的膨胀幅度，就会导致潜在缺陷的字符之间发生粘连，易误判。而本发明对潜在缺陷范围加以限制，避免由于潜在缺陷的膨胀导致粘连，导致缺陷区域对得分的影响减弱。
3.潜在缺陷区域掩模的引入，只保留潜在缺陷本身的信息，屏蔽潜在缺陷外的背景信息，其目的是为了后续缺陷判别能有效去除背景图像对特征提取的干扰，特别适用潜伏于文字图案区域上的细长、弧形、S形等不规则缺陷的检测。
4.缺陷判别的部分。前案是通过轮廓包裹法统计潜在缺陷里面包含的canny白点数量，数量差绝对值超过预设的阈值就判别为缺陷，本质上属于特征像素统计法，未充分考虑到缺陷的形态差异。形状差异较大的伪影或者真缺陷也可能满足以上的条件，所以易误判。本发明的缺陷判别采用改进的余弦相似度形状匹配算法，引入非线性激活函数同步考虑图像梯度向量的方向和长度对相似度得分的影响；基于图像的梯度特征计算相似度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法，其特征在于，包括如下步骤：
制作标准模板图像步骤：依据工业相机对生产线上的印刷品进行图像采集，从采集到的所有图像中挑选出和所要达到的标准模板图最接近的图像,对模板图像通过网页界面设定模板区域、搜索区域、裁剪区域、模板特征点数量、模板旋转角度步长、模板旋转角度的上下限及图像金字塔滑动步长参数，然后生成所有旋转角度的标准模板图像并保存；
待测图像初次定位配准步骤：从工业相机采集待检测图像，先进行高斯滤波预处理，利用基于linemod特征点定位配准算法将所有角度的标准图像逐个与待检测图像进行定位配准，按匹配分数从高到低排序，选取匹配分数最高的标准图像作为最终匹配标准图像，根据最终匹配标准的角度及匹配位置坐标，由几何关系在待测图像中裁剪出配准后的目标图像；
基于AKAZE特征点的二次配准步骤：使用AKAZE特征提取算法分别对标准模板图像、配准后的目标图像提取特征点；通过暴力法匹配求解得到特征点集合，剔除匹配精度低的特征点；通过筛选后的特征点集合计算单应性矩阵，并通过单应性矩阵对待测图像进行仿射变换，得到二次配准后的待测图像；
提取潜在缺陷区域及掩模步骤：将二次配准后的待测图像T’和标准模板图像I作绝对值差分，得到差分图像Diff，对差分图像Diff进行固定阈值二值化，用形态学开运算，过滤图像中比较小的孤立点及噪声，得到最终差分图Diff’；利用canny算子对Diff’提取轮廓及对应的外接矩形Li(i＝1,…,n)，每个轮廓的外接矩形Li往外扩展设定像素后作为潜在缺陷的限制矩形区域Ri，如果扩展之后的宽度或者高度超过图像边界，则最大扩展到图像边界，对最终差分图Diff’进行形态学膨胀得到潜在缺陷MASK图像，依据Ri从模板图像I取出相应的潜在缺陷子图Ii，依据Ri再扩展设定像素从待测图像T’取出子图Ti’，作为匹配的被搜索图；
基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤：首先用潜在缺陷Mask图像和潜在缺陷图像做与运算从而剔除非缺陷区域对相似度的影响；再利用Canny算子和Sobel算子获取特征点的位置与梯度特征；再使用加入非线性激活函数的改进的余弦相似度来计算出第一个正向匹配相似度；最后把模板图像当作待测图像，待测图像当作模板图像再进行一次反向相似度计算，得到第二个相似度。若两次相似度均大于阈值，则判别该子区域为伪影区域，否则判别为缺陷；
缺陷融合判定及可视化步骤：对任一个潜在缺陷候选区域，取正反两次匹配相似度最低分数作为本候选区域的最终得分；如果最终得分小于设定的阈值，并且缺陷面积大于设定的面积阈值，则判定为该潜在缺陷区域为真缺陷，否则判定为伪影；只要待测图的缺陷区域总数量大于1，则判断该待测图为不良品；否则，判断为良品。
2.根据权利要求1所述的印刷品缺陷检测方法，其特征在于，在所述制作标准模板图像步骤中，采用1200万分辨率的CMOS工业相机现场采集图像，选一张标准图像作为模板，通过界面设置模板图像ROI、搜索范围ROI及最终裁剪ROI。最终裁剪ROI图像用于差分图像直接比对。
3.根据权利要求1所述的印刷品缺陷检测方法，其特征在于，在所述待测图像初次定位配准步骤中，基于linemod特征点定位配准，具体为对标准图像和目标图像同时处理：先对标准图像和目标图像进行7*7的高斯模糊，然后利用Sobel算子求解出每个像素点的梯度方向以及幅值，只有超过一定阈值的梯度才会被保留；接着在3*3的领域内统计梯度的方向，数量超过5的梯度方向才会被采用，在一定邻域里对目标图像提取完梯度方向得到的特征图进行扩散，将标准图像在目标图像上从左到右、从上到下做滑窗移动，计算每次滑动位置的余弦匹配分数，选取最大的匹配分数作为匹配结果，将所有角度的标准图像逐个与工业相机采集到的待检测图像进行定位配准，按匹配分数从高到低排序，选取匹配分数最高的模板作为最终匹配标准图像，根据最终匹配图像的角度及匹配位置坐标，由几何关系，在待测图像中裁剪出配准后的目标图像。
4.根据权利要求1所述的印刷品缺陷检测方法，其特征在于，所述基于AKAZE特征点的二次配准步骤包括：
步骤1：初次配准后的目标图像计算AKAZE特征点，标准模板图像计算AKAZE特征点；
步骤2：筛选匹配成功的特征点数量MACHES；
步骤3：判断MACHES是否大于设定值，如果是，那么执行步骤4，否则使用初次配准待测图像，然后执行步骤6；
步骤4：计算单应性矩阵H；
步骤5：通过H仿射变换得到二次配准后的待测图像；
步骤6：输出二次配准后的待测图像。
5.根据权利要求1所述的印刷品缺陷检测方法，其特征在于，在所述提取潜在缺陷区域及掩模步骤中，用用3x3的结构元进行形态学开运算，过滤图像中比较小的孤立点及噪声，得到最终差分图Diff’；对最终差分图Diff’进行结构元为3x3的形态学膨胀得到潜在缺陷MASK图像，只保留潜在缺陷本身的信息，屏蔽潜在缺陷外的背景信息。
6.根据权利要求1所述的印刷品缺陷检测方法，其特征在于，所述基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤包括：
步骤a：用Sobel算子对模板图像I和待测图像T’分别进行x、y方向的边缘检测，得到两个图在x、y两个方向的梯度；
步骤b：用Canny算子对标准模板图像I提取轮廓，得到标准模板图像I的Canny轮廓图；
步骤c：将模板Canny轮廓图和掩模MASK与运算，得到特征图IF，根据Ri得到相应位置的特征子图IFi；
步骤d：将特征子图IFi在扩展后的待测子图Ti’上从左到右、从上到下依次滑动；
步骤e：根据坐标映射关系，计算出滑动后的特征子图IFi每个特征点相对于标准模板图像I左上角顶点的坐标；
步骤f：根据预先计算的标准模板图像I上的梯度，查找出对应位置的特征点的梯度，进行改进的余弦相似度计算；
步骤g：判断是否遍历所有滑窗，若是，那么执行步骤h，否则返回执行步骤d；
步骤h：将滑动过程中的最高分计为本次匹配的最终相似度得分。
7.根据权利要求6所述的印刷品缺陷检测方法，其特征在于，在所述步骤d中，将特征子图IFi在扩展后的待测子图Ti’上从左到右、从上到下以步长1依次滑动。
8.根据权利要求6所述的印刷品缺陷检测方法，其特征在于，在所述步骤f中，提出了一种激活函数用于修正相似度的衡量标准，如下：
其中，
式中，Si为第i个潜在缺陷子图Ii的相似度得分，n为第i个子图Ii特征点的数量，
分别为第i个子图Ii的第j个特征点在x、y方向的梯度，
分别为T’i图的第j个特征点在x、y方向的梯度，函数F(rj，dj)为激活函数，Tr和Td为依照具体场景所需要设置的阈值，若相似度得分S小于设定的阈值，则判定为真瑕疵；若相似度得分S不小于设定的阈值，则判定为假瑕疵。
9.根据权利要求8所述的印刷品缺陷检测方法，其特征在于，在所述基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤中，进行正反两次匹配过程，正向匹配之后还需要进行反向匹配的过程；反向匹配，只需对调待测图像和模板图像，重复以上步骤c-h即可。
10.根据权利要求9所述的印刷品缺陷检测方法，其特征在于，在所述基于图像梯度特征及改进余弦相似度匹配算法判别真伪缺陷步骤中，对每个潜在的缺陷候选区域，重复执行步骤c-h及进行正反两次匹配过程，直到所有潜在缺陷候选区域都检测完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276192.0A CN112508826B (zh) | 2020-11-16 | 2020-11-16 | 一种印刷品缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276192.0A CN112508826B (zh) | 2020-11-16 | 2020-11-16 | 一种印刷品缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508826A true CN112508826A (zh) | 2021-03-16 |
| CN112508826B CN112508826B (zh) | 2022-03-01 |
Family
ID=74956131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011276192.0A Active CN112508826B (zh) | 2020-11-16 | 2020-11-16 | 一种印刷品缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508826B (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699876A (zh) * | 2021-03-24 | 2021-04-23 | 中海油能源发展股份有限公司采油服务分公司 | 一种用于集气站多类型仪表自动读数方法 |
| CN113160289A (zh) * | 2021-03-31 | 2021-07-23 | 哈尔滨工业大学（深圳） | 一种基于深度学习的工业印刷品图像配准方法及装置 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
| CN113808108A (zh) * | 2021-09-17 | 2021-12-17 | 太仓中科信息技术研究院 | 一种印刷膜缺陷视觉检测方法和系统 |
| CN114113112A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于三光源显微系统的表面微缺陷定位与识别方法 |
| CN114219794A (zh) * | 2021-12-17 | 2022-03-22 | 沭阳县桐盛木业制品厂(普通合伙) | 基于机器视觉的刨花板表面质量评估方法及系统 |
| CN114283126A (zh) * | 2021-12-13 | 2022-04-05 | 智洋创新科技股份有限公司 | 一种输电线路监控设备偏移检测方法 |
| CN114372980A (zh) * | 2022-03-21 | 2022-04-19 | 视睿（杭州）信息科技有限公司 | 一种工业缺陷检测方法及系统 |
| CN114418899A (zh) * | 2022-03-28 | 2022-04-29 | 深圳市嘉年印务有限公司 | 一种自彩印的自适应修复方法、系统及可读存储介质 |
| CN114445472A (zh) * | 2022-03-04 | 2022-05-06 | 山东胜算软件科技有限公司 | 基于仿射变换和模板匹配的多步图像配准算法 |
| CN114581428A (zh) * | 2022-03-13 | 2022-06-03 | 江苏涂博士新材料有限公司 | 一种基于光学手段的粉末涂料粘合度检测方法 |
| CN114937035A (zh) * | 2022-07-19 | 2022-08-23 | 江苏苏能森源电气有限公司 | 基于图像处理的电力变压器硅钢片质量检测方法及系统 |
| CN114943738A (zh) * | 2022-07-25 | 2022-08-26 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的传感器封装固化胶缺陷识别方法 |
| CN114998630A (zh) * | 2022-07-19 | 2022-09-02 | 北京科技大学 | 一种从粗到精的地对空图像配准方法 |
| CN115205291A (zh) * | 2022-09-15 | 2022-10-18 | 广州镭晨智能装备科技有限公司 | 一种电路板检测方法、装置、设备和介质 |
| CN115582840A (zh) * | 2022-11-14 | 2023-01-10 | 湖南视比特机器人有限公司 | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 |
| CN115797381A (zh) * | 2022-10-20 | 2023-03-14 | 河南理工大学 | 基于地理分块与分层特征匹配的异源遥感影像配准方法 |
| CN115841666A (zh) * | 2023-02-17 | 2023-03-24 | 江西小马机器人有限公司 | 一种仪表读数识别方法及系统 |
| CN115908364A (zh) * | 2022-12-12 | 2023-04-04 | 浙江工业大学 | 一种数字印刷印品缺陷检测方法 |
| CN116152249A (zh) * | 2023-04-20 | 2023-05-23 | 济宁立德印务有限公司 | 一种智能数字印刷质量检测方法 |
| CN116228746A (zh) * | 2022-12-29 | 2023-06-06 | 摩尔线程智能科技(北京)有限责任公司 | 缺陷检测方法、装置、电子设备、存储介质和程序产品 |
| CN116433664A (zh) * | 2023-06-13 | 2023-07-14 | 成都数之联科技股份有限公司 | 面板缺陷检测方法、装置、存储介质、设备及程序产品 |
| CN116596932A (zh) * | 2023-07-18 | 2023-08-15 | 北京阿丘机器人科技有限公司 | 电池顶盖极柱外观检测方法、装置、设备及存储介质 |
| CN117115161A (zh) * | 2023-10-24 | 2023-11-24 | 四川新康意众申新材料有限公司 | 一种塑料缺陷检查方法 |
| CN117422714A (zh) * | 2023-12-18 | 2024-01-19 | 大陆汽车电子(济南)有限公司 | 装配检测方法、设备和存储介质 |
| WO2024044915A1 (zh) * | 2022-08-29 | 2024-03-07 | 西门子股份公司 | 用于错误检测的图像比较的方法、装置、计算机设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5640200A (en) * | 1994-08-31 | 1997-06-17 | Cognex Corporation | Golden template comparison using efficient image registration |
| CN104568986A (zh) * | 2015-01-26 | 2015-04-29 | 中国科学院半导体研究所 | 基于surf算法的遥控器面板印刷缺陷自动检测方法 |
| CN107194959A (zh) * | 2017-04-25 | 2017-09-22 | 北京海致网聚信息技术有限公司 | 基于切片进行图像配准的方法和装置 |
| US20180107864A1 (en) * | 2015-04-01 | 2018-04-19 | Take-Two Interactive Software, Inc. | System and method for image capture and modeling |
| CN111650220A (zh) * | 2020-07-15 | 2020-09-11 | 博科视(苏州)技术有限公司 | 一种基于视觉的图文缺陷检测方法 |
| CN111709909A (zh) * | 2020-05-12 | 2020-09-25 | 安徽艾睿思智能科技有限公司 | 基于深度学习的通用印刷缺陷检测方法及其模型 |
-
2020
- 2020-11-16 CN CN202011276192.0A patent/CN112508826B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5640200A (en) * | 1994-08-31 | 1997-06-17 | Cognex Corporation | Golden template comparison using efficient image registration |
| CN104568986A (zh) * | 2015-01-26 | 2015-04-29 | 中国科学院半导体研究所 | 基于surf算法的遥控器面板印刷缺陷自动检测方法 |
| US20180107864A1 (en) * | 2015-04-01 | 2018-04-19 | Take-Two Interactive Software, Inc. | System and method for image capture and modeling |
| CN107194959A (zh) * | 2017-04-25 | 2017-09-22 | 北京海致网聚信息技术有限公司 | 基于切片进行图像配准的方法和装置 |
| CN111709909A (zh) * | 2020-05-12 | 2020-09-25 | 安徽艾睿思智能科技有限公司 | 基于深度学习的通用印刷缺陷检测方法及其模型 |
| CN111650220A (zh) * | 2020-07-15 | 2020-09-11 | 博科视(苏州)技术有限公司 | 一种基于视觉的图文缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| XUE CHEN 等: "Defect detection in ID cards with accurately reconstructed reference image", 《ICMIP "20: PROCEEDINGS OF THE 5TH INTERNATIONAL CONFERENCE ON MULTIMEDIA AND IMAGE PROCESSING》 * |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699876A (zh) * | 2021-03-24 | 2021-04-23 | 中海油能源发展股份有限公司采油服务分公司 | 一种用于集气站多类型仪表自动读数方法 |
| CN113160289A (zh) * | 2021-03-31 | 2021-07-23 | 哈尔滨工业大学（深圳） | 一种基于深度学习的工业印刷品图像配准方法及装置 |
| CN113160289B (zh) * | 2021-03-31 | 2022-02-01 | 哈尔滨工业大学（深圳） | 一种基于深度学习的工业印刷品图像配准方法及装置 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
| CN113808108A (zh) * | 2021-09-17 | 2021-12-17 | 太仓中科信息技术研究院 | 一种印刷膜缺陷视觉检测方法和系统 |
| CN114113112A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于三光源显微系统的表面微缺陷定位与识别方法 |
| CN114113112B (zh) * | 2021-11-29 | 2023-08-18 | 哈尔滨工业大学 | 一种基于三光源显微系统的表面微缺陷定位与识别方法 |
| CN114283126A (zh) * | 2021-12-13 | 2022-04-05 | 智洋创新科技股份有限公司 | 一种输电线路监控设备偏移检测方法 |
| CN114219794B (zh) * | 2021-12-17 | 2023-01-20 | 沭阳县桐盛木业制品厂(普通合伙) | 基于机器视觉的刨花板表面质量评估方法及系统 |
| CN114219794A (zh) * | 2021-12-17 | 2022-03-22 | 沭阳县桐盛木业制品厂(普通合伙) | 基于机器视觉的刨花板表面质量评估方法及系统 |
| CN114445472A (zh) * | 2022-03-04 | 2022-05-06 | 山东胜算软件科技有限公司 | 基于仿射变换和模板匹配的多步图像配准算法 |
| CN114581428A (zh) * | 2022-03-13 | 2022-06-03 | 江苏涂博士新材料有限公司 | 一种基于光学手段的粉末涂料粘合度检测方法 |
| CN114581428B (zh) * | 2022-03-13 | 2023-05-09 | 江苏涂博士新材料有限公司 | 一种基于光学手段的粉末涂料粘合度检测方法 |
| CN114372980A (zh) * | 2022-03-21 | 2022-04-19 | 视睿（杭州）信息科技有限公司 | 一种工业缺陷检测方法及系统 |
| CN114418899B (zh) * | 2022-03-28 | 2022-08-16 | 深圳市嘉年印务有限公司 | 一种自彩印的自适应修复方法、系统及可读存储介质 |
| CN114418899A (zh) * | 2022-03-28 | 2022-04-29 | 深圳市嘉年印务有限公司 | 一种自彩印的自适应修复方法、系统及可读存储介质 |
| CN114998630A (zh) * | 2022-07-19 | 2022-09-02 | 北京科技大学 | 一种从粗到精的地对空图像配准方法 |
| CN114937035A (zh) * | 2022-07-19 | 2022-08-23 | 江苏苏能森源电气有限公司 | 基于图像处理的电力变压器硅钢片质量检测方法及系统 |
| CN114943738A (zh) * | 2022-07-25 | 2022-08-26 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的传感器封装固化胶缺陷识别方法 |
| WO2024044915A1 (zh) * | 2022-08-29 | 2024-03-07 | 西门子股份公司 | 用于错误检测的图像比较的方法、装置、计算机设备 |
| CN115205291A (zh) * | 2022-09-15 | 2022-10-18 | 广州镭晨智能装备科技有限公司 | 一种电路板检测方法、装置、设备和介质 |
| CN115797381A (zh) * | 2022-10-20 | 2023-03-14 | 河南理工大学 | 基于地理分块与分层特征匹配的异源遥感影像配准方法 |
| CN115797381B (zh) * | 2022-10-20 | 2024-04-12 | 河南理工大学 | 基于地理分块与分层特征匹配的异源遥感影像配准方法 |
| CN115582840A (zh) * | 2022-11-14 | 2023-01-10 | 湖南视比特机器人有限公司 | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 |
| CN115908364A (zh) * | 2022-12-12 | 2023-04-04 | 浙江工业大学 | 一种数字印刷印品缺陷检测方法 |
| CN116228746A (zh) * | 2022-12-29 | 2023-06-06 | 摩尔线程智能科技(北京)有限责任公司 | 缺陷检测方法、装置、电子设备、存储介质和程序产品 |
| CN115841666A (zh) * | 2023-02-17 | 2023-03-24 | 江西小马机器人有限公司 | 一种仪表读数识别方法及系统 |
| CN116152249A (zh) * | 2023-04-20 | 2023-05-23 | 济宁立德印务有限公司 | 一种智能数字印刷质量检测方法 |
| CN116433664A (zh) * | 2023-06-13 | 2023-07-14 | 成都数之联科技股份有限公司 | 面板缺陷检测方法、装置、存储介质、设备及程序产品 |
| CN116433664B (zh) * | 2023-06-13 | 2023-09-01 | 成都数之联科技股份有限公司 | 面板缺陷检测方法、装置、存储介质、设备及程序产品 |
| CN116596932B (zh) * | 2023-07-18 | 2024-02-09 | 北京阿丘机器人科技有限公司 | 电池顶盖极柱外观检测方法、装置、设备及存储介质 |
| CN116596932A (zh) * | 2023-07-18 | 2023-08-15 | 北京阿丘机器人科技有限公司 | 电池顶盖极柱外观检测方法、装置、设备及存储介质 |
| CN117115161A (zh) * | 2023-10-24 | 2023-11-24 | 四川新康意众申新材料有限公司 | 一种塑料缺陷检查方法 |
| CN117115161B (zh) * | 2023-10-24 | 2024-01-02 | 四川新康意众申新材料有限公司 | 一种塑料缺陷检查方法 |
| CN117422714A (zh) * | 2023-12-18 | 2024-01-19 | 大陆汽车电子(济南)有限公司 | 装配检测方法、设备和存储介质 |
| CN117422714B (zh) * | 2023-12-18 | 2024-03-29 | 大陆汽车电子(济南)有限公司 | 装配检测方法、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508826B (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508826B (zh) | 一种印刷品缺陷检测方法 | |
| CN111986190B (zh) | 一种基于伪影剔除的印刷品缺陷检测方法及装置 | |
| CN111243032B (zh) | 一种棋盘格角点全自动检测方法 | |
| CN111145161B (zh) | 一种路面裂缝数字图像处理和识别的方法 | |
| CN109215063B (zh) | 一种事件触发相机与三维激光雷达的配准方法 | |
| CN110136120B (zh) | 一种基于机器视觉的丝网印刷样板尺寸测量方法 | |
| CN108345881B (zh) | 一种基于计算机视觉的文档质量检测方法 | |
| CN111650220A (zh) | 一种基于视觉的图文缺陷检测方法 | |
| CN105718931B (zh) | 用于确定采集图像中的杂斑的系统和方法 | |
| CN115205223B (zh) | 透明物体的视觉检测方法、装置、计算机设备及介质 | |
| CN104331695B (zh) | 一种鲁棒的圆形标志符形状质量检测方法 | |
| WO2018170937A1 (zh) | 遮蔽采集图像中异物的标记体、识别图像中异物标记体的方法以及书籍扫描方法 | |
| CN109886960A (zh) | 基于机器视觉的玻璃边缘缺陷检测的方法 | |
| CN110111387A (zh) | 一种基于表盘特征的指针表定位及读数算法 | |
| CN112200790B (zh) | 布料缺陷检测方法、设备和介质 | |
| CN111242888A (zh) | 一种基于机器视觉的图像处理方法及系统 | |
| CN111972700A (zh) | 烟支外观检测方法及其装置、设备、系统和介质 | |
| CN114719749A (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
| AU4467999A (en) | Automatic inspection of print quality using an elastic model | |
| CN115661110B (zh) | 一种透明工件识别与定位的方法 | |
| CN111784672A (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN111986157A (zh) | 一种数字病理图像质量评价系统 | |
| CN111243006A (zh) | 一种基于图像处理的液滴接触角及尺寸的测量方法 | |
| CN115170525A (zh) | 一种图像差异检测方法及装置 | |
| JP2010243209A (ja) | 欠陥検査方法および欠陥検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: HARBIN INSTITUTE OF TECHNOLOGY (SHENZHEN) Applicant after: Shenzhen Fulian Fugui Precision Industry Co., Ltd Address before: 518000 Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: HARBIN INSTITUTE OF TECHNOLOGY (SHENZHEN) Applicant before: Shenzhen Fugui Precision Industry Co., Ltd |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |