CN114677326A - 一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法 - Google Patents
一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法 Download PDFInfo
- Publication number
- CN114677326A CN114677326A CN202210135707.8A CN202210135707A CN114677326A CN 114677326 A CN114677326 A CN 114677326A CN 202210135707 A CN202210135707 A CN 202210135707A CN 114677326 A CN114677326 A CN 114677326A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- mobile phone
- phone shell
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 93
- 230000007547 defect Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 64
- 230000011218 segmentation Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 11
- 101150013335 img1 gene Proteins 0.000 claims description 11
- 101150071665 img2 gene Proteins 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000011068 loading method Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 239000011257 shell material Substances 0.000 description 40
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法，通过将手机壳置于隔光工作台中，利用工作台正上方的工业相机采集手机壳图像，采用先进的深度学习技术对原图与采集图进行差异对比分析，确定有无瑕疵及瑕疵位置，即可完成瑕疵检测任务。该系统检测精度高，同时适用受限和非受限种类的图案瑕疵检测，解决了定制场景的瑕疵检测问题。
Description
技术领域
本发明属于机器视觉和深度学习技术领域，尤其是涉及一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法。
背景技术
产品表面瑕疵检测是手机壳印刷厂商提高产品出厂质量，提升用户体验，降低客诉至关重要的一环。传统工厂设置质检员岗位，靠质检员观察来确定瑕疵品。但这种方式存在视觉疲劳导致检测不可靠、人工成本高、检测耗时的问题。随着深度学习和图像技术的发展，使得机器自动检测瑕疵成为可能。但就手机壳表面瑕疵检测而言，目前的技术只能处理手机壳材质上的瑕疵，无法检测印刷偏移的瑕疵，无法检测印刷图案上的瑕疵，更无法在不限范围的图案中进行检测，不能在定制场景中发挥作用。
发明内容
本发明旨在提出一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法，同时检测印刷偏移瑕疵和印刷污损瑕疵，并解决在非限定种类的印刷图案上的瑕疵检测问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置，包括：隔光工作台、光源、工业相机和计算机，所述光源设置在所述隔光工作台底部，所述工业相机设置在所述隔光工作台上方，所述工业相机将采集到的印刷手机壳图像传输给计算机，计算机对印刷手机壳图像进行图像偏移分析和差异分析。
一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测系统，包括图像采集模块、物体检测模块、偏移计算模块、图案对齐模块、污损分割模块，所述图像采集模块采集印刷手机壳的图像，所述物体检测模块基于角点的物体检测网络对印刷手机壳图像进行摆正，所述偏移计算模块基于交点检测网络计算交点坐标偏移，所述图案对齐模块基于特征点检测和特征提取网络进行印刷手机壳图像与原图的图像对齐，所述污损分割模块基于差异分割网络对污损区域进行分割。
一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法，包括以下步骤：
S1：确定光源强度；确定相机焦距，确定用于偏移检测的曝光时间L1，确定用于污损检测的曝光时间L2；
S2：先使用L1曝光采集图像IMG1，再使用L2曝光采集图像IMG2；
S3：对采集到的手机壳IMG1图像进行预处理，输入到物体检测网络获得手机壳四个角点位置，通过角点位置将手机壳IMG1图像和IMG2图像摆正，得到IMG1' 和IMG2'；
S4：在S3摆正后的IMG'图像上，画两条水平直线，与轮廓和图案形成8个交点，使用关键点检测网络获取8个交点的坐标，通过坐标计算偏移；
S5：在原图IMG0和S3输出的IMG2'上，进行特征点检测，对检测到的特征点区域进行特征提取，通过提取的特征进行特征点配对，通过配对后的特征点进行图像对齐，得到对齐后的图像IMG2''和IMG0''；
S6：将对齐后的两张图像输入到差异分割网络，得到差异的响应输出图，设定响应阈值，将响应输出图中大于此阈值的区域，记为污损区域，小于此阈值的区域记为正常区域。
作为优选，执行步骤S3前还包括：加载物品检测模型，物品检测模型通过物品检测模型训练步骤TS1产生；
训练步骤TS1包括：基于人工标注的物品检测样本获取；基于图像合成的物品检测样本获取；对物品检测样本进行预处理，缩放到固定尺寸，作为训练样本，其对应的标签是物品在图像上手机壳位置四个角点的坐标；设置训练条件后进行训练，训练结束后保存物品检测模型。
作为优选，执行步骤S4前还包括：加载用于偏移的交点检测模型，交点检测模型是通过交点训练步骤TS2产生；
训练步骤TS2包括：基于光源拍摄的手机壳图片，随机绘制水平线，人工标注水平线与轮廓交点，作为原始样本；对原始样本进行预处理，缩放到固定尺寸，作为训练样本，对应标签是八个角点的坐标；设置训练条件后进行训练，训练结束后保存交点检测模型。
作为优选，执行步骤S5前还包括：加载特征提取模型，特征提取模型是通过特征提取训练步骤TS3产生；
训练步骤TS3包括：使用自动化对齐工具对拍摄的图案和原图进行对齐，从对齐的图像中切分，在进行人工筛选，作为原始样本；对原始样本进行预处理，缩放到固定尺寸，作为训练样本，对应标签是三元组标签；设置训练条件后进行训练，训练结束后保存特征提取模型。
作为优选，执行步骤S6前还包括：加载差异分割模型，差异分割模型是通过差异分割训练步骤TS4产生；
训练步骤TS4包括：使用人工筛选人工标注和自动化生成的方式制作瑕疵样本；对样本进行预处理，缩放到固定尺寸，作为训练样本，对应标签是逐元素类别；设置训练条件后进行训练，训练结束后保存差异分割模型。
采用上述技术方案后，本发明具有如下优点：
本发明通过将手机壳置于隔光工作台中，利用工作台正上方的工业相机采集手机壳图像，同时利用原图和采集图，计算差异响应获得污损位置，采用先进的深度学习技术对原图与采集图进行差异对比分析，确定有无瑕疵及瑕疵位置，即可完成瑕疵检测任务，从而代替人工质检，实现不限图案范围、准确可靠而又快速廉价的瑕疵检测方式。该系统检测精度高，同时适用受限和非受限种类的图案瑕疵检测，解决了定制场景的瑕疵检测问题。
附图说明
图1为一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测系统的结构示意图。
图2为一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法的流程图。
图3为光源和相机的安装与调试步骤的流程图。
图4为图像采集步骤的流程图。
图5为物品检测步骤的流程图。
图6为图像偏移计算步骤的流程图。
图7为图案对齐步骤的流程图。
图8为污损分割步骤的流程图。
图9为训练物体检测网络步骤的流程图。
图10训练用于偏移计算的交点网络步骤的流程图。
图11为训练特征提取网络步骤的流程图。
图12为训练差异分割网络步骤的流程图。
具体实施方式
以下结合附图及具体实施例，对本发明作进一步的详细说明。
一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置，包括：隔光工作台、光源、工业相机和计算机。所述光源设置在所述隔光工作台底部，所述工业相机设置在所述隔光工作台上方，所述工业相机将采集到的印刷手机壳图像传输给计算机，计算机对印刷手机壳图像进行图像偏移分析和差异分析。
如图1所示，一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测系统，包括图像采集模块、物体检测模块、偏移计算模块、图案对齐模块、污损分割模块。所述图像采集模块采集印刷手机壳的图像，所述物体检测模块基于角点的物体检测网络对印刷手机壳图像进行摆正，所述偏移计算模块基于交点检测网络计算交点坐标偏移，所述图案对齐模块基于特征点检测和特征提取网络进行印刷手机壳图像与原图的图像对齐，所述污损分割模块基于差异分割网络对污损区域进行分割。
该装置包含隔觉外部光照影响的工作台，位于工作台底面的高直光光源和工作台正上方的相机。系统的工作流程包括光源光照强度确定和相机曝光参数确定、图像采集、物品检测、图案偏移计算、图案对齐、污损分割和定位六个步骤。
具体来说，如图2-12所示，本发明还提供一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法，包括以下步骤：
S1. 光源和相机的安装与调试：
S1.1放置光源于工作台正下方，安装相机于工作台正上方；
S1.2使用较小的曝光时间，调整光照强度使得手机壳轮廓可见，固定光照强度，调整相机焦距使得图案清晰，固定焦距、增益、对比度，色调；
S1.3调整曝光时间使得手机壳轮廓明暗交界清晰，记录曝光时间L1；增大曝光时间使得瑕疵清晰可见，记录曝光时间L2。
其目的主要在于：1. 使用低曝光使得轮廓清晰可见，以测算轮廓和打印图案的相对位置，进行偏移检测；2. 使用高曝光使得图案清晰可见，以进行图案污损的检测；
注意，L1和L2的值只在首次组装时获取，之后的瑕疵检测中重复使用。但当使用的过程中发现采集的轮廓不清晰或者瑕疵不清晰，则重新调整这两个值。
S2. 图像采集：
S2.1 使用L1曝光采集图像IMG1；
S2.2 使用L2曝光采集图像IMG2；
通常采集图像使用程序自动触发的方式。
S3. 物品检测：
S3.1 对采集到的手机壳IMG1图像进行预处理；将图像缩放到320x320大小，像素从0-255归一化到0-1；
S3.2 将上述图像输入到物体检测网络，网络输出四个角点的位置和置信度；
S3.3 通过角点位置使用仿射变换将手机壳IMG1图像和IMG2图像摆正；得到IMG1'和IMG2'。
S4. 图案偏移计算：
S4.1 在S3摆正后的IMG'图像上，画两条水平直线，与轮廓和图案形成8个交点；
S4.2 对带有直线的图进行预处理；将图像缩放到320x320大小，像素从0-255归一化到0-1；
S4.3 将上述图像输入到交点检测网络中，网络输出8个交点的位置；
S4.4 使用左边四个交点计算轮廓左边缘相对图案左边缘的位移；
S4.5 通过右边四个交点计算轮廓右边缘相对图案右边缘的位移；
S4.6 将两个位移相加得到整体位移，整体位移的绝对值表示偏移程度，偏移程度为0，表示图案居于正中心，数值越大，表示图案越偏，设定偏移阈值，大于此阈值则认为偏移不可接受，记为瑕疵品，小于此阈值，则认为偏移可接受。
S5. 图案对齐：
在原图IMG0和S3输出的IMG2'上，进行特征点检测，具体来说：
S5.1 分别对两张图像使用opecv特征点检测方法得到许多特征点；
S5.2 在两张图像的特征点周围抠出32x32的图像区域，归一化到0-1，送入特征提取网络提取特征，特征网络输出2个Nx512维度特征向量；
S5.3 对特征向量进行匹配，然后过滤，得到配对的特征点；
S5.4 使用配对特征点的位置对图像进行仿射变换，得到两张大致对齐的图像IMG0''和IMG2''。
S6. 污损分割：
S6.1 将对齐后的两张图像缩放到640x640，像素归一化到0-1；
S6.2 将归一化后的图像输入到差异分割网络，得到差异的响应输出图；
S6.3 设定响应阈值，将响应输出图中大于此阈值的区域，记为污损区域，小于此阈值的区域记为正常区域。
执行步骤S3前还包括：加载物品检测模型，物品检测模型通过物品检测模型训练步骤TS1产生。
TS1. 训练物体检测网络：
TS1.1 对采集到的手机壳拍摄图像进行人工角点标注，记录下四个角点的坐标作为标签；
TS1.2 在手机壳素材图像上获取已知的素材轮廓，求取轮廓四个角点的坐标作为标签；
TS1.3 将图像和标签进行旋转增强、平移增强，将图像缩放到320x320大小，像素归一化到0-1，将上述处理后的样本图片及角点坐标输入到物品检测网络，该网络为卷积神经网络。借助PyTorch构建角点检测网络和训练流程，设置迭代条件，最终输出物品检测模型。
执行步骤S4前还包括：加载用于偏移的交点检测模型，交点检测模型是通过交点训练步骤TS2产生。
TS2. 训练用于偏移计算的交点检测网络：
TS2.1 在采集到的手机壳拍摄图像上随机生成两条水平线，得到8个交点，人工标注角点位置坐标，记录下来作为标签；
TS2.2 在手机壳素材图像上获取已知的素材轮廓，随机画两条水平线，求取水平心啊与轮廓的交点坐标作为标签；
TS3.3 将图像和标签进行旋转增强、平移增强，将图像缩放到320x320大小，像素归一化到0-1，将上述处理后的样本图片及交点坐标输入到物品检测网络，该网络为卷积神经网络。借助PyTorch构建交点检测网络和训练流程，设置迭代条件，最终输出物品检测模型。
执行步骤S5前还包括：加载特征提取模型，特征提取模型是通过特征提取训练步骤TS3产生。
TS3. 训练特征提取网络：
TS3.1 使用已有的配对方法对拍摄图片和原图进行配对；
TS3.2 人工筛选配对良好的图片对；
TS3.3 在筛选后的图片对中随机选择相同位置大小为32x32的2个配对patch和不同位置的1个非配对path作为样本对；
TS3.4 将样本对像素归一化到0-1，将配对图片和配对信息输入到特征提取网络，该网络为卷积神经网络，借助PyTorch构建交点检测网络和训练流程，设置迭代条件，最终输出体征提取模型。
执行步骤S6前还包括：加载差异分割模型，差异分割模型是通过差异分割训练步骤TS4产生。
TS4. 训练差异分割网络：
TS4.1 使用对齐步骤将拍摄图和原图进行对齐；
TS4.2 在对齐后的图像上进行污损部位轮廓标注，从轮廓得到二维0-1掩码，作为标签；
TS4.3 将对齐后两张图片和标签输入到差异分割网络，该网络为卷积神经网络，借助PyTorch构建差异分割网络和训练流程，设置迭代条件，最终输出差异分割模型。
系统使用底面打光的方式，相机采集手机壳图像，输入采集图像和原图，采用先进的深度学习算法对两张图像进行偏移分析和污损分析，确定图像是否有瑕疵，以及瑕疵出现的位置。
其中基于深度学习方法进行图像分析包括：基于深度学习的目标检测技术、基于深度学习的关键点检测技术、基于深度学习的图像对齐技术、基于深度学习的图像分割技术。系统输入为原图与两张拍摄图，通过图像偏移分析和差异分析，可以适应任意图案的瑕疵检测，从而解决印刷手机壳瑕疵检测的问题，使得深度学习瑕疵检测技术在定制图案场景中发挥作用。
除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。
Claims (8)
1.一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置，其特征在于，包括：隔光工作台、光源、工业相机和计算机，所述光源设置在所述隔光工作台底部，所述工业相机设置在所述隔光工作台上方，所述工业相机将采集到的印刷手机壳图像传输给计算机，计算机对印刷手机壳图像进行图像偏移分析和差异分析。
2.一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测系统，其特征在于，包括图像采集模块、物体检测模块、偏移计算模块、图案对齐模块、污损分割模块，所述图像采集模块采集印刷手机壳的图像，所述物体检测模块基于角点的物体检测网络对印刷手机壳图像进行摆正，所述偏移计算模块基于交点检测网络计算交点坐标偏移，所述图案对齐模块基于特征点检测和特征提取网络进行印刷手机壳图像与原图的图像对齐，所述污损分割模块基于差异分割网络对污损区域进行分割。
3.一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法，其特征在于，包括以下步骤：
S1：确定光源强度；确定相机焦距，确定用于偏移检测的曝光时间L1，确定用于污损检测的曝光时间L2；
S2：先使用L1曝光采集图像IMG1，再使用L2曝光采集图像IMG2；
S3：对采集到的手机壳IMG1图像进行预处理，输入到物体检测网络获得手机壳四个角点位置，通过角点位置将手机壳IMG1图像和IMG2图像摆正，得到IMG1' 和IMG2'；
S4：在S3摆正后的IMG'图像上，画两条水平直线，与轮廓和图案形成8个交点，使用关键点检测网络获取8个交点的坐标，通过坐标计算偏移；
S5：在原图IMG0和S3输出的IMG2'上，进行特征点检测，对检测到的特征点区域进行特征提取，通过提取的特征进行特征点配对，通过配对后的特征点进行图像对齐，得到对齐后的图像IMG2''和IMG0''；
S6：将对齐后的两张图像输入到差异分割网络，得到差异的响应输出图，设定响应阈值，将响应输出图中大于此阈值的区域，记为污损区域，小于此阈值的区域记为正常区域。
4.根据权利要求3所述的一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法，其特征在于，执行步骤S3前还包括：加载物品检测模型，物品检测模型通过物品检测模型训练步骤TS1产生；
训练步骤TS1包括：基于人工标注的物品检测样本获取；基于图像合成的物品检测样本获取；对物品检测样本进行预处理，缩放到固定尺寸，作为训练样本，其对应的标签是物品在图像上手机壳位置四个角点的坐标；设置训练条件后进行训练，训练结束后保存物品检测模型。
5.根据权利要求3所述的一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法，其特征在于，执行步骤S4前还包括：加载用于偏移的交点检测模型，交点检测模型是通过交点训练步骤TS2产生；
训练步骤TS2包括：基于光源拍摄的手机壳图片，随机绘制水平线，人工标注水平线与轮廓交点，作为原始样本；对原始样本进行预处理，缩放到固定尺寸，作为训练样本，对应标签是八个角点的坐标；设置训练条件后进行训练，训练结束后保存交点检测模型。
6.根据权利要求3所述的一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法，其特征在于，执行步骤S5前还包括：加载特征提取模型，特征提取模型是通过特征提取训练步骤TS3产生；
训练步骤TS3包括：使用自动化对齐工具对拍摄的图案和原图进行对齐，从对齐的图像中切分，在进行人工筛选，作为原始样本；对原始样本进行预处理，缩放到固定尺寸，作为训练样本，对应标签是三元组标签；设置训练条件后进行训练，训练结束后保存特征提取模型。
7.根据权利要求3所述的一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测方法，其特征在于，执行步骤S6前还包括：加载差异分割模型。
8.差异分割模型是通过差异分割训练步骤TS4产生；
训练步骤TS4包括：使用人工筛选人工标注和自动化生成的方式制作瑕疵样本；对样本进行预处理，缩放到固定尺寸，作为训练样本，对应标签是逐元素类别；设置训练条件后进行训练，训练结束后保存差异分割模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210135707.8A CN114677326B (zh) | 2022-02-15 | 2022-02-15 | 一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210135707.8A CN114677326B (zh) | 2022-02-15 | 2022-02-15 | 一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114677326A true CN114677326A (zh) | 2022-06-28 |
| CN114677326B CN114677326B (zh) | 2024-08-09 |
Family
ID=82071682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210135707.8A Active CN114677326B (zh) | 2022-02-15 | 2022-02-15 | 一种基于机器视觉和深度学习的印刷手机壳表面瑕疵检测装置、系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677326B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102221559A (zh) * | 2011-03-05 | 2011-10-19 | 河海大学常州校区 | 基于机器视觉的织物疵点在线自动检测方法及其装置 |
| CN105241883A (zh) * | 2015-09-25 | 2016-01-13 | 华南理工大学 | 一种印刷机图案在线检测和色彩分割的方法 |
| CN107328793A (zh) * | 2017-06-30 | 2017-11-07 | 航天新长征大道科技有限公司 | 一种基于机器视觉的饰品表面字印瑕疵检测方法和装置 |
| CN109068051A (zh) * | 2018-06-19 | 2018-12-21 | 江苏高远智能科技有限公司 | 一种工业相机自适应智能调节装置 |
| CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
| WO2021082921A1 (zh) * | 2019-10-28 | 2021-05-06 | 上海悦易网络信息技术有限公司 | 电子设备背板外观瑕疵检测方法及设备 |
| CN113822882A (zh) * | 2021-11-22 | 2021-12-21 | 武汉飞恩微电子有限公司 | 基于深度学习的电路板表面缺陷检测方法与检测装置 |
-
2022
- 2022-02-15 CN CN202210135707.8A patent/CN114677326B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102221559A (zh) * | 2011-03-05 | 2011-10-19 | 河海大学常州校区 | 基于机器视觉的织物疵点在线自动检测方法及其装置 |
| CN105241883A (zh) * | 2015-09-25 | 2016-01-13 | 华南理工大学 | 一种印刷机图案在线检测和色彩分割的方法 |
| CN107328793A (zh) * | 2017-06-30 | 2017-11-07 | 航天新长征大道科技有限公司 | 一种基于机器视觉的饰品表面字印瑕疵检测方法和装置 |
| CN109068051A (zh) * | 2018-06-19 | 2018-12-21 | 江苏高远智能科技有限公司 | 一种工业相机自适应智能调节装置 |
| WO2021082921A1 (zh) * | 2019-10-28 | 2021-05-06 | 上海悦易网络信息技术有限公司 | 电子设备背板外观瑕疵检测方法及设备 |
| CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
| CN113822882A (zh) * | 2021-11-22 | 2021-12-21 | 武汉飞恩微电子有限公司 | 基于深度学习的电路板表面缺陷检测方法与检测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114677326B (zh) | 2024-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776140B (zh) | 一种基于机器视觉的印刷品瑕疵检测方法及系统 | |
| CN107543828B (zh) | 一种工件表面缺陷检测方法及系统 | |
| CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
| CN109752392B (zh) | 一种pcb板缺陷类型检测系统和方法 | |
| CN111982916A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法及系统 | |
| CN109767445B (zh) | 一种高精度的pcb缺陷智能检测方法 | |
| CN109540925B (zh) | 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法 | |
| CN112304960B (zh) | 一种基于深度学习的高分辨率图像物体表面缺陷检测方法 | |
| CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
| CN113870267B (zh) | 缺陷检测方法、装置、计算机设备及可读存储介质 | |
| CN113970560B (zh) | 一种基于多传感融合的缺陷三维检测方法 | |
| CN110838149A (zh) | 一种相机光源自动配置方法及系统 | |
| CN110763700A (zh) | 一种半导体元器件缺陷检测方法和设备 | |
| CN110567976A (zh) | 基于机器视觉的手机盖板丝印缺陷检测装置及检测方法 | |
| CN111624203A (zh) | 一种基于机器视觉的继电器接点齐度非接触式测量方法 | |
| CN110096980A (zh) | 字符检测识别系统 | |
| CN112200790B (zh) | 布料缺陷检测方法、设备和介质 | |
| CN106093055B (zh) | 一种复数张菲林质量检测方法 | |
| CN111060518A (zh) | 一种基于实例分割的冲压件缺陷识别方法 | |
| CN113034488A (zh) | 一种喷墨印刷品的视觉检测方法 | |
| CN114280075A (zh) | 一种管类零件表面缺陷在线视觉检测系统及检测方法 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 | |
| CN113808104A (zh) | 一种基于分块的金属表面缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |