CN111951218A - 一种混合深度学习模型的口红质检系统 - Google Patents

一种混合深度学习模型的口红质检系统 Download PDF

Info

Publication number
CN111951218A
CN111951218A CN202010655298.5A CN202010655298A CN111951218A CN 111951218 A CN111951218 A CN 111951218A CN 202010655298 A CN202010655298 A CN 202010655298A CN 111951218 A CN111951218 A CN 111951218A
Authority
CN
China
Prior art keywords
image
lipstick
defect
module
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010655298.5A
Other languages
English (en)
Inventor
黄鹏
侯国鑫
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Keming Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010655298.5A priority Critical patent/CN111951218A/zh
Publication of CN111951218A publication Critical patent/CN111951218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及产品智能质检技术领域，具体为一种混合深度学习模型的口红质检系统，包括图像采集模块、图像分割模块、不良品检测模块、表面缺陷分类模块、中转存储模块、中央存储模块、迁移优化模块，迁移优化模块包括新增数据标注单元和迁移训练单元；新增数据标注单元用于对新增的不良品进行人工标注；迁移训练单元将ResNet神经网络模型通过新增数据标注以及配套的标注数据，利用迁移学习的方法进行二次训练，用以对表面缺陷分类模块进行优化，提升模型的检测、分类性能。该系统利用传统数字图像处理方法与深度学习结合的方法，在保证生产效率和检测精度的前提下，极大的减小生产过程中人力的投入，便于使用。

Description

一种混合深度学习模型的口红质检系统
技术领域
本发明涉及产品智能质检技术领域，具体为一种混合深度学习模型的口红质检系统。
背景技术
目前口红生产企业生产线还未达到全自动化的程度，许多环节需要人工全程在线的干预，其中质检部分是产能提升的瓶颈之一，人工质检的效率存在上限；人力无法长时间持续在线，不仅对质检工人身体有所伤害，质检准确度也会随时间推移而下降；人工质检即使在工人有完备精力的状况下，仍然存在漏检、误检的情况；对生产数据的统计也局限于人工记录。
通过专利检索发现，专利申请号为CN201480071110.5的发明专利公开了“表面缺陷检测方法及表面缺陷检测装置”，该发明利用传统数字图像处理方法，提供一种能够高精度地辨别水锈、无害纹理和表面缺陷的表面缺陷检测方法及表面缺陷检测装置，但其利用纯数字图像出现的方式对于环境的依赖性较高且泛化性不足；
专利申请号为201911293863.1的发明专利公开了“一种神经网络训练方法、工件表面缺陷分类与检测方法及装置”，该发明利用深度学习技术，解决缺陷检测只能检测缺陷的存在，而不能识别缺陷特征的细节，进而导致无法从缺陷检测结果中评估和改进制造过程的技术问题，但其并未有效解决利用深度模型算法检测效率的问题，且其未给出对模型二次优化的方案。
通过文献查找发现，乔天宇等人所著的“基于深度学习的表面缺陷检测系统”[J].电子世界,2020(09):126-127.提出对VggNet、ResNet等深度卷积神经网络进行框架融合，得到一个工业零件表面缺陷检测系统，但其完全依赖于深度学习模型，受到检测效率和泛化性的限制；
彭宽宽等人所著的“基于图像处理技术的油污干扰下硅钢片缺陷检测”[J].航空制造技术，2019,62(20):77-82。采用中值滤波配合维纳滤波抑制硅钢片表面的纹理干扰方法、连接并补全断开的油污轮廓边缘、制作亮斑掩膜等一系列图像处理方法，有效检测出油污干扰下的硅钢片表面缺陷,例如细小缺陷、表面刮伤和裂纹，但其利用纯数字图像出现的方式对于环境的依赖性较高。鉴于此，我们提出一种混合深度学习模型的口红质检系统。
发明内容
本发明的目的在于提供一种混合深度学习模型的口红质检系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种混合深度学习模型的口红质检系统，包括：
图像采集模块，通过工业像机和摄像头在既定环境下，以频闪拍摄的形式，获取待检口红的多张图像；
图像分割模块，对拍摄的图像依次进行无效区域的裁切、U-Net分割、灰度均衡化处理，并将处理后的图像按待检口红的编号进行分组，得到单支待检口红的图组；
不良品检测模块，将单支待检口红的图组送入异常缺陷和表面异常并行检测算法中进行检测，用以挑拣出异常缺陷和表面异常的不良品，在检测到图组的异常缺陷和表面异常的同时，发送不良品分拣信号；
表面缺陷分类模块，通过ResNet神经网络模型对表面缺陷的不良品分类为划痕、孔洞、刮膏等，并将分类结果进行储存；
中转存储模块，存储不良品检测模块的异常缺陷和表面异常不良品图组，以及表面缺陷分类模块的分类结果；
中央存储模块，所述中转存储模块定期将数据上传至中央云存储，上传的数据包括：异常缺陷和表面异常的不良品图组、产品参数、不良品出现时间、不良品出现批次等；
迁移优化模块，迁移优化模块包括新增数据标注单元和迁移训练单元；
所述新增数据标注单元用于对新增的不良品进行人工标注，标注内容包括原有缺陷种类、新增缺陷种类、缺陷位置、缺陷严重程度等；
所述迁移训练单元将所述ResNet神经网络模型通过新增数据标注以及配套的标注数据，利用迁移学习的方法进行二次训练，用以对表面缺陷分类模块进行优化，提升模型的检测、分类性能。
优选的，所述图像采集模块通过工业像机和摄像头可同时获取2支待检口红4个方向的6张500万像素的图像。
优选的，所述无效区域的裁切用于将图像的无效区域提前进行裁切，从而减小后续图像处理的计算量和计算时间；
所述U-Net分割，待检口红由膏体部分和底座部分组成，通过U-Net深度网络将待检口红图像的膏体和底座进行区分；
灰度均衡化，对待检口红的图像进行非线性拉伸，重新分配图像的像元值，使得一定灰度范围内的灰度值进行重新映射。
优选的，所述灰度均衡化是对待检口红的图像颜色、光照等因素造成的图像灰度变化进行平衡处理，从而保持图像灰度的均衡性；
其变换的公式为：
Figure BDA0002576523310000031
其中，i代表像素编号；r(0≤r≤1)代表图像中像素灰度级，r＝0表示黑，r＝1表示白；k代表灰度级数；n代表图像中像素点总数，ni(0≤i＜k)代表某一灰度级下的像素点总数。
优选的，所述不良品检测模块包括外形缺陷检测单元和表面缺陷检测单元和表面异常ROI合并单元；
所述外形缺陷检测单元，用于检测待检口红的异常缺陷，包括待检口红的缺角缺陷、子弹头高度异常缺陷等，并将检测为异常缺陷的不良品图组存储至所述中转存储模块；
所述表面缺陷检测单元，用于将不良品图组进行灰度化处理，利用高斯滤波消除图像噪声，达到平滑图像的效果，并计算图像每个像素的梯度及方向，通过非极大抑制算法比较邻域内具有梯度方向的所有点的像素值，通过双阈值筛选的方式得到表面异常ROI图组；
表面异常ROI合并单元，用于避免产生过多离散的ROI图组，设两个ROI图组之间的距离为：
Figure BDA0002576523310000041
其中x代表ROI中心点的横坐标，y代表ROI中心点的纵坐标；
设定阈值T，当Li,j＜T时，进行合并；
合并后新的ROI框中心为：
Figure BDA0002576523310000042
Figure BDA0002576523310000043
Figure BDA0002576523310000044
Figure BDA0002576523310000045
其中，i≠j，i和j分别代表待合并的两个ROI图组编号，x代表横坐标，y代表纵坐标，h代表ROI图组的高，w代表ROI图组的宽。
优选的，所述双阈值筛选的方式为：
指定低阈值t1和高阈值t2，将梯度值小于t1的像素视为非边缘；将梯度值大于t2的像素视为边缘；若梯度值在t1和t2之间，则检查其3×3邻域窗口内是否存在大于t2的像素，若存在则将其视为边缘，否则视为非边缘。
优选的，所述ResNet神经网络模型的一个残差计算的过程表示为：
yl＝xl+F(xl,Wl)，xl+1＝h(yl)；
可得到下一层的计算结果：
yl+1＝xl+1+F(xl+1,Wl+1)＝h(yl)+F(f(yl),Wl+1)
其中，xl表示上一层的计算结果；yl是由上一层直接映射的xl加上本层的残差部分F(xl,Wl)；Wl表示由两个或三个卷积操作构成的权重计算；h(yl)表示对直接映射和残差块计算结构相加后进行的激活操作。
优选的，所述新增数据标注单元以符号ti标识各个维度的标注数据，i表示该维度下的具体数据；
缺陷种类用t1表示，其中0＜t1≤n(t∈N)，n表示现有的缺陷种类数目，当有新增缺陷加入时，n＝n+1；缺陷位置以外接矩形左上角坐标(x1,y1)及右下角坐标(x2,y2)表示；缺陷严重程度以符号d表示，包括NG、可接受、正常三个程度，分别以整数1、2、3表示，最终将标注数据以json格式进行持久化存储。
优选的，所述迁移训练单元对所述ResNet神经网络模型进行二次训练时；
将当前的不良品的ROI样本作为领域(Domain)，记做D；
将具体缺陷类别的分类作为任务(Task)，记做T；
由缺陷类别空间y和预测模型f(x)组成的分类任务T，记为T＝{y,f(x)}；
训练模型时，给定标注的辅助领域为：
Figure BDA0002576523310000051
给定无标注的目标领域为：
Figure BDA0002576523310000052
其中，n表示表面缺陷种类编号，x(s)表示带标注特征，y(s)表示对应的标注，x(t)表示无标注特征，y(t)表示对应的标注；
当有新增表面缺陷类型时n＝n+1，Ds≠Dt，Ts＝Tt，均在设定条件下降低目标领域预测模型ft(x)的泛化误差；
当无新增表面缺陷类型时，则Ds＝Dt，Ts＝Tt。
与现有技术相比，本发明的有益效果是：
1.在图像采集部分，本发明利用侧向偏正光源和摄像头偏正光片消除口红光面局部反光严重影响检测精度的问题，可对生产线上贴合的两支口红同时进行拍摄，并确保获得覆盖口红所有表面细节的图像组，相比于同类型方案只能拍摄单一产品的拍摄方案，本发明更贴合实际生产，无需对原有产线部分进行改造；
2.从检测精度来看，本发明的内核检测算法结合数字图像处理与深度学习结合的方法，充分结合数字图像处理计算快速与深度学习检测效率及可扩展性高的特点，相比于类似项目的方案仅使用数字图像处理或仅使用深度学习方法来说，同时保证的检测效率和检测精度；
3.在检测算法泛化性来看，通过对线上检测数据不断地累积，以反馈式的方式，使用迁移学习的方法，不仅可以渐进式提升算法的性能，在新增待检缺陷时，可以低成本的对缺陷检测范围进行扩展，在数据标注和模型训练上节省大量的人力和时间投入，针对不同类型的缺陷，设计特例化的算法，以并行、解耦合、模组的方式进行组合，可以根据需要在生产线上组合所要用到的算法，相比于同类型方案，更加高效也更具灵活性；
4.检测算法完整性方面，检测模型利用阶段拆分的形式，不仅可以检测出口红不良品，同时还可以对具体缺陷的种类进行分类，而同类产品在不良品的检测较为完善，但由于算法模型以整体的形式进行检测，难以在线检测不良品的同时检测出具体缺陷；
5.在输出结果方面，根据对实际生产线以及质检人员的操作方式的分析，以同时方便观看和操作的形式对检测结果进行在线显示，在检测过程中的结果数据，在本地中转存储一定时间后，上传至中央云存储，避免的人工频繁的进行数据转移从而导致操作失误和数据泄露，中央存储的数据可以供后续对算法的优化、对生产线的生产状态分析等工作提供数据支持。
附图说明
图1为本发明中服务层的结构框图；
图2为本发明的整体结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2所示，本发明提供的一种技术方案：
一种混合深度学习模型的口红质检系统，包括数据层、服务层和表现层；
一、数据层，包括图像采集模块、中转存储模块和中央存储模块。
1.图像采集模块，通过工业像机和摄像头在既定环境下，以频闪拍摄的形式，获取待检口红的多张图像，本实施例中，图像采集模块通过工业像机和摄像头可同时获取2支待检口红4个方向的6张500万像素的图像。
2.中转存储模块，存储不良品检测模块的异常缺陷和表面异常不良品图组，以及表面缺陷分类模块的分类结果；
3.中央存储模块，中转存储模块定期将数据上传至中央云存储，上传的数据包括：异常缺陷和表面异常的不良品图组、产品参数、不良品出现时间、不良品出现批次等。
二、服务层，服务层包括在线检测单元和离线优化单元。
1.在线检测模块包括图像分割模块、不良品检测模块和表面缺陷分类模块；
1)图像分割模块，对拍摄的图像依次进行无效区域的裁切、U-Net分割、灰度均衡化处理，并将处理后的图像按待检口红的编号进行分组，得到单支待检口红的图组；
具体的：
A.无效区域的裁切用于将图像的无效区域提前进行裁切，从而减小后续图像处理的计算量和计算时间；
B.U-Net分割，待检口红由膏体部分和底座部分组成，通过U-Net深度网络将待检口红图像的膏体和底座进行区分；
C.灰度均衡化，对待检口红的图像进行非线性拉伸，重新分配图像的像元值，使得一定灰度范围内的灰度值进行重新映射，灰度均衡化是对待检口红的图像颜色、光照等因素造成的图像灰度变化进行平衡处理，从而保持图像灰度的均衡性；
其变换的公式为：
Figure BDA0002576523310000081
其中，i代表像素编号；r(0≤r≤1)代表图像中像素灰度级，r＝0表示黑，r＝1表示白；k代表灰度级数；n代表图像中像素点总数，ni(0≤i＜k)代表某一灰度级下的像素点总数。
2)不良品检测模块,将单支待检口红的图组送入异常缺陷和表面异常并行检测算法中进行检测，用以挑拣出异常缺陷和表面异常的不良品，在检测到图组的异常缺陷和表面异常的同时，发送不良品分拣信号；
具体的：不良品检测模块包括外形缺陷检测单元和表面缺陷检测单元和表面异常ROI合并单元；
A.外形缺陷检测单元，用于检测待检口红的异常缺陷，包括待检口红的缺角缺陷、子弹头高度异常缺陷等，并将检测为异常缺陷的不良品图组存储至中转存储模块；
B.表面缺陷检测单元，用于将不良品图组进行灰度化处理，利用高斯滤波消除图像噪声，达到平滑图像的效果，并计算图像每个像素的梯度及方向，通过非极大抑制算法比较邻域内具有梯度方向的所有点的像素值，通过双阈值筛选的方式得到表面异常ROI图组；
其中，双阈值筛选的方式为：指定低阈值t1和高阈值t2，将梯度值小于t1的像素视为非边缘；将梯度值大于t2的像素视为边缘；若梯度值在t1和t2之间，则检查其3×3邻域窗口内是否存在大于t2的像素，若存在则将其视为边缘，否则视为非边缘。
C.表面异常ROI合并单元，用于避免产生过多离散的ROI图组，设两个ROI图组之间的距离为：
Figure BDA0002576523310000091
其中x代表ROI中心点的横坐标，y代表ROI中心点的纵坐标；
设定阈值T，当Li,j＜T时，进行合并；
合并后新的ROI框中心为：
Figure BDA0002576523310000092
Figure BDA0002576523310000093
Figure BDA0002576523310000094
Figure BDA0002576523310000095
其中，i≠j，i和j分别代表待合并的两个ROI图组编号，x代表横坐标，y代表纵坐标，h代表ROI图组的高，w代表ROI图组的宽。
3)表面缺陷分类模块，通过ResNet神经网络模型对表面缺陷的不良品分类为划痕、孔洞、刮膏等，并将分类结果进行储存；
具体的：
ResNet神经网络模型的一个残差计算的过程表示为：
yl＝xl+F(xl,Wl)，xl+1＝h(yl)；
可得到下一层的计算结果：
yl+1＝xl+1+F(xl+1,Wl+1)＝h(yl)+F(f(yl),Wl+1)
其中，xl表示上一层的计算结果；yl是由上一层直接映射的xl加上本层的残差部分F(xl,Wl)；Wl表示由两个或三个卷积操作构成的权重计算；h(yl)表示对直接映射和残差块计算结构相加后进行的激活操作。
2.离线优化单元为迁移优化模块，包括新增数据标注单元和迁移训练单元；
具体的：
A.增数据标注单元用于对新增的不良品进行人工标注，标注内容包括原有缺陷种类、新增缺陷种类、缺陷位置、缺陷严重程度等；
新增数据标注单元以符号ti标识各个维度的标注数据，i表示该维度下的具体数据；
缺陷种类用t1表示，其中0＜t1≤n(t∈N)，n表示现有的缺陷种类数目，当有新增缺陷加入时，n＝n+1；缺陷位置以外接矩形左上角坐标(x1,y1)及右下角坐标(x2,y2)表示；缺陷严重程度以符号d表示，包括NG、可接受、正常三个程度，分别以整数1、2、3表示，最终将标注数据以json格式进行持久化存储。
B.迁移训练单元将ResNet神经网络模型通过新增数据标注以及配套的标注数据，利用迁移学习的方法进行二次训练，用以对表面缺陷分类模块进行优化，提升模型的检测、分类性能；
迁移训练单元对ResNet神经网络模型进行二次训练时；
将当前的不良品的ROI样本作为领域(Domain)，记做D；
将具体缺陷类别的分类作为任务(Task)，记做T；
由缺陷类别空间y和预测模型f(x)组成的分类任务T，记为T＝{y,f(x)}；
训练模型时，给定标注的辅助领域为：
Figure BDA0002576523310000111
给定无标注的目标领域为：
Figure BDA0002576523310000112
其中，n表示表面缺陷种类编号，x(s)表示带标注特征，y(s)表示对应的标注，x(t)表示无标注特征，y(t)表示对应的标注；
当有新增表面缺陷类型时n＝n+1，Ds≠Dt，Ts＝Tt，均在设定条件下降低目标领域预测模型ft(x)的泛化误差；
当无新增表面缺陷类型时，则Ds＝Dt，Ts＝Tt。
三、表现层
位于系统的最上层，它与服务层直接交互，主要为在线交互模块，分为三个单元：分拣信号发送单元、检测结果显示单元、显示信息选择单元。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种混合深度学习模型的口红质检系统，其特征在于，包括：
图像采集模块，通过工业像机和摄像头在既定环境下，以频闪拍摄的形式，获取待检口红的多张图像；
图像分割模块，对拍摄的图像依次进行无效区域的裁切、U-Net分割、灰度均衡化处理，并将处理后的图像按待检口红的编号进行分组，得到单支待检口红的图组；
不良品检测模块，将单支待检口红的图组送入异常缺陷和表面异常并行检测算法中进行检测，用以挑拣出异常缺陷和表面异常的不良品，在检测到图组的异常缺陷和表面异常的同时，发送不良品分拣信号；
表面缺陷分类模块，通过ResNet神经网络模型对表面缺陷的不良品分类为划痕、孔洞、刮膏等，并将分类结果进行储存；
中转存储模块，存储不良品检测模块的异常缺陷和表面异常不良品图组，以及表面缺陷分类模块的分类结果；
中央存储模块，所述中转存储模块定期将数据上传至中央云存储，上传的数据包括：异常缺陷和表面异常的不良品图组、产品参数、不良品出现时间、不良品出现批次等；
迁移优化模块，迁移优化模块包括新增数据标注单元和迁移训练单元；
所述新增数据标注单元用于对新增的不良品进行人工标注，标注内容包括原有缺陷种类、新增缺陷种类、缺陷位置、缺陷严重程度等；
所述迁移训练单元将所述ResNet神经网络模型通过新增数据标注以及配套的标注数据，利用迁移学习的方法进行二次训练，用以对表面缺陷分类模块进行优化，提升模型的检测、分类性能。
2.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述图像采集模块通过工业像机和摄像头可同时获取2支待检口红4个方向的6张500万像素的图像。
3.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述无效区域的裁切用于将图像的无效区域提前进行裁切，从而减小后续图像处理的计算量和计算时间；
所述U-Net分割，待检口红由膏体部分和底座部分组成，通过U-Net深度网络将待检口红图像的膏体和底座进行区分；
灰度均衡化，对待检口红的图像进行非线性拉伸，重新分配图像的像元值，使得一定灰度范围内的灰度值进行重新映射。
4.根据权利要求3所述的混合深度学习模型的口红质检系统，其特征在于：所述灰度均衡化是对待检口红的图像颜色、光照等因素造成的图像灰度变化进行平衡处理，从而保持图像灰度的均衡性；
其变换的公式为：
Figure FDA0002576523300000021
其中，i代表像素编号；r(0≤r≤1)代表图像中像素灰度级，r＝0表示黑，r＝1表示白；k代表灰度级数；n代表图像中像素点总数，ni(0≤i＜k)代表某一灰度级下的像素点总数。
5.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述不良品检测模块包括外形缺陷检测单元和表面缺陷检测单元和表面异常ROI合并单元；
所述外形缺陷检测单元，用于检测待检口红的异常缺陷，包括待检口红的缺角缺陷、子弹头高度异常缺陷等，并将检测为异常缺陷的不良品图组存储至所述中转存储模块；
所述表面缺陷检测单元，用于将不良品图组进行灰度化处理，利用高斯滤波消除图像噪声，达到平滑图像的效果，并计算图像每个像素的梯度及方向，通过非极大抑制算法比较邻域内具有梯度方向的所有点的像素值，通过双阈值筛选的方式得到表面异常ROI图组；
表面异常ROI合并单元，用于避免产生过多离散的ROI图组，设两个ROI图组之间的距离为：
Figure FDA0002576523300000031
其中x代表ROI中心点的横坐标，y代表ROI中心点的纵坐标；
设定阈值T，当Li,j＜T时，进行合并；
合并后新的ROI框中心为：
Figure FDA0002576523300000032
Figure FDA0002576523300000033
Figure FDA0002576523300000034
Figure FDA0002576523300000035
其中，i≠j，i和j分别代表待合并的两个ROI图组编号，x代表横坐标，y代表纵坐标，h代表ROI图组的高，w代表ROI图组的宽。
6.根据权利要求5所述的混合深度学习模型的口红质检系统，其特征在于：所述双阈值筛选的方式为：
指定低阈值t1和高阈值t2，将梯度值小于t1的像素视为非边缘；将梯度值大于t2的像素视为边缘；若梯度值在t1和t2之间，则检查其3×3邻域窗口内是否存在大于t2的像素，若存在则将其视为边缘，否则视为非边缘。
7.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述ResNet神经网络模型的一个残差计算的过程表示为：
yl＝xl+F(xl,Wl)，xl+1＝h(yl)；
可得到下一层的计算结果：
yl+1＝xl+1+F(xl+1,Wl+1)＝h(yl)+F(f(yl),Wl+1)
其中，xl表示上一层的计算结果；yl是由上一层直接映射的xl加上本层的残差部分F(xl,Wl)；Wl表示由两个或三个卷积操作构成的权重计算；h(yl)表示对直接映射和残差块计算结构相加后进行的激活操作。
8.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述新增数据标注单元以符号ti标识各个维度的标注数据，i表示该维度下的具体数据；
缺陷种类用t1表示，其中0＜t1≤n(t∈N)，n表示现有的缺陷种类数目，当有新增缺陷加入时，n＝n+1；缺陷位置以外接矩形左上角坐标(x1,y1)及右下角坐标(x2,y2)表示；缺陷严重程度以符号d表示，包括NG、可接受、正常三个程度，分别以整数1、2、3表示，最终将标注数据以json格式进行持久化存储。
9.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述迁移训练单元对所述ResNet神经网络模型进行二次训练时；
将当前的不良品的ROI样本作为领域(Domain)，记做D；
将具体缺陷类别的分类作为任务(Task)，记做T；
由缺陷类别空间y和预测模型f(x)组成的分类任务T，记为T＝{y,f(x)}；
训练模型时，给定标注的辅助领域为：
Figure FDA0002576523300000041
给定无标注的目标领域为：
Figure FDA0002576523300000042
其中，n表示表面缺陷种类编号，x(s)表示带标注特征，y(s)表示对应的标注，x(t)表示无标注特征，y(t)表示对应的标注；
当有新增表面缺陷类型时n＝n+1，Ds≠Dt，Ts＝Tt，均在设定条件下降低目标领域预测模型ft(x)的泛化误差；
当无新增表面缺陷类型时，则Ds＝Dt，Ts＝Tt。
CN202010655298.5A 2020-07-09 2020-07-09 一种混合深度学习模型的口红质检系统 Pending CN111951218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010655298.5A CN111951218A (zh) 2020-07-09 2020-07-09 一种混合深度学习模型的口红质检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010655298.5A CN111951218A (zh) 2020-07-09 2020-07-09 一种混合深度学习模型的口红质检系统

Publications (1)

Publication Number Publication Date
CN111951218A true CN111951218A (zh) 2020-11-17

Family

ID=73339977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010655298.5A Pending CN111951218A (zh) 2020-07-09 2020-07-09 一种混合深度学习模型的口红质检系统

Country Status (1)

Country Link
CN (1) CN111951218A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN116183523A (zh) * 2023-04-27 2023-05-30 广东省检迅检测科技有限公司 一种口红检测分析方法、设备及存储介质
CN116660468A (zh) * 2023-05-29 2023-08-29 荆州洗涮涮环保科技有限公司 一种化妆品生产流水线智能监测分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004317361A (ja) * 2003-04-17 2004-11-11 Kao Corp 棒状化粧料の外観検査方法
US20130003052A1 (en) * 2010-01-29 2013-01-03 Toshiyuki Nakao Defect inspection device and defect inspection method
CN109472769A (zh) * 2018-09-26 2019-03-15 成都数之联科技有限公司 一种不良图像缺陷检测方法和系统
CN111191714A (zh) * 2019-12-28 2020-05-22 浙江大学 桥梁外观损伤病害智能识别方法
CN111239142A (zh) * 2020-03-17 2020-06-05 中科创达软件股份有限公司 膏体外观缺陷检测设备及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004317361A (ja) * 2003-04-17 2004-11-11 Kao Corp 棒状化粧料の外観検査方法
US20130003052A1 (en) * 2010-01-29 2013-01-03 Toshiyuki Nakao Defect inspection device and defect inspection method
CN109472769A (zh) * 2018-09-26 2019-03-15 成都数之联科技有限公司 一种不良图像缺陷检测方法和系统
CN111191714A (zh) * 2019-12-28 2020-05-22 浙江大学 桥梁外观损伤病害智能识别方法
CN111239142A (zh) * 2020-03-17 2020-06-05 中科创达软件股份有限公司 膏体外观缺陷检测设备及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIDAN SHANG ET AL.: "Detection of Rail Surface Defects Based on CNN Image Recognition and Classification", 《INTERNATIONAL CONFERENCE ON ADVANCED COMMUNICATIONS TECHNOLOGY(ICACT)》 *
薛勇等: "基于GoogLeNet深度迁移学习的苹果缺陷检测方法", 《农业机械学报》 *
贾丹平等: "采用移动扫描成像法实现高压气瓶内壁凹坑缺陷检测", 《电脑知识与技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN112494063B (zh) * 2021-02-08 2021-06-01 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN116183523A (zh) * 2023-04-27 2023-05-30 广东省检迅检测科技有限公司 一种口红检测分析方法、设备及存储介质
CN116183523B (zh) * 2023-04-27 2023-06-23 广东省检迅检测科技有限公司 一种口红检测分析方法、设备及存储介质
CN116660468A (zh) * 2023-05-29 2023-08-29 荆州洗涮涮环保科技有限公司 一种化妆品生产流水线智能监测分析方法
CN116660468B (zh) * 2023-05-29 2024-02-13 广州昂博科技有限公司 一种化妆品生产流水线智能监测分析方法

Similar Documents

Publication Publication Date Title
CN114937055B (zh) 基于人工智能的图像自适应分割方法与系统
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
CN111951218A (zh) 一种混合深度学习模型的口红质检系统
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN109544522A (zh) 一种钢板表面缺陷检测方法及系统
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN111461133B (zh) 快递面单品名识别方法、装置、设备及存储介质
CN113777030A (zh) 一种基于机器视觉的布料表面缺陷检测装置及方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
Adem et al. Defect detection of seals in multilayer aseptic packages using deep learning
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN112233090A (zh) 基于改进注意力机制的薄膜瑕疵检测方法
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN112258459A (zh) 一种基于集成深度学习的锂电池瑕疵检测方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN113780484B (zh) 工业产品缺陷检测方法和装置
Lin et al. Development of a CNN-based hierarchical inspection system for detecting defects on electroluminescence images of single-crystal silicon photovoltaic modules
CN115035082A (zh) 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN113808104A (zh) 一种基于分块的金属表面缺陷检测方法及系统
CN114331961A (zh) 用于对象的缺陷检测的方法
CN113989196A (zh) 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210319

Address after: Room 266, 1st floor, building 1, 588 Zixing Road, Minhang District, Shanghai 200241

Applicant after: Shanghai Keming Technology Co.,Ltd.

Address before: 221000 Room 301, unit 3, building 13, Jinkui community, Quanshan District, Xuzhou City, Jiangsu Province

Applicant before: Huang Peng

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20201117

RJ01 Rejection of invention patent application after publication