CN111948213A - 一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法 - Google Patents
一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法 Download PDFInfo
- Publication number
- CN111948213A CN111948213A CN202010655450.XA CN202010655450A CN111948213A CN 111948213 A CN111948213 A CN 111948213A CN 202010655450 A CN202010655450 A CN 202010655450A CN 111948213 A CN111948213 A CN 111948213A
- Authority
- CN
- China
- Prior art keywords
- lipstick
- defect
- detection
- network
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Abstract
本发明涉及产品智能质检技术领域，具体为一种基于注意力胶囊网络的口红缺陷检测装置，包括图像采集系统，包括摄像机和网络客户端，所述摄像机用于拍摄待检口红4个方向的口红图像，所述网络客户端用于将拍摄的口红图像进行本地存储；口红缺陷检测系统，包括网络服务端、口红检测模块和缺陷可视化模块，其中，所述网络服务端用于接收网络客户端发送的口红图像传输至口红检测模块内进行缺陷检测，并将检测结果通过缺陷可视化模块进行展示。本发明的检测方法，用于对所述的口红图像进行缺陷检测，相较于传统工作流程，口红的质量缺陷更容易被发现，可减轻质检人员的劳动强度，从而提升工作效率和提高质检的稳定性。
Description
技术领域
本发明涉及产品智能质检技术领域，具体为一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法。
背景技术
目前口红生产企业生产线还未达到全自动化的程度，许多环节需要人工全程在线的干预，其中质检部分是产能提升的瓶颈之一，人工质检的效率存在上限；人力无法长时间持续在线，不仅对质检工人身体有所伤害，质检准确度也会随时间推移而下降；人工质检即使在工人有完备精力的状况下，仍然存在漏检、误检的情况。
经检索，专利申请号为CN201810831640.5的发明专利公开了“基于胶囊网络的绝缘子缺陷识别定位装置及方法”，其主要为智能电网中的输电线路维修技术领域，用于输电线上绝缘子的检测；
专利申请号为CN201810831640.5的发明专利公开了“基于胶囊网络的绝缘子缺陷识别定位装置及方法”，主要问题是胶囊网络的应用只用于目标检测，而实际的缺陷识别采用传统图片处理方法实现，并且没有对缺陷进行分类，功能相对单一，此外，缺陷的标记过程并非由胶囊网络实现，而且由像素比对的方法实现，鲁棒性较差。鉴于此，我们提出一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法。
发明内容
本发明的目的在于提供一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于注意力胶囊网络的口红缺陷检测装置，包括：
图像采集系统，包括摄像机和网络客户端，所述摄像机用于拍摄待检口红4个方向的口红图像，所述网络客户端用于将拍摄的口红图像进行本地存储；
口红缺陷检测系统，包括网络服务端、口红检测模块和缺陷可视化模块，其中，所述网络服务端用于接收网络客户端发送的口红图像传输至口红检测模块内进行缺陷检测，并将检测结果通过缺陷可视化模块进行展示。
一种检测方法，用于对所述的口红图像进行缺陷检测，包括以下步骤：
步骤1：所述摄像机拍摄待检口红4个方向的口红图像，将口红图像传输至所述网络客户端内进行本地存储，并通过缺陷可视化模块创建口红图像的可视化界面；
步骤2：预先将载缺陷检测与定位模块加载入口红检测模块的主程序中，供主程序传入图像，并且预先将注意力胶囊网络模型载到口红检测模块的GPU显存中；
步骤3：口红检测模块的主程序接收到网络服务端的口红图像，并加载注意力胶囊网络模型对口红图像进行缺陷检测；
步骤4：将检测结果进行保存，并通过所述缺陷可视化模块将检测结果进行可视化展示。
优选的，步骤3中，注意力胶囊网络模型对口红图像进行缺陷检测的方法包括以下步骤：
步骤31：特征提取，输入的口红图像先经过卷积神经网络进行特征提取，获得口红图像的缺陷特征；
步骤32：引入注意力机制通过加权增加对重要缺陷特征的关注；
步骤33：将加权后的缺陷特征和原始卷积特征进行融合，并传至胶囊网络中进行动态路由；
步骤34：针对融合后不同的卷积特征图构建胶囊节点，经过全连接层后输出口红的缺陷类型。
优选的，步骤4中，检测结果包括口红图像的缺陷类型及其置信度值。
优选的，所述缺陷类型包括且不限于刮膏、粘皮、子弹体高度、孔洞。
与现有技术相比，本发明的有益效果是：该基于注意力胶囊网络的口红缺陷检测装置及其检测方法，通过口红检测模块和缺陷可视化模块的视觉预处理技术实现口红缺陷部位的可视化检测，将其放大到显示器上进行观测，方便质检人员检视，同时，由于其口红图像经过对比度增强和放大等图片处理，相较于传统工作流程，口红的质量缺陷更容易被发现，可减轻质检人员的劳动强度，从而提升工作效率和提高质检的稳定性。
附图说明
图1为本发明的整体结构框图；
图2为本发明中口红图像的缺陷检测方法流程图；
图3为本发明中注意力胶囊网络模型处理方法流程图；
图4为本发明中意力胶囊网络模型处理原理框图。
图中：100、图像采集系统；101、摄像机；102、网络客户端；200、口红缺陷检测系统；201、网络服务端；202、口红检测模块；203、缺陷可视化模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
一种基于注意力胶囊网络的口红缺陷检测装置，如图1所示，包括图像采集系统100和口红缺陷检测系统200；其中图像采集系统100包括摄像机101和网络客户端102，摄像机101用于拍摄待检口红4个方向的口红图像，网络客户端102用于将拍摄的口红图像进行本地存储；
口红缺陷检测系统200包括网络服务端201、口红检测模块202和缺陷可视化模块203，其中，网络服务端201用于接收网络客户端102发送的口红图像传输至口红检测模块202内进行缺陷检测，并将检测结果通过缺陷可视化模块203进行展示。
本实施例的口红缺陷检测装置，通过口红检测模块202和缺陷可视化模块203的视觉预处理技术实现口红缺陷部位的可视化检测，将其放大到显示器上进行观测，方便质检人员检视，同时，由于其口红图像经过对比度增强和放大等图片处理，相较于原工作流程，口红的质量缺陷更容易被发现，可减轻质检人员的劳动强度，从而提升工作效率和提高质检的稳定性。
实施例2
一种检测方法，如图2所示，用于对口红图像进行缺陷检测，包括以下步骤：
步骤1：摄像机101拍摄待检口红4个方向的口红图像，将口红图像传输至网络客户端102内进行本地存储，并通过缺陷可视化模块203创建口红图像的可视化界面；
步骤2：预先将载缺陷检测与定位模块加载入口红检测模块202的主程序中，供主程序传入图像，并且预先将注意力胶囊网络模型载到口红检测模块202的GPU(图像处理器)显存中；
步骤3：口红检测模块202的主程序接收到网络服务端201的口红图像，并加载注意力胶囊网络模型对口红图像进行缺陷检测；
步骤4：将检测结果进行保存，并通过缺陷可视化模块203将检测结果进行可视化展示。
值得说明的是，如图3和图4所示，步骤3中，注意力胶囊网络模型对口红图像进行缺陷检测的方法包括以下步骤：
步骤31：特征提取，输入的口红图像先经过卷积神经网络进行特征提取，获得口红图像的缺陷特征；
步骤32：引入注意力机制通过加权增加对重要缺陷特征的关注；
步骤33：将加权后的缺陷特征和原始卷积特征进行融合，并传至胶囊网络中进行动态路由；
步骤34：针对融合后不同的卷积特征图构建胶囊节点，经过全连接层后输出口红的缺陷类型。
具体的，步骤4中，检测结果包括口红图像的缺陷类型及其置信度值，缺陷类型包括且不限于刮膏、粘皮、子弹体高度、孔洞。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种基于注意力胶囊网络的口红缺陷检测装置，其特征在于，包括：
图像采集系统，包括摄像机和网络客户端，所述摄像机用于拍摄待检口红4个方向的口红图像，所述网络客户端用于将拍摄的口红图像进行本地存储；
口红缺陷检测系统，包括网络服务端、口红检测模块和缺陷可视化模块，其中，所述网络服务端用于接收网络客户端发送的口红图像传输至口红检测模块内进行缺陷检测，并将检测结果通过缺陷可视化模块进行展示。
2.一种检测方法，用于对所述的口红图像进行缺陷检测，其特征在于，包括以下步骤：
步骤1：所述摄像机拍摄待检口红4个方向的口红图像，将口红图像传输至所述网络客户端内进行本地存储，并通过缺陷可视化模块创建口红图像的可视化界面；
步骤2：预先将载缺陷检测与定位模块加载入口红检测模块的主程序中，供主程序传入图像，并且预先将注意力胶囊网络模型载到口红检测模块的GPU显存中；
步骤3：口红检测模块的主程序接收到网络服务端的口红图像，并加载注意力胶囊网络模型对口红图像进行缺陷检测；
步骤4：将检测结果进行保存，并通过所述缺陷可视化模块将检测结果进行可视化展示。
3.根据权利要求2所述的检测方法，其特征在于：步骤3中，注意力胶囊网络模型对口红图像进行缺陷检测的方法包括以下步骤：
步骤31：特征提取，输入的口红图像先经过卷积神经网络进行特征提取，获得口红图像的缺陷特征；
步骤32：引入注意力机制通过加权增加对重要缺陷特征的关注；
步骤33：将加权后的缺陷特征和原始卷积特征进行融合，并传至胶囊网络中进行动态路由；
步骤34：针对融合后不同的卷积特征图构建胶囊节点，经过全连接层后输出口红的缺陷类型。
4.根据权利要求2所述的检测方法，其特征在于：步骤4中，检测结果包括口红图像的缺陷类型及其置信度值。
5.根据权利要求4所述的检测方法，其特征在于：所述缺陷类型包括且不限于刮膏、粘皮、子弹体高度、孔洞。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010655450.XA CN111948213A (zh) | 2020-07-09 | 2020-07-09 | 一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010655450.XA CN111948213A (zh) | 2020-07-09 | 2020-07-09 | 一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111948213A true CN111948213A (zh) | 2020-11-17 |
Family
ID=73341351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010655450.XA Pending CN111948213A (zh) | 2020-07-09 | 2020-07-09 | 一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111948213A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658137A (zh) * | 2021-08-17 | 2021-11-16 | 浙江工商大学 | 一种基于胶囊网络的飞机表面缺陷检测方法和系统 |
| CN114184623A (zh) * | 2021-11-22 | 2022-03-15 | 厦门深度赋智科技有限公司 | 一种结合边缘设备的口红瑕疵检测系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004317361A (ja) * | 2003-04-17 | 2004-11-11 | Kao Corp | 棒状化粧料の外観検査方法 |
| CN109035233A (zh) * | 2018-07-24 | 2018-12-18 | 西安邮电大学 | 视觉注意力网络及工件表面缺陷检测方法 |
| CN109118479A (zh) * | 2018-07-26 | 2019-01-01 | 中睿能源（北京）有限公司 | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 |
| CN109544548A (zh) * | 2018-11-30 | 2019-03-29 | 北京百度网讯科技有限公司 | 餐盒的缺陷检测方法、装置、服务器、设备和存储介质 |
| CN111191660A (zh) * | 2019-12-30 | 2020-05-22 | 浙江工业大学 | 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法 |
| CN111239142A (zh) * | 2020-03-17 | 2020-06-05 | 中科创达软件股份有限公司 | 膏体外观缺陷检测设备及方法 |
-
2020
- 2020-07-09 CN CN202010655450.XA patent/CN111948213A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004317361A (ja) * | 2003-04-17 | 2004-11-11 | Kao Corp | 棒状化粧料の外観検査方法 |
| CN109035233A (zh) * | 2018-07-24 | 2018-12-18 | 西安邮电大学 | 视觉注意力网络及工件表面缺陷检测方法 |
| CN109118479A (zh) * | 2018-07-26 | 2019-01-01 | 中睿能源（北京）有限公司 | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 |
| CN109544548A (zh) * | 2018-11-30 | 2019-03-29 | 北京百度网讯科技有限公司 | 餐盒的缺陷检测方法、装置、服务器、设备和存储介质 |
| CN111191660A (zh) * | 2019-12-30 | 2020-05-22 | 浙江工业大学 | 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法 |
| CN111239142A (zh) * | 2020-03-17 | 2020-06-05 | 中科创达软件股份有限公司 | 膏体外观缺陷检测设备及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴华运等: "基于改进型SSD算法的空瓶表面缺陷检测", 《计算机与现代化》 * |
| 温长吉等: "基于改进稠密胶囊网络模型的植物识别方法", 《农业工程学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658137A (zh) * | 2021-08-17 | 2021-11-16 | 浙江工商大学 | 一种基于胶囊网络的飞机表面缺陷检测方法和系统 |
| CN114184623A (zh) * | 2021-11-22 | 2022-03-15 | 厦门深度赋智科技有限公司 | 一种结合边缘设备的口红瑕疵检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
| CN108898077B (zh) | 电力设备红外热图的识别方法和电力设备红外识别系统 | |
| CN111080634A (zh) | 基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别方法 | |
| CN110009530A (zh) | 一种适用于便携式电力巡检的神经网络系统和方法 | |
| CN109712127B (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
| CN111948213A (zh) | 一种基于注意力胶囊网络的口红缺陷检测装置及其检测方法 | |
| CN112258491A (zh) | 一种电力设备缺陷三维模拟方法 | |
| CN108318773B (zh) | 一种输电导线断股检测方法及系统 | |
| CN105096305A (zh) | 绝缘子状态分析的方法及装置 | |
| CN111832398A (zh) | 一种无人机影像的配电线路杆塔导地线断股图像检测方法 | |
| CN109297978B (zh) | 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统 | |
| CN110553151B (zh) | 一种管道泄漏监测方法和系统 | |
| CN111598889A (zh) | 均压环倾斜故障的识别方法、装置、计算机设备 | |
| CN112560816A (zh) | 一种基于YOLOv4的设备指示灯识别方法及系统 | |
| CN111695493A (zh) | 一种输电线路隐患的检测方法及系统 | |
| CN112595936A (zh) | 基于无人机巡检的输电线复合绝缘子智能检测系统 | |
| CN114627388B (zh) | 输电线路异物检测设备及其异物检测方法 | |
| CN108317966B (zh) | 一种阳极导杆钢爪变形检测方法及装置 | |
| CN110992306B (zh) | 基于深度学习的红外图像中劣化绝缘子的分割方法及装置 | |
| CN111915565B (zh) | 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法 | |
| CN117351472A (zh) | 烟叶信息检测方法、装置及电子设备 | |
| WO2024000372A1 (zh) | 一种缺陷检测的方法和装置 | |
| CN115410154A (zh) | 一种风电机舱电气设备热故障识别方法 | |
| CN111429411B (zh) | 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法 | |
| CN113989684A (zh) | 一种机巡缺陷图片图像标注定级方法及缺陷定级系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210203 Address after: 200032 room 7-402, 4th floor, building 1, 485 Fenglin Road, Xuhui District, Shanghai Applicant after: Shanghai Keming Information Technology Co.,Ltd. Address before: 221000 Room 301, unit 3, building 13, Jinkui community, Quanshan District, Xuzhou City, Jiangsu Province Applicant before: Huang Peng |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201117 |
|
| RJ01 | Rejection of invention patent application after publication |