CN113610000B - 一种包装漏件检测的方法和装置 - Google Patents

一种包装漏件检测的方法和装置 Download PDF

Info

Publication number
CN113610000B
CN113610000B CN202110907174.6A CN202110907174A CN113610000B CN 113610000 B CN113610000 B CN 113610000B CN 202110907174 A CN202110907174 A CN 202110907174A CN 113610000 B CN113610000 B CN 113610000B
Authority
CN
China
Prior art keywords
package
packaging
finished product
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110907174.6A
Other languages
English (en)
Other versions
CN113610000A (zh
Inventor
陈轶
张文
牛少彰
崔浩亮
王让定
焦崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast Digital Economic Development Research Institute
Original Assignee
Southeast Digital Economic Development Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast Digital Economic Development Research Institute filed Critical Southeast Digital Economic Development Research Institute
Priority to CN202110907174.6A priority Critical patent/CN113610000B/zh
Publication of CN113610000A publication Critical patent/CN113610000A/zh
Application granted granted Critical
Publication of CN113610000B publication Critical patent/CN113610000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种包装漏件检测的方法和装置，包括获取每个包装组件和包装成品在工作台上的拍摄图像，要求包装组件和包装成品逐一摆放且只摆放一个，利用结构相似度算法对上述拍到的图像与没有包装组件和包装成品的空工作台图像进行计算处理，得到其差分图像并对差分图像进行轮廓检测。本发明属于包装检测技术领域，具体是指一种可以当包装物体个数和外观因工作订单的变化而发生变化时完成该包装组件图像数据的自动标注，然后用模型针对标注好的数据进行训练的包装漏件检测的方法和装置。

Description

一种包装漏件检测的方法和装置
技术领域
本申请属于包装检测技术领域，具体是指一种包装漏件检测的方法和装置。
背景技术
随着人工智能技术在视觉图像方面的发展日新月异，工业场景也不断加入了人工智能技术以用于提升生产效率。目标检测作为一种从图像中找出感兴趣物体的类别和位置信息的技术逐渐成为了工业场景中主流研究方向。其中，包括制造业中的包装漏件检测场景。
利用目标检测技术可以对制造业中的包装漏件检测场景进行实时识别检测，当某件包装组件在打包阶段没有放入包装时发出警告信息，帮助管理人员和一线包装工人及时发现漏件情况并给予补充。该场景相对于常见的目标检测场景有一项特点，即包装物体的外观与工作订单属于强绑定关系。当工作订单发生变化时，包装组件的个数、外观必然会有不同程度的改变。这种改变是会使得针对上一工作订单训练好的目标检测模型无法很好地适用于下一个工作订单，而下一个工作订单对应的包装物体目标检测模型又需要重新采集视频、图像等数据进行人工数据标注，然后重新针对该数据集进行模型训练得到相应的目标检测模型。这会导致每一批工作订单都需要重新人工数据标注，并且相应的目标检测模型无法及时投入现场使用。
申请内容
为了解决上述难题，本申请提供了一种可以当包装物体个数和外观因工作订单的变化而发生变化时完成该包装组件图像数据的自动标注，然后用模型针对标注好的数据进行训练的包装漏件检测的方法和装置。
为了实现上述功能，本申请采取的技术方案如下：一种包装漏件检测方法，包括如下步骤：
1、采集没有包装组件或包装成品的空工作台图像作为背景图像；
2、包装组件和包装成品逐一摆放在工作台上进行拍摄，每个物体至少拍摄一张图像，并记录该组件或成品的名称，即该组件或成品的类别信息。拍摄期间保持摄像头型号、拍摄距离、拍摄角度、光线等参数与步骤1一致。包装组件或包装成品拍摄完后移出拍摄视野范围；
3、逐一计算步骤2中拍摄的图像与步骤1中拍摄图像的结构相似度SSIM，利用其结构相似性索引得到两幅图像的差分图像；
4、对差分图像进行二值化，利用轮廓检测算法计算得到摆拍包装组件或包装成品的轮廓图像；
5、对轮廓图像获取其最小外接矩形，该矩形参数即该包装组件或包装成品的标签位置信息。通过上述步骤已经获取目标检测类型算法所需的所有包装组件或包装成品的标注信息；
6、对完成标注的图像数据连同标注信息进行数据增强。数据增强方式包括常见的水平翻转、随机噪声、随机裁剪等常见算法，也包括根据实际场景中包装组件的摆放前后顺序进行组件之间的叠加增强。将增强后的数据集按照9：1比例划分训练集和验证集；
7、利用目标检测算法，如YOLOv4、Faster RCNN算法，对训练集的数据进行模型训练，并选择验证集上效果最好的迭代模型作为最后部署的模型文件；
8、将步骤7得到的模型文件部署到服务器，对工作台摄像头实时视频流进行目标检测；
9、根据包装组件个数设定相同数量的变量，初始值为0。当检测模型检测到任一个包装组件时，表示本轮包装打包漏件检测开始，同时，该组件对应的变量值加1；
10、每检测到一类包装组件时，该组件对应的变量值加1；
11、检测到包装成品时表示本轮打包结束。如果有某个组件变量值为0，表示该组件存在漏件，否则本轮包装过程不存在漏件情况。然后，执行步骤9开始下一轮检测。
进一步地，所述利用结构相似度、轮廓检测、最小外接矩形算法得到包装组件或包装成品图像应用于目标检测算法时的标注数据。
进一步地，所述包装漏件检测采用的目标检测模型训练所需的图像标签数据自动获取，无需人工手动标注。
进一步地，所述包装漏件检测开始信号触发条件为目标检测算法检测到任一包装组件，结束信号触发条件为目标检测算法检测到包装成品。
本申请还包括一种包装漏件检测装置，包括采集单元、标注单元、训练单元和检测单元。
本申请取得有益效果如下：本申请提供的一种包装漏件检测的方法和装置，自动对包装组件或包装成品图像进行数据标注，无需人工手动标注信息，可以适应包装组件个数和外观变化较为频繁的包装漏件检测场景，包装组件或包装成品样品在时间维度上先于产线正式包装阶段，每个工作订单对应的包装漏件检测模型部署不会产生滞后。
附图说明
图1为本申请一种包装漏件检测的方法的流程图；
图2为本申请一种包装漏件检测装置的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。以下结合附图，对本申请做进一步详细说明。
如图1-2所述，本申请一种包装漏件检测方法，包括如下步骤：
(1)采集没有包装组件或包装成品的空工作台图像作为背景图像；
(2)包装组件和包装成品逐一摆放在工作台上进行拍摄，每个物体至少拍摄一张图像，并记录该组件或成品的名称，即该组件或成品的类别信息。拍摄期间保持摄像头型号、拍摄距离、拍摄角度、光线等参数与步骤1一致。包装组件或包装成品拍摄完后移出拍摄视野范围；
(3)逐一计算步骤2中拍摄的图像与步骤1中拍摄图像的结构相似度SSIM，利用其结构相似性索引得到两幅图像的差分图像；
(4)对差分图像进行二值化，利用轮廓检测算法计算得到摆拍包装组件或包装成品的轮廓图像；
(5)对轮廓图像获取其最小外接矩形，该矩形参数即该包装组件或包装成品的标签位置信息。通过上述步骤已经获取目标检测类型算法所需的所有包装组件或包装成品的标注信息；
(6)对完成标注的图像数据连同标注信息进行数据增强。数据增强方式包括常见的水平翻转、随机噪声、随机裁剪等常见算法，也包括根据实际场景中包装组件的摆放前后顺序进行组件之间的叠加增强。将增强后的数据集按照9：1比例划分训练集和验证集；
(7)利用目标检测算法，如YOLOv4、Faster RCNN算法，对训练集的数据进行模型训练，并选择验证集上效果最好的迭代模型作为最后部署的模型文件；
(8)将步骤7得到的模型文件部署到服务器，对工作台摄像头实时视频流进行目标检测；
(9)根据包装组件个数设定相同数量的变量，初始值为0。当检测模型检测到任一个包装组件时，表示本轮包装打包漏件检测开始，同时，该组件对应的变量值加1；
(10)每检测到一类包装组件时，该组件对应的变量值加1；
(11)检测到包装成品时表示本轮打包结束。如果有某个组件变量值为0，表示该组件存在漏件，否则本轮包装过程不存在漏件情况。然后，执行步骤9开始下一轮检测。
所述利用结构相似度、轮廓检测、最小外接矩形算法得到包装组件或包装成品图像应用于目标检测算法时的标注数据。
所述包装漏件检测采用的目标检测模型训练所需的图像标签数据自动获取，无需人工手动标注。
所述包装漏件检测开始信号触发条件为目标检测算法检测到任一包装组件，结束信号触发条件为目标检测算法检测到包装成品。
本申请还包括一种包装漏件检测装置，包括采集单元、标注单元、训练单元和检测单元。
以上对本申请及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本申请的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本申请创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本申请的保护范围。

Claims (5)

1.一种包装漏件检测方法，包括如下步骤：
1、采集没有包装组件或包装成品的空工作台图像作为背景图像；
2、包装组件和包装成品逐一摆放在工作台上进行拍摄，每个物体至少拍摄一张图像，并记录该包装组件或包装成品的名称，即该包装组件或包装成品的类别信息，拍摄期间保持摄像头型号、拍摄距离、拍摄角度、光线等参数与步骤1一致，包装组件或包装成品拍摄完后移出拍摄视野范围；
3、逐一计算步骤2中拍摄的图像与步骤1中拍摄图像的结构相似度SSIM，利用其结构相似性索引得到两幅图像的差分图像；
4、对差分图像进行二值化，利用轮廓检测算法计算得到摆拍包装组件或包装成品的轮廓图像；
5、对轮廓图像获取其最小外接矩形，该矩形参数即该包装组件或包装成品的标签位置信息，通过上述步骤已经获取目标检测类型算法所需的所有包装组件或包装成品的标注信息；
6、对完成标注的图像数据连同标注信息进行数据增强，将增强后的数据集按照9：1比例划分训练集和验证集；
7、利用目标检测算法，对训练集的数据进行模型训练，并选择验证集上效果最好的迭代模型作为最后部署的模型文件；
8、将步骤7得到的模型文件部署到服务器，对工作台摄像头实时视频流进行目标检测；
9、根据包装组件个数设定相同数量的变量，初始值为0，当检测模型检测到任一个包装组件时，表示本轮包装打包漏件检测开始，同时，该包装组件对应的变量值加1；
10、每检测到一类包装组件时，该包装组件对应的变量值加1；
11、检测到包装成品时表示本轮打包结束，如果有某个包装组件变量值为0，表示该包装组件存在漏件，否则本轮包装过程不存在漏件情况，然后，执行步骤9开始下一轮检测。
2.根据权利要求1所述的一种包装漏件检测方法，其特征在于：上述利用结构相似度、轮廓检测、最小外接矩形算法得到包装组件或包装成品图像应用于目标检测算法时的标注数据。
3.根据权利要求1所述的一种包装漏件检测方法，其特征在于：所述包装漏件检测采用的目标检测模型训练所需的图像标签数据自动获取，无需人工手动标注。
4.根据权利要求1所述的一种包装漏件检测方法，其特征在于：所述包装漏件检测开始信号触发条件为目标检测算法检测到任一包装组件，结束信号触发条件为目标检测算法检测到包装成品。
5.一种采用权利要求1中包装漏件检测方法的包装漏件检测装置。
CN202110907174.6A 2021-08-09 2021-08-09 一种包装漏件检测的方法和装置 Active CN113610000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110907174.6A CN113610000B (zh) 2021-08-09 2021-08-09 一种包装漏件检测的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110907174.6A CN113610000B (zh) 2021-08-09 2021-08-09 一种包装漏件检测的方法和装置

Publications (2)

Publication Number Publication Date
CN113610000A CN113610000A (zh) 2021-11-05
CN113610000B true CN113610000B (zh) 2023-07-07

Family

ID=78339958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110907174.6A Active CN113610000B (zh) 2021-08-09 2021-08-09 一种包装漏件检测的方法和装置

Country Status (1)

Country Link
CN (1) CN113610000B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046472A (zh) * 2015-08-25 2015-11-11 芜湖哈特机器人产业技术研究院有限公司 一种轴承盖的包装系统及其控制方法
WO2018077121A1 (zh) * 2016-10-24 2018-05-03 合肥美的智能科技有限公司 图像中目标物体识别方法、冰箱内食品识别方法及系统
CN110147792A (zh) * 2019-05-22 2019-08-20 齐鲁工业大学 基于内存优化的药品包装字符高速检测系统及方法
CN112966772A (zh) * 2021-03-23 2021-06-15 之江实验室 一种多人在线的图像半自动标注方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046472A (zh) * 2015-08-25 2015-11-11 芜湖哈特机器人产业技术研究院有限公司 一种轴承盖的包装系统及其控制方法
WO2018077121A1 (zh) * 2016-10-24 2018-05-03 合肥美的智能科技有限公司 图像中目标物体识别方法、冰箱内食品识别方法及系统
CN110147792A (zh) * 2019-05-22 2019-08-20 齐鲁工业大学 基于内存优化的药品包装字符高速检测系统及方法
CN112966772A (zh) * 2021-03-23 2021-06-15 之江实验室 一种多人在线的图像半自动标注方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉传达技术的产品外包装造型仿真设计;万鲤菠;;现代电子技术;43(18);168-171 *

Also Published As

Publication number Publication date
CN113610000A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN112348787B (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN111597992B (zh) 一种基于视频监控的场景物体异常的识别方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN105023018A (zh) 一种喷码检测方法及系统
CN112801965A (zh) 一种基于卷积神经网络的烧结皮带异物监测方法及系统
CN112037182A (zh) 基于时序图像的机车走行部故障检测方法、装置及存储介质
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN113610000B (zh) 一种包装漏件检测的方法和装置
CN114119695A (zh) 一种图像标注方法、装置及电子设备
CN108053409B (zh) 一种遥感影像分割基准库自动构建方法及其系统
CN104104911B (zh) 全景图像生成过程中的时间戳消除和重置方法及系统
CN113344002A (zh) 一种目标坐标去重方法、系统、电子设备及可读存储介质
CN111145203B (zh) 车道线提取方法及装置
CN115937492B (zh) 一种基于特征识别的变电设备红外图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant