CN117589771A - 一种透明包装袋瑕疵检测系统及方法 - Google Patents
一种透明包装袋瑕疵检测系统及方法 Download PDFInfo
- Publication number
- CN117589771A CN117589771A CN202311548070.6A CN202311548070A CN117589771A CN 117589771 A CN117589771 A CN 117589771A CN 202311548070 A CN202311548070 A CN 202311548070A CN 117589771 A CN117589771 A CN 117589771A
- Authority
- CN
- China
- Prior art keywords
- image
- flaw
- projection
- packaging bag
- transparent packaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 169
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 24
- 230000000149 penetrating effect Effects 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims description 114
- 230000007547 defect Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 18
- 238000012790 confirmation Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Biochemistry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及包装袋检测技术领域，具体公开了一种透明包装袋瑕疵检测系统及方法,所述系统包括：图像采集模块用于获取照明灯光透过透明包装袋的投影图像，并获取当前投影参数；图像检测模块用于根据投影图像，通过预设的标准图像模板进行图像对比，并将对比结果不一致的投影图像记为异常图像；瑕疵定位模块用于根据异常图像,通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和当前投影参数，获取透明包装袋上瑕疵所在位置信息。本申请通过以光束投影图像来替换扫描或拍摄图像进行瑕疵检测，无需考虑瑕疵的类别，可更加快速地确定是否存在瑕疵，以提高透明包装袋的检测效率。
Description
技术领域
本申请涉及包装袋检测技术领域，尤其涉及一种透明包装袋瑕疵检测系统及方法。
背景技术
透明包装袋在生产完成之后会对其质量进行检测，其中就有针对表面瑕疵的检测，例如污垢、气泡、破损、皱折、袋内异物等瑕疵，由于人工质检存在检测效率低、成本高等问题，所以现如今基于机器视觉的检测方式已开始逐渐取代人工进行质检。
现有的基于机器视觉的检测方式主要是通过对透明包装袋进行图像采集，然后根据采集的图像通过已有的检测模型进行瑕疵检测，除了可检测是否存在瑕疵，还可直接定位瑕疵所在图像位置，但这种方式，模型的生成需要以各种瑕疵类型作为目标类别，使得对样本数据的要求会比较高，并且通常情况下，有瑕疵的透明包装袋只是少量，而对于没有瑕疵的包装袋进行瑕疵定位无意义，反而会降低检测效率。
发明内容
本申请的目的是提供一种透明包装袋瑕疵检测系统及方法，可以无需考虑瑕疵的类别，先快速确定透明包装袋是否有瑕疵，然后针对有瑕疵的包装袋进行瑕疵定位，以增加检测效率。
第一方面，本申请提供一种透明包装袋瑕疵检测系统，所述系统包括图像采集模块、图像检测模块以及瑕疵定位模块；
所述图像采集模块用于获取照明灯光透过透明包装袋的投影图像，并获取当前投影参数；
所述图像检测模块用于根据投影图像，通过预设的标准图像模板进行图像对比，并将对比结果不一致的投影图像记为异常图像；
所述瑕疵定位模块用于根据异常图像,通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和当前投影参数，获取透明包装袋上瑕疵所在位置信息。
通过上述技术方案，以光束投影图像来替换扫描或拍摄图像进行瑕疵检测，通过简单的图像对比即可快速地确定透明包装袋是否存在瑕疵，然后只针对存在瑕疵的透明包装袋进行瑕疵定位，且无需考虑瑕疵的类别，即降低了模型的训练难度，同时也提高了透明包装袋的检测效率。
可选的，所述图像检测模块包括图像增强单元、图像对比单元以及异常提示单元；
所述图像增强单元用于对获取的投影图像，通过预设图像预处理方式对投影图像进行增强；
所述图像对比单元用于对增强后的投影图像，通过预设的标准图像模板进行对比，并获取图像对比结果；
所述异常提示单元用于根据图像对比结果，通过预设标准来判断是否出现异常，若出现异常，则将当前的投影图像记为异常图像，并输出相应提示信息。
可选的，所述瑕疵定位模块包括目标检测单元、目标筛选单元以及定位计算单元；
所述目标检测单元用于根据异常图像，通过预设的瑕疵检测模型进行检测，并获取检测结果，所述检测结果包括目标位置信息和置信度；
所述目标筛选单元用于选取置信度达到预设阈值的检测结果，并获取对应的目标位置信息；
所述定位计算单元用于根据目标位置信息，获取瑕疵所在投影图像中的位置信息，并根据瑕疵在投影图像中的位置信息，通过当前的投影参数，计算出瑕疵在透明包装袋中的位置信息。
可选的，所述系统还包括瑕疵校验模块和模型更新模块；
所述瑕疵校验模块用于根据透明包装袋上瑕疵所在位置信息，获取原始校验图像，并对原始校验图像发送人工进行校验，并获取校验反馈结果；
所述模型更新模块用于根据校验反馈结果，对校验通过的原始校验图像通过照明投影和图像标注，以获取新增投影图像，并根据新增投影图像对预设的瑕疵检测模型进行更新。
可选的，所述瑕疵校验模块包括校验图像获取单元和校验反馈单元；
所述校验图像获取单元用于对透明包装袋进行图像采集，将采集的图像记为原始图像，并根据瑕疵所在位置信息从原始图像中截取局部原始图像，记为原始校验图像；
所述校验反馈单元用于将原始校验图像发送人工进行校验，并获取校验反馈结果。
可选的，所述校验反馈结果包括瑕疵确认信息和瑕疵位置信息，所述模型更新模块包括图像投影单元、图像标注单元以及模型更新单元；
所述图像投影单元用于根据瑕疵确认信息，对原始校验图像通过照明投影，获取对应的投影图像以及投影参数；
所述图像标注单元用于根据瑕疵位置信息，通过投影参数计算图像标注信息，并根据图像标注信息对获取的投影图像进行标注，以生成新增投影图像；
所述模型更新单元用于根据新增投影图像对预设训练集进行扩充，并根据扩充后的训练集对预设的瑕疵检测模型进行迭代更新。
第二方面，本申请提供一种透明包装袋瑕疵检测方法，包括如下步骤：
获取当前透明包装袋的投影图像以及投影参数；
对当前投影图像和预设的标准图像模板进行对比，判断图像是否一致，若图像不一致，则将当前投影图像记为异常图像；
对异常图像通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和投影参数，获取透明包装袋上瑕疵所在位置信息。
可选的，所述获取透明包装袋上瑕疵所在位置信息之后，包括：
获取透明包装袋的采集图像，并根据透明包装袋上瑕疵所在位置信息，获取原始校验图像；
将原始校验图像发送人工进行校验，并获取校验反馈结果；
根据校验反馈结果，对预设的瑕疵检测模型进行更新。
可选的，所述校验反馈结果包括瑕疵确认信息和瑕疵位置信息，所述根据校验反馈结果，对预设的瑕疵检测模型进行更新，包括：
根据瑕疵确认信息，对原始校验图像通过照明投影，获取对应的投影图像以及投影参数；
根据瑕疵位置信息，通过投影参数计算图像标注信息，并根据图像标注信息对获取的投影图像进行标注，以生成新增投影图像；
根据新增投影图像对预设训练集进行扩充，并根据扩充后的训练集对预设的瑕疵检测模型进行迭代更新。
第三方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行上述一种透明包装袋瑕疵检测方法的计算机程序。
综上所述，首先，通过以光束投影图像来替换扫描或拍摄图像进行瑕疵检测，通过简单的图像对比即可快速地确定透明包装袋是否存在瑕疵，然后只针对存在瑕疵的透明包装袋进行瑕疵定位，且无需考虑瑕疵的类别，既降低了模型的训练难度，同时也提高了透明包装袋的检测效率；另外，还对瑕疵的定位结果发送到人工进行校验，以人机结合的形式来确保瑕疵的结果可控；此外，还借助瑕疵检测的校验结果来对瑕疵检测模型进行更新，通过持续学习的方式不断提升瑕疵检测模型的准确率。
附图说明
图1是本申请实施例所提供的一种透明包装袋瑕疵检测系统的示意图；
图2是本申请实施例所提供的图像检测模块的示意图；
图3是本申请实施例所提供的瑕疵定位模块的示意图；
图4是本申请实施例所提供的瑕疵校验模块的示意图；
图5是本申请实施例所提供的模型更新模块的示意图；
图6是本申请实施例所提供的一种透明包装袋瑕疵检测方法的流程图。
具体实施方式
以下结合附图1-附图6，对本申请作进一步详细说明。
本申请提供一种透明包装袋瑕疵检测系统，参见图1，系统包括图像采集模块10、图像检测模块20以及瑕疵定位模块30。
其中，图像采集模块10用于获取照明灯光透过透明包装袋的投影图像，并获取当前投影参数。
图像检测模块20用于根据投影图像，通过预设的标准图像模板进行图像对比，并将对比结果不一致的投影图像记为异常图像。
瑕疵定位模块30用于根据异常图像,通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和当前投影参数，获取透明包装袋上瑕疵所在位置信息。
其中，投影图像是照明灯光等透过透明包装袋之后，投影到一个平面得到的图像，而投影参数则是投影区域与透明包装袋以及照明灯三者之间的距离，以及照明光束与透明包装袋所在平面的角度。
由于本申请提供透明包装袋瑕疵检测系统会应用在相应的装置或者设备中，这类设备一般会有指定放置区域，用来放置待检测的透明包装袋，透明包装袋以平铺的状态悬于两端，然后通过相应的传动机构对指定放置区域的透明包装袋进行传动检测，且在透明包装袋的下方设置有照明灯，在透明包装袋上方设有投影区域和图像采集设备，类似于摄像头，既可捕捉投影区域的投影图像，也可以对透明包装袋进行扫描或者拍摄得到原始的透明包装袋图像，照明灯开启后，光束透过透明包装袋会在上方的投影区域成像，通过图像采集设备即可获取到投影图像。
预设的标准图像模板表征的是没有任何瑕疵的透明包装袋经过照明投影得到的投影图像，预设的瑕疵检测模型是以目标检测模型为原型，以投影图像作为数据集，将所有的瑕疵类型归于一类，通过训练得到的目标检测模型。
由于当透明包装袋有瑕疵时，例如出现破损或者有异物等情形时，照明光束透过透明包装袋时，对比无瑕疵情形会产生一定的差异，通过捕捉这个差异即可判断透明包装袋是否存在瑕疵。
因此，在本申请实施例中，会以投影图像来作为主要检测手段对透明包装袋进行检测。
首先，会通过图像采集模块10来获取照明灯光透过透明包装袋的投影图像，并获取当前投影参数。
在本申请实施例中，对于透明包装袋进行检测可看作是一个流水线工程，对透明包装袋进行分批次或者分组进行检测，每完成一个批次的检测，会进入到下一批次，每一批次的透明包装袋可以是单个或者多个，可根据实际情况来设定，本申请不作具体限定。
值得说明的是，投影参数是可以进行调整的，但需要与预设的标准图像模板的生成保持一致，若需要对投影参数进行调整，相应地也需要针对新的投影参数，获取对应的标准图像模板。
在获取到投影图像之后，便会开始根据投影图像进行检测，即通过图像检测模块20根据投影图像，通过预设的标准图像模板进行图像对比，并将对比结果不一致的投影图像记为异常图像。
具体地，参见图2，图像检测模块20包括图像增强单元201、图像对比单元202以及异常提示单元203。
其中，图像增强单元201用于对获取的投影图像，通过预设图像预处理方式对投影图像进行增强。
图像对比单元202用于对增强后的投影图像，通过预设的标准图像模板进行对比，并获取图像对比结果。
异常提示单元203用于根据图像对比结果，通过预设标准来判断是否出现异常，若出现异常，则将当前的投影图像记为异常图像，并输出相应提示信息。
其中，图像预处理主要表示的是对图像进行缩放和图像均衡化处理等图像增强手段，并会设定相应的预处理参数。
在本申请实施例中，在获取到投影图像之后，首先会根据投影图像来判断是否存在瑕疵，但考虑到图像对比算法的图像输入大小，以及改善图像对比度问题，所以在进行图像对比之前，会先对投影图像进行图像预处理，即通过图像增强单元201对获取的投影图像，通过预设图像预处理方式对投影图像进行增强，当然对于标准图像模板也会以同样的图像预处理参数进行处理。
接着会通过图像对比单元202对增强后的投影图像，通过预设的标准图像模板进行对比，并获取图像对比结果，这里的图像对比即为常规的图像相似度对比，通过图像进行特征提取并转化为特征向量，即可计算出两者图像的相似度，而图像对比结果则会以相似度来进行衡量。
通过预设的相似度阈值，即可判断出两者图像是否一致，若两者图像对比结果不一致，即由当前透明包装袋得到的投影图像，与标准的投影图像有差异，也就说明当前透明包装袋存在瑕疵的可能性很大，这时，便会通过异常提示单元203将当前的投影图像记为异常图像，并输出相应提示信息，输出提示信息之后，会对当前处于检测状态的透明包装袋进行进一步确认，若确认出现瑕疵，则会由工作人员将有瑕疵的透明包装袋取下。
由于对透明包装袋的瑕疵检测，采取机器视觉的方式其目的是为了解放更多的人力并提高检测效率，但不可避免的是，机器视觉的方式仍会存在一定的误差率，所以为了对透明包装袋的检测提供一定的准确率保障，通常还会采用人工进行校验，即以人机结合的形式来完成检测工作，既提升了检测效率也增加了准确率保障，但为了将机器检测的作用最大化，所以在检测有瑕疵后还会检测出瑕疵的具体位置，然后对具体位置进行标识，再由人工来进行校验，如此人工的工作量降到了最低，同时对机器检测的准确率也进行了把关。
因此，在检测到透明包装袋出现瑕疵后，还会对瑕疵的具体位置进行检测，即通过瑕疵定位模块30根据异常图像,通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和当前投影参数，获取透明包装袋上瑕疵所在位置信息。
具体地，参见图3，瑕疵定位模块30包括目标检测单元301、目标筛选单元302以及定位计算单元303。
其中，目标检测单元301用于根据异常图像，通过预设的瑕疵检测模型进行检测，并获取检测结果。
目标筛选单元302用于选取置信度达到预设阈值的检测结果，并获取对应的目标位置信息。
定位计算单元303用于根据目标位置信息，获取瑕疵所在投影图像中的位置信息，并根据瑕疵在投影图像中的位置信息，通过当前的投影参数，计算出瑕疵在透明包装袋中的位置信息。
其中，检测结果包括目标位置信息和置信度，所谓目标位置信息相当于目标的预测区域，反映了瑕疵所在投影图像的位置以及大小；所谓置信度相当于一个概率，即认为预测目标属于瑕疵的概率，置信度越高，说明预测目标属于瑕疵的可能性也就越大。
上述中有提到预设的瑕疵检测模型是以目标检测模型为原型，以投影图像作为数据集，将所有的瑕疵类型归于一类，通过训练得到的目标检测模型，如此，相比于常规的对透明包装袋进行瑕疵检测的方式，不需要考虑瑕疵的类别，只需确定是否是瑕疵以及瑕疵所在图像位置即可，相当于将多分类问题变成了二分类问题，一定程度上也会提升透明包装袋的检测效率。
在本申请实施例中，获取到异常图像之后，会先通过目标检测单元301以异常图像作为输入，通过预设的瑕疵检测模型进行检测，并获取检测结果，由于检测结果中可能包含多个目标，所以还需要进行相应的筛选，即会通过目标筛选单元302选取置信度达到预设阈值的检测结果，并获取对应的目标位置信息，也就是认为只有置信度达到一定程度后，才会认可该目标为瑕疵目标。
值的说明的是，并不排除检测结果中没有检测到任何目标的情况，这种情况出现的原因可能是瑕疵检测模型的问题，也可能是确实没有瑕疵，也就是前面图像对比结果有误，不管是哪一种情况，都属于检测异常，这种情况下会将当前透明包装袋的关联检测数据，包括投影图像以及经过瑕疵检测模型得到的检测结果都存入到预设的数据库中，以便后续对整个检测手段进行调整和优化。
由于获取的目标位置信息表示的是瑕疵所在投影图像中的具体位置和大小，而人工校验的目标应该是透明包装袋经过拍摄或者扫描得到的图像，所以还需要进一步确认瑕疵在透明包装袋上的位置。
因此，在确定瑕疵目标，并获取其位置信息之后，还会通过定位计算单元303根据目标位置信息，获取瑕疵所在投影图像中的位置信息，并根据瑕疵在投影图像中的位置信息，通过当前的投影参数，计算出瑕疵在透明包装袋中的位置信息，这里需要说明的是，投影图像是有两个，一个是由透明包装袋通过照明直接得到的原始投影图像，另一个则是对原始投影图像进行预处理后的检测投影图像，所以这里的目标位置信息指的是瑕疵在检测投影图像中的位置，所以需要先通过预处理参数得到瑕疵在原始投影图像中的位置信息，然后再根据投影参数，即可计算得到瑕疵在透明包装袋中的位置信息。
上述中有提到对瑕疵进行定位的目的在于方便进行人工校验，另外，借助人工校验的结果，还可确认投影图像中瑕疵目标的有效性，以此来进行数据的扩充，从而可改善数据样本少，检测模型拟合度的问题。
因此，参见图1，本申请所提供的透明包装袋瑕疵检测系统还包括瑕疵校验模块40和模型更新模块50。
其中，瑕疵校验模块40用于根据透明包装袋上瑕疵所在位置信息，获取原始校验图像，并对原始校验图像发送人工进行校验，并获取校验反馈结果。
模型更新模块50用于根据校验反馈结果，对校验通过的原始校验图像通过照明投影和图像标注，以获取新增投影图像，并根据新增投影图像对预设的瑕疵检测模型进行更新。
在本申请实施例中，确认了瑕疵在透明包装袋中的位置信息之后，便可通过瑕疵校验模块40根据透明包装袋上瑕疵所在位置信息，获取原始校验图像，并对原始校验图像发送人工进行校验，并获取校验反馈结果。
具体地，参见图4，瑕疵校验模块40包括校验图像获取单元401和校验反馈单元402。
其中，校验图像获取单元401用于对透明包装袋进行图像采集，将采集的图像记为原始图像，并根据瑕疵所在位置信息从原始图像中截取局部原始图像，记为原始校验图像。
校验反馈单元402用于将原始校验图像发送人工进行校验，并获取校验反馈结果。
其中，校验反馈结果包括瑕疵确认信息和瑕疵位置信息。
在本申请实施例中，人工校验会以图像的形式来进行，将校验的图像发送到相应的员工校验端，而图像也就是需要校验的图像，既然是校验，那便是需要从源头出发，也就是从处于检测状态的透明包装袋入手，将透明包装袋以图像的形式来呈现，即通过校验图像获取单元401对透明包装袋进行图像采集，将采集的图像记为原始图像，这里的采集可理解为对透明包装袋通过相应的图像采集设备进行拍摄或者扫描，再结合瑕疵所在透明包装袋上的位置信息，可在采集到的原始图像中进行标识，也就是在原始图像中将瑕疵以矩形框的形式进行标识，然后根据标识的矩形框从原始图像中截取局部原始图像，当然在截取时方便以图像背景信息作为参照，会在矩形框的基础进行相应的扩充，然后以扩充后的矩形框来截取图像，最后截取到的局部原始图像便记为原始校验图像。
获取到原始校验图像之后，便会通过校验反馈单元402将原始校验图像发送人工进行校验，并获取校验反馈结果，对瑕疵的检测结果进行校验，原本就是人工检测的工作，只是不需要人工以视觉疲劳为代价逐一地在透明包装袋上进行排查搜寻，而是直接将目标放在了工作人员的面前，只需判断检测的是否正确即可。
所谓的校验反馈结果则是由相关工作人员来确认原始校验图像中标识出来的瑕疵是否正确，以及标识出来的区域是否正确，工作人员可直接在相应的员工校验端进行确认，对标识区域不正确的也可重新进行标识，并反馈给到检测端，检测端这个概念上述中并没有提到，其实就相当于整个检测系统所对应的服务端。
由于上述中有提到，对瑕疵检测结果进行校验，还可确认投影图像中瑕疵目标的有效性，即瑕疵的检测结果是可靠的，相当于人工标注的图像，并且还有人工重新标识的瑕疵，所以可以此来进行数据的扩充，从而可改善数据样本少，检测模型拟合度的问题。
因此，在本申请实施例中，在经过瑕疵校验模块40校验之后，还会通过模型更新模块50根据校验反馈结果，对校验通过的原始校验图像通过照明投影和图像标注，以获取新增投影图像，并根据新增投影图像对预设的瑕疵检测模型进行更新。
具体地，参见图5，模型更新模块50包括图像投影单元501、图像标注单元502以及模型更新单元503。
其中，图像投影单元501用于根据瑕疵确认信息，对原始校验图像通过照明投影，获取对应的投影图像以及投影参数。
图像标注单元502用于根据瑕疵位置信息，通过投影参数计算图像标注信息，并根据图像标注信息对获取的投影图像进行标注，以生成新增投影图像。
模型更新单元503用于根据新增投影图像对预设训练集进行扩充，并根据扩充后的训练集对预设的瑕疵检测模型进行迭代更新。
由于瑕疵检测模型是以投影图像来作为数据集，所以扩充的图像数据自然也是投影图像，而经过校验确认的图像原型是透明包装袋的拍摄或者扫描图像，所以还需要将原始校验图像转化为对应的投影图像。
因此，在本申请实施例中，在获取到校验反馈结果之后，首先会通过图像投影单元501根据瑕疵确认信息，对原始校验图像通过照明投影，获取对应的投影图像以及投影参数，即根据校验反馈结果中的瑕疵确认信息，获取由人工确认之后的原始校验图像，然后对原始校验图像通过照明投影手段可获取投影图像。
接着对获取的投影图像进行标注，也就是将瑕疵所在投影图像中位置进行标注，而瑕疵所在投影图像中的位置可根据瑕疵所在原始校验图像中的位置，即反馈结果中的瑕疵位置信息，通过投影参数来计算得到，即通过图像标注单元502根据瑕疵位置信息，通过投影参数计算图像标注信息，并根据图像标注信息对获取的投影图像进行标注，便可生成新增投影图像。
在获取到新增投影图像之后，便可通过模型更新单元503根据新增投影图像对预设训练集进行扩充，并根据扩充后的训练集对预设的瑕疵检测模型进行迭代更新，当然考虑到每次进行更新的成本损耗，可将新增的投影图像进行存储，当存储的量达到一定程度之后，再进行更新。
值得说明的是，对于模型更新这一块工作可在透明包装袋检测工作之外来进行，并不会影响检测工作的运行，而整个检测过程只需要检测是否有瑕疵，然后对有瑕疵的图像进一步检测，以获取瑕疵所在透明包装袋上的位置，然后转为校验图像由人工进行校验，经过校验确认有瑕疵的会记录下校验图像以作为模型更新素材，并将处于检测状态下的透明包装袋撤下，然后继续进行检测。
本申请实施例还提供了一种透明包装袋瑕疵检测方法，参见图6，包括如下步骤：
S100、获取当前透明包装袋的投影图像以及投影参数。
S200、对当前投影图像和预设的标准图像模板进行对比，判断图像是否一致，若图像不一致，则将当前投影图像记为异常图像。
S300、对异常图像通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和投影参数，获取透明包装袋上瑕疵所在位置信息。
首先，通过照明投影对当前处于检测状态的透明包装袋生成投影图像，同时记录下当前生成投影图像的参数，然后与预设的标准图像模板进行相似度对比，若相似度低于预设阈值，则认为当前投影图像与预设标准图像模板不一致，故会将当前投影图像记为异常图像。
接着对异常图像，通过预设的瑕疵检测模型进行检测，以确定瑕疵所在投影图像中的位置，若检测到有瑕疵，则会根据瑕疵所在投影图像中的位置，依据投影参数，计算并获取瑕疵所在透明包装袋上的位置信息。
在获取到瑕疵所在透明包装袋上的位置信息之后，还会进行校验，即将瑕疵所在透明包装袋的位置信息，以图像的形式呈现出来，并发送到人工校验端由关联工作人员进行校验。
所以，在本申请实施例中，获取透明包装袋上瑕疵所在位置信息之后，还包括如下步骤：
S410、获取透明包装袋的采集图像，并根据透明包装袋上瑕疵所在位置信息，获取原始校验图像。
S420、将原始校验图像发送人工进行校验，并获取校验反馈结果。
S430、根据校验反馈结果，对预设的瑕疵检测模型进行更新。
首先，可通过对透明包装袋进行拍摄或者扫描来生成原始图像，然后根据瑕疵所在透明包装袋上的位置，可在原始图像中对瑕疵所在位置信息进行标识，以作为原始校验图像。
接着将原始校验图像发送到人员校验端进行校验，由关联工作人员来确认原始校验图像中标识出来的瑕疵是否正确，以及标识出来的位置区域是否正确，工作人员可直接在相应的校验端进行确认，对应标识区域不正确的也可重新进行标识，当关联工作人员提交确认之后，便可收到反馈信息，即校验反馈结果，校验反馈结果中包括瑕疵确认信息和瑕疵位置信息。
通过校验反馈结果可以知道，瑕疵的检测结果是否可靠，对于可靠的瑕疵检测结果，相当于人工标注的数据样本，所以可用来对模型训练数据集进扩充，从而改善数据样本少，检测模型拟合度的问题。
因此，在获取到校验反馈结果之后，还会对预设的瑕疵检测模型进行更新。
具体地，根据校验反馈结果，对预设的瑕疵检测模型进行更新，包括如下步骤：
S431、根据瑕疵确认信息，对原始校验图像通过照明投影，获取对应的投影图像以及投影参数。
S432、根据瑕疵位置信息，通过投影参数计算图像标注信息，并根据图像标注信息对获取的投影图像进行标注，以生成新增投影图像。
S433、根据新增投影图像对预设训练集进行扩充，并根据扩充后的训练集对预设的瑕疵检测模型进行迭代更新。
由于瑕疵检测模型是以投影图像来作为数据集，所以扩充的图像数据自然也是投影图像，而经过校验确认的图像的原型是透明包装袋的拍摄或者扫描图像，所以还需要将原始校验图像转化为对应的投影图像。
因此，在获取到校验反馈结果之后，首先会根据校验反馈结果中的瑕疵确认信息，获取由人工确认之后的原始校验图像，然后对原始校验图像通过照明投影手段可获取投影图像。
接着对获取的投影图像进行标注，也就是将瑕疵所在投影图像中位置进行标注，可根据瑕疵位置信息，通过投影参数计算图像标注信息，再根据图像标注信息对获取的投影图像进行标注，如此便可得到标注后的投影图像，将其记为新增投影图像。
在获取到新增投影图像之后，便可根据新增投影图像对预设训练集进行扩充，当新增的投影图像累计达到一定程度之后，并可将新增的投影图像添加到预设的样本训练集中，以当前预设的瑕疵检测模型作为预训练模型，在此基础上进行迭代更新，以生成新的更新后的检测模型，通过这种持续学习的方式，可不断提升检测模型的准确率。
本申请实施例还提供一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种透明包装袋瑕疵检测方法的计算机程序。
本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种透明包装袋瑕疵检测系统，其特征在于，所述系统包括图像采集模块、图像检测模块以及瑕疵定位模块；
所述图像采集模块用于获取照明灯光透过透明包装袋的投影图像，并获取当前投影参数；
所述图像检测模块用于根据投影图像，通过预设的标准图像模板进行图像对比，并将对比结果不一致的投影图像记为异常图像；
所述瑕疵定位模块用于根据异常图像,通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和当前投影参数，获取透明包装袋上瑕疵所在位置信息。
2.根据权利要求1所述的一种透明包装袋瑕疵检测系统，其特征在于，所述图像检测模块包括图像增强单元、图像对比单元以及异常提示单元；
所述图像增强单元用于对获取的投影图像，通过预设图像预处理方式对投影图像进行增强；
所述图像对比单元用于对增强后的投影图像，通过预设的标准图像模板进行对比，并获取图像对比结果；
所述异常提示单元用于根据图像对比结果，通过预设标准来判断是否出现异常，若出现异常，则将当前的投影图像记为异常图像，并输出相应提示信息。
3.根据权利要求1所述的一种透明包装袋瑕疵检测系统，其特征在于，所述瑕疵定位模块包括目标检测单元、目标筛选单元以及定位计算单元；
所述目标检测单元用于根据异常图像，通过预设的瑕疵检测模型进行检测，并获取检测结果，所述检测结果包括目标位置信息和置信度；
所述目标筛选单元用于选取置信度达到预设阈值的检测结果，并获取对应的目标位置信息；
所述定位计算单元用于根据目标位置信息，获取瑕疵所在投影图像中的位置信息，并根据瑕疵在投影图像中的位置信息，通过当前的投影参数，计算出瑕疵在透明包装袋中的位置信息。
4.根据权利要求1所述的一种透明包装袋瑕疵检测系统，其特征在于，所述系统还包括瑕疵校验模块和模型更新模块；
所述瑕疵校验模块用于根据透明包装袋上瑕疵所在位置信息，获取原始校验图像，并对原始校验图像发送人工进行校验，并获取校验反馈结果；
所述模型更新模块用于根据校验反馈结果，对校验通过的原始校验图像通过照明投影和图像标注，以获取新增投影图像，并根据新增投影图像对预设的瑕疵检测模型进行更新。
5.根据权利要求4所述的一种透明包装袋瑕疵检测系统，其特征在于，所述瑕疵校验模块包括校验图像获取单元和校验反馈单元；
所述校验图像获取单元用于对透明包装袋进行图像采集，将采集的图像记为原始图像，并根据瑕疵所在位置信息从原始图像中截取局部原始图像，记为原始校验图像；
所述校验反馈单元用于将原始校验图像发送人工进行校验，并获取校验反馈结果。
6.根据权利要求4所述的一种透明包装袋瑕疵检测系统，其特征在于，所述校验反馈结果包括瑕疵确认信息和瑕疵位置信息，所述模型更新模块包括图像投影单元、图像标注单元以及模型更新单元；
所述图像投影单元用于根据瑕疵确认信息，对原始校验图像通过照明投影，获取对应的投影图像以及投影参数；
所述图像标注单元用于根据瑕疵位置信息，通过投影参数计算图像标注信息，并根据图像标注信息对获取的投影图像进行标注，以生成新增投影图像；
所述模型更新单元用于根据新增投影图像对预设训练集进行扩充，并根据扩充后的训练集对预设的瑕疵检测模型进行迭代更新。
7.一种透明包装袋瑕疵检测方法，其特征在于，包括：
获取当前透明包装袋的投影图像以及投影参数；
对当前投影图像和预设的标准图像模板进行对比，判断图像是否一致，若图像不一致，则将当前投影图像记为异常图像；
对异常图像通过预设的瑕疵检测模型进行检测，以获取检测结果，并根据检测结果和投影参数，获取透明包装袋上瑕疵所在位置信息。
8.根据权利要求7所述的一种透明包装袋瑕疵检测方法，其特征在于，所述获取透明包装袋上瑕疵所在位置信息之后，包括：
获取透明包装袋的采集图像，并根据透明包装袋上瑕疵所在位置信息，获取原始校验图像；
将原始校验图像发送人工进行校验，并获取校验反馈结果；
根据校验反馈结果，对预设的瑕疵检测模型进行更新。
9.根据权利要求8所述的一种透明包装袋瑕疵检测方法，其特征在于，所述校验反馈结果包括瑕疵确认信息和瑕疵位置信息，所述根据校验反馈结果，对预设的瑕疵检测模型进行更新，包括：
根据瑕疵确认信息，对原始校验图像通过照明投影，获取对应的投影图像以及投影参数；
根据瑕疵位置信息，通过投影参数计算图像标注信息，并根据图像标注信息对获取的投影图像进行标注，以生成新增投影图像；
根据新增投影图像对预设训练集进行扩充，并根据扩充后的训练集对预设的瑕疵检测模型进行迭代更新。
10.一种计算机可读存储介质，存储有能够被处理器加载并执行如权利要求7至9任一项所述的一种透明包装袋瑕疵检测方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311548070.6A CN117589771A (zh) | 2023-11-20 | 2023-11-20 | 一种透明包装袋瑕疵检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311548070.6A CN117589771A (zh) | 2023-11-20 | 2023-11-20 | 一种透明包装袋瑕疵检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117589771A true CN117589771A (zh) | 2024-02-23 |
Family
ID=89909314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311548070.6A Pending CN117589771A (zh) | 2023-11-20 | 2023-11-20 | 一种透明包装袋瑕疵检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117589771A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1144652A (ja) * | 1997-07-25 | 1999-02-16 | Toshiba Lighting & Technol Corp | ガラス傷検査方法およびその装置、ランプ製造装置 |
| CN108603847A (zh) * | 2016-02-05 | 2018-09-28 | 东丽株式会社 | 片状物的检查装置及片状物的检查方法 |
| CN111680750A (zh) * | 2020-06-09 | 2020-09-18 | 创新奇智(合肥)科技有限公司 | 图像识别方法、装置和设备 |
| CN212808016U (zh) * | 2020-08-07 | 2021-03-26 | 当纳利(成都)印刷有限公司 | 一种基于机器视觉的透明包装袋标识检测报警系统 |
| CN217970222U (zh) * | 2022-07-15 | 2022-12-06 | 天津科技大学 | 用于视觉检测的包装袋封口展平装置 |
| CN116579984A (zh) * | 2023-04-10 | 2023-08-11 | 图南益(杭州)智能科技有限公司 | 一种疵点自主学习的智能验布方法及系统 |
-
2023
- 2023-11-20 CN CN202311548070.6A patent/CN117589771A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1144652A (ja) * | 1997-07-25 | 1999-02-16 | Toshiba Lighting & Technol Corp | ガラス傷検査方法およびその装置、ランプ製造装置 |
| CN108603847A (zh) * | 2016-02-05 | 2018-09-28 | 东丽株式会社 | 片状物的检查装置及片状物的检查方法 |
| CN111680750A (zh) * | 2020-06-09 | 2020-09-18 | 创新奇智(合肥)科技有限公司 | 图像识别方法、装置和设备 |
| CN212808016U (zh) * | 2020-08-07 | 2021-03-26 | 当纳利(成都)印刷有限公司 | 一种基于机器视觉的透明包装袋标识检测报警系统 |
| CN217970222U (zh) * | 2022-07-15 | 2022-12-06 | 天津科技大学 | 用于视觉检测的包装袋封口展平装置 |
| CN116579984A (zh) * | 2023-04-10 | 2023-08-11 | 图南益(杭州)智能科技有限公司 | 一种疵点自主学习的智能验布方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733721B2 (en) | Automated material characterization system including conditional generative adversarial networks | |
| CN111091538A (zh) | 一种管道焊缝自动识别、缺陷检测方法及装置 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN114399672A (zh) | 一种基于深度学习的铁路货车闸瓦故障检测方法 | |
| WO2020038138A1 (zh) | 样本标注方法及装置、损伤类别的识别方法及装置 | |
| CN110118777A (zh) | 一种控制系统系统集成智能检验台 | |
| KR101705347B1 (ko) | 무기 시스템 점검 장치 및 방법 | |
| CN113758932A (zh) | 一种基于深度学习的锂电池膈膜缺陷视觉系统 | |
| CN110738630A (zh) | 递归性深度学习系统的训练方法与检测系统 | |
| KR20230013206A (ko) | 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 | |
| CN110728269B (zh) | 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法 | |
| CN111353611A (zh) | 一种核电站在役检查大修检验报告自动生成系统及方法 | |
| CN117237925B (zh) | 一种基于计算机视觉的智慧道路病害巡检方法及系统 | |
| CN116596889A (zh) | 基于深度学习的x射线工业检测缺陷识别方法及系统 | |
| CN110084807B (zh) | 一种焊缝探伤底片图像造假的检测方法 | |
| CN114596309A (zh) | 焊缝缺陷的检测、模型训练方法、系统、设备和存储介质 | |
| CN114511543A (zh) | 一种长输管道射线底片智能缺欠评定系统及方法 | |
| CN113191362B (zh) | 一种变电设备油渗漏缺陷检测装置及方法 | |
| JP4981433B2 (ja) | 検査装置、検査方法、検査プログラムおよび検査システム | |
| CN117589771A (zh) | 一种透明包装袋瑕疵检测系统及方法 | |
| TW202219494A (zh) | 缺陷檢測方法及檢測裝置 | |
| CN116976722A (zh) | 一种基于大数据的智能施工验收系统 | |
| CN111738991A (zh) | 一种焊缝缺陷的数字射线检测模型的创建方法 | |
| Kim et al. | Automatic detection of malfunctioning photovoltaic modules using unmanned aerial vehicle thermal infrared images | |
| CN116152153A (zh) | 用于自动化缺陷检测的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |