CN113362305A - 基于人工智能的烟箱缺条混牌检测系统及方法 - Google Patents
基于人工智能的烟箱缺条混牌检测系统及方法 Download PDFInfo
- Publication number
- CN113362305A CN113362305A CN202110629152.8A CN202110629152A CN113362305A CN 113362305 A CN113362305 A CN 113362305A CN 202110629152 A CN202110629152 A CN 202110629152A CN 113362305 A CN113362305 A CN 113362305A
- Authority
- CN
- China
- Prior art keywords
- detection
- training
- smoke box
- missing
- brand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 276
- 239000000779 smoke Substances 0.000 title claims abstract description 112
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 142
- 230000002950 deficient Effects 0.000 claims abstract description 75
- 235000019504 cigarettes Nutrition 0.000 claims abstract description 61
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000012216 screening Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 12
- 230000007547 defect Effects 0.000 description 9
- 238000004806 packaging method and process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 241000208125 Nicotiana Species 0.000 description 5
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 235000019505 tobacco product Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能的烟箱缺条混牌检测系统及方法,所述系统包括:训练图像采集模块,用于采集待训练图像,得到训练集;训练模块,用于利用训练集中的有缺陷数据集和无缺陷数据集对卷积神经网络进行训练,得到烟箱检测模型;检测图像采集模块,用于实时采集检测图像;检测模块,用于利用训练好的烟箱检测模型,对检测图像进行检测,以得到检测结果。本发明的基于人工智能的烟箱缺条混牌检测系统,基于检测图像和训练好的烟箱检测模型,自动直接获得检测结果,只需分别采集有缺陷图像和无缺陷图像,通过卷积神经网络进行自动特征提取,即可生成拥有判断能力的烟箱检测模型,无需人为进行干预。
Description
技术领域
本发明涉及烟草制品生产技术领域,尤其涉及一种基于人工智能的烟箱缺条混牌检测系统及方法。
背景技术
近年来随着科技的不断发展,烟草制造行业对产品的外包装质量要求也越来越严格。卷烟外包装的质量问题,不仅会对卷烟产品的运输、存储、销售产生不良影响,还会造成企业形象的受损,最终影响企业的长期发展。因此烟草制造企业要做到产品内在品质和外在包装的两手抓。卷烟包装机将烟支最终包装成上市的卷烟产品需要多个工序环节,无论是对烟支空头检测、烟包外观检测、喷码检测、烟条外观检测还是对烟箱外观检测都提出了新的挑战。
在多个包装检测环节中,装封箱机条烟封装也是其中的重要一环,按照工艺质量要求,需要对烟箱中缺条、混牌、烟条上下倒置、烟箱外观缺陷、封口胶带缺失和破损等关键质量缺陷进行重点检测。最初对这些质量缺陷的检测主要通过人工完成,人工检测效率低还需要占用大量的人力,并且带有人的主观性。后来随着机器视觉的发展,出现了替代人工的基于传统图像处理的机器视觉检测产品,效率得到了很大提高。但是由于是基于传统图像处理的方法,需要设定大量检测框和检测阈值。当光照等外部条件发生变化时,鲁棒性较差,容易造成大量误检。当出现误检时,还需要操作工、工艺员对检测框和检测项目的参数和阈值进行人工调整,仍然会对检测效率造成影响。
因此,亟需一种基于人工智能的烟箱缺条混牌检测系统及方法。
发明内容
本发明的目的是提供一种基于人工智能的烟箱缺条混牌检测系统及方法,以解决上述现有技术中的问题,基于检测图像和训练好的烟箱检测模型,自动直接获得检测结果,无需人为进行干预。
本发明提供了一种基于人工智能的烟箱缺条混牌检测系统,其中,包括:
训练图像采集模块,用于采集用于进行网络模型训练的待训练图像,得到训练集;
训练模块,用于对各所述待训练图像进行筛选,以将所述训练集划分为有缺陷数据集和无缺陷数据集,并利用所述有缺陷数据集和所述无缺陷数据集对卷积神经网络进行训练,得到烟箱检测模型;
检测图像采集模块,用于实时采集用于进行烟箱缺条混牌检测的检测图像;
检测模块,用于利用训练好的所述烟箱检测模型,对所述检测图像进行检测,以得到检测结果。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述训练模块部署在训练服务器上,所述检测模块部署在烟箱缺条混牌检测机台对应的工控机上,所述训练服务器和所述烟箱缺条混牌检测机台通过局域网进行连接,并且一个所述训练服务器对应于多个所述烟箱缺条混牌检测机台所对应的所述工控机。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述训练服务器中设置有图形处理器。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述训练模块包括筛选单元、第一图像预处理单元、第一矩阵转换单元和训练单元,其中:
所述筛选单元用于按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号对各所述待训练图像进行分类,并将分类好的所述训练集划分为有缺陷数据集和无缺陷数据集;
所述第一图像预处理单元用于对分类好的所述有缺陷数据集和所述无缺陷数据集中的所述待训练图像进行预处理;
所述第一矩阵转换单元将预处理的所述有缺陷数据集转换为有缺陷训练矩阵数组信息,并将预处理的所述无缺陷数据集转换为无缺陷训练矩阵数组信息;
所述训练单元用于将所述有缺陷训练矩阵数组信息和所述无缺陷训练矩阵数组信息通过所述卷积神经网络进行多轮前向传播和多轮反向传播,得到参数自适应的所述烟箱检测模型。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述训练模块还包括第一数据存储单元,用于将从所述训练图像采集模块接收的所述检测图像按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号,分别存储到所述训练服务器的不同文件夹中,其中,每个所述文件夹中存储有对应的所述有缺陷数据集和所述无缺陷数据集;
所述训练单元具体用于:按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号对存储到所述训练服务器的不同文件夹中的所述检测图像进行训练,得到不同的所述烟箱检测模型;
所述局域网用于将所述训练图像采集模块所采集的所述待训练图像分类传输到所述训练服务器中,还用于根据不同的烟箱缺条混牌检测机台所对应的工控机的IP地址,将所述训练单元得到的各所述烟箱检测模型发送到对应的工控机中进行存储。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述检测模块包括第二图像预处理单元、第二矩阵转换单元、烟箱检测模型加载单元和烟箱检测单元,其中:
所述第二图像预处理单元用于对所述检测图像采集模块所采集的所述检测图像进行预处理;
所述第二矩阵转换单元用于将预处理的所述检测图像转换为检测矩阵信息;
所述烟箱检测模型加载单元用于按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号,对存储到对应的烟箱缺条混牌检测机台所对应的工控机中的所述烟箱检测模型进行加载;
所述烟箱检测单元用于利用加载的所述烟箱检测模型对所述检测矩阵信息进行一次前向传播,得到检测结果。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述检测结果包括是否存在缺条、和/或混牌、和/或烟条倒置的状况。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述基于人工智能的烟箱缺条混牌检测系统还包括与所述检测模块连接的下位机,用于接收所述检测模块发出的检测结果。
如上所述的基于人工智能的烟箱缺条混牌检测系统,其中,优选的是,所述基于人工智能的烟箱缺条混牌检测系统还包括与所述下位机连接的报警器和人机界面,其中:
所述报警器用于在检测结果异常时,输出报警信号;
所述人机界面用于在检测结果异常时,显示报警信息。
本发明还提供一种利用上述系统的基于人工智能的烟箱缺条混牌检测方法,包括:
采集用于进行网络模型训练的待训练图像,得到训练集;
对各所述待训练图像进行筛选,以将所述训练集划分为有缺陷数据集和无缺陷数据集,并利用所述有缺陷数据集和所述无缺陷数据集对卷积神经网络进行训练,得到烟箱检测模型;
实时采集用于进行烟箱缺条混牌检测的检测图像;
利用训练好的所述烟箱检测模型,对所述检测图像进行检测,以得到检测结果。
本发明提供一种基于人工智能的烟箱缺条混牌检测系统及方法,基于检测图像和训练好的烟箱检测模型,自动直接获得检测结果,在新部署或设置新品牌时无需进行复杂的配置,只需分别采集有缺陷图像和无缺陷图像,通过卷积神经网络进行自动特征提取,即可生成拥有判断能力的烟箱检测模型,无需人为进行干预;而且,在外部环境产生变化时,训练模块会根据训练集自动调整网络参数,达到最佳配置,减少误剔,后期无需人工干预,由此可以解决传统图像处理方法中由于误检率高和漏检率高而需要人为进行调整的弊端。
附图说明
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步描述,其中:
图1为本发明提供的基于人工智能的烟箱缺条混牌检测系统的实施例的结构框图;
图2为本发明提供的基于人工智能的烟箱缺条混牌检测系统的实施例的工作原理图;
图3为本发明提供的基于人工智能的烟箱缺条混牌检测系统的实施例的局域网传输示意图;
图4为本发明提供的基于人工智能的烟箱缺条混牌检测方法的实施例的流程图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现,不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整,并且向本领域技术人员充分表达本公开的范围。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的,而不是作为限制。
本公开中使用的“第一”、“第二”:以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。“上”、“下”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
在本公开中,当描述到特定部件位于第一部件和第二部件之间时,在该特定部件与第一部件或第二部件之间可以存在居间部件,也可以不存在居间部件。当描述到特定部件连接其它部件时,该特定部件可以与所述其它部件直接连接而不具有居间部件,也可以不与所述其它部件直接连接而具有居间部件。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
近年来,随着GPU(Graphics Processing Unit,图形处理器)等硬件的快速发展,人工智能崛起,机器学习、深度学习开始被引入机器人、监控、无人驾驶等各个领域并得到了广泛的应用。发明人针对现有技术中采用传统图像处理的方法进行烟箱缺条混牌检测时的鲁棒性差、检测效率的问题,提供了基于人工智能的烟箱缺条混牌检测系统,该系统能够对烟箱中缺条、混牌、烟条上下倒置等缺陷进行检测。此检测系统检测精度高、稳定性强、对光照等外部变化具有鲁棒性。
如图1所示,本发明实施例提供了一种基于人工智能的烟箱缺条混牌检测系统,其包括:
训练图像采集模块1,用于采集用于进行网络模型训练的待训练图像,得到训练集;
训练模块2,用于对各所述待训练图像进行筛选,以将所述训练集划分为有缺陷数据集和无缺陷数据集,并利用所述有缺陷数据集和所述无缺陷数据集对卷积神经网络进行训练,得到烟箱检测模型;
检测图像采集模块3,用于实时采集用于进行烟箱缺条混牌检测的检测图像;
检测模块4,用于利用训练好的所述烟箱检测模型,对所述检测图像进行检测,以得到检测结果。
其中,所述卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,其由输入层、卷积层、激活函数、池化层、全连接层和输出层组成;所述卷积神经网络能够通过多层结构提取图像的深层信息,并通过反向传播不断调整卷积神经网络中的参数,达到参数的自适应。本发明通过卷积神经网络提取待训练图像中的全信息,不仅可以把传统图像处理方法获取的检测点全部检测到,而且能提取待训练图像中的所有特征,进行网络化对比分析,从而找出不合格的图像。
进一步地,所述训练模块2部署在训练服务器上,这样不会影响检测模块4的正常检测。所述检测模块4部署在烟箱缺条混牌检测机台对应的工控机上,所述训练服务器和所述烟箱缺条混牌检测机台通过局域网进行连接,局域网可以不连通外部网络,只在训练服务器和烟箱缺条混牌检测机台对应的工控机之间进行网络连接,这样可以不影响检测模块4的实时检测,并且保证训练模块2的训练过程和检测模块4的检测过程可以同时进行。进一步地,在局域网内通过FTP(File Transfer Protocol,文件传输协议)进行文件的传输。进一步地,如图3所示,一个所述训练服务器对应于多个所述烟箱缺条混牌检测机台所对应的所述工控机,即训练服务器作为检测系统的中心和每个烟箱缺条混牌检测机台对应的工控机以一对多方式进行连接,同时,训练服务器会根据每台工控机的IP地址对各个工控机进行区分。
更进一步地,所述训练服务器中设置有图形处理器,能够对训练模块2的训练过程进行加速,当出现新的品牌时可以及时训练出烟箱检测模型,缩短训练时间,达到实时训练、实时部署的效果。
进一步地,在本发明中,训练图像采集模块1和检测图像采集模块3的图像采集功能可以通过烟箱缺条混牌检测机台上的相机实现,所述训练图像采集模块1所采集的待训练图像图像通过FTP协议从烟箱缺条混牌检测机台端传送到训练服务器。
所述训练模块2包括筛选单元、第一图像预处理单元、第一矩阵转换单元和训练单元,其中:
所述筛选单元用于按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号对各所述待训练图像进行分类,并将分类好的所述训练集划分为有缺陷数据集和无缺陷数据集;
所述第一图像预处理单元用于对分类好的所述有缺陷数据集和所述无缺陷数据集中的所述待训练图像进行预处理;
所述第一矩阵转换单元将预处理的所述有缺陷数据集转换为有缺陷训练矩阵数组信息,并将预处理的所述无缺陷数据集转换为无缺陷训练矩阵数组信息;
所述训练单元用于将所述有缺陷训练矩阵数组信息和所述无缺陷训练矩阵数组信息通过所述卷积神经网络进行多轮前向传播和多轮反向传播,得到参数自适应的所述烟箱检测模型。
其中,有缺陷数据集中的待训练图像是缺条、混牌、烟条上下倒置的图像。无缺陷数据集的待训练图像是没有缺条、混牌、烟条上下倒置的图像。作为一个示例而非限定,有缺陷数据集中的待训练图像的数量为100,有无缺陷数据集中的待训练图像的数量为300。
所述第一图像预处理单元的预处理过程包括图像增强、图像尺寸变化、图像归一化等。具体而言,图像增强包括中心裁剪、随机裁剪、随机长宽比裁剪、随机水平翻转、随机垂直翻转、随机旋转等,通过图像增强处理,可以丰富样本,有利于模型训练。图像尺寸变化主要包括将每张图像统一变为小图(45*45),以便于放入卷积神经网络中进行训练。图像归一化主要包括将图像中的每个像素值减去均值再除以方差,在归一化操作后,所有像素值都会落在[-1,1]之间,在卷积神经网络的反向传播训练过程中,可以加快梯度收敛的速度。
由此可见,所述筛选单元具有选择机台、品牌、相机号的功能,所述筛选单元能够筛选具体到其中一个烟箱缺条混牌检测机台的待训练图像,将训练集筛选为有缺陷数据集和无缺陷数据集。所述筛选单元在筛选完成后,为每个待训练图像打上正样本标签或者负样本标签,将打上正样本标签的待训练图像分到无缺陷数据集中,将打上负样本标签的待训练图像分到有缺陷数据集中。
所述训练模块2的训练过程是将筛选好的训练集转化为矩阵数组,即将多张待训练图像组成一个组,拼接为多维矩阵,并通过卷积神经网络进行多轮前向传播和反向传播,最终得到参数自适应的烟箱检测模型。
所述训练模块2还包括第一数据存储单元,用于将从所述训练图像采集模块接收的所述检测图像按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号,分别存储到所述训练服务器的不同文件夹中,其中,每个所述文件夹中存储有对应的所述有缺陷数据集和所述无缺陷数据集;
所述训练单元具体用于:按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号对存储到所述训练服务器的不同文件夹中的所述检测图像进行训练,得到不同的所述烟箱检测模型;
所述局域网用于将所述训练图像采集模块2所采集的所述待训练图像分类传输到所述训练服务器中,还用于根据不同的烟箱缺条混牌检测机台所对应的工控机的IP地址,将所述训练单元得到的各所述烟箱检测模型发送到对应的工控机中进行存储,以便检测模块4对其进行调用。
其中,所述待训练图像和训练好的烟箱检测模型根据机台号、品牌、相机号进行分类传输。具体而言,每个烟箱缺条混牌检测机台都向训练服务器端传送采集到的待训练图像;并且每个所述烟箱缺条混牌检测机台的待训练图像需要按照品牌和相机进行分类传输。所述训练好的烟箱检测模型由训练模块2通过局域网传输到检测模块4;所述烟箱检测模型根据烟箱缺条混牌检测机台对应的工控机的IP地址进行划分,分别传输给相应的工控机。
由此可见,每台烟箱缺条混牌检测机台对应的工控机中的训练图像采集模块2在采集完待训练图像后都会传送给训练服务器,和待训练图像一起传输的是工控机的机台号、待训练的品牌名称和相机号。训练单元会根据机台号、品牌、相机号,分别利用对应的训练集对卷积神经网络进行训练,并得到不同的烟箱检测模型。烟箱检测模型训练好后根据IP地址,通过局域网发送到相对应的工控机上。与各工控机对应的检测模块4只需更新下烟箱检测模型就可以对新训练的品牌图像进行检测,并向下位机输出检测结果。整个系统结构简洁有效,训练效率高,传输速度快。
所述训练单元在具体实现中,需要先设置训练参数,例如学习率、训练轮数等,然后启动训练。通过多轮卷积神经网络的前向传播和反向传播训练出烟箱检测模型,其中,烟箱检测模型中包括卷积神经网络的结构和参数。在本发明中,通过训练模块2对训练集中的待训练图像进行训练,得到烟箱检测模型的模型参数,检测效率高,无需人工再对检测框和检测参数进行调整,并且检测速度能满足包装机的检测要求。
所述检测模块4包括第二图像预处理单元、第二矩阵转换单元、烟箱检测模型加载单元和烟箱检测单元,其中:
所述第二图像预处理单元用于对所述检测图像采集模块所采集的所述检测图像进行预处理;
所述第二矩阵转换单元用于将预处理的所述检测图像转换为检测矩阵信息;
所述烟箱检测模型加载单元用于按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号,对存储到对应的烟箱缺条混牌检测机台所对应的工控机中的所述烟箱检测模型进行加载;
所述烟箱检测单元用于利用加载的所述烟箱检测模型对所述检测矩阵信息进行一次前向传播,得到检测结果。
其中,所述第二图像预处理单元的预处理过程包括图像增强、图像尺寸变化、图像归一化等。所述检测结果包括是否存在缺条、和/或混牌、和/或烟条倒置的状况。
由此可见,所述检测模块4的功能主要包括对检测图像进行预处理、加载训练好的烟箱检测模型进行检测、输出检测结果。所述烟箱检测模型加载单元的加载烟箱检测模型是加载训练好的烟箱检测模型的模型结构和模型参数。所述烟箱检测单元的检测过程是将采集到的检测图像经过预处理后转化为矩阵信息,通过加载好的烟箱检测模型进行一次前向传播得到检测结果,即是否存在缺条、混牌或者烟条倒置的状况。
进一步地,所述检测模块4还包括第二数据存储单元,用于对每个所述检测图像和对应的检测结果进行实时保存,这样方便后期进行复查和记录。
所述基于人工智能的烟箱缺条混牌检测系统还包括与所述检测模块4连接的下位机,用于接收所述检测模块4发出的检测结果。
所述基于人工智能的烟箱缺条混牌检测系统还包括与所述下位机连接的报警器和人机界面,其中:
所述报警器用于在检测结果异常时,输出报警信号;
所述人机界面用于在检测结果异常时,显示报警信息。
在本发明中,检测模块4实时显示检测结果,当出现缺条、混牌、烟条上下倒置等情况时通知下位机,由下位机驱动报警器进行报警。本发明在一种实现方式中,所述检测模块4输出检测结果的过程是将多台相机的检测结果合并后传输到下位机,由下位机驱动报警器进行报警,并且将报警信息展示到人机界面上。
本发明实施例提供的基于人工智能的烟箱缺条混牌检测系统,基于检测图像和训练好的烟箱检测模型,自动直接获得检测结果,在新部署或设置新品牌时无需进行复杂的配置,只需分别采集有缺陷图像和无缺陷图像,通过卷积神经网络进行自动特征提取,即可生成拥有判断能力的烟箱检测模型,无需人为进行干预;而且,在外部环境产生变化时,训练模块会根据训练集自动调整网络参数,达到最佳配置,减少误剔,后期无需人工干预,由此可以解决传统图像处理方法中由于误检率高和漏检率高而需要人为进行调整的弊端。
相应地,如图4所示,本发明还提供一种基于人工智能的烟箱缺条混牌检测方法,在实际执行过程中,具体包括如下步骤:
步骤S1、采集用于进行网络模型训练的待训练图像,得到训练集;
步骤S2、对各所述待训练图像进行筛选,以将所述训练集划分为有缺陷数据集和无缺陷数据集,并利用所述有缺陷数据集和所述无缺陷数据集对卷积神经网络进行训练,得到烟箱检测模型;
步骤S3、实时采集用于进行烟箱缺条混牌检测的检测图像;
步骤S4、利用训练好的所述烟箱检测模型,对所述检测图像进行检测,以得到检测结果。
本发明实施例提供的基于人工智能的烟箱缺条混牌检测方法,基于检测图像和训练好的烟箱检测模型,自动直接获得检测结果,在新部署或设置新品牌时无需进行复杂的配置,只需分别采集有缺陷图像和无缺陷图像,通过卷积神经网络进行自动特征提取,即可生成拥有判断能力的烟箱检测模型,无需人为进行干预;而且,在外部环境产生变化时,训练模块会根据训练集自动调整网络参数,达到最佳配置,减少误剔,后期无需人工干预,由此可以解决传统图像处理方法中由于误检率高和漏检率高而需要人为进行调整的弊端。
应理解以上图1所示的基于人工智能的烟箱缺条混牌检测系统的各个部件的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分部件以软件通过处理元件调用的形式实现,部分部件通过硬件的形式实现。例如,某个上述模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
至此,已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。
Claims (10)
1.一种基于人工智能的烟箱缺条混牌检测系统,其特征在于,包括:
训练图像采集模块,用于采集用于进行网络模型训练的待训练图像,得到训练集;
训练模块,用于对各所述待训练图像进行筛选,以将所述训练集划分为有缺陷数据集和无缺陷数据集,并利用所述有缺陷数据集和所述无缺陷数据集对卷积神经网络进行训练,得到烟箱检测模型;
检测图像采集模块,用于实时采集用于进行烟箱缺条混牌检测的检测图像;
检测模块,用于利用训练好的所述烟箱检测模型,对所述检测图像进行检测,以得到检测结果。
2.根据权利要求1所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述训练模块部署在训练服务器上,所述检测模块部署在烟箱缺条混牌检测机台对应的工控机上,所述训练服务器和所述烟箱缺条混牌检测机台通过局域网进行连接,并且一个所述训练服务器对应于多个所述烟箱缺条混牌检测机台所对应的所述工控机。
3.根据权利要求2所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述训练服务器中设置有图形处理器。
4.根据权利要求2所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述训练模块包括筛选单元、第一图像预处理单元、第一矩阵转换单元和训练单元,其中:
所述筛选单元用于按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号对各所述待训练图像进行分类,并将分类好的所述训练集划分为有缺陷数据集和无缺陷数据集;
所述第一图像预处理单元用于对分类好的所述有缺陷数据集和所述无缺陷数据集中的所述待训练图像进行预处理;
所述第一矩阵转换单元将预处理的所述有缺陷数据集转换为有缺陷训练矩阵数组信息,并将预处理的所述无缺陷数据集转换为无缺陷训练矩阵数组信息;
所述训练单元用于将所述有缺陷训练矩阵数组信息和所述无缺陷训练矩阵数组信息通过所述卷积神经网络进行多轮前向传播和多轮反向传播,得到参数自适应的所述烟箱检测模型。
5.根据权利要求4所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述训练模块还包括第一数据存储单元,用于将从所述训练图像采集模块接收的所述检测图像按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号,分别存储到所述训练服务器的不同文件夹中,其中,每个所述文件夹中存储有对应的所述有缺陷数据集和所述无缺陷数据集;
所述训练单元具体用于:按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号对存储到所述训练服务器的不同文件夹中的所述检测图像进行训练,得到不同的所述烟箱检测模型;
所述局域网用于将所述训练图像采集模块所采集的所述待训练图像分类传输到所述训练服务器中,还用于根据不同的烟箱缺条混牌检测机台所对应的工控机的IP地址,将所述训练单元得到的各所述烟箱检测模型发送到对应的工控机中进行存储。
6.根据权利要求5所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述检测模块包括第二图像预处理单元、第二矩阵转换单元、烟箱检测模型加载单元和烟箱检测单元,其中:
所述第二图像预处理单元用于对所述检测图像采集模块所采集的所述检测图像进行预处理;
所述第二矩阵转换单元用于将预处理的所述检测图像转换为检测矩阵信息;
所述烟箱检测模型加载单元用于按照烟箱缺条混牌检测机台号、和/或品牌、和/或相机号,对存储到对应的烟箱缺条混牌检测机台所对应的工控机中的所述烟箱检测模型进行加载;
所述烟箱检测单元用于利用加载的所述烟箱检测模型对所述检测矩阵信息进行一次前向传播,得到检测结果。
7.根据权利要求1所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述检测结果包括是否存在缺条、和/或混牌、和/或烟条倒置的状况。
8.根据权利要求1所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述基于人工智能的烟箱缺条混牌检测系统还包括与所述检测模块连接的下位机,用于接收所述检测模块发出的检测结果。
9.根据权利要求8所述的基于人工智能的烟箱缺条混牌检测系统,其特征在于,所述基于人工智能的烟箱缺条混牌检测系统还包括与所述下位机连接的报警器和人机界面,其中:
所述报警器用于在检测结果异常时,输出报警信号;
所述人机界面用于在检测结果异常时,显示报警信息。
10.一种利用权利要求1-9中任一项所述系统的基于人工智能的烟箱缺条混牌检测方法,其特征在于,包括:
采集用于进行网络模型训练的待训练图像,得到训练集;
对各所述待训练图像进行筛选,以将所述训练集划分为有缺陷数据集和无缺陷数据集,并利用所述有缺陷数据集和所述无缺陷数据集对卷积神经网络进行训练,得到烟箱检测模型;
实时采集用于进行烟箱缺条混牌检测的检测图像;
利用训练好的所述烟箱检测模型,对所述检测图像进行检测,以得到检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110629152.8A CN113362305A (zh) | 2021-06-03 | 2021-06-03 | 基于人工智能的烟箱缺条混牌检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110629152.8A CN113362305A (zh) | 2021-06-03 | 2021-06-03 | 基于人工智能的烟箱缺条混牌检测系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113362305A true CN113362305A (zh) | 2021-09-07 |
Family
ID=77532475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110629152.8A Pending CN113362305A (zh) | 2021-06-03 | 2021-06-03 | 基于人工智能的烟箱缺条混牌检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113362305A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102275656A (zh) * | 2010-06-12 | 2011-12-14 | 中国科学院沈阳自动化研究所 | 一种条烟装箱机缺条在线视觉检测装置及其检测方法 |
CN106355579A (zh) * | 2016-09-14 | 2017-01-25 | 南京理工大学 | 烟条表面褶皱的缺陷检测方法 |
CN110188047A (zh) * | 2019-06-20 | 2019-08-30 | 重庆大学 | 一种基于双通道卷积神经网络的重复缺陷报告检测方法 |
CN110211114A (zh) * | 2019-06-03 | 2019-09-06 | 浙江大学 | 一种基于深度学习的装箱缺条视觉检测方法 |
-
2021
- 2021-06-03 CN CN202110629152.8A patent/CN113362305A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102275656A (zh) * | 2010-06-12 | 2011-12-14 | 中国科学院沈阳自动化研究所 | 一种条烟装箱机缺条在线视觉检测装置及其检测方法 |
CN106355579A (zh) * | 2016-09-14 | 2017-01-25 | 南京理工大学 | 烟条表面褶皱的缺陷检测方法 |
CN110211114A (zh) * | 2019-06-03 | 2019-09-06 | 浙江大学 | 一种基于深度学习的装箱缺条视觉检测方法 |
CN110188047A (zh) * | 2019-06-20 | 2019-08-30 | 重庆大学 | 一种基于双通道卷积神经网络的重复缺陷报告检测方法 |
Non-Patent Citations (1)
Title |
---|
张洪源: "回收烟箱视觉检测方法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108686978B (zh) | 基于arm的水果类别和色泽的分拣方法及系统 | |
CN110455822A (zh) | 一种pcb板缺陷的检测方法 | |
CN114240939B (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
US11657599B2 (en) | Method for detecting appearance of six sides of chip multi-layer ceramic capacitor based on artificial intelligence | |
WO2021164448A1 (zh) | 品质异常记录方法、装置、增强现实设备、系统及介质 | |
CN112132796A (zh) | 以反馈数据自主学习提升检测精度的视觉检测方法和系统 | |
CN204924967U (zh) | 全自动aoi整机的图像采集机构 | |
CN111047655A (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
CN107310795A (zh) | 基于机器视觉技术的产品外包装检测器及检测系统 | |
CN113516102B (zh) | 基于视频的深度学习抛物行为检测方法 | |
US20230196756A1 (en) | Method for detecting defects and electronic device | |
CN110160587A (zh) | 电容检测方法及装置 | |
CN114708247A (zh) | 基于深度学习的烟盒包装缺陷识别方法和装置 | |
CN112966541B (zh) | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 | |
CN101556250A (zh) | 产品质量的检验系统及其方法 | |
CN113362305A (zh) | 基于人工智能的烟箱缺条混牌检测系统及方法 | |
CN210377552U (zh) | 一种水果分类用多面图像获取装置 | |
CN103927312B (zh) | 一种cis 图像传感器的失效信息自动分类方法及系统 | |
CN108111777A (zh) | 一种暗角校正系统及方法 | |
CN111862059A (zh) | 一种基于深度学习多层特征融合的布匹缺陷检测方法 | |
CN111738963A (zh) | 一种基于深度自学习的烟包包装外观检测方法 | |
CN107783856A (zh) | 一种图像处理器参数的测试方法及系统 | |
CN114092476B (zh) | 杂质检测方法、系统、装置、设备、存储介质及软件产品 | |
CN115355952A (zh) | 一种原油储罐智能巡检系统 | |
CN114820461A (zh) | 基于图像识别算法的表面瑕疵质检平台及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |