CN115035119B - 一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法 - Google Patents

一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法 Download PDF

Info

Publication number
CN115035119B
CN115035119B CN202210964603.8A CN202210964603A CN115035119B CN 115035119 B CN115035119 B CN 115035119B CN 202210964603 A CN202210964603 A CN 202210964603A CN 115035119 B CN115035119 B CN 115035119B
Authority
CN
China
Prior art keywords
feature
image
loss
glass bottle
flaw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210964603.8A
Other languages
English (en)
Other versions
CN115035119A (zh
Inventor
张泽恺
邵瑞
李刚
周鸣乐
李敏
伊长乐
张�成
韩德隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202210964603.8A priority Critical patent/CN115035119B/zh
Publication of CN115035119A publication Critical patent/CN115035119A/zh
Application granted granted Critical
Publication of CN115035119B publication Critical patent/CN115035119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/3404—Sorting according to other particular properties according to properties of containers or receptacles, e.g. rigidity, leaks, fill-level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本公开提供了一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法，属于图像瑕疵检测领域，包括采集待检测玻璃瓶的瓶底普通图像和应力图像；获取采集的玻璃瓶底部的普通图像和应力图像，对所述图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；对不同深度的特征图进行融合，当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶并进行剔除；省了大量人工调参的误差，简化了操作流程，大大降低了瑕疵的漏检率，提升了检测效率；有效避免数据流的混乱以及板卡损耗率高，易出现设备各模块工作不同步的现象，大大提升设备的自动化水平。

Description

一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法
技术领域
本公开涉及图像瑕疵检测技术领域，具体涉及一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
质量检测是工业生产流程中的重要环节，对保障使用者人身安全、避免重大经济损失有重要意义。在质量检测过程中，机器视觉质量检测设备起到了关键的作用，而现在大多数机器视觉检测设备大量依靠于板卡以及工控电脑控制，各种指令和数据流比较混乱，PLC的作用得不到充分运用，这会导致板卡损耗率高，易出现设备各模块工作不同步的现象，对设备的自动化水平造成了严重的影响，且大部分设备所使用的核心检测方法通过人工进行特征选择，然后训练分类器用于识别特定的缺陷特征。这一方法过于依赖提取特征的健壮性，导致开发周期长且需要专业技术人员操作，增加了生产成本。
近年来，卷积神经网络（CNN）在图像分类、目标检测以及图像分割领域取得了巨大进步。然而，由于工业检测场景的特殊性，深度学习尚未得到大规模的应用，工业场景图片亮度和颜色、物体大小、背景区分度等都明显区别于自然场景。具体来说，不同于经典计算机视觉任务中的ImageNet、PASCAL VOC2007/2012 和 COCO 等大规模通用数据集，工业产品表面缺陷检测数据集规模小，且不同数据集之间在样本数量、正负样本比例、复杂度等方面都有很大的不同。这导致通用目标检测器在工业产品表面缺陷检测领域应用较少。此外，工业检测场景多为边缘设备离线检测，要求模型更加轻量，现有的通用目标检测模型难以满足实际需求。
发明内容
本公开为了解决上述问题，提出了一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法，可有效确定玻璃瓶底的瑕疵种类并剔除瑕疵玻璃瓶，提高筛选检测的速度，精确地进行识别玻璃瓶瑕疵。
根据一些实施例，本公开采用如下技术方案：
一种玻璃瓶底瑕疵图像检测剔除方法，包括：
将待检测玻璃瓶放置在生产线上，对瓶底进行清洁后采集待检测玻璃瓶的瓶底普通图像和应力图像；
获取采集的玻璃瓶底部的普通图像和应力图像，对普通图像和应力图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；
对不同深度的特征图进行融合，当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；
对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶并进行剔除。
根据另一些实施例，本公开采用如下技术方案：
一种玻璃瓶底瑕疵图像检测剔除装置，包括：
运输传送装置，设置在生产线上，所述运输传送装置为双层皮带夹瓶机构，分为主动侧传输机构以及从动侧传输机构；
所述主动侧传送机构由电机、皮带、链板、传动连杆、固定杆以及两个滚筒构成；
主动侧传送皮带固定在链板上，链板内侧嵌有第一齿轮，所述第一齿轮与滚筒上的第二齿轮相吻合，链板两端固定在两个滚筒上；所述电机与传动连杆相连，传动连杆与滚筒相连；在装置工作时，电机转动，带动传动连杆向主动侧传送机构传输动力，主动侧传送皮带转动带动玻璃瓶运动。
还包括：
气动喷嘴，与水平面呈90度角设置在玻璃瓶底下方，用于对玻璃瓶底部进行清洁，清除瓶底的灰尘。
气缸，所述气缸与所述气动喷嘴连接，所述气缸还连接有气泵；所述气泵、气动喷嘴以及电机都与控制模块的PLC相连。
根据另一些实施例，本公开还采用如下技术方案：
一种玻璃瓶底瑕疵图像检测剔除系统，包括：
控制模块，包括PLC与工控电脑，所述PLC与工控电脑相连；
图像采集模块，包括相机、光源，所述光源为环形光源，通过支架固定在传输装置的下方，由光电门和光源控制器共同控制；所述相机通过POE交换机与工控电脑相连，用于采集待检测玻璃瓶的瓶底普通图像和应力图像；
特征处理模块，用于获取采集的玻璃瓶底部的普通图像和应力图像，对普通图像和应力图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；
对不同深度的特征图进行融合，当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；
检测头，用于对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶；
剔除模块，接收来自PLC发送的剔除指令，将瑕疵玻璃瓶推出传输线。
还包括：
所述相机分别为瓶底应力相机和瓶底检测相机，分别通过活动支架固定在环形光源中部，相机与水平面呈60度角放置，当光电门感应到玻璃瓶时，触发相机和光源共同工作拍照，相机通过POE交换机向工控电脑传输带有相机标号的瓶底图像。
与现有技术相比，本公开的有益效果为：
本公开设计了一种基于Swin-transformer的玻璃瓶底检测模型，并在不同的摄像头上使用，不同于传统的检测方法，本公开中的方法节省了大量人工调参的误差，简化了操作流程，大大降低了瑕疵的漏检率，提升了检测效率。
本公开针对传统的质检设备大量依靠板卡以及工控电脑控制，各种指令和数据流比较混乱，PLC的作用得不到充分运用的现状进行改进，将大量信号和数据的处理转发过程集中到PLC，有效地避免了数据流的混乱以及板卡损耗率高，易出现设备各模块工作不同步的现象，大大提升了设备的自动化水平，简化了运维流程。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开检测装置的整体示意图；
图2是本公开的两种不同深度模型结构图，其中（a）是模型1的结构图，（b）是模型2的结构图；
图3是本公开运输传送装置主动侧的简要示意图；
图4是本公开的各模块数据流图；
图5是本公开的运行原理框图。
其中，1、运输传送装置；2、气动喷嘴；3、气缸；4、第一光电门；5、第二光电门；6、图像采集模块；7、控制模块；8、剔除模块；9、第一滚筒；10、传动连杆；11、链板；12、皮带；13、第二滚筒；14、固定杆；15、电机。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种玻璃瓶底瑕疵图像检测剔除方法，包括以下步骤：
步骤1：将待检测玻璃瓶放置在生产线上，对瓶底进行清洁后采集待检测玻璃瓶的瓶底普通图像和应力图像；
步骤2：获取采集的玻璃瓶底部的普通图像和应力图像，对普通图像和应力图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；
步骤3：对不同深度的特征图进行融合，当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；
步骤4：对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶并进行剔除。
具体的，作为一种实施例，检测方法包括以下步骤：
S10：搭建检测模型算法库，如图2所示，算法库中包括两种检测模型，建立两种不同深度的Swin-Transformer模型，包括模型1和模型2，其中，模型1为深度大的模型，模型2为深度小的模型；一种将瓶底普通图像作为输入，另一种将瓶底应力图像作为输入。
区别在于模型的深度大小不同，应力图像由于检测的多为可能导致瓶底炸裂的重要瑕疵，用深度大、精度高的模型进行检测，普通图像用深度小的模型检测。所述检测模型中包含特征提取网络和特征融合网络以及检测头，其中，特征提取网络由卷积模块以及Swin-Transformer模块组成，每个Swin-Transformer模块包含两个连续的窗口注意力块，并在Swin-transformer模块前增加相对位置编码模块，用于对图像分割以及编码。
在特征提取网络中增加残差路径，将原始输入图像以及浅层网络中的每一个卷积模块的特征图加权融合到特征提取网络的最高层，公式如下：
Figure DEST_PATH_IMAGE001
其中，
Figure 193554DEST_PATH_IMAGE002
为原始输入特征，
Figure DEST_PATH_IMAGE003
与
Figure 907432DEST_PATH_IMAGE004
为自适应可学习的权重，resize将特征图尺寸 调整为同样大小。
特征融合网络采用双向加权特征融合网络进行特征融合，所述双向加权特征融合网络中有多个特征融合节点，每个特征融合节点将特征提取网络中不同深度的特征图进行融合，当一个节点有多个输入时，将给每个输入的特征图自动分配权重，来融合不同层次的特征图，采用如下公式：
Figure DEST_PATH_IMAGE005
其中，
Figure 617727DEST_PATH_IMAGE006
为节点加权融合的特征图，
Figure DEST_PATH_IMAGE007
=1e-5，
Figure 137570DEST_PATH_IMAGE008
为网络为每个输入特征分配的适 配于特征维度的权重参数，
Figure DEST_PATH_IMAGE009
为每个输入特征图。
检测头使用解耦检测头进行瑕疵检测。解耦检测头分为回归检测头以及分类检测头，分别对对应物体位置的物体种类进行处理。
S11：模型训练，对搭建好的模型进行300回合训练，其中训练损失使用QFocalLoss作为两种模型的分类损失和置信度损失，公式如下：
Figure 250144DEST_PATH_IMAGE010
其中，y为平滑后的标签（0~1），
Figure DEST_PATH_IMAGE011
为预 测结果。FocalLoss引入了两个因子
Figure 72607DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE013
，其中
Figure 792170DEST_PATH_IMAGE014
用 来平衡正负样本，
Figure DEST_PATH_IMAGE015
对于困难的样品更重要。此外，本公开引入CIoU Loss作为T- model以及S-model的预测框回归损失，公式如下：
Figure 289273DEST_PATH_IMAGE016
其中
Figure DEST_PATH_IMAGE017
是预测框
Figure 410681DEST_PATH_IMAGE018
和目标框
Figure DEST_PATH_IMAGE019
的惩罚项。 CIOU Loss在预测框回归中考虑 了重叠区域、中心点距离和纵横比三个因素，解决了物体检测时真实框与预测框不一致的 问题。两个边界框的中心点之间的归一化距离和惩罚项定义为：
Figure 30144DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
表示
Figure 581211DEST_PATH_IMAGE022
的中心点，
Figure DEST_PATH_IMAGE023
为欧式距离，
Figure 272218DEST_PATH_IMAGE024
为覆盖这两个框的最 小包围框的对角线长度。
Figure DEST_PATH_IMAGE025
是一个积极的权衡参数。
Figure 920237DEST_PATH_IMAGE026
表示目标框的高度，
Figure DEST_PATH_IMAGE027
表示目标 框的宽度；
Figure 648283DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
是预测框的宽度和高度。总损失为：
Figure 640641DEST_PATH_IMAGE030
在训练阶段采用自适应器调整
Figure DEST_PATH_IMAGE031
，公式如下，其中
Figure 368295DEST_PATH_IMAGE032
为
Figure DEST_PATH_IMAGE033
、
Figure 637864DEST_PATH_IMAGE034
或
Figure DEST_PATH_IMAGE035
的值。
Figure 769768DEST_PATH_IMAGE036
其中
Figure DEST_PATH_IMAGE037
代表更新后的权重参数，
Figure 452685DEST_PATH_IMAGE038
代表更新前的权重参数，
Figure DEST_PATH_IMAGE039
代表各项Loss的 值，
Figure 656133DEST_PATH_IMAGE040
代表多个Loss的值进行连乘。
S12：模型封装部署，对每个回合产生的模型进行mAP和recall的评估，选取mAP和recall最高的模型经过Tensorrt加速封装为DLL文件并部署在工控电脑中。
S13：模型推理，将部署好的DLL文件进行推理，将推理图片保存在工控电脑中，如果推理结果为瑕疵，则向PLC发送相应的剔除指令。
实施例2
本公开的一种实施例提供了一种玻璃瓶底瑕疵图像检测剔除装置，如图1和图3所示，包括：
运输传送装载机气动喷嘴2、气缸3、第一光电门4、第二光电门5、图像采集模块6、控制模块7、剔除模块8；所述气动喷嘴2与气缸3以及第一光电门4、第二光电门5相连接，并置于运输传送装置1上方；所述图像采集模块6与控制模块7及第一光电门4、第二光电门5相连；所述控制模块7与剔除模块8相连。
运输传送装置，设置在生产线上，所述运输传送装置为双层皮带夹瓶机构，分为主动侧传输机构以及从动侧传输机构；从动侧传输机构与主动侧传送机构构成相同，都由链板、滚筒、皮带构成，区别在于从动侧传输机构由与主动侧传输机构的传动连杆接触的传动齿轮带动；
所述主动侧传送机构由电机15、皮带12、链板11、传动连杆10、固定杆14以及第一滚筒9和第二滚筒13构成；
主动侧传送皮带固定在链板上，链板11两端固定在两个滚筒上；链板内侧嵌有第一齿轮，滚筒上设有第二齿轮，所述第一齿轮与滚筒上的第二齿轮相吻合，所述电机15与传动连杆10相连，传动连杆10与第一滚筒9相连，固定杆14与第二滚筒13相连，具体的，皮带夹瓶高度为相机上方11cm处；在装置工作时，电机转动，带动传动连杆向主动侧传送机构传输动力，主动侧传送皮带转动带动玻璃瓶运动，具体的运动方向为相机的方向。
气动喷嘴，与水平面呈90度角设置在玻璃瓶底下方，用于对玻璃瓶底部进行清洁，清除瓶底的灰尘。所述气动喷嘴的数量设置为1个，与水平面呈90度角设置在玻璃瓶低下方5cm处。气缸，所述气缸与所述气动喷嘴连接，所述气缸还连接有气泵；所述气泵、气动喷嘴以及电机都与控制模块的PLC相连。
当光电门感应到玻璃瓶时，PLC控制喷嘴及时喷气，喷气时间为0.5S。所述气动喷嘴与气缸相连接，气缸由PLC控制气泵每10分钟定时充气，气缸在装置停止运作后打开气缸上的阀门，通过压力差及时排出其中的水汽。
具体的，作为一种实施例，如图5所示，运行流程包括以下步骤：
S20：在玻璃瓶生产线中接入运输传送装置，固定玻璃瓶，PLC控制电机正转带动皮带夹起玻璃瓶向相机方向移动；
S21：第一光电门感应到玻璃瓶后向PLC发送信号启动气动喷嘴喷气清洁瓶底；
S22：第二光电门感应到玻璃瓶后向PLC发送信号，PLC控制相机光源同步工作采集图像；
S23：相机拍照完成后将图片传输至工控电脑，工控电脑判断瑕疵玻璃瓶后发送信号至PLC；
S24：PLC接收到剔瓶指令，向剔除模块发生指令，剔除模块运行剔除瑕疵玻璃瓶。
具体的，如图4所示，所示PLC与气泵、气动喷嘴、光源、剔除模块、相机、电机以及两个光电门相连，所述PLC向工控电脑传输各个组件的运行信号，然后工控电脑向PLC发出各个组件的控制信号以及玻璃瓶瑕疵的标志信号；PLC对气泵发出启停信号，以及对电机发送电机转速以及启动停止信号，光电门向PLC发送玻璃瓶感应信号，PLC可接收光电门感应信号，接收后可发送喷气信号至气动喷嘴。
PLC向光源发送光源闪烁信号，以及向剔除模块发送剔除信号，控制剔除瑕疵玻璃瓶。PLC在向相机发送采集图像信号后，相机进行拍摄，然后将图像数据传输至工控电脑，进行处理。
实施例3
本公开的一种实施例中提供了一种玻璃瓶底瑕疵图像检测剔除系统，如图1所示，包括：
控制模块，包括PLC与工控电脑，所述PLC与工控电脑相连；
图像采集模块，包括相机、光源，所述光源为环形光源，通过支架固定在传输装置的下方，由光电门和光源控制器共同控制；所述相机通过POE交换机与工控电脑相连，用于采集待检测玻璃瓶的瓶底普通图像和应力图像；
特征处理模块，用于获取采集的玻璃瓶底部的普通图像和应力图像，对普通图像和应力图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；
对不同深度的特征图进行融合，当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；
检测头，用于对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶。
进一步的，所述相机分别为瓶底应力相机和瓶底检测相机，分别通过活动支架固定在环形光源中部，相机与水平面呈60度角放置，距离运输传送皮带下方11CM。当光电门感应到玻璃瓶时，触发相机和光源共同工作拍照，相机通过POE交换机向工控电脑传输带有相机标号的瓶底图像，所述标号的格式为字典格式，相机标号与图片数据以键值对的格式打包发送。
具体的，作为一种实施例，上述系统具体执行以下方法步骤：
S30：将待检测玻璃瓶放置在生产线上，对瓶底进行清洁后采集待检测玻璃瓶的瓶底普通图像和应力图像；
S31：获取采集的玻璃瓶底部的普通图像和应力图像，对普通图像和应力图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；
S32：对不同深度的特征图进行融合，当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；
S33：对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶并进行剔除。
具体的，建立两种不同深度的Swin-Transformer模型，一种将瓶底普通图像作为输入，另一种将瓶底应力图像作为输入。
区别在于模型的深度大小不同，应力图像由于检测的多为可能导致瓶底炸裂的重要瑕疵，用深度大、精度高的模型进行检测，普通图像用深度小的模型检测。
所述检测模型中包含特征提取网络和特征融合网络以及检测头，其中，特征提取网络由卷积模块以及Swin-Transformer模块组成，每个Swin-Transformer模块包含两个连续的窗口注意力块，并在Swin-transformer模块前增加相对位置编码模块，用于对图像分割以及编码。
在特征提取网络中增加残差路径，将原始输入图片以及浅层网络中的每一个卷积模块的特征图加权融合到特征提取网络的最高层，公式如下：
Figure DEST_PATH_IMAGE041
其中，
Figure 452313DEST_PATH_IMAGE002
为原始输入特征，
Figure 676490DEST_PATH_IMAGE003
与
Figure 627128DEST_PATH_IMAGE004
为自适应可学习的权重，resize将特征图尺寸 调整为同样大小。
特征融合网络采用双向加权特征融合网络进行特征融合，所述双向加权特征融合网络中有多个特征融合节点，每个特征融合节点将特征提取网络中不同深度的特征图进行融合，当一个节点有多个输入时，将给每个输入的特征图自动分配权重，来融合不同层次的特征图，采用如下公式：
Figure 807836DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE043
为节点加权融合的特征图，
Figure 160320DEST_PATH_IMAGE044
=1e-5，
Figure DEST_PATH_IMAGE045
为网络为每个输入特征分配的适 配于特征维度的权重参数，
Figure 555398DEST_PATH_IMAGE046
为每个输入特征图。
检测头使用解耦检测头进行瑕疵检测。解耦检测头分为回归检测头以及分类检测头，分别对对应物体位置的物体种类进行处理。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (4)

1.一种玻璃瓶底瑕疵图像检测剔除方法，其特征在于，包括：
将待检测玻璃瓶放置在生产线上，对瓶底进行清洁后采集待检测玻璃瓶的瓶底普通图像和应力图像；
获取采集的玻璃瓶底部的普通图像和应力图像，对普通图像和应力图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；利用Swin-Transformer模型中的特征提取网络进行特征提取，所述特征提取网络由卷积模块以及Swin-Transformer模块依次连接组成，每个Swin-Transformer模块包含两个连续的窗口注意力块，并在Swin-transformer模块前增加相对位置编码模块，用于对图像分割以及编码；
其中，在特征提取网络中增加残差路径，将原始输入图像以及浅层网络中的每一个所述卷积模块的特征图加权融合到特征提取网络的最高层，公式如下：
Figure 632231DEST_PATH_IMAGE001
其中，
Figure 533190DEST_PATH_IMAGE002
为原始输入特征，
Figure 830311DEST_PATH_IMAGE003
与
Figure 158524DEST_PATH_IMAGE004
为不同特征图自适应可学习的权重，resize将特征图尺寸调整为同样大小；
对原始输入图像以及浅层网络中的每一个所述卷积模块的特征图加权融合到特征提取网络的最高层后得到的特征图与特征提取网络中不同深度的特征图采用双向加权特征融合网络进行融合，依次当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；所述双向加权特征融合网络中有多个特征融合节点，每个特征融合节点将特征提取网络中不同深度的特征图进行融合，当一个节点有多个输入时，将给每个输入的特征图自动分配权重，来融合不同层次的特征图；
在训练阶段采用自适应器调整
Figure 173884DEST_PATH_IMAGE005
、
Figure 878535DEST_PATH_IMAGE006
、
Figure 295741DEST_PATH_IMAGE007
的损失函数权重，公式如下，其中
Figure 794856DEST_PATH_IMAGE008
为
Figure 625408DEST_PATH_IMAGE009
、
Figure 743537DEST_PATH_IMAGE010
或
Figure 139883DEST_PATH_IMAGE011
的值：
Figure 482003DEST_PATH_IMAGE012
其中
Figure 471956DEST_PATH_IMAGE013
代表更新后的权重参数，
Figure 456092DEST_PATH_IMAGE014
代表更新前的权重参数，
Figure 972524DEST_PATH_IMAGE015
代表各项Loss的值，
Figure 685878DEST_PATH_IMAGE016
代表多个Loss的值进行连乘；训练损失使用QFocal Loss作为两种模型的分类损失和置信度损失，引入CIoU Loss作为模型1以及模型2的预测框回归损失；其中，
Figure 287761DEST_PATH_IMAGE017
、
Figure 13271DEST_PATH_IMAGE018
、
Figure 384210DEST_PATH_IMAGE019
分别为所使用的两个
Figure 271394DEST_PATH_IMAGE020
以及一个
Figure 94994DEST_PATH_IMAGE021
的Loss系数的值；
对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶并进行剔除。
2.如权利要求1所述的一种玻璃瓶底瑕疵图像检测剔除方法，其特征在于，建立两种不同深度的Swin-Transformer模型，一种将瓶底普通图像作为输入，另一种将瓶底应力图像作为输入。
3.一种玻璃瓶底瑕疵图像检测剔除系统，其特征在于，包括：
控制模块，包括PLC与工控电脑，所述PLC与工控电脑相连；
图像采集模块，包括相机、光源，所述光源为环形光源，通过支架固定在传输装置的下方，由光电门和光源控制器共同控制；所述相机通过POE交换机与工控电脑相连，用于采集待检测玻璃瓶的瓶底普通图像和应力图像；
特征处理模块，用于获取采集的玻璃瓶底部的普通图像和应力图像，对普通图像和应力图像分别在不同深度的模型中进行特征提取，获取不同深度的特征图；利用Swin-Transformer模型中的特征提取网络进行特征提取，所述特征提取网络由卷积模块以及Swin-Transformer模块依次连接组成，每个Swin-Transformer模块包含两个连续的窗口注意力块，并在Swin-transformer模块前增加相对位置编码模块，用于对图像分割以及编码；其中，在特征提取网络中增加残差路径，将原始输入图像以及浅层网络中的每一个所述卷积模块的特征图加权融合到特征提取网络的最高层，公式如下：
Figure 358616DEST_PATH_IMAGE001
其中，
Figure 787323DEST_PATH_IMAGE022
为原始输入特征，
Figure 970043DEST_PATH_IMAGE003
与
Figure 421884DEST_PATH_IMAGE004
为不同特征图自适应可学习的权重，resize将特征图尺寸调整为同样大小；对原始输入图像以及浅层网络中的每一个所述卷积模块的特征图加权融合到特征提取网络的最高层后得到的特征图与特征提取网络中不同深度的特征图采用双向加权特征融合网络进行融合，当一个融合节点具有多个输入特征图时，将给每个输入的特征图自动分配权重，融合不同层次的特征图；所述双向加权特征融合网络中有多个特征融合节点，每个特征融合节点将特征提取网络中不同深度的特征图进行融合，当一个节点有多个输入时，将给每个输入的特征图自动分配权重，来融合不同层次的特征图；
在训练阶段采用自适应器调整
Figure 613831DEST_PATH_IMAGE005
、
Figure 569148DEST_PATH_IMAGE006
、
Figure 188349DEST_PATH_IMAGE007
的损失函数权重，公式如下，其中
Figure 189803DEST_PATH_IMAGE008
为
Figure 795228DEST_PATH_IMAGE009
、
Figure 729685DEST_PATH_IMAGE010
或
Figure 395153DEST_PATH_IMAGE011
的值：
Figure 680641DEST_PATH_IMAGE012
其中
Figure 838826DEST_PATH_IMAGE023
代表更新后的权重参数，
Figure 893370DEST_PATH_IMAGE024
代表更新前的权重参数，
Figure 729739DEST_PATH_IMAGE015
代表各项Loss的值，
Figure 236943DEST_PATH_IMAGE016
代表多个Loss的值进行连乘；训练损失使用QFocal Loss作为两种模型的分类损失和置信度损失，引入CIoU Loss作为模型1以及模型2的预测框回归损失；其中，
Figure 184171DEST_PATH_IMAGE017
、
Figure 624379DEST_PATH_IMAGE025
、
Figure 366070DEST_PATH_IMAGE019
分别为所使用的两个
Figure 626150DEST_PATH_IMAGE026
以及一个
Figure 111490DEST_PATH_IMAGE021
的Loss系数的值；
检测头，用于对融合的特征图进行瑕疵检测，获取瑕疵玻璃瓶；
剔除模块，接收来自PLC发送的剔除指令，将瑕疵玻璃瓶推出传输线。
4.如权利要求3所述的一种玻璃瓶底瑕疵图像检测剔除系统，其特征在于，所述相机分别为瓶底应力相机和瓶底检测相机，分别通过活动支架固定在环形光源中部，相机与水平面呈60度角放置，当光电门感应到玻璃瓶时，触发相机和光源共同工作拍照，相机通过POE交换机向工控电脑传输带有相机标号的瓶底图像。
CN202210964603.8A 2022-08-12 2022-08-12 一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法 Active CN115035119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964603.8A CN115035119B (zh) 2022-08-12 2022-08-12 一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964603.8A CN115035119B (zh) 2022-08-12 2022-08-12 一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法

Publications (2)

Publication Number Publication Date
CN115035119A CN115035119A (zh) 2022-09-09
CN115035119B true CN115035119B (zh) 2023-03-24

Family

ID=83129954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964603.8A Active CN115035119B (zh) 2022-08-12 2022-08-12 一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法

Country Status (1)

Country Link
CN (1) CN115035119B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095118A1 (zh) * 2017-11-14 2019-05-23 深圳和而泰智能控制股份有限公司 一种皮肤瑕疵点分类方法及电子设备
CN113920053A (zh) * 2021-07-22 2022-01-11 杭州深想科技有限公司 基于深度学习的瑕疵检测方法、计算设备和存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7220978B2 (en) * 2003-04-15 2007-05-22 The University Of South Carolina System and method for detecting defects in semiconductor wafers
CN1474177A (zh) * 2003-08-08 2004-02-11 王耀南 多传感器融合智能透明容器检测设备及检测方法
US11176447B2 (en) * 2018-06-19 2021-11-16 Hong Kong Applied Science and Technology Research Institute Company Limited Semiconductor device modeling using input pre-processing and transformed targets for training a deep neural network
CN211318239U (zh) * 2019-09-27 2020-08-21 中国建筑科学研究院有限公司 一种钢化玻璃幕墙杂质和缺陷现场检测系统
CN110796018B (zh) * 2019-09-30 2023-04-28 武汉科技大学 一种基于深度图像和彩色图像的手部运动识别方法
CN111715535A (zh) * 2020-07-03 2020-09-29 温州兴升环保科技有限公司 一种自动分类处理瓶子装置
TWI762971B (zh) * 2020-07-15 2022-05-01 宏碁股份有限公司 圖像風格轉換的方法及其電腦程式產品
CN111965194A (zh) * 2020-07-23 2020-11-20 广州华研制药设备有限公司 一种玻璃瓶异物检测设备
CN112452801A (zh) * 2020-09-28 2021-03-09 江苏孚日玻璃科技有限公司 一种高效率的玻璃瓶缺陷在线检测装置及其工作方法
CN112699900A (zh) * 2021-01-05 2021-04-23 东北林业大学 一种改进YOLOv4的交通标志识别方法
CN112966563B (zh) * 2021-02-04 2022-09-20 同济大学 一种基于人体骨骼检测和跟踪算法的行为识别方法
CN113421221A (zh) * 2021-05-20 2021-09-21 深圳大学 一种检测早期iPSCs质量的方法、存储介质及装置
CN113313688B (zh) * 2021-05-28 2022-08-05 武汉乾峯智能科技有限公司 一种含能材料药桶识别方法、系统、电子设备及存储介质
CN113689382B (zh) * 2021-07-26 2023-12-01 北京知见生命科技有限公司 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统
CN114092439A (zh) * 2021-11-18 2022-02-25 深圳大学 一种多器官实例分割方法及系统
CN114202696B (zh) * 2021-12-15 2023-01-24 安徽大学 基于上下文视觉的sar目标检测方法、装置和存储介质
CN114612872A (zh) * 2021-12-17 2022-06-10 广州亚信技术有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN114399720A (zh) * 2021-12-27 2022-04-26 华南智能机器人创新研究院 一种生产线上物品完整性检测方法及装置
CN114359245A (zh) * 2022-01-10 2022-04-15 上海交通大学宁波人工智能研究院 一种工业场景下产品表面缺陷检测方法
CN114663376A (zh) * 2022-03-15 2022-06-24 中国华能集团清洁能源技术研究院有限公司 基于改进ssd模型的风机叶片缺陷检测方法及系统
CN114612443B (zh) * 2022-03-16 2022-11-22 南京航空航天大学 一种多模态数据复杂缺陷特征检测方法
CN114882440A (zh) * 2022-05-30 2022-08-09 联通(广东)产业互联网有限公司 一种人头检测方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095118A1 (zh) * 2017-11-14 2019-05-23 深圳和而泰智能控制股份有限公司 一种皮肤瑕疵点分类方法及电子设备
CN113920053A (zh) * 2021-07-22 2022-01-11 杭州深想科技有限公司 基于深度学习的瑕疵检测方法、计算设备和存储介质

Also Published As

Publication number Publication date
CN115035119A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN108229665A (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN104280406A (zh) 一种铜件表面缺陷检测的机器视觉系统
CN206139527U (zh) 全景视觉马铃薯分选和缺陷检测装置
CN112452801A (zh) 一种高效率的玻璃瓶缺陷在线检测装置及其工作方法
CN106238342A (zh) 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN207254770U (zh) 变速箱罩盖混线智能分选装置
CN111242900A (zh) 一种产品合格确定方法、装置、电子设备及存储介质
CN103776841A (zh) 合成革缺陷自动检测装置及检测方法
CN103072718A (zh) 用于食品包装生产线的机器视觉检测系统及方法
CN104614375A (zh) 食品多重包装物无损检测系统
CN111709935A (zh) 一种用于地面运动皮带上实时煤矸石定位识别方法
CN204346935U (zh) 食品多重包装物无损检测系统的定位及防尘装置
CN108037132A (zh) 一种用于干电池浆层纸卷绕缺陷检测的视觉传感器系统及方法
CN212301356U (zh) 一种轮毂焊缝视觉检测装置
CN114029237A (zh) 一种铝型材表面缺陷实时分拣系统及方法
CN115035119B (zh) 一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法
CN113077450A (zh) 基于深度卷积神经网络的樱桃分级检测方法及系统
CN111210412A (zh) 一种包装检测方法、装置、电子设备及存储介质
CN208092793U (zh) 瓷层缺陷的检测平台
CN113781435A (zh) 一种基于yolov5网络的香烟小包外观缺陷检测方法
CN112950602B (zh) 基于深度相机与机器学习的糖果缺陷检测装置及分类方法
CN113077430A (zh) 基于ssd算法的激光器芯片缺陷检测及分类方法与系统
CN113996545A (zh) 一种基于计算机视觉的三七主根快速分选生产线
CN105921421A (zh) 一种铝箔封口检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230627

Address after: No.19 Keyuan Road, Lixia District, Jinan City, Shandong Province

Patentee after: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Address before: No.19 Keyuan Road, Lixia District, Jinan City, Shandong Province

Patentee before: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)