CN111652842A - 高速西林瓶轧盖生产线实时视觉检测方法及系统 - Google Patents

高速西林瓶轧盖生产线实时视觉检测方法及系统 Download PDF

Info

Publication number
CN111652842A
CN111652842A CN202010339959.3A CN202010339959A CN111652842A CN 111652842 A CN111652842 A CN 111652842A CN 202010339959 A CN202010339959 A CN 202010339959A CN 111652842 A CN111652842 A CN 111652842A
Authority
CN
China
Prior art keywords
image
penicillin bottle
detection
target
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010339959.3A
Other languages
English (en)
Other versions
CN111652842B (zh
Inventor
杨雪松
谢振华
高竞恒
方波
陈思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Map Reading Technology Co ltd
Original Assignee
Foshan Map Reading Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Map Reading Technology Co ltd filed Critical Foshan Map Reading Technology Co ltd
Priority to CN202010339959.3A priority Critical patent/CN111652842B/zh
Publication of CN111652842A publication Critical patent/CN111652842A/zh
Application granted granted Critical
Publication of CN111652842B publication Critical patent/CN111652842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8411Application to online plant, process monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明公开了一种高速西林瓶轧盖生产线实时视觉检测方法及系统,涉及工业视觉检测技术领域,高速西林瓶轧盖生产线实时视觉检测方法,包括:获取高速西林瓶轧盖生产线实时生产的视频;针对视频中的每个目标西林瓶,均截取一帧代表图像;应用深度学习目标检测技术,对代表图像进行检测;根据代表图像的检测结果生成编码信号,并存储检测结果为不合格的代表图像。本方法的特点在于,利用图像区域特征分析技术,从视频中截取一帧代表图像,再应用深度学习目标检测技术,对代表图像进行检测,完成异常情况的高精度检测,避免对同一目标西林瓶的多帧图像进行检测,减少算法运算量,提高检测速度,实现高速西林瓶轧盖生产线的实时目标视觉检测。

Description

高速西林瓶轧盖生产线实时视觉检测方法及系统
技术领域
本发明涉及工业视觉检测技术领域,特别是高速西林瓶轧盖生产线实时视觉检测方法及系统。
背景技术
西林瓶,一种胶塞封口的小瓶子,有棕色,透明等种类,一般为玻璃材质,用做药用注射液瓶、口服液瓶等,其密封常用橡胶材质的胶塞进行密封,最后使用轧盖设备将铝制盖帽轧紧,从而达到密封的目的。在西林瓶灌药加盖胶塞后,有时因瓶内外气压不同,胶塞往往存在缝隙,缝隙过大会严重影响其密封性,造成外界空气中的灰尘,细菌等进入西林瓶内污染药品。因此,对西林瓶的密封性检测尤为重要。
现有技术中,会采用各种传感器对西林瓶进行密封性检测,如利用红外线传感器或光电门来检测西林瓶的最高点,若西林瓶的最高点超出预设值则可判出定该西林瓶未完全密封,原理简单,操作方便,但容易受到外界环境的影响,如西林瓶在运输过程中会出现跳动,从而容易产生误判,检测的准确度低;且无法检测胶塞脱落的情况。而基于激光光谱技术的检测方法对环境和产线的稳定性要求苛刻,在实际应用中具有极大的局限性。
上述非计算机视觉技术的检测方法,西林瓶状态的检测结果均不能存档回溯,无法做到检测结果可视化。而近年来业界提出应用高清工业相机的检测方法,其最主要的问题是基于手动设计特征提取方法的检测算法的适应性不强,对于不同的产线、不同规格的西林瓶、不同的相机安装位置和参数设置,均需要人工调节参数,工作量大,复杂程度高,仍难以达到最优化的性能指标。利用近年来提出的深度学习技术,是一种使用大规模数据集让计算机自动学习出模式特征的方法,并将特征学习融入到了建立模型的过程中,从而减少了人为设计特征造成的不完备性;在特定条件的应用场景下,已经达到了超越现有传统特征工程算法的识别或分类性能。将深度学习方法应用于西林瓶状态检测,为了达到很好的精度,首先需要大规模高质量数据的支撑。且由于深度学习中神经网络模型的复杂化导致算法的时间复杂度急剧提升,难以应用在西林瓶高速轧盖生产线进行实时检测,尤其时当西林瓶产线速度达到每分钟500瓶以上时,就对算法的运算时间有很高的要求。为了保证算法的实时性,需要设计更高效率的调用流程。
发明内容
针对上述缺陷,本发明的目的在于提出一种检测准确度高、可靠性高且适用于西林瓶高速轧盖生产线的实时视觉检测方法及系统。
为达此目的,本发明采用以下技术方案:高速西林瓶轧盖生产线实时视觉检测方法,包括:
获取高速西林瓶轧盖生产线实时生产的视频;
针对所述视频中的每个目标西林瓶,均截取一帧代表图像;
应用深度学习目标检测技术,以所述目标西林瓶的胶塞缝隙大小作为检测目标,对所述代表图像进行检测;
根据所述代表图像的检测结果生成编码信号,并存储检测结果为不合格的所述代表图像。
进一步,所述代表图像为可清晰完整地表示出所述目标西林瓶胶塞缝隙大小的图像。
进一步,针对所述视频中的每个西林瓶目标,均截取一帧代表图像的过程:
实时读取所述视频,并将读取到的每一帧图像进行灰度化处理;
在灰度化处理后的图像中设立位置固定的感兴趣区域,并截取所述感兴趣区域内的图像作为触发检测图像;
对所述触发检测图像进行二值化处理和降噪处理;
提取所述触发检测图像中目标西林瓶的外轮廓信息,并对外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域;
计算出所述触发检测图像中最大连通区域的重心;
在所述触发检测图像中设定判别线,若上一帧图像提取的所述重心位于所述判别线的一侧,当前帧图像提取的所述重心位于所述判别线的另一侧,则判定目标西林瓶完整地进入检测工位,提取当前帧图像的所述触发检测图像作为代表图像,同时西林瓶统计数量加一,并生成所述代表图像的编号。
进一步,所述方法还包括准备训练数据集:
以西林瓶胶塞缝隙大小作为检测基准,采用半定量的数据划分形式进行目标分类,设计出目标检测结果类别;
根据所述目标检测结果类别制作出胶塞缝隙大小不同的西林瓶样本;
采集所述西林瓶样本的图像数据,并标注所述图像数据,得到训练数据集。
本发明还公开了高速西林瓶轧盖生产线实时视觉检测系统,包括:
摄像单元,用于对高速西林瓶轧盖生产线进行监测录像,得到视频数据;
视频处理单元,用于针对所述视频数据中的每个目标西林瓶,均截取一帧代表图像;
目标检测单元,用于以所述目标西林瓶的胶塞缝隙大小作为检测目标,对所述代表图像进行检测;
编码单元,用于根据所述代表图像的检测结果生成编码信号;
存储单元,用于存储检测结果为不合格的所述代表图像。
进一步,所述摄像单元包括摄像模块和背光光源,所述摄像模块与所述背光光源对向设置。
进一步,所述视频处理单元包括:
图像灰度处理模块,用于实时读取所述视频,并将读取到的每一帧图像进行灰度化处理;
机器视觉模块,用于在灰度化处理后的图像中设立位置固定的感兴趣区域,并截取所述感兴趣区域内的图像出来作为触发检测图像;
图像阈值处理模块,用于对所述触发检测图像进行二值化处理;
图像降噪模块,用于对所述触发检测图像进行降噪处理;
图像填充模块,用于提取所述触发检测图像中目标西林瓶的外轮廓信息,并对外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域;
图像重心计算模块,用于计算出所述触发检测图像中最大连通区域的重心;
判定模块,用于根据所述重心位置的变化判定西林瓶是否完整地进入所述感兴趣区域;
图像提取模块,用于提取当前帧图像的所述触发检测图像作为代表图像;
计数模块,用于统计西林瓶数量,并生成所述代表图像的编号。
进一步,所述目标检测单元包括:
深度卷积神经网络,用于提取图像中的特征,进行学习和目标检测;
训练数据库,用于训练所述深度卷积神经网络。
在本发明的特点在于,先利用图像区域特征分析技术,对所述视频中每个目标西林瓶均截取一帧代表图像,再应用深度学习的目标检测技术,对所述代表图像进行检测,完成异常情况的高精度检测,避免对同一目标西林瓶的多帧图像进行检测,减少算法运算量,提高检测速度,实现高效率的调用流程,进而实现高速西林瓶轧盖生产线的实时目标视觉检测,利于应用在西林瓶高速轧盖生产线的实时视觉检测;
其中,利用深度学习目标检测技术,通过特定的数据训练,使得深度卷积神经网络获得设定的目标检测能力。利用训练完毕的深度卷积神经网络,对所述代表图像进行目标检测,以所述目标西林瓶的胶塞缝隙大小作为检测基准,解决目标西林瓶运输时跳动导致误判的问题,从而实现精准地检测高速西林瓶轧盖生产线上的目标西林瓶,减少外界影响,保证西林瓶密封性检测的精确度;
通过编码信号记录目标西林瓶的分类结果,利于高速西林瓶轧盖生产线后续对指定的西林瓶进行的剔除操作;同时,还存储检测结果为不合格的所述代表图像,从而做到不合格产品可见,可追溯,提高目标检测的可靠性,利于对高速西林瓶轧盖生产线进行调整。
附图说明
图1是本发明的一个实施例的流程图;
图2是本发明的一个实施例中目标西林瓶进入摄像视野的示意图,其中附图标记A为感兴趣区域,附图标记B为摄像视野;
图3是图2感兴趣区域的放大示意图,其中附图标记A为感兴趣区域;
图4是计算图3最大连通域重心的示意图,其中附图标记E为触发感应图像,附图标记C为判别线,附图标记D为最大连通域的重心;
图5是本发明的一个实施例中目标西林瓶完整进入感兴趣区域的示意图,其中附图标记E为触发感应图像,附图标记C为判别线,附图标记D为最大连通域的重心;
图6是本发明的一个实施例中的系统结构图。
其中:摄像单元1、视频处理单元2、目标检测单元3。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
参照图1-6,高速西林瓶轧盖生产线实时视觉检测方法,包括:
获取高速西林瓶轧盖生产线实时生产的视频;
针对所述视频中的每个目标西林瓶,均截取一帧代表图像;
应用深度学习的目标检测技术,以所述目标西林瓶的胶塞缝隙大小作为检测目标,对所述代表图像进行检测;其中,所述深度学习的目标检测技术可以是利用深度卷积神经网络的目标检测技术。由于西林瓶胶塞缝隙的大小是西林瓶密封性及格与否的最直接原因,在本发明的实施例中,通过以西林瓶胶塞缝隙的大小作为检测基准,当西林瓶胶塞缝隙值大于预设值时,即可直接证明其密封性不及格,因此可解决西林瓶运输时跳动导致误判的问题,且还可以检测出无胶塞的情况,提高检测精度。
根据所述代表图像的目标检测结果生成编码信号,并存储检测结果为不合格的所述代表图像。
在本发明的特点在于,先利用图像区域特征分析技术,对所述视频中每个目标西林瓶均截取一帧代表图像作为检测图像,再应用深度学习的目标检测技术,对所述代表图像进行检测,完成异常情况的高精度检测,避免对同一目标西林瓶的多帧图像进行检测,减少算法运算量,提高检测速度,实现高效率的调用流程,进而实现高速西林瓶轧盖生产线的实时目标视觉检测,利于应用在西林瓶高速轧盖生产线的实时视觉检测;
其中,利用深度学习的目标检测技术,通过特定的数据训练,使得深度卷积神经网络获得设定的目标检测能力。利用训练完毕的深度卷积神经网络,对所述代表图像进行目标检测,以所述目标西林瓶的胶塞缝隙大小作为检测基准,解决目标西林瓶运输时跳动导致误判的问题,从而实现精准地检测高速西林瓶轧盖生产线上的目标西林瓶,减少外界影响,保证西林瓶密封性检测的精确度;
通过编码信号记录目标西林瓶分类结果,利于高速西林瓶轧盖生产线后续对指定的西林瓶进行的剔除操作;同时,还存储检测结果为不合格的所述代表图像,从而做到不合格产品可见,可追溯,提高目标检测的可靠性,利于对高速西林瓶轧盖生产线进行调整。
进一步的,所述代表图像为可清晰完整地表示出所述目标西林瓶胶塞缝隙大小的图像。由于西林瓶胶塞缝隙的大小是西林瓶密封性及格与否的最直接原因,在本发明的实施例中,通过以西林瓶胶塞缝隙的大小作为检测基准,当西林瓶胶塞缝隙值大于预设值时,即可直接证明其密封性不及格,因此可解决西林瓶运输时跳动导致误判的问题,且还可以检测出无胶塞的情况,提高检测精度。因此所述代表图像需要清晰完整地表示出所述目标西林瓶胶塞缝隙大小的图像,以方便深度卷积神经网络进行目标检测,减少误差,实现高精度检测。
进一步的,针对所述视频中的每个西林瓶目标,均截取一帧代表图像的过程:
实时读取所述视频,并将读取到的每一帧图像进行灰度化处理。具体地,可通过公式(1):
Gray=(R*30+G*59+B*11+50)/100 (1)
将当前帧图像进行灰度化处理,消除当前帧图像的颜色信息,实现将RGB图像彩色图转换为灰度图像。由于部分西林瓶是带有颜色的,颜色本身非常容易受到光照影响而变化,且变化幅度大,具有强干扰性。在本实施例中,通过将每一帧图像进行灰度化处理,去除西林瓶颜色的干扰因素,减少外部干扰,提高本检测方法的准确性,使本检测方法可应用在不同颜色规格的高速西林瓶轧盖生产线。
如图2所示,在灰度化处理后的图像中设立位置固定的感兴趣区域,并截取所述感兴趣区域内的图像出来作为触发检测图像。
对所述触发检测图像进行二值化处理和降噪处理。具体地,所述二值化处理是将像素大于阈值的像素设置为0,小于阈值的像素设值为255,使图像变得简单,而且数据量减小,且突显出目标西林瓶的轮廓。再利用高斯滤波将所述触发检测图像二值化后的图像进行降噪,减少所述触发检测图像在数字化和传输过程中受到成像设备和外部环境噪声干扰的影响,使所述触发检测图像中目标西林瓶的轮廓更为清晰。
提取所述触发检测图像中目标西林瓶的外轮廓信息,并对外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域。如图3所示,实际生产中,高速西林瓶轧盖生产线中的西林瓶会连续紧靠在一起,因此会有两个或以上的目标西林瓶同时进入所述感兴趣区域,导致相互干扰。在本实施例中,通过提取所述触发检测图像中所有目标西林瓶的外轮廓信息,选择外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域,以所述触发检图像中外轮廓最大的目标西林瓶作为当前需检测的目标西林瓶,避免相邻的西林瓶对当前的目标西林瓶进行干扰,使本方法可用于西林瓶间隔小的高速西林瓶轧盖生产线中。
计算出所述触发检测图像中最大连通区域的重心。如图3所示,在本实施例中,以最大连通域的重心变化表述目标西林瓶在感兴趣区域的变化规律,由于重心变化幅度更大,可避免前后的西林瓶对当前的目标西林瓶的干扰,提高判断目标西林瓶完全进入所述感兴趣区域的准确性。
在所述触发检测图像中设定判别线,若上一帧图像提取的所述重心位于所述判别线的一侧,当前帧图像提取的所述重心位于所述判别线的另一侧,则判定目标西林瓶完整地进入检测工位,提取当前帧图像的所述触发检测图像作为代表图像,并生成所述代表图像的编号。具体地,如图4和图5所示,在所述触发检测图像中建立起直角坐标系,以目标西林瓶的移动方向作为横坐标。在本实施例中,在直角坐标系中设定X坐标固定值为所述判别线:X=N(N值可根据所述感兴趣区域的中心的X坐标位置确定);
center_x:当前帧的重心X坐标;
center_x_last:上一帧的重心X坐标;
若center_x>N且center_x_last<=N且center_x>center_x_last。则判定目标西林瓶完整地进入检测工位,提取当前帧图像的所述触发检测图像作为代表图像,同时统计西林瓶的数量,并生成所述代表图像的编号。具体地,每提取一个所述代表图像,则西林瓶的数量加一,并以当前统计出西林瓶的数量作为该所述代表图像的编号。在本实施例中,所述编码信号包括目标西林瓶的编号和检测结果。通过对所述代表图像进行编号,方便编码信号记载对应的目标西林瓶的检测结果,方便查看追溯,且避免混淆,提高检测准确度。以所述触发检测图像中的重心作为判定目标西林瓶完全进入检测工位的参数,使本方法可适用于不同规格大小的西林瓶轧盖生产线,保证提取检测的图像的准确性。实现利用图像区域特征分析技术,针对所述视频中的每个目标西林瓶,均截取一帧代表图像作为检测图像,避免对同一目标西林瓶的多帧图像进行检测,减少算法运算量,提高检测速度,实现高效率的调用流程,进而实现高速西林瓶轧盖生产线的实时目标视觉检测,利于应用在西林瓶高速轧盖生产线的实时视觉检测。
进一步的,所述方法还包括准备训练数据集:
以西林瓶胶塞缝隙大小作为检测基准,采用半定量的数据划分形式进行目标分类,设计出目标检测结果类别;
根据所述目标检测结果类别制作出胶塞缝隙值大小不同的西林瓶样本;
采集所述西林瓶样本的图像数据,并标注所述图像数据,得到训练数据集。
所述训练数据集用于训练深度学习的深度卷积神经网络。具体地,所述半定量的数据划分形式是指根据西林瓶胶塞缝隙大小划分出一个分类的范围值。将不同大小的胶塞缝隙设为不同的目标,其中,不同的目标的划分标准不是一个绝对的缝隙值,而是一个缝隙的范围值。如设计出的目标检测结果类别包括:类别一:缝隙值在0.8~1.2mm的图像数据、类别二:缝隙值在1.2~1.5mm的图像数据和类别三:缝隙值大于1.5mm的图像数据。设立出目标检测结果类别后,用游标卡尺制作出胶塞缝隙值大小不同的西林瓶样本,所述西林瓶样本包括胶塞缝隙值在0.8mm~1.2mm范围的西林瓶、胶塞缝隙值在1.2~1.5mm范围的西林瓶和胶塞缝隙值大于1.5mm的西林瓶样品。最后用相机采集所有西林瓶样本的图像数据,并通过LabImage工具,以VOC数据格式标注出图像数据中的西林瓶胶塞位置的矩形框和其所属的分类类别,从而得到训练数据集。在本发明中,通过所述训练数据集训练所述深度卷积神经网络,使所述深度卷积神经网络可判断出所述代表图像中西林瓶胶塞缝隙大小所属的分类结果,将检测缝隙值的大小转化为目标分类问题,可无需获知具体的缝隙值是多少,以此减少检测的精度要求和复杂程度。
本发明申请还提供高速西林瓶轧盖生产线实时视觉检测系统,包括:
摄像单元1,用于对高速西林瓶轧盖生产线进行监测录像,得到视频数据;
视频处理单元2,用于针对所述视频数据中的每个目标西林瓶,均截取一帧代表图像;
目标检测单元3,用于以所述目标西林瓶的胶塞缝隙大小作为检测目标,对所述代表图像进行检测;
编码单元,用于根据所述代表图像的检测结果生成编码信号;
存储单元,用于存储检测结果为不合格的所述代表图像。
具体地,如图6所示,通过所述摄像单元1得到高速西林瓶轧盖生产线生产的视频数据,通过所述视频处理单元2,利用图像区域特征分析技术,对所述视频中每个目标西林瓶均截取一帧代表图像,避免对同一目标西林瓶的多帧图像进行检测,减少算法运算量,提高检测速度,实现高效率的调用流程,进而实现高速西林瓶轧盖生产线的实时目标视觉检测,利于应用在西林瓶高速轧盖生产线的实时视觉检测;
其中,所述目标检测单元3利用深度学习的目标检测技术,通过特定的数据训练,使所述目标检测单元3获得设定的目标检测能力。利用训练完毕的所述目标检测单元3对所述代表图像进行目标检测,以所述目标西林瓶的胶塞缝隙大小作为检测基准,解决目标西林瓶运输时跳动导致误判的问题,从而实现精准地检测高速西林瓶轧盖生产线上的目标西林瓶,减少外界影响,保证西林瓶密封性检测的精确度;
通过编码信号记录目标西林瓶的分类结果,利于高速西林瓶轧盖生产线后续对指定的西林瓶进行的剔除操作;同时,还存储检测结果为不合格的所述代表图像,从而做到不合格产品可见,可追溯,提高目标检测的可靠性,利于对高速西林瓶轧盖生产线进行调整。
进一步的,所述摄像单元1包括摄像模块和背光光源,所述摄像模块与所述背光光源对向设置。具体地,所述摄像单元1包括摄像模块和背光光源,所述摄像模块可以是高频率的工业摄像机,所述背光源为高亮度的发光板,在本实施例中,所述背光光源采用白色的LED发光板。所述摄像模块与所述背光源对向设置,使摄像模块在高亮度的环境下进行拍摄,利于取得一个近似于灰度的成像效果,避免西林瓶的颜色干扰,从而保证不同颜色的西林瓶都能进行有效检测。
进一步的,所述视频处理单2元包括:
图像灰度处理模块,实时读取所述视频,并将读取到的每一帧图像进行灰度化处理。具体地,可通过公式(1):
Gray=(R*30+G*59+B*11+50)/100 (1)
将当前帧图像进行灰度化处理,消除当前帧图像的颜色信息,实现将RGB图像彩色图转换为灰度图像。由于部分西林瓶是带有颜色的,颜色本身非常容易受到光照影响而变化,且变化幅度大,具有强干扰性。在本实施例中,通过将每一帧图像进行灰度化处理,去除西林瓶颜色的干扰因素,减少外部干扰,提高本检测方法的准确性,使本检测方法可应用在不同颜色规格的西林瓶轧盖生产线。
机器视觉模块,用于在灰度化处理后的图像中设立位置固定的感兴趣区域,并截取所述感兴趣区域内的图像出来作为触发检测图像。具体地,所述机器视觉模块可以是Halcon、OpenCV或Matlab中的任一种。
图像阈值处理模块,用于对所述触发检测图像进行二值化处理和降噪处理。具体地,所述二值化处理是将像素大于阈值的像素设置为0,小于阈值的像素设值为255,使图像变得简单,而且数据量减小,且突显出目标西林瓶的轮廓。其中,所述图像阈值处理模块可以是cv2.THRESH_BINARY_INV算法。
图像降噪模块,用于对所述触发检测图像进行降噪处理;具体地,通过所述图像降噪模块对所述触发检测图像进行降噪处理,减少所述触发检测图像在数字化和传输过程中受到成像设备和外部环境噪声干扰的影响,使所述触发检测图像中目标西林瓶的轮廓更为清晰。其中,在本实施例中,所述图像处理模块的降噪方式是高斯滤波。
图像填充模块,用于提取所述触发检测图像中目标西林瓶的外轮廓信息,并对外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域。如图3所示,实际生产中,高速西林瓶轧盖生产线中的西林瓶会连续紧靠在一起,因此会有两个或以上的目标西林瓶同时进入所述感兴趣区域,导致相互干扰。在本实施例中,通过提取所述触发检测图像中所有目标西林瓶的外轮廓信息,选择外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域,以所述触发检图像中外轮廓最大的目标西林瓶作为当前需检测的目标西林瓶,避免相邻的西林瓶对当前的目标西林瓶进行干扰,使本方法可适用于西林瓶间隔小的高速西林瓶轧盖生产线中。
图像重心计算模块,用于计算出所述触发检测图像中最大连通区域的重心;如图4所示,在本实施例中,以最大连通域的重心变化表述目标西林瓶在感兴趣区域的变化规律,由于重心变化幅度更大,可避免前后的西林瓶对当前的目标西林瓶的干扰,提高判断目标西林瓶完全进入所述感兴趣区域的准确性。
判定模块,用于根据所述重心位置的变化判定西林瓶是否完整地进入所述感兴趣区域;具体地,如图4和图5所示,在所述触发检测图像中建立起直角坐标系,以目标西林瓶的移动方向作为横坐标。在本实施例中,在直角坐标系中设定X坐标固定值为所述判别线:X=N(N值可根据所述感兴趣区域的中心的X坐标位置确定);
center_x:当前帧的重心X坐标;
center_x_last:上一帧的重心X坐标;
若center_x>N且center_x_last<=N且center_x>center_x_last。则判定目标西林瓶完整地进入检测工位。以所述触发检测图像中的重心作为判定目标西林瓶完全进入检测工位的参数,使本方法可适用于不同规格大小的高速西林瓶轧盖生产线,保证提取检测的图像的准确性。
图像提取模块,用于提取当前帧图像的所述触发检测图像作为代表图像。当所述判定模块判定出西林瓶完整地进入检测工位时,所述图像提取模块提取当前帧图像的所述触发检测图像作为代表图像。
计数模块,用于统计西林瓶数量,并生成所述代表图像的编号。具体地,每提取一个所述代表图像,则西林瓶的数量加一,其中生成所述代表图像的编号的方法可以是以当前统计出西林瓶的数量作为该所述代表图像的编号。在本实施例中,所述编码信号包括目标西林瓶的编号和检测结果。通过对所述代表图像进行编号,方便编码信号记载对应的目标西林瓶的检测结果,方便查看追溯,且避免混淆,提高检测准确度。
进一步的,所述目标检测单元3包括:
深度卷积神经网络,用于提取图像中的特征,进行学习和目标检测;
训练数据库,用于训练所述深度卷积神经网络。
具体地,所述训练数据集存储胶塞缝隙值大小不同西林瓶样品的图像数据。所述深度卷积神经网络提取所述图像数据中的目标特征进行学习训练,使得所述目标检测单元3具备目标检测能力。在实际检测中,所述深度卷积神经网络提取所述代表图像中的图像特征进行目标检测,得出所述代表图像中目标西林瓶的检测结果,实现对目标西林瓶进行密封性检测。其中,在本实施例中所述深度卷积神经网络可以是tiny-yolo-v3网络。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入本发明的保护范围之内。

Claims (8)

1.高速西林瓶轧盖生产线实时视觉检测方法,其特征在于,包括:
获取高速西林瓶轧盖生产线实时生产的视频;
针对所述视频中的每个目标西林瓶,均截取一帧代表图像;
应用深度学习目标检测技术,以所述目标西林瓶的胶塞缝隙大小作为检测目标,对所述代表图像进行检测;
根据所述代表图像的检测结果生成编码信号,并存储检测结果为不合格的所述代表图像。
2.根据权利要求1所述的高速西林瓶轧盖生产线实时视觉检测方法,其特征在于,所述代表图像为可清晰完整地表示出所述目标西林瓶胶塞缝隙大小的图像。
3.根据权利要求1所述的高速西林瓶轧盖生产线实时视觉检测方法,其特征在于,针对所述视频中的每个西林瓶目标,均截取一帧代表图像的过程:
实时读取所述视频,并将读取到的每一帧图像进行灰度化处理;
在灰度化处理后的图像中设立位置固定的感兴趣区域,并截取所述感兴趣区域内的图像作为触发检测图像;
对所述触发检测图像进行二值化处理和降噪处理;
提取所述触发检测图像中目标西林瓶的外轮廓信息,并对外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域;
计算出所述触发检测图像中最大连通区域的重心;
在所述触发检测图像中设定判别线,若上一帧图像提取的所述重心位于所述判别线的一侧,当前帧图像提取的所述重心位于所述判别线的另一侧,则判定目标西林瓶完整地进入检测工位,提取当前帧图像的所述触发检测图像作为代表图像,同时西林瓶统计数量加一,并生成所述代表图像的编号。
4.根据权利要求1所述的高速西林瓶轧盖生产线实时视觉检测方法,其特征在于,所述方法还包括准备训练数据集:
以西林瓶胶塞缝隙大小作为检测基准,采用半定量的数据划分形式进行目标分类,设计出目标检测结果类别;
根据所述目标检测结果类别制作出胶塞缝隙大小不同的西林瓶样本;
采集所述西林瓶样本的图像数据,并标注所述图像数据,得到训练数据集。
5.高速西林瓶轧盖生产线实时视觉检测系统,其特征在于,包括:
摄像单元,用于对高速西林瓶轧盖生产线进行监测录像,得到视频数据;
视频处理单元,用于针对所述视频数据中的每个目标西林瓶,均截取一帧代表图像;
目标检测单元,用于以所述目标西林瓶的胶塞缝隙大小作为检测目标,对所述代表图像进行检测;
编码单元,用于根据所述代表图像的检测结果生成编码信号;
存储单元,用于存储检测结果为不合格的所述代表图像。
6.根据权利要求5所述的高速西林瓶轧盖生产线实时视觉检测系统,其特征在于,所述摄像单元包括摄像模块和背光光源,所述摄像模块与所述背光光源对向设置。
7.根据权利要求5所述的高速西林瓶轧盖生产线实时视觉检测系统,其特征在于,所述视频处理单元包括:
图像灰度处理模块,用于实时读取所述视频,并将读取到的每一帧图像进行灰度化处理;
机器视觉模块,用于在灰度化处理后的图像中设立位置固定的感兴趣区域,并截取所述感兴趣区域内的图像出来作为触发检测图像;
图像阈值处理模块,用于对所述触发检测图像进行二值化处理;
图像降噪模块,用于对所述触发检测图像进行降噪处理;
图像填充模块,用于提取所述触发检测图像中目标西林瓶的外轮廓信息,并对外轮廓最大的区域进行填充,得到所述触发检测图像的最大连通区域;
图像重心计算模块,用于计算出所述触发检测图像中最大连通区域的重心;
判定模块,用于根据所述重心位置的变化判定西林瓶是否完整地进入所述感兴趣区域;
图像提取模块,用于提取当前帧图像的所述触发检测图像作为代表图像;
计数模块,用于统计西林瓶的数量,并生成所述代表图像的编号。
8.根据权利要求5所述的高速西林瓶轧盖生产线实时视觉检测系统,其特征在于,所述目标检测单元包括:
深度卷积神经网络,用于提取图像中的特征,进行学习和目标检测;
训练数据库,用于训练所述深度卷积神经网络。
CN202010339959.3A 2020-04-26 2020-04-26 高速西林瓶轧盖生产线实时视觉检测方法及系统 Active CN111652842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010339959.3A CN111652842B (zh) 2020-04-26 2020-04-26 高速西林瓶轧盖生产线实时视觉检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010339959.3A CN111652842B (zh) 2020-04-26 2020-04-26 高速西林瓶轧盖生产线实时视觉检测方法及系统

Publications (2)

Publication Number Publication Date
CN111652842A true CN111652842A (zh) 2020-09-11
CN111652842B CN111652842B (zh) 2021-05-11

Family

ID=72348534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010339959.3A Active CN111652842B (zh) 2020-04-26 2020-04-26 高速西林瓶轧盖生产线实时视觉检测方法及系统

Country Status (1)

Country Link
CN (1) CN111652842B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184679A (zh) * 2020-09-30 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN112781809A (zh) * 2020-12-30 2021-05-11 楚天科技股份有限公司 集成轧盖与密封检测的系统、方法及轧盖容器的处理方法
CN113096076A (zh) * 2021-03-26 2021-07-09 北京国尚信科技有限公司 一种基于机器视觉的西林瓶计数对数系统及方法
CN113916899A (zh) * 2021-10-11 2022-01-11 四川科伦药业股份有限公司 基于视觉识别的大输液软袋产品的检测方法、系统及装置
CN114565848A (zh) * 2022-02-25 2022-05-31 佛山读图科技有限公司 一种复杂场景的药液液位检测方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096471A (zh) * 2011-02-18 2011-06-15 广东威创视讯科技股份有限公司 一种基于机器视觉的人机交互方法
CN102621157A (zh) * 2012-04-10 2012-08-01 楚天科技股份有限公司 扎盖图像采集装置
CN103162918A (zh) * 2013-03-12 2013-06-19 西安工业大学 活塞环和活塞杆密封的密封性能检测装置及其检测方法
CN103226814A (zh) * 2013-04-02 2013-07-31 湖南大学 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法
CN104966122A (zh) * 2015-07-11 2015-10-07 浙江大学宁波理工学院 一种基于计算机视觉的活鱼自动计数系统
CN105718989A (zh) * 2014-11-30 2016-06-29 中国科学院沈阳自动化研究所 一种基于机器视觉的棒材计数方法
CN106370659A (zh) * 2016-08-17 2017-02-01 湘潭大学 一种瓶体封装质量视觉检测方法
CN106841229A (zh) * 2016-12-20 2017-06-13 浙江工业大学 一种基于机器视觉的在线pe瓶瓶口密封缺陷的检测方法
CN108830824A (zh) * 2018-04-16 2018-11-16 中北大学 输液液面视觉检测报警系统及其检测方法
CN208621011U (zh) * 2018-09-04 2019-03-19 上海翡诺医药设备有限公司 一种用于自动进出料西林瓶检测的成像装置
CN209038548U (zh) * 2018-11-01 2019-06-28 东富龙包装技术(上海)有限公司 一种西林瓶胶塞形态的检测装置
CN110197203A (zh) * 2019-05-08 2019-09-03 湖北民族大学 基于宽度学习神经网络的桥梁路面裂缝分类识别方法
CN209745820U (zh) * 2019-01-26 2019-12-06 乐码(北京)科技有限公司 一种西林瓶成品检测装置
WO2020018483A1 (en) * 2018-07-19 2020-01-23 Waters Technologies Corporation Twist lock compliant needle for detection of contact
CN110954541A (zh) * 2019-11-14 2020-04-03 国网山西省电力公司大同供电公司 一种10kV及以下输电线路瓷瓶裂缝检测装置和方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096471A (zh) * 2011-02-18 2011-06-15 广东威创视讯科技股份有限公司 一种基于机器视觉的人机交互方法
CN102621157A (zh) * 2012-04-10 2012-08-01 楚天科技股份有限公司 扎盖图像采集装置
CN103162918A (zh) * 2013-03-12 2013-06-19 西安工业大学 活塞环和活塞杆密封的密封性能检测装置及其检测方法
CN103226814A (zh) * 2013-04-02 2013-07-31 湖南大学 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法
CN105718989A (zh) * 2014-11-30 2016-06-29 中国科学院沈阳自动化研究所 一种基于机器视觉的棒材计数方法
CN104966122A (zh) * 2015-07-11 2015-10-07 浙江大学宁波理工学院 一种基于计算机视觉的活鱼自动计数系统
CN106370659A (zh) * 2016-08-17 2017-02-01 湘潭大学 一种瓶体封装质量视觉检测方法
CN106841229A (zh) * 2016-12-20 2017-06-13 浙江工业大学 一种基于机器视觉的在线pe瓶瓶口密封缺陷的检测方法
CN108830824A (zh) * 2018-04-16 2018-11-16 中北大学 输液液面视觉检测报警系统及其检测方法
WO2020018483A1 (en) * 2018-07-19 2020-01-23 Waters Technologies Corporation Twist lock compliant needle for detection of contact
CN208621011U (zh) * 2018-09-04 2019-03-19 上海翡诺医药设备有限公司 一种用于自动进出料西林瓶检测的成像装置
CN209038548U (zh) * 2018-11-01 2019-06-28 东富龙包装技术(上海)有限公司 一种西林瓶胶塞形态的检测装置
CN209745820U (zh) * 2019-01-26 2019-12-06 乐码(北京)科技有限公司 一种西林瓶成品检测装置
CN110197203A (zh) * 2019-05-08 2019-09-03 湖北民族大学 基于宽度学习神经网络的桥梁路面裂缝分类识别方法
CN110954541A (zh) * 2019-11-14 2020-04-03 国网山西省电力公司大同供电公司 一种10kV及以下输电线路瓷瓶裂缝检测装置和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184679A (zh) * 2020-09-30 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN112781809A (zh) * 2020-12-30 2021-05-11 楚天科技股份有限公司 集成轧盖与密封检测的系统、方法及轧盖容器的处理方法
CN112781809B (zh) * 2020-12-30 2022-07-19 楚天科技股份有限公司 集成轧盖与密封检测的系统、方法及轧盖容器的处理方法
CN113096076A (zh) * 2021-03-26 2021-07-09 北京国尚信科技有限公司 一种基于机器视觉的西林瓶计数对数系统及方法
CN113916899A (zh) * 2021-10-11 2022-01-11 四川科伦药业股份有限公司 基于视觉识别的大输液软袋产品的检测方法、系统及装置
CN113916899B (zh) * 2021-10-11 2024-04-19 四川科伦药业股份有限公司 基于视觉识别的大输液软袋产品的检测方法、系统及装置
CN114565848A (zh) * 2022-02-25 2022-05-31 佛山读图科技有限公司 一种复杂场景的药液液位检测方法及系统

Also Published As

Publication number Publication date
CN111652842B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN111652842B (zh) 高速西林瓶轧盖生产线实时视觉检测方法及系统
CN107705288B (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN103454285A (zh) 基于机器视觉的传动链条质量检测系统
CN101566582B (zh) 基于机器视觉的粉针剂生产中药瓶标贴信息在线检测系统
CN105403147B (zh) 一种基于嵌入式的瓶胚检测系统和检测方法
CN103675588A (zh) 印刷电路元件极性的机器视觉检测方法及设备
CN101424514B (zh) 基于图像处理的卷尺刻度在线自动检测系统及方法
CN108288264B (zh) 一种广角摄像头模组脏污测试方法
CN103604808A (zh) 一种瓶盖缺陷视觉检测方法
CN110570422B (zh) 一种基于矩阵分析的胶囊缺陷视觉检测方法
CN102034098A (zh) 螺钉自动分类系统以及螺钉自动分类方法
CN110032946B (zh) 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法
CN201707305U (zh) 一种检测容器盖质量的检测装置
CN104118609A (zh) 贴标质量检测方法和装置
CN105548216A (zh) 一种半成品电池外观视觉检测方法
CN104197900A (zh) 一种汽车仪表指针刻度识别方法
CN114820626B (zh) 一种汽车前脸零件配置智能检测方法
CN111968082A (zh) 一种基于机器视觉的产品包装缺陷检测识别方法
CN107734329A (zh) 一种基带数字视频帧率的检测系统及检测方法
CN109461156A (zh) 基于视觉的螺纹密封塞装配检测方法
CN111426693A (zh) 一种质量缺陷检测系统及其检测方法
CN114494169A (zh) 基于机器视觉的工业柔性物体检测方法
CN107271446B (zh) 一种发动机正时齿轮室胶线的视觉检测方法
CN103391441A (zh) 一种基于差异能量的监控视频对象删除篡改检测算法
CN112184710A (zh) 一种基于视觉感知的线扫激光气泡检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant