CN116710960A - 气泡识别装置、气泡识别方法及异物检测系统 - Google Patents
气泡识别装置、气泡识别方法及异物检测系统 Download PDFInfo
- Publication number
- CN116710960A CN116710960A CN202180086568.8A CN202180086568A CN116710960A CN 116710960 A CN116710960 A CN 116710960A CN 202180086568 A CN202180086568 A CN 202180086568A CN 116710960 A CN116710960 A CN 116710960A
- Authority
- CN
- China
- Prior art keywords
- bubble
- image
- reference line
- edge
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000001514 detection method Methods 0.000 title claims description 28
- 238000009826 distribution Methods 0.000 claims description 35
- 238000007689 inspection Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 16
- 230000007547 defect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 239000003814 drug Substances 0.000 description 11
- 238000003708 edge detection Methods 0.000 description 10
- 239000007788 liquid Substances 0.000 description 9
- 230000010365 information processing Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 239000003708 ampul Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000008177 pharmaceutical agent Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N21/9018—Dirt detection in containers
- G01N21/9027—Dirt detection in containers in containers after filling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
对对象图像中的斑点(78)设定多条参考线。斑点(78)由作为低亮度部分的外侧部分和作为高亮度部分的内侧部分(84)构成。在气泡判定条件中包含边缘对条件。在任一参考线(100)上检测到两个边缘对EP1、EP2的情况下,判断为满足边缘对条件。在气泡判定条件中也可以包含边缘间隔条件。
Description
技术领域
本公开涉及气泡识别装置、气泡识别方法及异物检测系统,特别是涉及对在液体中悬浮的气泡进行识别的技术。
背景技术
异物检测系统是检测检查对象物中包含的异物的系统。在检查对象物为液体的情况下,检测悬浮在液体中的异物。例如,在制药厂,使用异物检测系统检查收容于各个容器内的药剂。作为容器,可举出注射器、管瓶、安瓿等。作为异物,可举出在制造过程中混入药剂的金属片、树脂片、橡胶片、纤维等。异物检测系统也用于饮料检查、化学药品检查等。
典型的异物检测系统是对检查对象物进行拍摄,通过对由此得到的图像进行解析来检测异物的系统。在检测异物时,容器的伤痕、污垢成为误检的主要原因。对此,在专利文献1中公开了一种将对象图像与基准图像进行比较来区别非悬浮物和悬浮物的技术。
另外,在检测异物时,悬浮在液体中的气泡成为误检的主要原因。对此,在专利文献2中公开了一种基于气泡(准确地说是气泡图像)的特征量来区别气泡和异物的技术。在专利文献1及专利文献2中,未公开利用气泡图像固有的亮度图案来识别气泡图像的技术,特别是未公开使用亮度图案解析用的参考线来识别气泡图像的技术。
现有技术文献
专利文献
专利文献1:日本特开2004-226228号公报
专利文献2:日本特开2004-354100号公报
发明内容
发明所要解决的课题
本公开的目的在于简便且高精度地识别检查对象物中包含的气泡。或者,本公开的目的在于提高检查对象物中包含的异物的检测精度。
用于解决课题的手段
本公开的气泡识别装置的特征在于,包含:设定部,其对图像中的斑点设定横穿该斑点的至少一条参考线;以及识别部,其基于所述至少一条参考线上的亮度分布满足气泡判定条件,将所述斑点识别为气泡图像;在所述气泡判定条件中包含边缘对条件,所述边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
本公开的气泡识别方法的特征在于,包括:对图像中的斑点设定多条参考线的工序;以及基于在所述多条参考线上的多个亮度分布中n(其中,n为1以上的整数)个亮度分布满足气泡判定条件,将所述斑点识别为气泡图像的工序;在所述气泡判定条件中包含边缘对条件,所述边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
本公开的异物检测系统的特征在于,包含:拍摄装置,其对检查对象物进行拍摄;以及处理器,其处理由所述摄像装置获取的图像;所述处理器对所述图像应用排除非悬浮斑点的前处理,对所述前处理后的图像中的悬浮斑点设定参考线组,基于在所述参考线组上的亮度分布组中n(其中,n为1以上的整数)个亮度分布满足气泡判定条件,将所述悬浮斑点识别为气泡图像,在所述悬浮斑点未被识别为所述气泡图像的情况下,将所述悬浮斑点判定为异物图像,在所述气泡判定条件中包含边缘对条件,所述边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
附图说明
图1是表示实施方式的异物检测系统的结构例的图。
图2是表示多个种类的气泡图像的图。
图3是表示多个种类的异物图像的图。
图4是表示前处理的图。
图5是表示感兴趣区域的图。
图6是表示参考线组的图。
图7是表示气泡图像上的边缘检测的图。
图8是表示其它参考线组的图。
图9是表示异物图像上的边缘检测的图。
图10是表示特殊的气泡图像上的边缘检测的图。
图11是表示包含气泡识别方法的异物判定方法的图。
图12是表示动作例的流程图。
具体实施方式
以下,基于附图对实施方式进行说明。
(1)实施方式的概要
实施方式的气泡识别装置具有设定部及识别部。设定部对图像中的斑点设定横穿该斑点的至少一条参考线。识别部基于至少一条参考线上的亮度分布满足气泡判定条件,将斑点识别为气泡图像。在气泡判定条件中包含边缘对条件。边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
气泡图像具备具有非均匀性或具有结构的亮度图案。气泡图像大致分为外侧部分及内侧部分。通常,在外侧部分和内侧部分之间产生明确的亮度差。在外侧部分和背景之间也产生明确的亮度差。另一方面,异物图像具备具有均匀性或不具有结构的亮度图案。通常,在异物图像与背景之间产生明确的亮度差,但在异物图像中不产生明确的亮度差。
上述结构根据气泡图像的亮度图案和异物图像的亮度图案的不同来识别气泡图像和异物图像。具体而言,对斑点(识别对象图像)设定将其横穿的参考线。在参考线横贯气泡图像的外侧部分及内侧部分的情况下,在参考线上产生两个边缘对(两个亮度差对)。即,在从参考线的一端向另一端重复执行边缘检测的情况下,在最初横贯外侧部分的过程中检测出第一边缘对,在接着横贯外侧部分的过程中检测出第二边缘对。如果在气泡判定条件中包含边缘对条件,就能在满足边缘对条件的时间点将斑点识别为气泡图像。在对具有均匀性的异物图像设定了参考线的情况下,在参考线上仅检测到两个边缘。因此,能够区别气泡图像和异物图像。
因为气泡图像的形态、朝向是各种各样的,所以在实施方式中,对斑点设定多条参考线。由此,可提高能够将具有较小的内侧部分的斑点以及具备部分缺损的外侧部分的斑点分别识别为气泡图像的可能性。为了提高气泡图像的识别精度,在气泡判定条件中也可以包含边缘对条件以外的条件。如果对对象图像中包含的各个斑点应用识别处理,则与对对象图像整体应用识别处理的情况相比,能够消减运算量。
在实施方式中,设定部对斑点设定由存在交叉关系的多个参考线列构成的参考线组。识别部基于在参考线组上的亮度分布组中n(其中,n为1以上的整数)个亮度分布满足气泡识别条件,将斑点识别为气泡图像。
如果使用参考线组,则能够正确地识别具有各种形态的气泡图像。可以将n设为1。在存在误识别可能性的情况下,可以将n设为2以上的数值。构成参考线列的参考线的个数、参考线列中的间距等诸条件可以根据情况而可变。根据该结构,能够兼顾识别精度的提高和运算量的消减。
在实施方式中,参考线组包含由与第一方向平行的多条参考线构成的第一参考线列和由与第二方向平行的多条参考线构成的第二参考线列,第二方向与第一方向交叉。在气泡图像中,产生部分缺损的方位是多种多样的,但如果使用存在交叉关系的两个参考线列,则能够提高对具备部分缺损的气泡图像的识别精度。
在实施方式中,在气泡判定条件中包含边缘判别条件。边缘判定条件是在满足对比度阈值条件的轮廓的方向进入以参考线方向为基准的一定的角度范围内的情况下(例如,在成与参考线方向接近垂直的角度的情况下)将该轮廓判定为边缘的条件。通过应用该边缘判定条件,能够降低将纤维等具有弯曲形状的异物误识别为边缘的可能性。
在实施方式中,在气泡判定条件中包含边缘间隔条件。边缘间隔条件是关于通过两个边缘对确定的两个边缘间隔的条件。在实施方式中,在两个边缘间隔之差处于规定范围内的情况下,满足边缘间隔条件。在气泡图像中,可看出第一边缘间隔即构成第一边缘对的两个边缘的间隔(距离)和第二边缘间隔即构成第一边缘对的两个边缘的间隔(距离)之差较小这一倾向。上述结构利用该倾向来提高气泡图像识别精度。此外,气泡识别装置也可以用于异物检测以外的用途。例如,也可以在需要判定液体中的气泡的情况下使用气泡识别装置。
实施方式的气泡识别方法具有设定工序及识别工序。在设定工序中,对图像中的斑点设定多条参考线。在识别工序中,基于在多条参考线上的多个亮度分布中n(其中,n为1以上的整数)个亮度分布满足气泡判定条件,将斑点识别为气泡图像。在气泡判定条件中包含边缘对条件。边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
上述气泡识别方法能够在信息处理装置上执行。在该情况下,用于实施气泡识别方法的程序经由网络或可移动型存储介质安装到信息处理装置中。也可以对用户显示对象图像。在该情况下,也可以在对象图像上显示以斑点为单位而设定的多条参考线。在该情况下,用户能够确认斑点识别处理正在适当地执行。在信息处理装置的概念中包含计算机、气泡识别装置、异物检测系统等。信息处理装置具有存储程序的非暂时性存储介质。
实施方式的异物检测系统包含对检查对象物进行拍摄的拍摄装置和处理由拍摄装置获取的图像的处理器。处理器对图像应用排除非悬浮斑点的前处理,对前处理后的图像中的悬浮斑点设定参考线组,基于在参考线组上的亮度分布组中n(其中,n为1以上的整数)个亮度分布满足气泡判定条件,将悬浮斑点识别为气泡图像,在悬浮斑点未被识别为气泡图像的情况下,将所述悬浮斑点判定为异物图像。在气泡判定条件中包含边缘对条件。边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
在拍摄时也可以使用背光灯。在该情况下,可获取轮廓图像作为图像。在排除由容器的伤痕或污垢引起的非悬浮斑点时,可使用多种方法。
(2)实施方式的具体情况
在图1中示出了实施方式的异物检测系统。该异物检测系统具备气泡图像识别功能,换言之,在该异物检测系统中包含气泡识别装置。异物检测系统例如是在制药厂的检查过程中使用的,检测药剂中的异物。在该情况下,药剂是药水。作为异物,可举出金属片、树脂片、橡胶片、纤维等。成为检测对象的异物的尺寸例如为50μm~数mm。也可以将具有该范围以下的尺寸的异物或具有该范围以上的尺寸的异物设为检测对象。也可以同时或者分阶段地应用多种异物检测方法。也可以通过异物检测系统检测饮用水或化学药品等中所含的异物。
异物检测系统具有测定部10及信息处理部12。测定部10具有框体14,在框体14的内部设置有输送注射器列的输送线16。输送线16上的规定部位为拍摄地点18。在拍摄地点18设置有拍摄装置30。在图示的例子中,在具备旋转功能的底座20上载置有作为检查对象物的注射器22。注射器22是收容有药剂28的容器。作为收容药剂的其它容器,可举出管瓶、安瓿等。
注射器22具有主体24、塞子(内部密封栓)25及帽(外部密封栓)26。在主体24的内部收容有药剂。主体24由具有透明性的材料例如树脂、玻璃等构成。省略了用于在底座20上固定注射器22的部件的图示。
拍摄装置30具有照相机32、镜头34、背光灯38等。背光灯38是从注射器22的背面侧照射平行光的灯。在该状态下,通过照相机32获取注射器22中的药剂28的轮廓图像。照相机32的视野36覆盖药剂28的全部。轮廓图像为黑白图像,但也可以获取彩色图像。也可以通过照相机32同时拍摄多根注射器。也可以在注射器22和背光灯38之间设置偏振片,且在注射器22和照相机32之间设置偏振片。
在实施方式中,利用底座20对注射器22绕其中心轴进行旋转驱动,之后,停止注射器22的旋转,形成注射器22的静止状态。在该静止状态下,药剂28的旋转状态因惯性而继续。处于旋转状态的药剂28由照相机32间歇地拍摄。由此,获取由按时间顺序排列的多个图像构成的原图像列(帧列)。构成原图像列的各个当前图像成为图像处理对象。
信息处理部12作为气泡识别装置或异物检测装置发挥作用。信息处理部12具有执行程序的处理器40、存储部42、输入器44及显示器46。存储部42由半导体存储器等构成。输入器44由键盘等构成,显示器46由LCD(Liquid Crystal Display:液晶显示器)等构成。也可以由输入器44和显示器46构成触摸屏面板。处理器40由CPU(Central Processing Unit:中央处理器)等构成。
在图1中,处理器40所发挥的多个功能由多个块表现。前处理器48对构成原图像列的各原图像应用前处理。在前处理中,包含除去在注射器22的主体24上产生的相当于伤痕、污垢的非悬浮物图像的处理、提取悬浮物图像的处理等。具体而言,在前处理中,包含差分处理、二值化、膨胀收缩、标示等处理。以下,将前处理后的对象图像中所含的各个孤立的块称为斑点(Blob)。
ROI设定器52对前处理后的对象图像中所含的各个斑点设定感兴趣区域(ROI:Region of Interest)。也可以省略ROI设定而进行气泡图像的识别等。
气泡识别器54作为设定单元(设定部)及识别单元(识别部)发挥作用。气泡识别器54对设定于对象图像上的各个感兴趣区域进行斑点的解析。具体而言,识别斑点是否为气泡图像。这时,如下所述,对各个ROI设定参考线组,评价各参考线上的亮度分布。在判定为存在气泡图像固有的亮度分布的情况下,识别为斑点是气泡图像。在未判定出气泡图像固有的亮度分布的存在的情况下,将该结果发送给异物判定器56。
异物判定器56在判定为斑点不是气泡图像的情况下,将该斑点判定为异物图像。这时,除了气泡识别器54的识别结果以外,也可以参考其它信息。例如,也可以参考有关斑点形状的评价结果。在判定为异物图像的情况下,即在检测到异物的情况下,输出用于将成为检查对象的注射器22向规定的管理区输送的控制信号60。在检测到异物的情况下,也可以在显示器46上显示该意思。
显示处理部58是生成显示在显示器46上的图像的处理部。由照相机32拍摄的各图像也可以显示在显示器46上。在该情况下,也可以对图像中的异物图像进行识别显示。例如,也可以用特定颜色显示异物。也可以对气泡图像进行识别显示。
因为在药剂旋转过程中获取的各图像成为图像处理对象,所以即使在某图像中气泡图像和异物图像偶尔重合,在其它图像中它们也会以分离的状态出现。因此,提高异物的检测精度。
图2中示出了可能观测到的各种气泡图像。(A)所示的气泡图像由外侧部分62和内侧部分64构成。外侧部分62为低亮度部分(例如在二值化后具有值0的部分),内侧部分64为高亮度部分(例如在二值化后具有值1的部分)。外侧部分62是气泡的表层或轮廓被图像化的部分,内侧部分64是气泡的内部即空气层被图像化的部分。外侧部分62具有环状的形态,其不具备缺损部。内侧部分具有椭圆形,其不与背景(外界)相接。在(B)~(E)所示的气泡图像中,也是灰色部分为低亮度部分且白色部分为高亮度部分。与(A)所示的气泡图像相同,(B)所示的气泡图像也由环状的外侧部分和椭圆形的内侧部分构成。外侧部分具有稍大的厚度。
(C)所示的气泡图像由部分缺损的外侧部分66和被其包围的内侧部分68构成。附图标记66a表示在外侧部分66产生的缺损部。内侧部分68通过缺损部66a与背景(外界)相连。一般来说,具备缺损部的外侧部分例如为C形状、U形状、半圆形状、圆弧形状等。与(C)所示的气泡图像相同,(D)所示的气泡图像也由具有缺损部的外侧部分和被其包围的内侧部分构成。
(E)所示的气泡图像具有特殊的形态(与数字“8”相似的形状),其由真的气泡图像70和假的气泡图像72构成。真的气泡图像70由液面74反射而产生假的气泡图像72。在图像上它们相连的情况下,产生(E)所示的气泡图像。
在所有气泡图像中,都存在可通过亮度来区别的外侧部分及内侧部分。即,多个气泡图像可看到共同的固有的亮度图案(二维结构)。在外侧部分和背景之间的边界以及外侧部分和内侧部分之间的边界产生显著的亮度差。即使在将不为二值化图像的、具有灰度的图像设为处理对象的情况下,在外侧部分中或内侧部分中产生的亮度变化也远比边界的亮度差小,所以能够明确地区别单纯的亮度变化和边界的亮度差。
图3中示出了可能观测到的各种异物图像。在图3中,也是灰色部分表示低亮度部分且白色部分(背景)表示高亮度部分。(A)所示的异物图像的内部76具有相同的亮度(低亮度)。(B)所示的异物图像、(C)所示的异物图像及(D)所示的异物图像都具有相同的亮度(低亮度)。所有异物图像在其内部都不存在二维结构,其亮度图案是单调的。能够根据气泡图像的亮度图案和异物图像的亮度图案的不同来识别两者,换言之,能够利用气泡图像固有的亮度图案来识别气泡图像。
图4中示出了前处理的内容。如附图标记170所示,在注射器旋转后停止注射器的旋转,由此,形成仅注射器内的液体旋转的状态。在该状态下,通过连续地拍摄注射器,获取原图像列172。横轴为时间轴t。
对相邻的每两个原图像分别应用第一处理174。在第一处理174中包括减法运算、负成分删除等。在实施方式中,在相邻的两个原图像内,将时间上靠后的原图像设为关注图像,将时间上靠前的原图像设为基准图像。在关注图像和基准图像之间实施减法运算。在提取亮度部分而非高亮度部分的情况下,例如,从基准图像中减去关注图像。在此基础上,将减法运算后产生的差分图像中的负成分删除(或者在减法运算的过程中无视负成分)。通过第一处理174,将由注射器上产生的伤痕、污垢引起的非悬浮物图像从差分图像内除去(同时背景也被除去),仅留下相当于气泡或异物的悬浮物图像。也可以通过其它方法仅留下悬浮物图像。作为基准图像,也可以不使用前一个当前图像,而是使用开头的原图像等。通过上述的第一处理174,从原图像列172生成差分图像列176。
对构成差分图像列176的各差分图像应用第二处理178。第二处理178中包括二值化(反转二值化)、膨胀收缩、标示等。通过标示提取出孤立的各个斑点。具体而言,对各个斑点附上编号来管理各个斑点。例如,以斑点为单位来管理斑点编号、中心坐标、宽度尺寸、高度尺寸等。从差分图像列176生成对象图像列180。
使用图5~图10对气泡识别方法进行说明。对每个斑点实施以下说明的处理。
在图5中,斑点78具有外侧部分82及内侧部分84。在图示的例子中,外侧部分82是具有值0的部分,内侧部分是具有值1的部分。斑点78由中心坐标O、宽度尺寸W及高度尺寸H确定。附图标记80表示与斑点78外切的矩形的图形。也可以代替宽度尺寸W及高度尺寸H而管理矩形80的左上角坐标Q。此外,x方向为图像中的水平方向,y方向为图像中的垂直方向。
如图6所示,基于中心坐标O、宽度尺寸W及高度尺寸H,设定以非接触的方式围绕斑点78的ROI86。例如,可设定i像素作为余量。i为1以上的整数。对ROI86设定参考线组88。也可以理解为对斑点78设定参考线组88。参考线组88由第一参考线列92及第二参考线列4构成。
第一参考线列92由与y方向平行的多条参考线96构成。多条参考线96以均等间隔在x方向上排列。第一参考线列92遍及ROI86的整个x方向。第二参考线列94由与x方向平行的多条参考线98构成。多条参考线98以均等间隔排列。第二参考线列94遍及ROI86的整个y方向。
也可以以非均等间隔配置多条参考线96及多条参考线98,还可以将多条参考线96及多条参考线98集中地配置于产生内部部分的可能性高的部分。多条参考线96及多条参考线98中的间距例如为1像素。也可以构成为可由用户或者自动地变更间距的大小。
实际上,构成参考线组88的各个参考线是被依次设定的。在该过程中,在满足后述的气泡判定条件的情况下,斑点被识别为气泡图像。在该时间点,结束对该斑点的新的参考线的设定。此外,各个参考线通常被设定在ROI内(在ROI内实施以下说明的边缘检测),但在各图中各个参考线被醒目地表现出来。
如图7所示,在各参考线上,从一端到另一端反复执行边缘检测。这时的间距例如为1像素。在边缘检测时可利用边缘检测滤波器。
例如,在参考线100上,在从上向下依次执行边缘检测时,作为其结果,检测到斑点78上的四个边缘(边界点)E1、E2、E3、E4。边缘E1位于背景和外侧部分82之间的边界上,边缘E2位于外侧部分82和内侧部分84之间的边界上。边缘E3位于内侧部分84和外侧部分82之间的边界上,边缘E4位于外侧部分82和背景之间的边界上。边缘E1、E2构成第一边缘对EP1,边缘E3、E4构成第二边缘对EP2。
图7中示出了参考线上的亮度分布102。在图示的例子中,因为二值化的图像成为处理对象,所以构成亮度分布102的各值为1或0。用附图标记102A、102B表示的凹部相当于外侧部分(低亮度部分)。在成为处理对象的图像具有灰度的情况下,也能够检测两个边缘对EP1、EP2。
在实施方式中,在气泡判定条件中包含边缘对条件。边缘对条件是要求当前关注的参考线上的亮度分布包含两个边缘对的条件。在图7所示的例子中,在参考线100上包含两个边缘对EP1、EP2,满足边缘对条件。在气泡判定条件中仅包含边缘对条件的情况下,在满足边缘对条件的时间点,斑点被识别为气泡图像。
在图7中,构成第一边缘对EP1的边缘E1、E2之间的间隔(距离)用D1表示,构成第二边缘对EP2的边缘E3、E4之间的间隔(距离)用D2表示。在斑点为气泡图像的情况下,可看到一定的对称性。在以与外侧部分82正交的方式设定参考线的情况下,边缘间隔D1、D2相互接近。因此,为了提高气泡图像的识别精度,也可以在气泡判定条件中加上边缘间隔条件。例如,可以设为:在边缘间隔D1和边缘间隔D2之差ΔD比规定值小的情况下,满足边缘间隔条件。在该情况下,仅在满足边缘对条件而且满足边缘间隔条件的情况下,判定斑点为气泡图像。
在图8中示出了其它参考线组112。以围绕斑点104的方式设定ROI110。斑点104由作为低亮度部分的外侧部分106和作为高亮度部分的内侧部分108构成。外侧部分106具有月牙形状,在其上产生了大的缺损部。内侧部分108与背景相连。为了将这样的斑点104正确地识别为气泡图像,特别是为了无论斑点上的缺损部位于哪个方位都正确地识别气泡图像,期望对斑点104设定更具多样性的参考线组112。
参考线组112由第一参考线列114、第二参考线列116、第三参考线列118及第四参考线列120构成。在图8中,仅示出了各参考线列114~120的一部分。第一参考线列114由与y方向平行的多条参考线构成,它们在x方向上排列。第二参考线列116由与x方向平行的多条参考线构成,它们在y方向上排列。第三参考线列118由与相对于y方向向顺时针方向倾斜了﹢45度的﹢45度倾斜轴平行的多条参考线构成,它们在相对于y方向向顺时针方向倾斜了﹣45度的(向逆时针方向倾斜了﹢45度的)﹣45度倾斜轴的方向上排列。第四参考线列120由与﹣45度倾斜轴平行的多条参考线构成,它们沿着﹢45度倾斜轴排列。
例如,在参考线122上检测到四个边缘E5~E8,即检测到两个边缘对。在参考线124上也检测到四个边缘E9~E12,即检测到两个边缘对。在构成参考线组的任一参考线上,如果满足边缘对条件,则斑点104被识别为气泡图像。在气泡判定条件中包含边缘间隔条件的情况下,也可以进一步增加构成参考线组的参考线列的个数。或者,也可以使用由从斑点的中心点或其它基准点以辐射状延伸的多条参考线构成的参考线组。
在图9中示出了相当于异物图像的斑点126。包含斑点的图像被二值化。设定了包围斑点126的ROI。斑点126的内部128具有相同的亮度(低亮度)。对斑点126设定参考线组。其中,关注参考线130。在图9中示出了参考线130上的亮度分布132。凹部132A相当于斑点126的内部(低亮度部分)128。在参考线130上仅检测到两个边缘E13、E14。不满足边缘对条件,因此,不满足气泡判定条件。在构成参考线组的所有参考线中都不满足气泡判定条件的情况下,判定斑点为异物图像。当然,在判定异物图像时,也可以一并考虑其它信息。
如上,实施方式的气泡识别方法是以气泡图像的亮度图案和异物图像的亮度图案的不同为前提,通过对斑点设定多条参考线并解析各参考线上的边缘结构来识别斑点是否为气泡图像。在能够事先确定斑点的朝向、形态的情况下,也可以对斑点以合适的位置及倾斜角度设定单一的参考线。也可以用其来识别是否为气泡图像。
在图10中示出了具有特殊的形态的斑点140。以包围斑点140的方式设定了ROI146。斑点140由第一部分142和第二部分144构成,它们连结在一起。第一部分142是相当于真的气泡图像的部分,第二部分144是相当于通过液面的反射而产生的假的气泡图像的部分。第一部分142由作为低亮度部分的外侧部分142A及作为高亮度部分的内侧部分142B构成。第二部分144也由作为低亮度部分的外侧部分144A及作为高亮度部分的内侧部分144B构成。斑点140的外侧是作为高亮度部分的背景148。
对斑点140设定参考线组。例如,在设定了参考线150的情况下,在参考线150上重复边缘检测。由此,检测到边缘E15~E20这六个边缘。因为其中包含两个边缘对,所以满足边缘对条件。设定参考线152的情况也相同。但是,在存在图10所示的特殊的斑点的情况下,也认为气泡识别精度降低。也可以在参考线上的边缘对数为3以上的情况下,进行引起注意的显示。
在图11中整理了实施方式的异物判定方法的要点。针对每个斑点判定是否为气泡图像,即是否为异物图像。具体而言,判断是否满足气泡判定条件154。在图示的例子中,在气泡判定条件154中包含边缘对条件136及边缘间隔条件138。仅在同时满足了这些条件的情况下才满足气泡判定条件。实际上,在存在满足气泡判定条件的n条参考线的情况下,斑点被识别为气泡图像(参照附图标记158)。n例如为1。也可以将n设为2以上的数值。在斑点未被识别为气泡图像的情况下,判定斑点为异物图像(参照附图标记160)。在气泡图像的识别及异物图像的判定中,也可以参考其它信息。例如,也可以考虑斑点的外形、尺寸等。
在图12中,将异物检查系统的动作、特别是图像处理的内容作为流程图示出。以通过照相机获取的图像为单位而实施图像处理。在S12中,对原图像应用前处理。为了不将在注射器上产生的伤痕、污垢误检测出,利用前帧图像等基准图像,在原图像和基准图像之间实施差分运算。对由此生成的差分图像应用标示等处理,生成可能包含一或多个斑点的对象图像。在S14中,针对对象图像中的每个斑点设定ROI。S16之后的处理针对每个ROI、即针对每个斑点实施。
在S16中,确定第k个ROI,在S18中,识别第k个ROI内的斑点是否为气泡图像。如果是气泡图像则执行S22,如果不是气泡图像则在S20中判定斑点为异物图像。即,检测到异物。记录该事实,并执行必要的控制。在S22中,判定是否已经处理至最终的ROI,如果为“否”,则在S24中将k递增一个,在此基础上反复执行S16以后的各工序。
在上述实施方式中,检查对象是药剂,但也可以使用上述结构对其它检查对象实施异物检测。
Claims (7)
1.一种气泡识别装置,其特征在于,包含:
设定部,其对图像中的斑点设定横穿该斑点的至少一条参考线;以及
识别部,其基于所述至少一条参考线上的亮度分布满足气泡判定条件,将所述斑点识别为气泡图像;
在所述气泡判定条件中包含边缘对条件,
所述边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
2.根据权利要求1所述的气泡识别装置,其特征在于,
所述设定部对所述斑点设定由存在交叉关系的多个参考线列构成的参考线组,
所述识别部基于在所述参考线组上的亮度分布组中n个亮度分布满足所述气泡判定条件,将所述斑点识别为所述气泡图像,其中,n为1以上的整数。
3.根据权利要求2所述的气泡识别装置,其特征在于,
所述参考线组包含:
第一参考线列,其由与第一方向平行的多条参考线构成;以及
第二参考线列,其由与第二方向平行的多条参考线构成,所述第二方向与所述第一方向交叉。
4.根据权利要求1所述的气泡识别装置,其特征在于,
在所述气泡判定条件中包含边缘间隔条件,
所述边缘间隔条件是关于通过所述两个边缘对确定的两个边缘间隔的条件。
5.根据权利要求4所述的气泡识别装置,其特征在于,
在所述两个边缘间隔之差处于规定范围内的情况下,满足所述边缘间隔条件。
6.一种气泡识别方法,其特征在于,包括:
对图像中的斑点设定多条参考线的工序;以及
基于在所述多条参考线上的多个亮度分布中n个亮度分布满足气泡判定条件,将所述斑点识别为气泡图像的工序,其中,n为1以上的整数;
在所述气泡判定条件中包含边缘对条件,
所述边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
7.一种异物检测系统,其特征在于,包含:
拍摄装置,其对检查对象物进行拍摄;以及
处理器,其处理由所述拍摄装置获取的图像;
所述处理器对所述图像应用排除非悬浮斑点的前处理,对所述前处理后的图像中的悬浮斑点设定参考线组,基于在所述参考线组上的亮度分布组中n个亮度分布满足气泡判定条件,将所述悬浮斑点识别为气泡图像,其中,n为1以上的整数,在所述悬浮斑点未被识别为所述气泡图像的情况下,将所述悬浮斑点判定为异物图像,
在所述气泡判定条件中包含边缘对条件,
所述边缘对条件是要求在所关注的亮度分布中包含两个边缘对的条件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020215149 | 2020-12-24 | ||
JP2020-215149 | 2020-12-24 | ||
PCT/JP2021/047328 WO2022138643A1 (ja) | 2020-12-24 | 2021-12-21 | 気泡識別装置、気泡識別方法及び異物検出システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116710960A true CN116710960A (zh) | 2023-09-05 |
Family
ID=82159739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180086568.8A Pending CN116710960A (zh) | 2020-12-24 | 2021-12-21 | 气泡识别装置、气泡识别方法及异物检测系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240054654A1 (zh) |
EP (1) | EP4270314A1 (zh) |
JP (1) | JP7454706B2 (zh) |
CN (1) | CN116710960A (zh) |
WO (1) | WO2022138643A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823835B (zh) * | 2023-08-30 | 2023-11-10 | 山东省永星食品饮料有限公司 | 基于机器视觉的瓶装水杂质检测方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339478A (ja) | 1999-05-31 | 2000-12-08 | Nec Corp | 画像処理装置及び方法 |
JP2003309844A (ja) | 2002-04-18 | 2003-10-31 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2004226228A (ja) | 2003-01-23 | 2004-08-12 | Eisai Co Ltd | 溶液中の異物検査方法およびその装置 |
JP4254347B2 (ja) | 2003-05-27 | 2009-04-15 | パナソニック電工株式会社 | 容器内液体中の異物検出方法及びその装置 |
JP4421396B2 (ja) | 2004-06-29 | 2010-02-24 | 株式会社ミューチュアル | 液体容器の気泡の判別方法 |
JP4529728B2 (ja) | 2005-02-23 | 2010-08-25 | パナソニック電工株式会社 | 容器内の異物検査方法およびその装置 |
JP5046285B2 (ja) | 2007-08-29 | 2012-10-10 | 一般財団法人電力中央研究所 | バブルカウントシステム |
JP2011058970A (ja) | 2009-09-10 | 2011-03-24 | Denso Corp | 管端面検査装置及び管端面検査方法 |
JP5757724B2 (ja) | 2010-12-10 | 2015-07-29 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5787670B2 (ja) | 2011-08-25 | 2015-09-30 | 株式会社ミューチュアル | 気泡判別検査装置および気泡判別検査方法 |
JP7139243B2 (ja) * | 2015-09-16 | 2022-09-20 | サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニー | 画像分析システム及び方法 |
RU2019115141A (ru) * | 2016-10-21 | 2020-11-23 | Фёрст Фронтиер Пти Лтд | Cистема и способ выполнения автоматизированного анализа проб воздуха |
US10789495B2 (en) | 2016-12-21 | 2020-09-29 | Volkswagen Ag | System and method for 1D root association providing sparsity guarantee in image data |
JP2021522487A (ja) * | 2018-04-24 | 2021-08-30 | ファースト フロンティア ピーティーワイ リミテッドFirst Frontier Pty Ltd | 空気サンプルの自動分析をするためのシステムおよび方法 |
-
2021
- 2021-12-21 JP JP2022571503A patent/JP7454706B2/ja active Active
- 2021-12-21 EP EP21910785.1A patent/EP4270314A1/en active Pending
- 2021-12-21 US US18/259,111 patent/US20240054654A1/en active Pending
- 2021-12-21 CN CN202180086568.8A patent/CN116710960A/zh active Pending
- 2021-12-21 WO PCT/JP2021/047328 patent/WO2022138643A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022138643A1 (ja) | 2022-06-30 |
US20240054654A1 (en) | 2024-02-15 |
JP7454706B2 (ja) | 2024-03-22 |
EP4270314A1 (en) | 2023-11-01 |
JPWO2022138643A1 (zh) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1560017B1 (en) | Glass bottle inspection device | |
CN110261410A (zh) | 一种玻璃透镜缺陷的检测装置及方法 | |
CN109100363B (zh) | 一种贴合异物缺陷与灰尘的区分方法及系统 | |
US7330251B2 (en) | Method and apparatus for producing reference image in glass bottle inspecting apparatus | |
JP5061543B2 (ja) | 印刷物検査装置、印刷物検査方法 | |
US20190362481A1 (en) | Detecting mura defects in master panel of flat panel displays during fabrication | |
JP4517826B2 (ja) | 液面検出方法 | |
JPH0785061B2 (ja) | 透明ガラス容器の裾底部の異物検査装置 | |
CN109191516B (zh) | 结构光模组的旋转纠正方法、装置及可读存储介质 | |
CN116710960A (zh) | 气泡识别装置、气泡识别方法及异物检测系统 | |
JP2006234515A (ja) | 容器内の異物検査方法およびその装置 | |
EP1018633A2 (en) | Bar angle measurement system | |
CN110148141B (zh) | 一种丝印滤光片小片检测计数方法及设备 | |
JP2006170635A (ja) | 画像処理による欠陥の検出装置および検出方法 | |
CN112987356A (zh) | 液晶面板底部异物误检滤除方法及装置 | |
CN114120320A (zh) | 一种图像多目标信息识别方法、系统及介质 | |
JPH09161056A (ja) | 円形容器内面検査方法 | |
JPH03108638A (ja) | 粒子凝集パターン判定方法 | |
Peng et al. | An online glass medicine bottle defect inspection method based on machine vision | |
JPH1115975A (ja) | 外観検査方法 | |
KR101315103B1 (ko) | 광학 필름의 결함 판별 방법 | |
JPS6312987A (ja) | 移動物体の検知方法 | |
US20210056660A1 (en) | Vial content detection using illuminated background pattern | |
JPH11351842A (ja) | 車輪形状計測装置 | |
JP4863029B2 (ja) | マーク位置認識装置およびマーク位置認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |