CN109727225A - 图像处理装置、图像处理方法以及记录介质 - Google Patents
图像处理装置、图像处理方法以及记录介质 Download PDFInfo
- Publication number
- CN109727225A CN109727225A CN201811057843.XA CN201811057843A CN109727225A CN 109727225 A CN109727225 A CN 109727225A CN 201811057843 A CN201811057843 A CN 201811057843A CN 109727225 A CN109727225 A CN 109727225A
- Authority
- CN
- China
- Prior art keywords
- line
- image processing
- interruption
- coating material
- dispensing area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 239000000463 material Substances 0.000 claims abstract description 138
- 239000011248 coating agent Substances 0.000 claims abstract description 122
- 238000000576 coating method Methods 0.000 claims abstract description 122
- 238000007689 inspection Methods 0.000 claims abstract description 55
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000000926 separation method Methods 0.000 claims description 5
- 239000004744 fabric Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000010422 painting Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 22
- 239000003566 sealing material Substances 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 101100408453 Arabidopsis thaliana PLC5 gene Proteins 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- 230000007723 transport mechanism Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 102200094897 rs121913558 Human genes 0.000 description 1
- 102220238245 rs1555952639 Human genes 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
- G01B11/046—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring width
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
- G01N2021/8864—Mapping zones of defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Analytical Chemistry (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种能够同时检测涂布材的多个中断与涂布材的倾斜中断的图像处理装置、图像处理方法以及记录介质。图像处理装置包括:分组部,在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像内提取表示涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;计算部,在包含线部分的各个端部的、涂布区域的多个部位,算出每个所述线部分相对于所述线部分的正交方向的线宽;中断检测部,基于所述算出的线宽,来检测涂布材的中断;以及输出部,在检测到中断时,输出产生了中断的意旨。
Description
技术领域
本发明涉及一种用于对涂布于检查对象物的涂布材的中断进行检测的图像处理装置、图像处理方法以及记录介质。
背景技术
在工厂自动化(Factory Automation,FA)领域,用于对工件(work)等检查对象物进行自动检查的技术正在普及。作为自动检查之一,有用于检查密封(seal)材等涂布材是否按照意图涂布于工件的技术。通过所述检查,来检测密封材是否中断、密封材的宽度是否适当、密封材是否被涂布到意图的部位等。
关于对涂布材的中断进行检测的技术,日本专利特开2015-132536号公报(专利文献1)揭示了一种检查装置,其“能够效率良好地进行使用图像处理的密封材涂布状态的检查”。所述检查装置针对表示密封材的图像而受理第1点、第2点的设定。随后,所述检查装置从第1点开始循着密封材,根据是否能够到达第2点来判定密封材有无中断。
作为另一例,日本专利特开2010-054289号公报(专利文献2)揭示了一种检查装置,其“利用简便的方法来精度良好地进行线状图案(pattern)的路径的适当与否的判别,并且在存在中断或粘合等不良时,能够切实地检测所述不良”。所述检查装置以横切图像内的涂布材的方式来受理第1假想线、第2假想线的设定。随后,所述检查装置从第1假想线上的边缘点开始进行轮廓追踪,根据追踪结果是返回第1假想线还是到达第2假想线来判定密封材有无中断。
作为另一例,日本专利特开平08-334478号公报(专利文献3)揭示了一种用于“根据图像状态来检查密封材的涂布状态”的密封检查系统。在所述密封检查系统中,从图像内的涂布材中预先设定的各检查点(point)开始探索两个边缘点,将所述两个边缘点间的距离检测为密封材的宽度。
[现有技术文献]
[专利文献]
专利文献1:日本专利特开2015-132536号公报
专利文献2:日本专利特开2010-054289号公报
专利文献3:日本专利特开平08-334478号公报
发明内容
[发明所要解决的问题]
所述专利文献1所揭示的检查装置如上所述,从预先设定的第1点开始循着密封材,根据是否能够到达第2点来判定密封材有无中断。因此,所述检查装置能够对密封材分离的情况进行检测,但无法检测密封材如何中断。例如,所述检查装置在涂布材分离为三个以上的情况下,无法检测涂布材分离为三个以上的情况。
所述专利文献2所揭示的检查装置如上所述,从预先设定的第1假想线上的边缘点开始进行轮廓追踪,根据追踪结果是返回第1假想线还是到达第2假想线来判定密封材有无中断。因此,所述检查装置能够对密封材分离的情况进行检测,但无法检测密封材如何中断。例如,所述检查装置在涂布材分离为三个以上的情况下,无法检测涂布材分离为三个以上的情况。
所述专利文献3所揭示的密封检查系统如上所述,对于预先设定的各检查点探索两个边缘点,将所述两个边缘点间的距离检测为密封材的宽度。所述密封检查系统能够基于对各检查点检测出的涂布材的宽度,来检测密封材分离为多个的情况。但是,所述密封检查系统是对各检查点探索两个边缘点,因此无法检测倾斜中断,所述倾斜中断表示涂布成线状的密封材相对于线方向而倾斜地中断的情况。
这样,所述专利文献1~专利文献3所揭示的检查方法无法同时检测涂布材的多个中断与涂布材的倾斜中断。
本发明是为了解决如上所述的问题而完成,一方面的目的在于提供一种能够同时检测涂布材的多个中断与涂布材的倾斜中断的技术。
[解决问题的技术手段]
本发明的一例中,图像处理装置包括:分组(grouping)部,用于在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;计算部,用于在包含所述线部分的各个端部的、所述涂布区域的多个部位,算出每个所述线部分相对于所述线部分的正交方向的线宽;中断检测部,用于基于在所述多个部位算出的所述线宽与所述分组部的分组结果,来检测所述涂布材的中断;以及输出部,用于在检测到所述中断时,输出产生了所述中断的意旨。
根据本发明,针对经分组的一连串的每个线部分,在涂布区域的多个部位算出线宽,由此,图像处理装置能够同时检测涂布材的多个中断与涂布材的倾斜中断。
本发明的另一示例中,所述输出部显示所述输入图像,并且在所述输入图像上,较其他部分强调显示产生了所述中断的部分。
根据本发明,用户一眼就能掌握产生了中断的部分。
本发明的另一示例中,所述强调显示包含沿着所述中断来显示直线。
根据本发明,用户能够容易地掌握产生中断的方向。
本发明的另一示例中,所述输出部进而显示通过所述分组部对所述涂布区域进行分组的数量以作为所述涂布材的分离数。
根据本发明,用户能够容易地掌握涂布材分离成多少个。
本发明的另一示例中,所述计算部以与规定的基准路径正交的方式而在所述基准路径的多个部位设定直线,所述规定的基准路径表示图像内应映出有所述涂布材的位置,针对每个所述线部分,对分别位于所述经设定的直线上的两个边缘点进行检测,并且算出所述两个边缘点间的距离以作为所述线宽。
根据本发明,在以与表示涂布材的涂布区域正交的方式而设定的直线上,必然存在边缘点,因此图像处理装置能够准确地算出线宽。
本发明的另一示例中,所述中断检测部在针对在所述多个部位所设定的所述直线的一个而算出多个所述线宽时,检测出所述中断。
根据本发明,针对经分组的一连串的每个线部分,在涂布区域的多个部位算出线宽,由此,图像处理装置能够容易地检测涂布材的倾斜中断。
本发明的另一示例中,图像处理方法包括下述步骤:在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;在包含所述线部分的各个端部的、所述涂布区域的多个部位,针对每个所述线部分而算出所述线部分的相对于正交方向的线宽;基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及在检测到所述中断时,输出产生了所述中断的意旨。
根据本发明,针对经分组的一连串的每个线部分,在涂布区域的多个部位算出线宽,由此,图像处理方法能够同时检测涂布材的多个中断与涂布材的倾斜中断。
本发明的另一示例中,记录介质记录由计算机执行的图像处理程序,所述图像处理程序使计算机(computer)执行下述步骤:在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;在包含所述线部分的各个端部的、所述涂布区域的多个部位,针对每个所述线部分而算出所述线部分的相对于正交方向的线宽;基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及在检测到所述中断时,输出产生了所述中断的意旨。
根据本发明,针对经分组的一连串的每个线部分,在涂布区域的多个部位算出线宽,由此,图像处理程序能够同时检测涂布材的多个中断与涂布材的倾斜中断。
[发明的效果]
在一方面,能够同时检测涂布材的多个中断与涂布材的倾斜中断。
附图说明
图1是概略表示依据实施方式的图像处理系统的概念图。
图2是用于说明依据实施方式的图像处理装置的功能的图。
图3是表示依据实施方式的图像处理系统的整体结构的一例的图。
图4是表示依据实施方式的图像处理装置的硬件(hardware)结构的一例的示意图。
图5是表示流程图的图,所述流程图表示由依据实施方式的图像处理装置所执行的设定工序。
图6是表示在图5的步骤S12中所显示的设定画面的一例的图。
图7是表示在图5的步骤S14中所显示的设定画面的一例的图。
图8是表示在按下基准路径制作按钮后所显示的设定画面的一例的图。
图9是表示流程图的图,所述流程图表示由依据实施方式的图像处理装置所执行的检查工序。
图10是表示从拍摄部获得的输入图像的图。
图11是表示从输入图像获得的二值化图像的图。
图12是表示针对二值化图像的分组结果的一例的图。
图13是表示对涂布区域所设定的基准直线的一例的图。
图14是用于说明针对第一个线部分的线宽计算处理的图。
图15是用于说明针对第二个线部分的线宽计算处理的图。
图16是用于说明针对第三个线部分的线宽计算处理的图。
图17是用于说明中断的检测处理的图。
图18是表示判定为涂布材的涂布品质存在缺陷时的检查结果的显示例的图。
符号的说明
1:图像处理系统
5:PLC
6:搬送机构
7:涂布材
8:拍摄部
10:设定画面
10A:颜色设定画面
10B:区域设定画面
20:图像处理程序
30、35、62:输入图像
31:颜色设定区域
31A:指针指定区域
31B:数值输入区域
32A:图像显示区域
36A、64:涂布区域
38:圆
38A、38B:轮廓
39A、39B:涂布允许范围
40:基准路径
46、57:确认按钮
48、58:取消按钮
51:指定区域
52:测量区域登记按钮
53:开始线登记按钮
54:结束线登记按钮
55:基准路径制作按钮
56:复选框
63:工件区域
64A、64B、64C:线部分
65、65A、65B、65C:二值化图像
70:检查结果画面
71A、71B:直线
71C、71D:标记
72:概要显示区域
74:详细显示区域
100:图像处理装置
101:输出部
102:显示部
104:键盘
106:存储卡
110:控制装置
112:RAM
114:显示控制器
116:系统控制器
118:I/O控制器
120:存储装置
122:摄像机接口
124:输入接口
126:PLC接口
128:通信接口
130:存储卡接口
152:分组部
154:计算部
156:检测部
具体实施方式
以下,参照附图来说明依据本发明的各实施方式。以下的说明中,对于同一零件及构成元件标注同一符号。它们的名称及功能也相同。因此,不再重复对它们的详细说明。
<A.适用例>
首先,参照图1及图2来说明本发明的适用例。图1是概略表示依据本实施方式的图像处理系统1的概念图。
图像处理系统1例如包含:拍摄部8,用于拍摄检查对象物;以及图像处理装置100,用于对从拍摄部8获得的图像执行规定的图像处理。拍摄部8既可独立于图像处理装置100而构成,也可与图像处理装置100一体地构成。
图像处理装置100包含用于控制图像处理装置100的控制装置110、及用于输出检查结果的输出部101,以作为主要的组件(component)。控制装置110包含分组部152、计算部154及中断检测部156,以作为主要的功能结构。
拍摄部8对在输送机(conveyor)上受到搬送的工件W进行拍摄,生成表示工件W的输入图像。工件W为检查对象物,例如是制品或半制品。在工件W上,涂布有涂布材7。涂布材7例如为密封材等粘合剂。拍摄部8将所生成的输入图像30依序输出至控制装置110的分组部152。
图2是用于说明图像处理装置100的功能的图。图2中,显示有输入图像30的一部分以作为输入图像35。
分组部152在输入图像35内提取表示涂布材7的涂布区域64,将涂布区域64分组为一连串的每个线部分。图2例中,涂布区域64的线部分64A被分组为组(group)G1。同样地,涂布区域64的线部分64B被分组为组G2。同样地,涂布区域64的线部分64C被分组为组G3。分组部152的分组结果被输出至计算部154。作为一例,分组结果包含用于对组G1~G3的各个进行识别的识别信息、及组G1~G3各自在图像内的坐标值等。
计算部154在包含线部分64A~64C的各个端部的、涂布区域64的多个部位,针对每个线部分64A~64C,算出所述线部分的相对于正交方向的线宽(粗度)。此处所说的端部,无须为线部分64A~64C的前端,是指从线部分64A~64C的前端计起的规定距离(规定像素(pixel))内的部分。线宽的计算方法的详细将后述。
图2的示例中,计算部154在基准直线L1~L9上算出线宽。更具体而言,对于线部分64A,计算部154在基准直线L1~L5上算出线宽W1~W4、W5A。对于线部分64B,计算部154在基准直线L5~L7上算出线宽W5B、W6、W7。对于线部分64C,计算部154在基准直线L9上算出线宽W9。所算出的线宽W1~W4、W5A、W5B、W6、W7、W9被输出至中断检测部156。
中断检测部156基于对线部分64A~64C算出的线宽W1~W4、W5A、W5B、W6、W7、W9来检测涂布材的中断。详细将后述,中断检测部156例如基于针对基准直线L1~L9的一条而算出多个线宽的情况,能够检测出表示线状的涂布材相对于涂布材的切线方向而倾斜地中断的倾斜中断。图2的示例中,由于针对一条基准直线L5而检测出多个线宽W5A、W5B,因此中断检测部156在基准直线L5上检测出倾斜中断。
输出部101是用于输出检查结果的单元。作为一例,输出部101是后述的显示部102(参照图3)、输出声音的扬声器(speaker)、指示器(indicator)或其他输出机器。输出部101在由中断检测部156检测到中断时,输出产生了中断的意旨。图1的示例中,对产生了中断的部位标注有圆38。
通过针对经分组的每个线部分算出线宽,从而图像处理装置100即使在涂布材分离为三个以上的情况下,也能够检测涂布材的中断。
<B.图像处理系统1的结构>
参照图3来说明图像处理系统1的整体结构。图3是表示图像处理系统1的整体结构的一例的图。
图像处理系统1包含也被称作视觉传感器的图像处理装置100、可与图像处理装置100通信的可编程逻辑控制器(Programmable Logic Controller,PLC)5、及连接于图像处理装置100的拍摄部8(图像获取部),以作为主要的组件。
PLC5与图像处理装置100联系,以执行输送机等搬送机构6等的控制。作为一例,拍摄部8除了镜头(lens)等光学系统以外,还包含电荷耦合器件(Coupled Charged Device,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)传感器等被划分为多个像素的拍摄元件而构成。拍摄部8依序拍摄由搬送机构6所搬送的工件W。通过拍摄部8的拍摄而获取的输入图像被传输至图像处理装置100。
图像处理装置100通过执行规定的检查程序,来检查涂布材是否按照意图涂布于检查对象物。作为一例,图像处理装置100检查涂布材是否中断、涂布材的涂布宽度是否适当、涂布材是否被涂布到意图的部位等。图像处理装置100的检查结果显示于显示部102。
<C.图像处理装置100的结构>
参照图4来说明图1所示的图像处理装置100的硬件结构。图4是表示图像处理装置100的硬件结构的一例的示意图。
典型的是,图像处理装置100具有遵循通用的计算机架构(computerarchitecture)的结构,通过处理器(processor)执行预先安装的程序,实现图1中说明的各种图像处理。
更具体而言,图像处理装置100包含中央处理器(Central Processing Unit,CPU)或微处理器(Micro-Processing Unit,MPU)等控制装置110、随机存取存储器(RandomAccess Memory,RAM)112、显示控制器114、系统控制器(system controller)116、输入/输出(Input Output,I/O)控制器118、存储装置120、摄像机接口(camera interface)122、输入接口124、PLC接口126、通信接口128及存储卡接口(memory card interface)130。这些各部以系统控制器116为中心,可彼此进行数据通信地连接。
控制装置110与系统控制器116之间交换程序(代码(code))等,通过按照规定顺序来执行这些程序(代码),从而实现目标运算处理。系统控制器116分别经由总线(bus)而与控制装置110、RAM112、显示控制器114及I/O控制器118连接,与各部之间进行数据交换等,并且负责图像处理装置100整体的处理。
典型的是,RAM112为动态随机存取存储器(Dynamic Random Access Memory,DRAM)等易失性的存储器,保持从存储装置120读出的程序、由拍摄部8所获取的输入图像、对输入图像的处理结果及工作数据(work data)等。
显示控制器114与显示部102连接,根据来自系统控制器116的内部命令,将用于显示各种信息的信号输出至显示部102。作为一例,显示部102包含液晶显示器或有机电致发光(Electro Luminescence,EL)显示器、有机EL等。显示部102既可如图4所示与图像处理装置100一体地构成,也可与图像处理装置100独立地构成。
I/O控制器118对与连接于图像处理装置100的记录介质或外部机器之间的数据交换进行控制。更具体而言,I/O控制器118与存储装置120、摄像机接口122、输入接口124、PLC接口126、通信接口128及存储卡接口130连接。
典型的是,存储装置120为非易失性的磁存储装置,除了由控制装置110执行的图像处理程序20以外,还保存各种设定值等。进而,在存储装置120中,保存从拍摄部8获得的输入图像。另外,也可取代存储装置120而采用快闪存储器(flash memory)等半导体存储装置或数字通用光盘随机存取存储器(Digital Versatile Disk Random Access Memory,DVD-RAM)等光学存储装置。
摄像机接口122相当于对通过拍摄工件W(检查对象物)而生成的图像数据进行受理的输入部,对控制装置110与拍摄部8之间的数据传输进行中介。更具体而言,摄像机接口122可与一个以上的拍摄部8连接,从控制装置110经由摄像机接口122来对拍摄部8输出拍摄指示。由此,拍摄部8拍摄被摄物,并将所生成的图像经由摄像机接口122而输出至控制装置110。
输入接口124对控制装置110与键盘(keyboard)104、鼠标(mouse)、触控面板(touch panel)、专用控制台(console)等输入装置之间的数据传输进行中介。即,输入接口124受理用户通过操作输入装置而给予的操作指令。
PLC接口126对PLC5与控制装置110之间的数据传输进行中介。更具体而言,PLC接口126将与由PLC5所控制的生产线(line)的状态相关的信息或与工件W相关的信息等传输至控制装置110。
通信接口128对控制装置110与未图示的其他个人计算机(personal computer)或服务器装置等之间的数据传输进行中介。典型的是,通信接口128包含以太网(Ethernet)(注册商标)或通用串行总线(Universal Serial Bus,USB)等。另外,也可取代将保存于存储卡106的程序安装至图像处理装置100的形态,而将从配送服务器等经由通信接口128下载的程序安装至图像处理装置100。作为一例,通信接口128从拍摄部8或PLC5等接收表示拍摄部8的状态的信号。所述信号表示拍摄部8是否处于拍摄中。
存储卡接口130对控制装置110与作为记录介质的存储卡106之间的数据传输进行中介。即,由图像处理装置100所执行的图像处理程序20等以保存在存储卡106中的状态而流通,存储卡接口130从所述存储卡106读出图像处理程序20。而且,存储卡接口130响应控制装置110的内部指令,将由拍摄部8所获取的摄像机图像和/或图像处理装置100中的处理结果等写入至存储卡106。另外,存储卡106包含安全数字(Secure Digital,SD)卡等通用的半导体存储元件、软盘(Flexible Disk)等磁记录介质或者只读光盘(Compact Disk ReadOnly Memory,CD-ROM)等光学记录介质等。
在利用如上所述的具有遵循通用计算机架构的结构的计算机时,除了用于提供本实施方式的功能的应用(application)以外,也可安装用于提供计算机的基本功能的操作系统(Operating System,OS)。此时,本实施方式的图像处理程序也可为以规定的顺序和/或时机(timing)调用作为OS的一部分而提供的程序模块(program module)中的所需模块来执行处理者。即,本实施方式的程序自身也有时不包含如上所述的模块,而是与OS协动地执行处理。因此,作为本实施方式的图像处理程序,也可为此种不包含一部分模块的形态。
进而,本实施方式的图像处理程序也可编入其他程序的一部分而提供。此时,在程序自身中也不包含如上所述的加以组合的其他程序中所含的模块,而是与所述其他程序协动地执行处理。即,作为本实施方式的图像处理程序,也可为此种编入其他程序中的形态。
另外,也可替代性地,将通过图像处理程序的执行所提供的功能的一部分或全部作为专用的硬件电路而安装。
<D.检查流程>
参照图5~图18来说明图像处理装置100的检查流程。图像处理装置100的检查流程大致分为设定工序与检查工序。设定工序是在检查工序的事先进行的工序,进行在检查工序中执行的各种图像处理的参数(parameter)设定。在检查工序中,图像处理装置100根据在设定工序中设定的各种参数,对涂布材的涂布品质执行检查处理。
设定工序及检查工序是通过图像处理装置100的控制装置110执行程序而实现。在另一方面,处理的一部分或全部也可由电路元件或其他硬件来执行。
以下,依序说明由图像处理装置100所执行的设定工序及检查工序。
[D1.设定工序]
首先,参照图5~图9来说明由图像处理装置100的控制装置110所执行的设定工序。图5是表示流程图的图,所述流程图表示由控制装置110所执行的设定工序。
在步骤S10中,控制装置110向拍摄部8输出拍摄指示,使拍摄部8对呈线状地涂布有涂布材的工件进行拍摄。由此,控制装置110获取表示涂布有涂布材的工件的基准图像。步骤S10中获得的基准图像是对正常涂布有涂布材的工件进行拍摄所得,是成为涂布材的涂布品质的模范的图像。
在步骤S12中,控制装置110受理用于指定涂布材的颜色范围的颜色设定。图6是表示在步骤S12中所显示的设定画面10的一例的图。
如图6所示,设定画面10包含用于显示各种设定画面的选项标签(tab)TB。当选择了选项标签TB的“颜色指定”时,显示用于指定涂布材的颜色范围的颜色设定画面10A。颜色设定画面10A包含颜色设定区域31、图像显示区域32A、确认按钮(OK button)46及取消按钮(cancel button)48。
在颜色设定区域31中,用户能够输入涂布材的色调范围的设定、涂布材的饱和度范围的设定、及涂布材的亮度范围的设定。以下,也将色调范围、饱和度范围及亮度范围总称作“颜色范围”。颜色设定区域31包含:指针指定区域31A,通过指针(pointer)指定来受理涂布材的颜色范围的设定;以及数值输入区域31B,通过数值输入来受理涂布材的颜色范围的设定。
涂布材的色调的范围设定是通过用于设定色调下限值的指针H1、与用于设定色调上限值的指针H2来设定。指针H1、H2构成为,可通过鼠标操作或触摸操作而沿纸面的左右方向滑动。由指针H1、H2指定的范围被设定为涂布材的色调范围。
涂布材的饱和度的范围设定是通过用于设定饱和度下限值的指针C1、与用于设定饱和度上限值的指针C2来设定。指针C1、C2构成为,可通过鼠标操作或触摸操作而沿纸面的上下方向滑动。由指针C1、C2指定的范围被设定为涂布材的饱和度范围。
涂布材的亮度的范围设定是通过用于设定亮度下限值的指针B1、与用于设定亮度上限值的指针B2来设定。指针B1、B2构成为,可通过鼠标操作或触摸操作而沿纸面的上下方向滑动。由指针B1、B2指定的范围被设定为涂布材的亮度范围。
用户能够在数值输入区域31B中,输入色调的下限值、色调的上限值、饱和度的下限值、饱和度的上限值、亮度的下限值、亮度的上限值的数值。典型的是,指针指定区域31A中的指针位置与数值输入区域31B中的数值彼此联动。
控制装置110依照由颜色设定区域31所指定的颜色范围来对基准图像进行二值化。作为一例,控制装置110在基准图像的各像素包含在由颜色设定区域31所指定的颜色范围内的情况下,将所述像素的值设为“1”。另一方面,控制装置110在基准图像的各像素不包含在由颜色设定区域31所指定的颜色范围内的情况下,将所述像素的值设为“0”。由此,控制装置110由基准图像生成二值化图像。二值化图像被显示于图像显示区域32A。优选的是,控制装置110配合对颜色设定区域31的设定,来使显示于图像显示区域32A的二值化图像的显示联动。用户通过一边确认二值化图像一边进行对颜色设定区域31的设定,能够容易地进行涂布材的颜色范围的设定。
当用户按下确认按钮46时,控制装置110将在颜色设定区域31中设定的颜色范围的设定存储至存储装置120(参照图4)中。当用户按下取消按钮48时,控制装置110不存储在颜色设定区域31中设定的颜色范围的设定,并关闭颜色设定画面10A的显示。
再次参照图5,在步骤S14中,控制装置110受理应涂布涂布材的范围的开始位置及结束位置的设定。图7是表示在步骤S14中所显示的设定画面10的一例的图。
如图7所示,当选择了选项标签TB的“区域设定”时,显示用于指定应涂布涂布材的范围的区域设定画面10B。区域设定画面10B包含宽度指定区域51、测量区域登记按钮52、开始线登记按钮53、结束线登记按钮54、基准路径制作按钮55、复选框(check box)56、确认按钮57及取消按钮58。
在图像显示区域32A中,显示在所述步骤S10中获得的基准图像、或基于在所述步骤S12中设定的颜色范围而由基准图像获得的二值化图像。控制装置110根据对复选框56的操作来依序切换基准图像及二值化图像的显示。更具体而言,在未选中复选框56时,控制装置110在图像显示区域32A中显示基准图像。在选中了复选框56时,控制装置110在图像显示区域32A中显示二值化图像。
在宽度指定区域51中,用户能够以像素为单位来设定涂布涂布材的路径的允许宽度。当在后述的检查处理中涂布材超过所述允许宽度时,检查结果为“NG”。
测量区域登记按钮52受理应进行检查的图像区域的登记。更具体而言,用户对在图像显示区域32A中显示的图像进行区域指定。作为一例,所述区域指定是通过鼠标操作或触摸操作等来实现。在区域指定后,通过用户按下测量区域登记按钮52,从而控制装置110将所指定的检查对象区域存储至存储装置120(参照图4)中。由此,对应进行检查的图像区域与不进行检查的图像区域进行区分。
开始线登记按钮53受理应涂布涂布材的范围的开始位置的登记。更具体而言,用户能够对图像显示区域32A中所显示的图像指定涂布区域36A的开始位置。图7的示例中,作为所述开始位置而设定有开始线ST。开始线ST的设定例如是通过鼠标操作或触摸操作等来实现。开始线ST是以横切涂布区域36A的方式而设定。在开始线ST的设定后,通过用户按下开始线登记按钮53,从而控制装置110将图像内的开始线ST的位置(坐标值)存储至存储装置120(参照图4)中。
结束线登记按钮54受理应涂布涂布材的范围的结束位置的登记。更具体而言,用户能够对图像显示区域32A中所显示的图像指定涂布区域36A的结束位置。图7的示例中,作为所述结束位置而设定有结束线ED。结束线ED的设定例如是通过鼠标操作或触摸操作等来实现。结束线ED是以横切涂布区域36A的方式而设定。在结束线ED的设定后,通过用户按下结束线登记按钮54,从而控制装置110将图像内的结束线ED的位置(坐标值)存储至存储装置120(参照图4)中。
基准路径制作按钮55是用于执行下述处理的按钮,即,自动运算应涂布涂布材的范围。控制装置110基于受理了基准路径制作按钮55的按下的情况,执行图5所示的步骤S16的处理。
更具体而言,在步骤S16中,控制装置110对基于在所述步骤S12中设定的颜色范围而由基准图像获得的二值化图像适用微分滤波器(filter),生成表示边缘部分(梯度)的微分图像。作为一例,所述微分图像中,边缘部分的像素值是以“1”来表示,非边缘部分的像素值是以“0”来表示。控制装置110在开始线ST上检测像素值为“1”的两个边缘点(即,开始点SP1、SP2),并且在结束线ED上检测像素值为“1”的两个边缘点(结束点EP1、EP2)。控制装置110在微分图像上,对于邻接于开始点SP1的像素,沿逆时针方向探索边缘点。控制装置110在探索到边缘点时,存储所述边缘点的坐标值,并且将所述边缘点设定为目标像素。随后,控制装置110在微分图像上,对于邻接于所述目标像素的像素,沿逆时针方向探索边缘点。通过反复此种处理,控制装置110将从开始点SP1直至结束点EP1为止的边缘点的坐标值群检测为轮廓38A。同样,控制装置110将从开始点SP2直至结束点EP2为止的边缘点的坐标值群检测为轮廓38B。
图8是表示按下基准路径制作按钮55后所显示的设定画面10的一例的图。如图8所示,控制装置110基于轮廓38A、38B,来确定允许作为涂布材的涂布位置的涂布允许范围39A、39B。典型的是,控制装置110将由轮廓38A、38B所包围的范围朝外侧扩张在宽度指定区域51中所设定的宽度量,将所述扩张后的范围确定为涂布允许范围39A、39B。
而且,控制装置110将轮廓38A、38B的中心线确定为表示应涂布涂布材的位置的基准路径40。更具体而言,控制装置110对轮廓38A上的各点确定轮廓38B上的对应点。作为一例,控制装置110将从轮廓38A上的各点算起为最短的、轮廓38B上的点确定为对应点。控制装置110将连接轮廓38A、38B上的对应点间的中间点所得的线确定为基准路径40。
控制装置110在检测到确认按钮57的按下时,执行图5所示的步骤S18的处理。更具体而言,在步骤S18中,控制装置110将在步骤S16中所确定的涂布允许范围39A、39B与基准路径40存储至存储装置120(参照图4)中。控制装置110在检测到取消按钮58的按下时,不存储涂布允许范围39A、39B与基准路径40并关闭区域设定画面10B的显示。
[D2.检查工序]
接下来,参照图9~图18来说明由图像处理装置100的控制装置110所执行的检查工序。
图9是表示流程图的图,所述流程图表示由控制装置110所执行的检查工序。控制装置110按照在所述设定工序中设定的各种参数来对涂布材的涂布品质进行检查。
更具体而言,在步骤S50中,控制装置110向拍摄部8输出拍摄指示,使拍摄部8对呈线状地涂布有涂布材的工件进行拍摄。由此,控制装置110获取表示涂布有涂布材的工件的输入图像。图10是表示从拍摄部8获得的输入图像62的图。图10的示例中,输入图像62包含表示工件的工件区域63、与表示涂布材的涂布区域64。涂布区域64分离为线部分64A~64C。
再次参照图9,在步骤S52中,控制装置110从输入图像62中提取涂布区域64。更具体而言,控制装置110按照在所述设定工序中设定的涂布材的颜色范围来对输入图像进行二值化。作为一例,控制装置110在输入图像的各像素包含在所设定的颜色范围内的情况下,将所述像素的值设为“1”。另一方面,控制装置110在输入图像的各像素不包含在所设定的颜色范围内的情况下,将所述像素的值设为“0”。即,提取像素值为“1”的像素来作为表示涂布材的涂布区域。图11是表示由输入图像62获得的二值化图像65的图。如图11所示,在二值化图像65中,仅提取出涂布区域64。
再次参照图9,在步骤S54中,控制装置110作为所述分组部152(参照图1),将涂布区域64分组为一连串的每个线部分。作为一例,控制装置110对二值化图像65适用微分滤波器,生成表示边缘部分(梯度)的微分图像。在所述微分图像中,边缘部分的像素值是以“1”来表示,非边缘部分的像素值是以“0”来表示。随后,控制装置110对微分图像进行光栅扫描(raster scan),探索像素值为“1”的像素。控制装置110在探索到像素值为“1”的像素时,将所述像素设定为开始点。控制装置110对于所述开始点,沿逆时针方向探索边缘点。控制装置110在探索到边缘点时,存储所述边缘点的坐标值,并且将所述边缘点设定为目标像素。随后,控制装置110在微分图像上,对于邻接于所述目标像素的像素,沿逆时针方向探索边缘点。控制装置110执行此种轮廓追踪处理,直至目标点返回开始点为止。控制装置110将在轮廓追踪过程中存储的坐标值群检测为轮廓,将由所述轮廓所包围的区域确定为一个组。
此时,优选的是,控制装置110在各组的面积小于第1阈值的情况下,将所述组视为噪声(noise)。而且,控制装置110在各组的面积大于第2阈值(>第1阈值)时,将所述组视为噪声。即,控制装置110在各组的面积为第1阈值以上且第2阈值以下时,将所述组视为线部分。
图12是表示针对二值化图像65的分组结果的一例的图。图12的示例中,涂布区域64的线部分64A被分组为组G1,涂布区域64的线部分64B被分组为组G2,涂布区域64的线部分64C被分组为组G3。
再次参照图9,在步骤S56中,控制装置110作为所述计算部154(参照图1),在所述设定工序中设定的基准路径40(参照图8)上的多个部位,以与基准路径40的切线方向正交的方式设定基准直线。图13是表示对涂布区域64设定的基准直线的一例的图。图13的示例中,设定有基准直线L1~L9。
再次参照图9,在步骤S58中,控制装置110作为所述计算部154(参照图1),针对每个线部分64A~64C,对分别位于基准直线L1~L9上的两个边缘点进行检测,并且将所述两个边缘点间的距离算出为线宽。更具体而言,控制装置110对二值化图像65适用微分滤波器,生成表示边缘部分(梯度)的微分图像。作为一例,在所述微分图像中,边缘部分的像素值是以“1”来表示,非边缘部分的像素值是以“0”来表示。控制装置110对微分图像上的基准直线L1~L9进行扫描,探索像素值为“1”的至少两个边缘点。控制装置110将所述两个边缘点之间的距离算出为线宽。典型的是,控制装置110在存在三个以上的边缘点的情况下,将位于最外侧的两个边缘点之间的距离算出为线宽。
线宽的计算处理是针对经分组的每个线部分来进行。图14是用于说明针对线部分64A的线宽计算处理的图。图14中显示有表示线部分64A的二值化图像65A。在步骤S58A中,控制装置110在线部分64A与基准直线L1~L7的重复部位算出线宽。图14的示例中,控制装置110在基准直线L1上检测到边缘点E1A、E1B,将边缘点E1A、E1B间的距离算出为线宽W1。同样的,对基准直线L2算出线宽W2。对基准直线L3算出线宽W3。对基准直线L4算出线宽W4。对基准直线L5算出线宽W5。对基准直线L6算出线宽W6。对基准直线L7算出线宽W7A。
图15是用于说明针对线部分64B的线宽计算处理的图。在图15中,显示有表示线部分64B的二值化图像65B。在步骤S58B中,控制装置110在线部分64B与基准直线L7、L8的重复部位算出线宽。图15的示例中,对基准直线L7算出线宽W7B。对基准直线L8算出线宽W8。
图16是用于说明针对线部分64C的线宽计算处理的图。在图16中,显示有表示线部分64C的二值化图像65C。在步骤S58C中,控制装置110在线部分64C与基准直线L9的重复部位算出线宽。图16的示例中,对基准直线L9算出线宽W9。
再次参照图9,在步骤S60中,控制装置110作为所述中断检测部156(参照图1),基于在基准直线L1~L9上算出的线宽与步骤S54中的分组结果,判定涂布材是否产生了中断。图17是用于说明中断的检测处理的图。如图17所示,控制装置110在步骤S54中的分组数为多个的情况下,检测出涂布材的中断,并且在针对基准直线L1~L9中的一个而算出多个线宽的情况下,检测出倾斜中断。图17的示例中,针对一个基准直线L7而检测出多个线宽W7A、W7B,因此控制装置110判定为在基准直线L7上产生了倾斜中断。而且,在步骤S54中涂布材被分组为三个组,因此控制装置110判断为涂布材分离成三个。
另外,倾斜中断的检测方法并不限定于所述方法,可采用任意方法。作为一例,控制装置110在线部分64A~64C的端部算出的线宽为规定值以下时,检测出倾斜中断。图17的示例中,当线宽W7A、W7B为规定值以下时,控制装置110判定为在基准直线L7上产生了倾斜中断。
再次参照图9,在步骤S62中,控制装置110基于在所述设定工序中设定的涂布允许范围39A、39B(参照图8),来判定涂布材的涂布位置是否产生了偏移。更具体而言,控制装置110从在所述设定工序中设定的开始线ST开始执行轮廓追踪处理,以检测涂布区域64的轮廓。轮廓追踪处理如图7中所说明,因此不再重复其说明。控制装置110在涂布区域64的轮廓全部包含在涂布允许范围39A、39B内的情况下,判定为涂布材的涂布位置未产生偏移。另一方面,控制装置110在涂布区域64的轮廓的一部分未包含在涂布允许范围39A、39B内的情况下,判定为涂布材的涂布位置产生了偏移。
在步骤S64中,控制装置110判定涂布材的线宽是否处于允许范围内。更具体而言,控制装置110在基准直线L1~L9(参照图13)上算出的线宽低于预先设定的下限值的情况下、或者在基准直线L1~L9上算出的线宽超过预先设定的上限值的情况下,判定为涂布材的线宽存在缺陷。若并非如此,则控制装置110判定为涂布材的线宽无缺陷。
在步骤S70中,控制装置110使显示部102显示检查结果。图18是表示判定为涂布材的涂布品质存在缺陷时的检查结果的显示例的图。
图18中显示有检查结果画面70。检查结果画面70包含输入图像62、检查结果的概要显示区域72及检查结果的详细显示区域74。
控制装置110在输入图像62上显示涂布材的缺陷部位。作为一例,控制装置110在输入图像62上,较其他部分强调显示产生了倾斜中断的部分。由此,用户一眼就能够掌握产生了倾斜中断的部分。
强调显示产生了倾斜中断的部位的方法为任意。在一方面,显示部102通过沿着倾斜中断来显示直线,从而强调显示产生了倾斜中断的部分。图18的示例中,在产生了倾斜中断的部分显示有直线71A。由此,用户能够容易地掌握产生了倾斜中断的方向。在另一方面,显示部102以不同于其他部分的颜色来显示产生了倾斜中断的部分。
而且,显示部102较其他部分强调显示涂布材沿正交方向中断的部分。图18的示例中,在涂布材沿正交方向中断的部分显示有直线71B。
而且,显示部102较其他部分强调显示涂布材的线宽为最小的部分。图18的示例中,在线宽为最小的部分显示有标记(mark)71C。由此,用户能够容易地掌握线宽为最小的部分。
而且,显示部102较其他部分强调显示涂布材的线宽为最大的部分。图18的示例中,在线宽为最大的部分显示有标记71D。由此,用户能够容易地掌握线宽为最大的部分。
在概要显示区域72中,显示检查结果的概要。作为一例,在概要显示区域72中,显示检查结果的良否。在涂布材的涂布品质良好的情况下,在概要显示区域72中显示“合格(OK)”。另一方面,在涂布材的涂布品质存在缺陷的情况下,在概要显示区域72中显示“NG”。在概要显示区域72中显示的检查结果的良否,比在详细显示区域74中显示的检查结果的良否显示得大。用户通过确认在概要显示区域72中显示的检查结果,从而难以看漏工件W的不良品。
在详细显示区域74中,显示检查结果的详细。作为一例,在详细显示区域74中,显示检查结果的良否、检查对象物的状态、涂布材的最小涂布宽度、涂布材的最大涂布宽度、涂布材的平均涂布宽度、涂布材的分离数、涂布材的中断宽度。
更具体而言,控制装置110从在基准直线L1~L9(参照图13)上算出的线宽内确定最小涂布宽度,将所述最小涂布宽度显示于详细显示区域74。而且,控制装置110从在基准直线L1~L9上算出的线宽内确定最大涂布宽度,将所述最大涂布宽度显示于详细显示区域74。而且,控制装置110算出在基准直线L1~L9上算出的线宽的平均涂布宽度,将所述平均涂布宽度显示于详细显示区域74。而且,控制装置110将通过所述分组部152对涂布区域64进行分组的组数作为涂布材的分离数而显示于详细显示区域74。而且,控制装置110将彼此邻接的线部分的间隔算出为中断宽度,将所述中断宽度显示于详细显示区域74。
<E.总结>
如上所述,图像处理装置100将涂布区域64分组为一连串的每个线部分,在涂布区域64的多个部位,针对经分组的每个线部分,算出所述线部分的相对于正交方向的线宽。随后,图像处理装置100基于对各线部分算出的线宽来检测涂布区域64的倾斜中断。通过针对经分组的一连串的每个线部分来算出线宽,从而图像处理装置100即使在涂布材分离为三个以上的情况下,也能够检测中断。
<F.附注>
如上所述,本实施方式包含如下所述的揭示。
[结构1]
一种图像处理装置,其包括:分组部152,用于在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像30内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;
计算部154,用于在包含所述线部分的各个端部的、所述涂布区域的多个部位,针对每个所述线部分而算出所述线部分的相对于正交方向的线宽;
中断检测部156,用于基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及
输出部101,用于在检测到所述中断时,输出产生了所述中断的意旨。
[结构2]
根据结构1所述的图像处理装置,其中,所述输出部101显示所述输入图像30,并且在所述输入图像30上,较其他部分强调显示产生了所述中断的部分。
[结构3]
根据结构2所述的图像处理装置,其中,所述强调显示包含沿着所述中断来显示直线。
[结构4]
根据结构1至3中任一项所述的图像处理装置,其中,所述输出部101进而显示通过所述分组部152对所述涂布区域进行分组的数量以作为所述涂布材的分离数。
[结构5]
根据结构1至4中任一项所述的图像处理装置,其中,所述计算部154以与规定的基准路径正交的方式而在所述基准路径的多个部位设定直线,所述规定的基准路径表示图像内应映出有所述涂布材的位置,
针对每个所述线部分,对分别位于所述经设定的直线上的两个边缘点进行检测,并且算出所述两个边缘点间的距离以作为所述线宽。
[结构6]
根据结构5所述的图像处理装置,其中,所述中断检测部156在针对在所述多个部位所设定的所述直线的一个而算出多个所述线宽时,检测出所述中断。
[结构7]
一种图像处理方法,其包括:
步骤(S54),在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像30内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;
步骤(S58),在包含所述线部分的各个端部的、所述涂布区域的多个部位,针对每个所述线部分而算出所述线部分的相对于正交方向的线宽;
步骤(S60),基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及
步骤(S70),在检测到所述中断时,输出产生了所述中断的意旨。
[结构8]
一种记录介质,记录由计算机执行的图像处理程序,其中,
所述图像处理程序使所述计算机执行:
步骤(S54),在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像30内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;
步骤(S58),在包含所述线部分的各个端部的、所述涂布区域的多个部位,针对每个所述线部分而算出所述线部分的相对于正交方向的线宽;
步骤(S60),基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及
步骤(S70),在检测到所述中断时,输出产生了所述中断的意旨。
应认为,本次揭示的实施方式在所有方面仅为例示而非限制者。本发明的范围是由权利要求而非所述说明所示,且意图包含与权利要求均等的含义及范围内的所有变更。
Claims (8)
1.一种图像处理装置,包括:
分组部,在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;
计算部,在包含所述线部分的各个端部的、所述涂布区域的多个部位,算出每个所述线部分相对于所述线部分的正交方向的线宽;
中断检测部,基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及
输出部,在检测到所述中断时,输出产生了所述中断的意旨。
2.根据权利要求1所述的图像处理装置,其中,
所述输出部显示所述输入图像,并且在所述输入图像上,较其他部分强调显示产生了所述中断的部分。
3.根据权利要求2所述的图像处理装置,其中,
所述强调显示包含沿着所述中断来显示直线。
4.根据权利要求1至3中任一项所述的图像处理装置,其中,
所述输出部进而显示通过所述分组部对所述涂布区域进行分组的数量以作为所述涂布材的分离数。
5.根据权利要求1至3中任一项所述的图像处理装置,其中,
所述计算部以与规定的基准路径正交的方式而在所述基准路径的多个部位设定直线,所述规定的基准路径表示图像内应映出有所述涂布材的位置,
针对每个所述线部分,对分别位于经设定的所述直线上的两个边缘点进行检测,并且算出所述两个边缘点间的距离以作为所述线宽。
6.根据权利要求5所述的图像处理装置,其中,
所述中断检测部在针对所述多个部位所设定的所述直线的一个算出多个所述线宽时,检测出所述中断。
7.一种图像处理方法,其包括下述步骤:
在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;
在包含所述线部分的各个端部的、所述涂布区域的多个部位,算出每个所述线部分相对于所述线部分的正交方向的线宽;
基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及
在检测到所述中断时,输出产生了所述中断的意旨。
8.一种记录介质,记录由计算机执行的图像处理程序,其中,
所述图像处理程序使所述计算机执行下述步骤:
在对呈线状地涂布有涂布材的检查对象物进行拍摄所得的输入图像内提取表示所述涂布材的涂布区域,将所述涂布区域分组为一连串的每个线部分;
在包含所述线部分的各个端部的、所述涂布区域的多个部位,算出每个所述线部分相对于所述线部分的正交方向的线宽;
基于在所述多个部位算出的所述线宽,来检测所述涂布材的中断;以及
在检测到所述中断时,输出产生了所述中断的意旨。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017209294A JP6965693B2 (ja) | 2017-10-30 | 2017-10-30 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2017-209294 | 2017-10-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109727225A true CN109727225A (zh) | 2019-05-07 |
CN109727225B CN109727225B (zh) | 2023-06-02 |
Family
ID=63685562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811057843.XA Active CN109727225B (zh) | 2017-10-30 | 2018-09-11 | 图像处理装置、图像处理方法以及记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10852244B2 (zh) |
EP (1) | EP3477588B1 (zh) |
JP (1) | JP6965693B2 (zh) |
CN (1) | CN109727225B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08334478A (ja) * | 1995-06-09 | 1996-12-17 | Three Bond Co Ltd | シール検査システム |
JPH09173935A (ja) * | 1995-12-25 | 1997-07-08 | Matsushita Electric Works Ltd | フローコート塗装状態の検出方法およびその装置 |
JP2002096018A (ja) * | 2000-09-22 | 2002-04-02 | Daihatsu Motor Co Ltd | 塗布切れ検査方法および塗布切れ幅計測方法 |
JP2007229567A (ja) * | 2006-02-28 | 2007-09-13 | Fuji Heavy Ind Ltd | 塗布剤の塗布状態検査装置 |
JP2010054289A (ja) * | 2008-08-27 | 2010-03-11 | Omron Corp | 視覚検査装置 |
JP2013002957A (ja) * | 2011-06-16 | 2013-01-07 | Ihi Corp | 塗布状態検査装置及び方法並びにプログラム |
CN104020175A (zh) * | 2013-02-28 | 2014-09-03 | 发那科株式会社 | 包含线状图案的对象物的外观检查装置及外观检查方法 |
JP2017044680A (ja) * | 2015-08-27 | 2017-03-02 | ダイハツ工業株式会社 | シーラ塗布装置 |
KR101766884B1 (ko) * | 2016-04-29 | 2017-08-09 | 최광술 | 실러 도포 검사 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009139248A (ja) * | 2007-12-07 | 2009-06-25 | Hitachi High-Technologies Corp | 欠陥検出光学系および欠陥検出画像処理を搭載した表面欠陥検査装置 |
JP5560661B2 (ja) * | 2009-10-29 | 2014-07-30 | 株式会社Ihi | 塗布状態検査装置及び方法並びにプログラム |
JP2012237681A (ja) * | 2011-05-12 | 2012-12-06 | Ihi Corp | 塗布状態検査装置及び方法並びにプログラム |
KR101306289B1 (ko) * | 2011-09-15 | 2013-09-09 | (주) 인텍플러스 | 평판 패널 검사방법 |
US10240051B2 (en) * | 2013-09-04 | 2019-03-26 | Saint-Gobain Glass France | Method for producing a pane having an electrically conductive coating with electrically insulated defects |
JP6326821B2 (ja) | 2014-01-14 | 2018-05-23 | セイコーエプソン株式会社 | 検査装置および検査方法 |
CN104359915B (zh) * | 2014-12-08 | 2017-05-10 | 合肥京东方光电科技有限公司 | 一种涂胶检测方法及涂胶检测装置 |
-
2017
- 2017-10-30 JP JP2017209294A patent/JP6965693B2/ja active Active
-
2018
- 2018-09-10 EP EP18193424.1A patent/EP3477588B1/en active Active
- 2018-09-11 CN CN201811057843.XA patent/CN109727225B/zh active Active
- 2018-09-17 US US16/132,487 patent/US10852244B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08334478A (ja) * | 1995-06-09 | 1996-12-17 | Three Bond Co Ltd | シール検査システム |
JPH09173935A (ja) * | 1995-12-25 | 1997-07-08 | Matsushita Electric Works Ltd | フローコート塗装状態の検出方法およびその装置 |
JP2002096018A (ja) * | 2000-09-22 | 2002-04-02 | Daihatsu Motor Co Ltd | 塗布切れ検査方法および塗布切れ幅計測方法 |
JP2007229567A (ja) * | 2006-02-28 | 2007-09-13 | Fuji Heavy Ind Ltd | 塗布剤の塗布状態検査装置 |
JP2010054289A (ja) * | 2008-08-27 | 2010-03-11 | Omron Corp | 視覚検査装置 |
JP2013002957A (ja) * | 2011-06-16 | 2013-01-07 | Ihi Corp | 塗布状態検査装置及び方法並びにプログラム |
CN104020175A (zh) * | 2013-02-28 | 2014-09-03 | 发那科株式会社 | 包含线状图案的对象物的外观检查装置及外观检查方法 |
JP2017044680A (ja) * | 2015-08-27 | 2017-03-02 | ダイハツ工業株式会社 | シーラ塗布装置 |
KR101766884B1 (ko) * | 2016-04-29 | 2017-08-09 | 최광술 | 실러 도포 검사 방법 |
Non-Patent Citations (1)
Title |
---|
JEFFREY N MURPHY; KENNETH D HARRIS,JILLIAN M BURIAK: "《Automated Defect and Correlation Length Analysis of Block Copolymer Thin Film Nanopatterns》", 《PLOS ONE》 * |
Also Published As
Publication number | Publication date |
---|---|
US10852244B2 (en) | 2020-12-01 |
JP2019082371A (ja) | 2019-05-30 |
EP3477588A1 (en) | 2019-05-01 |
US20190128818A1 (en) | 2019-05-02 |
EP3477588B1 (en) | 2020-10-28 |
JP6965693B2 (ja) | 2021-11-10 |
CN109727225B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2001041068A1 (ja) | 欠陥検査システム | |
US20100321340A1 (en) | System and Method of Distinguishing Multiple Touch Points | |
KR20090101356A (ko) | 결함 검출 장치 및 결함 검출 방법 | |
WO2008066055A1 (fr) | Dispositif de détection de défaut linéaire, dispositif de fabrication de substrat semi-conducteur, procédé de détection de défaut linéaire, procédé de fabrication de substrat semi-conducteur, programme pour amener un ordinateur à fonctionner en tant que d | |
CN104103069B (zh) | 图像处理装置、图像处理方法及记录介质 | |
JP2008287506A (ja) | 画像処理装置および画像処理方法 | |
CN113127349B (zh) | 软件测试方法和系统 | |
CN107481392A (zh) | 纸币边缘胶带的检测方法 | |
WO2014103617A1 (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
CN106846294A (zh) | 视觉检测方法、装置及设备 | |
CN1898555B (zh) | 基板检查装置 | |
CN109727225A (zh) | 图像处理装置、图像处理方法以及记录介质 | |
CN105911065A (zh) | 图案检查装置及图案检查方法 | |
CN106645174A (zh) | 通机发动机外观缺陷自动化在线视觉检测系统 | |
CN106373158A (zh) | 自动化图像检测方法 | |
JP7380332B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
CN115713491A (zh) | 液晶显示面板缺陷检测方法、装置及电子设备 | |
JP2004163348A (ja) | 検査状況表示方法 | |
JP3700214B2 (ja) | 寸法測定装置 | |
JPS5924361B2 (ja) | 2次元画像比較検査装置 | |
CN105991896A (zh) | 图像读取装置以及图像读取方法 | |
JP7330328B1 (ja) | 目視検査補助装置 | |
JP6709022B2 (ja) | タッチ検出装置 | |
JP2022156999A (ja) | 検査方法、検査装置 | |
WO2024079008A1 (en) | Method of processing at least one image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |