CN114641683A - 图像处理装置、元件安装系统及图像处理方法 - Google Patents
图像处理装置、元件安装系统及图像处理方法 Download PDFInfo
- Publication number
- CN114641683A CN114641683A CN201980101837.6A CN201980101837A CN114641683A CN 114641683 A CN114641683 A CN 114641683A CN 201980101837 A CN201980101837 A CN 201980101837A CN 114641683 A CN114641683 A CN 114641683A
- Authority
- CN
- China
- Prior art keywords
- image
- gradation value
- color
- primary
- primary color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000003086 colorant Substances 0.000 claims abstract description 31
- 239000000758 substrate Substances 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 29
- 238000009499 grossing Methods 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 description 50
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 42
- 239000011889 copper foil Substances 0.000 description 42
- 238000010586 diagram Methods 0.000 description 12
- 238000009434 installation Methods 0.000 description 11
- 230000032258 transport Effects 0.000 description 8
- 229910000679 solder Inorganic materials 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
对各像素具有RGB三原色的灰度值的彩色图像进行处理的图像处理装置具备:图像取得部,取得包含识别对象和主要颜色成分与识别对象不同且亮度与识别对象相似的相似部位的图像作为彩色图像;差分图像生成部,使用第一原色图像和第二原色图像,生成具有基于从第一原色图像的灰度值减去第二原色图像的灰度值而得到的差分的灰度值的差分图像,上述第一原色图像是从彩色图像提取出RGB三原色中的与相似部位的主要颜色成分接近的第一原色的灰度值的图像,上述第二原色图像是从彩色图像提取出RGB三原色中的除了第一原色以外的第二原色的灰度值的图像;识别用图像生成部,生成识别用图像,上述识别用图像具有由从彩色图像提取出RGB三原色中的任一个原色的图像的灰度值减去差分图像的灰度值的灰度值;及识别处理部,使用上述识别用图像进行上述识别对象的识别处理。
Description
技术领域
本说明书公开了图像处理装置、元件安装系统及图像处理方法。
背景技术
以往,作为这种图像处理装置,提出有如下的装置:对包含识别对象且规定了各像素的RGB值(RGB像素信息)的图像进行处理(例如参照专利文献1)。在该装置中,预先设定应该从图像提取的识别对象的RGB值和容易被误认为是识别对象的颜色等应该积极地排除的排除RGB值。并且,通过从图像将包含于排除RGB值的像素去除而提取包含于识别对象的RGB值的像素,从而仅残留与识别对象的区域对应的图像,来进行识别对象的状态的检查等。
现有技术文献
专利文献1:日本特开2010-175483号公报
发明内容
发明所要解决的课题
然而,在上述的图像处理装置中,因为需要预先设定识别对象的RGB值和排除RGB值,所以设定处理的负担变大。另外,即便预先设定,若由于实际拍摄图像时的对象物的姿势或位置偏差等而光的照射状况等变化而RGB值产生变化,则也有时难以高精度地提取识别对象的RGB值。
本公开的主要目的在于在不预先设定应该排除的部位的RGB值的情况下高精度地识别识别对象。
用于解决课题的技术方案
本公开为了实现上述的主要目的而采用以下的方案。
本公开的图像处理装置是对各像素具有RGB三原色的灰度值的彩色图像进行处理的图像处理装置,其主旨在于,具备:图像取得部,取得包含识别对象和主要颜色成分与该识别对象不同且亮度与该识别对象相似的相似部位的图像作为上述彩色图像;差分图像生成部,使用第一原色图像和第二原色图像,生成具有基于从上述第一原色图像的灰度值减去上述第二原色图像的灰度值而得到的差分的灰度值的差分图像,上述第一原色图像是从上述彩色图像提取出RGB三原色中的与上述相似部位的主要颜色成分接近的第一原色的灰度值的图像,上述第二原色图像是从上述彩色图像提取出RGB三原色中的除了上述第一原色以外的第二原色的灰度值的图像;识别用图像生成部,生成识别用图像,上述识别用图像具有由从上述彩色图像提取出RGB三原色中的任一个原色的图像的灰度值减去上述差分图像的灰度值而得到的灰度值;及识别处理部,使用上述识别用图像进行上述识别对象的识别处理。
本公开的图像处理装置生成具有基于从第一原色图像的灰度值减去第二原色图像的灰度值而得到的差分的灰度值的差分图像,因此,差分图像的灰度值是基于与相似部位的主要颜色成分接近的第一原色和除此以外的第二原色的差分的值。另外,因为从任一个原色图像的灰度值减去差分图像的灰度值而生成识别用图像,所以能够在识别用图像内降低相似部位的亮度而明确识别对象与相似部位的亮度之差。因此,能够抑制将相似部位误识别为识别对象。另外,因为在处理中使用的各图像从实际取得的彩色图像提取或生成,所以不需要预先设定。因此,能够在不预先设定应该排除的RGB的灰度值的情况下高精度地识别识别对象。
附图说明
图1是表示元件安装系统10的一个例子的说明图。
图2是表示安装装置20的结构的概略的结构图。
图3是表示安装装置20、管理装置40及安装检查装置30的电连接关系的说明图。
图4是表示安装后检查处理程序的一个例子的流程图。
图5是表示作为识别对象的元件P的一个例子的说明图。
图6是表示在比较例中误识别元件P的外形形状的状况的一个例子的说明图。
图7是表示识别用图像的生成处理的一个例子的流程图。
图8是表示生成识别用图像Gi的状况的一个例子的说明图。
具体实施方式
接下来,使用附图来对本公开的实施方式进行说明。图1是表示元件安装系统10的结构的概略的结构图,图2是表示安装装置20的结构的概略的结构图,图3是表示安装装置20、管理装置40及安装检查装置30的电连接关系的说明图。另外,在图1、图2中,将左右方向设为X方向,将前后方向设为Y方向,将上下方向设为Z方向。
如图1所示,元件安装系统10具备:印刷装置12、印刷检查装置14、多个安装装置20、安装检查装置30及管理装置40,它们与作为网络的LAN18连接。印刷装置12通过将焊料压入形成于丝网掩模的图案孔而向基板S(参照图2)进行印刷。印刷检查装置14对由印刷装置12印刷的焊料的状态进行检查。安装装置20沿着基板S的输送方向(X方向)配置,向基板S安装元件和对安装的元件的安装状态进行检查。安装检查装置30对由各安装装置20安装于基板S的元件的安装状态进行检查。管理装置40对元件安装系统10整体进行管理。印刷装置12、印刷检查装置14、多个安装装置20、安装检查装置30依次沿着基板S的输送方向排列设置而构成生产线。另外,生产线也可以除了这些装置以外,还具备对安装有元件的基板S进行回流焊处理的回流焊装置等,安装检查装置30也可以配置于回流焊装置的下游侧。
如图2、图3所示,安装装置20具备:基板输送装置21,输送基板S;元件供给装置22,供给元件;头23,对吸附元件的吸嘴24以能够进行升降的方式配置;及头移动装置25,使头23在XY方向上移动。基板输送装置21具有两对在图2的前后隔开间隔设置并沿着左右方向架设的输送带,通过各输送带将基板S从图中左向右输送。元件供给装置22是例如通过将以预定间距收纳有元件的带送出来供给元件的带式供料器,并以能够供给多种元件的方式在安装装置20安设有多个。
另外,安装装置20除此以外还具备标记相机26、零件相机27、存储部28及控制安装装置20整体的安装控制装置29。标记相机26安装于头23,并通过头移动装置25而与头23一起在XY方向上移动。标记相机26除了标注于基板S的标记之外,还从上方拍摄由元件供给装置22供给的元件和安装于基板S的元件等拍摄对象而生成图像,并将生成的图像向安装控制装置29输出。另外,零件相机27设置于元件供给装置22与基板输送装置21之间,从下方拍摄保持(吸附)于吸嘴24的元件而生成图像,并将生成的图像向安装控制装置29输出。另外,在本实施方式中,至少标记相机26具备彩色拍摄元件,并构成为能够拍摄各像素具有RGB三原色的灰度值(R、G、B)的彩色图像。另外,灰度值(R、G、B)分别取值0~255的256级的值。存储部28是存储处理程序、与元件的安装位置相关的信息、安装结果等信息的HDD等装置。
安装控制装置29由公知的CPU、ROM、RAM等构成。安装控制装置29向基板输送装置21、头23、头移动装置25等输出驱动信号。向安装控制装置29输入来自标记相机26和零件相机27的图像。安装控制装置29通过对由标记相机26拍摄到的元件安装前的基板S的图像进行处理而识别标记的位置,来识别基板S的位置,或者对由标记相机26拍摄到的元件安装后的基板S的图像进行处理而识别元件的安装状态。另外,安装控制装置29基于由零件相机27拍摄到的图像判定吸嘴24是否吸附有元件,或者判定元件的吸附姿势。
如图3所示,安装检查装置30具备:基板输送装置32,对通过各安装装置20而安装有元件的基板S进行输送;检查相机34,拍摄用于检查元件的安装状态的图像;相机移动装置36,使检查相机34在XY方向上移动;及检查控制装置39,控制安装检查装置30整体。基板输送装置32和相机移动装置36分别是与安装装置20的基板输送装置21和头移动装置25相同的结构。
检查控制装置39由公知的CPU、ROM、RAM等构成。检查控制装置39向基板输送装置32、相机移动装置36输出驱动信号,向检查相机34输出拍摄信号。另外,检查控制装置39被输入来自检查相机34的图像,并对该图像进行处理来检查元件的安装状态。另外,检查控制装置39经由LAN18而以能够通信的方式与安装控制装置29、管理装置40的管理控制装置42连接,并发送与检查状况和检查结果相关的信息等。
如图3所示,管理装置40具备:管理控制装置42、存储部44、输入设备46及显示器48。管理控制装置42由公知的CPU、ROM、RAM等构成。存储部44是存储处理程序等各种信息的HDD等装置。输入设备46包含供作业者输入各种指令的键盘及鼠标等。显示器48是显示各种信息的液晶显示装置。另外,在存储部44中存储有生产程序。在生产程序规定了向基板S安装的元件种类的信息、各元件的安装顺序的信息、各元件的安装位置、安装角度的信息、供给各元件的元件供给装置22的信息、吸附元件的吸嘴24的信息、生产的基板S的块数的信息等。管理控制装置42经由LAN18而以能够通信的方式与安装控制装置29连接,从安装控制装置29接收与安装状况相关的信息,或者对安装控制装置29发送生产程序。另外,管理控制装置42经由LAN18而以能够通信的方式与检查控制装置39连接,从检查控制装置39接收与检查状况、检查结果相关的信息,或者对检查控制装置39发送检查对象的基板S的信息。管理控制装置42还经由LAN18而以能够通信的方式与印刷装置12、印刷检查装置14的未图示的各控制装置连接,从各装置接收与作业状况相关的信息,或者发送作业指示。
以下,作为这样构成的安装装置20的动作,是关于元件的安装处理和元件安装后的基板S的检查处理的说明。在元件的安装处理中,安装控制装置29首先控制头移动装置25而使头23向元件供给装置22的元件供给位置的上方移动,并使吸嘴24下降来使吸嘴24吸附供给至元件供给位置的元件。接下来,安装控制装置29控制头移动装置25而使头23向零件相机27的上方移动,控制零件相机27而拍摄吸附于吸嘴24的元件。接着,安装控制装置29对拍摄到的图像进行处理来判定吸附于吸嘴24的元件的位置偏差等,并以消除位置偏差的方式修正该元件的目标安装位置。并且,安装控制装置29控制头移动装置25而使头23向基板S的上方移动并使吸嘴24下降,将元件向基板S上的目标安装位置安装。另外,本实施方式的安装控制装置29当元件向基板S的安装结束时,在搬出基板S之前进行检查元件的安装状态的检查处理。图4是表示安装后检查处理程序的一个例子的流程图。
当该程序开始时,安装控制装置29首先取得由标记相机26拍摄到的元件安装后的基板S的彩色图像(S100)。如上述那样,由标记相机26拍摄的彩色图像的各像素具有RGB三原色的灰度值(R、G、B)。接下来,安装控制装置29进行用于从取得的彩色图像识别元件的识别用图像的生成处理(S110)。该生成处理的详情将后述。接着,安装控制装置29使用生成的识别用图像而识别元件来检查安装状态(S120),并将该检查结果登记(存储)于存储部28(S130),并使安装后检查处理程序结束。在S120中,安装控制装置29取得例如元件的安装位置的偏差和元件的安装角度的偏差,来检查相对于目标安装位置的X方向上的偏差量及Y方向上的偏差量是否处于基准值内、相对于目标安装角度的旋转偏差量(角度)是否处于基准值内等。另外,安装控制装置29还检查元件有无缺损和元件的缺件等。
在此,图5是表示识别对象的元件P的一个例子的说明图。如图示那样,例如元件P是俯视时为矩形状且在两端部具有电极Pe并且中央部由树脂等非光泽性的材料形成的元件。因此,在图像处理中,将电极Pe作为识别对象来识别元件P的外形形状和位置。另外,图6是表示在比较例中误识别元件P的外形形状的状况的一个例子的说明图。图6中,示出对安装有图5的元件P的基板S的图像进行处理时的状况。元件P的电极Pe在拍摄图像时,反射光而并发出白光,因此,在图像内以白色映现。因此,电极Pe的灰度值(R、G、B)例如成为(255、255、255),根据下式(1),亮度Y为值255。
Y=0.30×R+0.59×G+0.11×B···(1)
另外,图像内还映现有设置于基板S的铜箔Cf和通过印刷装置12印刷于基板S的焊料So(以虚线图示)等。其中,铜箔Cf比焊料So容易反射光,并在图像内以橙色或黄色等映现。该铜箔Cf的灰度值(R、G、B)例如为(239、160、154),根据式(1),亮度Y为值183。这样,对于铜箔Cf而言,主要颜色成分为接近橙色和黄色的红色(R)而与电极Pe不同,但亮度Y比较高,与电极Pe的亮度Y相似。■在此,主要颜色成分与识别对象的电极Pe不同是指由于电极Pe以白色映现所以三原色均成为高灰度值,与此相对,三原色中的某一种原色成为比其他原色高的灰度值。另外,若识别对象的主要颜色成分即灰度值较高的原色为三原色中的某一种颜色,则在与该原色不同的原色为较高的灰度值的情况下作为主要颜色成分不同即可。另外,与电极Pe相似的亮度Y是指例如在相对于电极Pe的亮度Y的差异处于30%左右以内等数十%左右以内的预定范围内。因此,安装控制装置29在对由标记相机26拍摄到的彩色图像进行图像处理时,难以区别地识别出电极Pe与铜箔Cf,有时将铜箔Cf误识别为电极Pe的一部分。在该情况下,安装控制装置29包含铜箔Cf的一部分地识别元件P的形状,因此会误判定元件P的安装位置的偏差或安装角度的偏差。例如,在图6中,是在实际上元件P的安装角度几乎没有偏差的情况下,安装控制装置29误识别元件P的外形形状而误判定为安装角度存在偏差的状况的一个例子。为了防止这样的误识别,在本实施方式中,如以下那样进行S110的识别用图像的生成处理。图7是表示识别用图像的生成处理的一个例子的流程图,图8是表示生成识别用图像Gi的状况的一个例子的说明图。另外,图8中,与各图像的实际的灰度值不同,示出灰度值的影像,例如即便以均匀的灰度值示出铜箔Cf的部分等,实际上也混合存在有灰度值高的部分和低的部分。
在图7的识别用图像的生成处理中,安装控制装置29首先根据在上述的S100中取得的彩色图像的各像素的灰度值(R、G、B),生成提取出红色的灰度值R的R图像Gr(第一原色图像)和提取出蓝色的灰度值B的B图像Gb(第二原色图像)(S200)。如上述那样,铜箔Cf的主要颜色成分为橙色或黄色,因此,安装控制装置29提取出RGB三原色中的接近橙色和黄色的红色的灰度值R而生成R图像Gr(参照图8A)。另外,安装控制装置29提取RGB三原色中的接近对于橙色或黄色的互补色的蓝色的灰度值B而生成B图像Gb(参照图8B)。另外,接近铜箔Cf的主要颜色成分的红色的灰度值R成为铜箔Cf的灰度值(R、G、B)中的最大的值,接近互补色的蓝色的灰度值B成为铜箔Cf的灰度值(R、G、B)中的最小的值。
接下来,安装控制装置29生成具有从R图像Gr的各像素的灰度值R减去B图像Gb的各像素的灰度值B而得到差分的灰度值的差分图像Gd(S210)。例如,电极Pe的灰度值(R、G、B)为(255、255、255),铜箔Cf的灰度值(R、G、B)为(239、160、154),所以差分图像Gd在电极Pe的部分中差分的灰度值为值0等,在铜箔Cf的部分中差分的灰度值为值85等。因此,如图8C所示,差分图像Gd在电极Pe的部分、背景的部分中差分几乎为值0(黑色),在铜箔Cf的部分中出现铜箔Cf的灰度值R与灰度值B的差分。另外,铜箔Cf的灰度值(R、G、B)中的红色的灰度值R最大,蓝色的灰度值B最小,因此,在铜箔Cf的部分中比较大地表现出差分。
接着,安装控制装置29对差分图像Gd实施平滑处理而生成差分图像Gd’(差分平滑图像,平滑后图像,参照图8D)(S220)。S220的平滑处理通过使用例如公知的移动平均滤波器、高斯滤波器等对灰度值R与灰度值B的差分的灰度值进行平滑化而变模糊来进行,能够排除噪声的影响等。并且,安装控制装置29生成具有从B图像Gb的各像素的灰度值减去差分图像Gd’的各像素的灰度值而得到的灰度值的识别用图像Gi(S230),并使识别用图像的生成处理结束。在此,B图像Gb中铜箔Cf的部分的灰度值没有R图像Gr高,从该B图像Gb减去差分图像Gd’而生成识别用图像Gi,所以在识别用图像Gi中能够进一步抑制铜箔Cf的部分的灰度值。因此,如图8E所示,识别用图像Gi成为铜箔Cf的部分的亮度比原来的彩色图像(参照图6)、图8A的R图像Gr、图8B的B图像Gb低的图像。另一方面,电极Pe的部分在B图像Gb中也成为较高的灰度值(B=255),在差分图像Gd(Gd’)中差分也成为值0等几乎不产生差分。因此,在识别用图像Gi中,电极Pe的部分的亮度实质上与原来的彩色图像没有变化。因此,防止安装控制装置29在S120中使用识别用图像Gi识别元件P时使铜箔Cf包含于电极Pe而误识别元件P的外形形状,从而能够适当地识别电极Pe。
另外,如上述那样,铜箔Cf在彩色图像内以橙色或黄色映现,但有时根据光的反射状况的不同,例如铜箔Cf的中心部分等一部分以白色映现而灰度值(R、G、B)成为(255、255、255)或者接近它的值。在该情况下,对于在S210中生成的差分图像Gd而言,在铜箔Cf的一部分中,与电极Pe相同,差分成为值0,在铜箔Cf的剩余的部分产生上述那样的灰度值R与灰度值B的差分。并且,若安装控制装置29不进行S220的平滑处理,从B图像Gb减去差分图像Gd而生成识别用图像Gi,则铜箔Cf的剩余的部分亮度降低,铜箔Cf的一部分与电极Pe相同地以原来的亮度残留。这样一来,安装控制装置29有可能将铜箔Cf的一部分与剩余的部分的边界误识别为电极Pe的边界等。与此相对,若安装控制装置29进行S220的平滑处理,则在铜箔Cf的剩余的部分中产生的差分分散到铜箔Cf的一部分,因此,能够抑制仅铜箔Cf的一部分成为与剩余的部分极其不同的亮度。由此,安装控制装置29能够减少误识别铜箔Cf的一部分与剩余的部分的边界的可能性。这样,为了减少因差分的急剧变化引起的影响而抑制误识别,在本实施方式中进行S220的平滑处理。
在此,明确本实施方式的结构要素与本公开的结构要素之间的对应关系。执行本实施方式的图4的安装后检查处理程序的S100的安装控制装置29相当于图像取得部,执行图7的识别用图像的生成处理的S200~S220的安装控制装置29相当于差分图像生成部,执行识别用图像的生成处理的S230的安装控制装置29相当于识别用图像生成部,执行安装后检查处理程序的S120的安装控制装置29相当于识别处理部。另外,标记相机26相当于拍摄装置,安装控制装置29相当于图像处理装置,元件安装系统10相当于元件安装系统。另外,在本实施方式中,通过对安装控制装置29的动作进行说明也明确了本公开的图像处理方法的一个例子。
以上说明的本实施方式的安装控制装置29生成从R图像Gr(第一原色图像)减去B图像Gb(第二原色图像)而得到的差分图像Gd。因此,差分图像Gd的灰度值成为和亮度相似于元件P的电极Pe的相似部位即铜箔Cf的主要颜色成分接近的红色(第一原色)与除此以外的蓝色(第二原色)之间的差分。另外,因为从B图像Gb减去差分图像Gd(Gd’)而生成识别用图像Gi,因此,能够在识别用图像Gi内降低铜箔Cf的亮度,所以能够抑制将铜箔Cf误识别为电极Pe。因此,能够在不在图像拍摄前预先设定应该排除的RGB的灰度值的情况下高精度地识别作为识别对象的电极Pe。
另外,安装控制装置29因为使用提取出与对于铜箔Cf的主要颜色成分的互补色接近的蓝色的灰度值的B图像Gb,所以与提取绿色的灰度值的情况相比,能够使接近主要颜色成分的红色与和其互补色接近的蓝色之间的差分变大而在识别用图像Gi内进一步降低铜箔Cf的亮度。
另外,安装控制装置29因为生成具有对从R图像Gr减去B图像Gb而得到的差分进行平滑化而得到的灰度值的差分图像Gd’,所以能够减少在识别用图像Gi内因差分的急剧变化引起的影响而抑制将铜箔Cf误识别为电极Pe。
另外,本公开不受上述实施方式的任何限定,只要属于本公开的技术范围则能够以各种方式实施,这是不言而喻的。
例如,在上述的实施方式中,使用具有对从R图像Gr减去B图像Gb而得到的差分进行平滑化而得到的灰度值的差分图像Gd’来生成识别用图像Gi,但不限于此。例如,也可以不对从R图像Gr减去B图像Gb而得到的差分图像Gd进行平滑化而原封不动地使用来生成识别用图像Gi。
在上述的实施方式中,使用提取出与对于铜箔Cf的主要颜色成分的互补色接近的蓝色的灰度值的B图像Gb来生成差分图像Gd,但不限于使用互补色,使用其他颜色的原色图像即可。即,也可以是,提取RGB三原色中的绿色的灰度值G而将G图像Gg生成为第二原色图像,从R图像Gr减去G图像Gg而生成差分图像Gd(Gd’)。在该情况下,从G图像Gg减去差分图像Gd(Gd’)而生成识别用图像Gi即可。另外,在将R图像Gr作为第一原色图像,将B图像Gb作为第二原色图像的情况下,从作为第二原色图像的B图像Gb减去差分图像Gd(Gd’)而生成识别用图像Gi,但不限于此,也可以从作为第一原色图像的R图像Gr、G图像Gg等任一个原色图像减去差分图像Gd(Gd’)来生成识别用图像Gi。
在上述的实施方式中,例示了将设置于基板S的铜箔Cf作为相似部位而排除的处理,但不限于此,也可以将通过印刷装置12而印刷于基板S的焊料So等作为相似部位而排除,也可以将基板S本身作为相似部位而排除。
在上述的实施方式中,对由安装装置20进行的检查处理应用本公开,但不限于此,也可以对由安装检查装置30进行的检查处理应用本公开。在该情况下,将检查控制装置39作为图像处理装置进行相同的处理即可。另外,不限于安装控制装置29和检查控制装置39,也可以将管理装置40的管理控制装置42作为图像处理装置而进行相同的处理。或者,也可以是,安装控制装置29进行彩色图像的取得和差分图像Gd(Gd’)、识别用图像Gi的生成,检查控制装置39和管理控制装置42进行使用了识别用图像Gi的识别处理(检查处理)等,由两个以上的装置共同进行等。或者,不限于对元件安装后的基板S的检查处理应用本公开,也可以对元件安装前检查焊料So的涂覆状态的检查处理应用本公开。在该情况下,将印刷检查装置14的控制装置作为图像处理装置进行相同的处理即可。
在上述的实施方式中,作为识别对象,例示了俯视时为矩形状且在两端部设置有电极Pe的元件P,但不限于此,也可以将未在两端部设置有电极Pe的元件、俯视时为圆形状等除了矩形状以外的形状的元件等作为识别对象。另外,将安装于基板S的元件P作为识别对象,但不限于此,也可以将通过元件供给装置22而供给至元件供给位置的元件或在元件供给位置被吸嘴24吸附之后暂时临时放置于预定部位的元件等向基板S安装之前的元件作为识别对象。
在上述的实施方式中,例示了对元件P向基板S安装的安装处理中的检查所需的图像处理应用本公开,但不限于安装处理的检查所需的图像处理,例如也可以是,为了检查有无异物附着于产品而对以异物作为识别对象的图像处理等应用本公开。
在此,本公开的图像处理装置也可以如以下那样构成。例如,也可以是,在本公开的图像处理装置中,上述识别用图像生成部生成具有从上述第二原色图像的灰度值减去上述差分图像的灰度值而得到的灰度值的图像作为上述识别用图像。相似部位的第二原色图像的灰度值没有第一原色图像的灰度值高,可抑制亮度。因此,通过从第二原色图像减去差分图像,而能够在识别用图像内进一步降低相似部位的亮度,所以能够进一步抑制将相似部位误识别为识别对象。另外,因为第二原色图像用于差分图像的生成,所以能够在不准备新的原色图像的情况下迅速地进行处理。
在本公开的图像处理装置中,也可以是,上述差分图像生成部使用将RGB三原色中的与对于上述相似部位的主要颜色成分的互补色接近的原色设为上述第二原色的图像作为上述第二原色图像。这样一来,第一原色图像的灰度值与第二原色图像的灰度值之间的差分即差分图像的灰度值进一步变大,所以能够使从第二原色图像的灰度值减去差分图像的灰度值而得到的灰度值变小。因此,能够在识别用图像内进一步减少相似部位的亮度,所以能够进一步抑制将相似部位误识别为识别对象的情况。
在本公开的图像处理装置中,也可以是,上述差分图像生成部生成具有对从上述第一原色图像的灰度值减去上述第二原色图像的灰度值而得到的差分进行平滑化而得到的灰度值的图像作为上述差分图像。这样一来,能够抑制差分图像的像素间的差分的急剧变化,因此,能够减少在识别用图像内的相似部位中灰度值急剧变化的情况。因此,能够抑制将相似部位中灰度值急剧变化的部位误识别为识别对象的边界等的情况。
本公开的元件安装系统是向基板安装元件的元件安装系统,其主旨在于,
上述元件安装系统具备:拍摄装置,拍摄安装有上述元件的上述基板的彩色图像;及
上述的任一个上述图像处理装置,对包含安装于上述基板的上述元件作为上述识别对象的上述彩色图像进行处理。
本公开的元件安装系统具备:拍摄装置,拍摄安装有元件的基板的彩色图像;及本公开的任一个图像处理装置,对包含安装于基板的元件作为识别对象的彩色图像进行处理。因此,与上述的图像处理装置相同地,能够在不预先设定应该排除的RGB的灰度值的情况下高精度地识别识别对象。
本公开的图像处理方法是对各像素具有RGB三原色的灰度值的彩色图像进行处理的图像处理方法,其主旨在于,
上述图像处理方法包含如下的步骤:
(a)取得包含识别对象和主要颜色成分与该识别对象不同且亮度与该识别对象相似的相似部位的图像作为上述彩色图像;
(b)使用第一原色图像和第二原色图像,生成具有基于从上述第一原色图像的灰度值减去上述第二原色图像的灰度值而得到的差分的灰度值的差分图像,上述第一原色图像是从上述彩色图像提取出RGB三原色中的与上述相似部位的主要颜色成分接近的第一原色的灰度值的图像,上述第二原色图像是从上述彩色图像提取出RGB三原色中的除了上述第一原色以外的第二原色的灰度值的图像;
(c)生成识别用图像,上述识别用图像具有由从上述彩色图像提取出RGB三原色中的任一个原色的图像的灰度值减去上述差分图像的灰度值而得到的灰度值;及
(d)使用上述识别用图像进行上述识别对象的识别处理。
本公开的图像处理方法与上述的图像处理装置相同地,生成具有基于从第一原色图像的灰度值减去第二原色图像的灰度值而得到的差分的灰度值的差分图像,从任一个原色图像的灰度值减去差分图像的灰度值而生成识别用图像。因此,能够在不预先设定应该排除的RGB的灰度值的情况下高精度地识别识别对象。另外,在该图像处理方法中,可以采用上述的图像处理装置的各种方式,也可以追加实现图像处理装置的各功能那样的步骤。
产业上的可利用性
本公开能够在彩色图像的图像处理和元件的安装处理的技术领域等中利用。
附图标记说明
10...元件安装系统;12...印刷装置;14...印刷检查装置;18...LAN;20...安装装置;21、32...基板输送装置;22...元件供给装置;23...头;24...吸嘴;25...头移动装置;26...标记相机;27...零件相机;28...存储部;29...安装控制装置;30...安装检查装置;34...检查相机;36...相机移动装置;39...检查控制装置;40...管理装置;42...管理控制装置;44...存储部;46...输入设备;48...显示器;Cf...铜箔;Gd、Gd’...差分图像;Gb...B图像;Gi...识别用图像;Gr...R图像;P...元件;Pe...电极;S...基板;So...焊料。
Claims (6)
1.一种图像处理装置,对各像素具有RGB三原色的灰度值的彩色图像进行处理,
所述图像处理装置具备:
图像取得部,取得包含识别对象和主要颜色成分与该识别对象不同且亮度与该识别对象相似的相似部位的图像作为所述彩色图像;
差分图像生成部,使用第一原色图像和第二原色图像,生成具有基于从所述第一原色图像的灰度值减去所述第二原色图像的灰度值而得到的差分的灰度值的差分图像,所述第一原色图像是从所述彩色图像提取出RGB三原色中的与所述相似部位的主要颜色成分接近的第一原色的灰度值的图像,所述第二原色图像是从所述彩色图像提取出RGB三原色中的除了所述第一原色以外的第二原色的灰度值的图像;
识别用图像生成部,生成识别用图像,所述识别用图像具有由从所述彩色图像提取出RGB三原色中的任一个原色的图像的灰度值减去所述差分图像的灰度值而得到的灰度值;及
识别处理部,使用所述识别用图像进行所述识别对象的识别处理。
2.根据权利要求1所述的图像处理装置,其中,
所述识别用图像生成部生成具有从所述第二原色图像的灰度值减去所述差分图像的灰度值而得到的灰度值的图像作为所述识别用图像。
3.根据权利要求1或2所述的图像处理装置,其中,
所述差分图像生成部使用将RGB三原色中的与对于所述相似部位的主要颜色成分的互补色接近的原色设为所述第二原色的图像作为所述第二原色图像。
4.根据权利要求1~3中任一项所述的图像处理装置,其中,
所述差分图像生成部生成具有对从所述第一原色图像的灰度值减去所述第二原色图像的灰度值而得到的差分进行平滑化而得到的灰度值的图像作为所述差分图像。
5.一种元件安装系统,向基板安装元件,
所述元件安装系统具备:
拍摄装置,拍摄安装有所述元件的所述基板的彩色图像;及
权利要求1~4中任一项所述的所述图像处理装置,对包含安装于所述基板的所述元件作为所述识别对象的所述彩色图像进行处理。
6.一种图像处理方法,对各像素具有RGB三原色的灰度值的彩色图像进行处理,
所述图像处理方法包含如下的步骤:
(a)取得包含识别对象和主要颜色成分与该识别对象不同且亮度与该识别对象相似的相似部位的图像作为所述彩色图像;
(b)使用第一原色图像和第二原色图像,生成具有基于从所述第一原色图像的灰度值减去所述第二原色图像的灰度值而得到的差分的灰度值的差分图像,所述第一原色图像是从所述彩色图像提取出RGB三原色中的与所述相似部位的主要颜色成分接近的第一原色的灰度值的图像,所述第二原色图像是从所述彩色图像提取出RGB三原色中的除了所述第一原色以外的第二原色的灰度值的图像;
(c)生成识别用图像,所述识别用图像具有由从所述彩色图像提取出RGB三原色中的任一个原色的图像的灰度值减去所述差分图像的灰度值而得到的灰度值;及
(d)使用所述识别用图像进行所述识别对象的识别处理。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/043463 WO2021090395A1 (ja) | 2019-11-06 | 2019-11-06 | 画像処理装置、部品実装システムおよび画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114641683A true CN114641683A (zh) | 2022-06-17 |
Family
ID=75848839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980101837.6A Pending CN114641683A (zh) | 2019-11-06 | 2019-11-06 | 图像处理装置、元件安装系统及图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220392190A1 (zh) |
EP (1) | EP4056992A4 (zh) |
JP (1) | JP7333408B2 (zh) |
CN (1) | CN114641683A (zh) |
WO (1) | WO2021090395A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023089767A1 (ja) * | 2021-11-19 | 2023-05-25 | 株式会社Fuji | 部品検査方法及び部品検査装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02140886A (ja) * | 1988-11-21 | 1990-05-30 | Omron Tateisi Electron Co | 画像の前処理装置 |
JPH05332838A (ja) * | 1992-05-26 | 1993-12-17 | Imaizumi Shokai:Kk | 色ムラ外観検査装置 |
JPH1089933A (ja) * | 1996-09-18 | 1998-04-10 | M I L:Kk | 基板の検査方法及び基板検査装置及びlsi実装基板の製造方法 |
JP2001218070A (ja) * | 2000-01-31 | 2001-08-10 | Keyence Corp | 画像処理方法及び画像処理装置 |
JP2002163650A (ja) * | 2000-11-27 | 2002-06-07 | Matsushita Electric Works Ltd | 色抽出画像処理装置および色抽出方法 |
JP4099467B2 (ja) * | 2004-08-04 | 2008-06-11 | 松下電器産業株式会社 | 部品の画像生成方法 |
JP4399494B2 (ja) | 2006-12-28 | 2010-01-13 | シャープ株式会社 | 欠陥検出装置、欠陥検出方法、イメージセンサデバイスおよびイメージセンサモジュール |
JP5234639B2 (ja) | 2009-01-31 | 2013-07-10 | 株式会社メガトレード | スルーホールの検査装置 |
JP6109317B2 (ja) * | 2013-08-22 | 2017-04-05 | 富士機械製造株式会社 | 基板の生産作業方法、基板の撮像条件決定方法、および基板の生産作業装置 |
DE102014100594A1 (de) * | 2014-01-20 | 2015-07-23 | Isra Surface Vision Gmbh | Vorrichtung zur Inspektion eines mit einer beschichteten Oberfläche versehenen Materials und entsprechendes Verfahren |
-
2019
- 2019-11-06 US US17/770,194 patent/US20220392190A1/en active Pending
- 2019-11-06 CN CN201980101837.6A patent/CN114641683A/zh active Pending
- 2019-11-06 JP JP2021554461A patent/JP7333408B2/ja active Active
- 2019-11-06 WO PCT/JP2019/043463 patent/WO2021090395A1/ja unknown
- 2019-11-06 EP EP19951816.8A patent/EP4056992A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220392190A1 (en) | 2022-12-08 |
EP4056992A4 (en) | 2022-11-30 |
JPWO2021090395A1 (zh) | 2021-05-14 |
JP7333408B2 (ja) | 2023-08-24 |
EP4056992A1 (en) | 2022-09-14 |
WO2021090395A1 (ja) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3037776B1 (en) | Substrate production work method, substrate imaging condition determination method, and substrate production work device | |
US20120189188A1 (en) | Component mounting system and mounting state inspection method in the component mounting system | |
CN110582686B (zh) | 转印状态检查系统以及元件安装机 | |
JP6472873B2 (ja) | 部品検査機及び部品装着機 | |
US11503753B2 (en) | Substrate processing management system | |
CN114641683A (zh) | 图像处理装置、元件安装系统及图像处理方法 | |
CN105136818B (zh) | 印刷基板的影像检测方法 | |
JP4883636B2 (ja) | 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機 | |
CN106455478B (zh) | 检查装置、安装装置及检查方法 | |
JP2000349499A (ja) | 装着部品検査装置 | |
WO2023042445A1 (ja) | 基板の毛髪検査装置及び基板の毛髪検査方法 | |
WO2016075790A1 (ja) | 装着機及び装着機を用いた電子部品の吸着姿勢検査方法 | |
JP2012028460A (ja) | 部品有無判定装置及び部品有無判定方法 | |
WO2023089767A1 (ja) | 部品検査方法及び部品検査装置 | |
CN109644585B (zh) | 元件安装装置及位置识别方法 | |
JP7191173B1 (ja) | 基板検査装置及び基板検査方法 | |
TWI834338B (zh) | 基板檢查裝置及基板檢查方法 | |
CN112867906B (zh) | 元件数据生成方法以及元件安装机 | |
WO2023248281A1 (ja) | 検査装置、実装装置および検査方法 | |
JP7503789B2 (ja) | 部品装着エラー管理装置及び部品装着装置 | |
CN115004877B (zh) | 图像处理装置、安装装置及图像处理方法 | |
KR102005345B1 (ko) | 라인 스캔 카메라를 이용한 자동차 정션 박스 터미널 단자 비전 검사 방법 | |
JP3832236B2 (ja) | 画像認識装置および画像認識方法 | |
WO2015118677A1 (ja) | 物体実装装置 | |
JPS63148151A (ja) | 基板検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |