CN115136579A - 图像校正方法、拍摄装置及检查装置 - Google Patents

图像校正方法、拍摄装置及检查装置 Download PDF

Info

Publication number
CN115136579A
CN115136579A CN202080097030.2A CN202080097030A CN115136579A CN 115136579 A CN115136579 A CN 115136579A CN 202080097030 A CN202080097030 A CN 202080097030A CN 115136579 A CN115136579 A CN 115136579A
Authority
CN
China
Prior art keywords
light source
image
source color
correction amount
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080097030.2A
Other languages
English (en)
Other versions
CN115136579B (zh
Inventor
稻浦雄哉
鬼头秀一郎
横井勇太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN115136579A publication Critical patent/CN115136579A/zh
Application granted granted Critical
Publication of CN115136579B publication Critical patent/CN115136579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

当使在多个不同的光源色各自的照明下拍摄到的多个原图像重叠而生成合成图像时对原图像进行校正的图像校正方法包括如下步骤：(a)求出用于将根据设置有基准标记的部件在各光源色各自的照明下被拍摄到的每个光源色的基准图像中的特定光源色的基准图像识别出的基准标记的位置校正为特定光源色的基准图像中的基准标记的基准位置的校正量，并将上述校正量与光源色相对应地设定；(b)对于除特定光源色以外的每个其它光源色分别求出用于将根据其它光源色的基准图像识别出的基准标记的位置校正为特定光源色的基准图像中的基准位置的校正量，并将上述校正量与光源色相对应地设定；及(c)当拍摄原图像时，使用与各光源色相对应的校正量来一同校正各光源色的原图像的失真像差和色差。

Description

图像校正方法、拍摄装置及检查装置
技术领域
本说明书公开图像校正方法、拍摄装置及检查装置。
背景技术
以往，作为这种拍摄装置，提出以下结构：具备照射多个颜色的光的多个光源，从多个光源中的选择出的某一个光源照射光并拍摄被拍摄体(例如参照专利文献1)。在该拍摄装置中，根据选择出的光源的光源色，选择分辨率的适当值，或者校正色差。
现有技术文献
专利文献
专利文献1：国际公开第2019/111331号
发明内容
发明所要解决的课题
如上述那样，在能够选择性地使用多个光源的结构中，有时分别获取分别照射各光源并拍摄同一被拍摄体的各光源色的原图像，并使这些原图像重叠而合成，从而生成拟彩色的合成图像。在该情况下，为了抑制重叠的原图像彼此的偏离而生成高精度的合成图像，需要校正原图像的失真像差和色差。但是，由于分别使用失真像差的校正量和色差的校正量对各原图像进行校正，所以校正耗费精力、时间，合成图像的生成需要时间。
本公开的主要目的在于能够减少原图像的失真像差与色差的校正的麻烦而迅速生成合成图像。
用于解决课题的技术方案
本公开为了实现上述主要目的而采用以下方案。
本公开的图像校正方法当使在多个不同的光源色各自的照明下被拍摄到的多个原图像重叠而生成合成图像时对上述原图像进行校正，上述图像校正方法的主旨在于，包括如下步骤：(a)求出用于将根据设置有基准标记的部件在各光源色各自的照明下被拍摄到的每个光源色的基准图像中的特定光源色的基准图像识别出的上述基准标记的位置校正为上述特定光源色的基准图像中的上述基准位置的校正量，并将上述校正量与光源色相对应地设定；(b)对于除上述特定光源色以外的每个其它光源色求出用于将根据其它光源色的上述基准图像识别出的上述基准标记的位置校正为上述特定光源色的基准图像中的上述基准标记的基准位置的校正量，并将上述校正量与光源色相对应地设定；及(c)当拍摄上述原图像时，使用与各光源色相对应的校正量来一同校正各光源色的原图像的失真像差和色差。
本公开的图像校正方法求出用于将根据特定光源色的基准图像识别出的基准标记的位置校正为特定光源色的基准图像中的基准标记的基准位置的校正量。另外，对于每个其它光源色分别求出用于将根据其它光源色的基准图像识别出的基准标记的位置不是校正为其它光源色的基准图像中的基准标记的基准位置而是校正为特定光源色的基准图像中的基准标记的基准位置的校正量。因此，能够将统一了失真像差的校正和色差的校正的校正量与各光源色相对应地设定。而且，当拍摄原图像时，使用与各光源色相对应的校正量来一同校正原图像的失真像差和色差。因此，与使用失真像差和色差各自的校正量分别进行校正的情况相比，能够减少原图像的失真像差与色差的校正的麻烦而迅速地生成合成图像。
附图说明
图1是表示元件安装机10的结构的概略的结构图。
图2是表示标记相机50的结构的概略的结构图。
图3是落射光源52的A视图。
图4是侧射光源54的B视图。
图5是表示与元件安装机10的控制相关的结构的框图。
图6是表示夹具板JP的一个例子的说明图。
图7是表示校正量设定处理的一个例子的流程图。
图8是表示设定各光源的校正量的状况的一个例子的说明图。
图9是表示安装检查处理的一个例子的流程图。
图10是表示原图像的拍摄/校正处理的一个例子的流程图。
具体实施方式
接下来，对用于实施本公开的形式进行说明。图1是表示本实施方式的元件安装机10的结构的概略的结构图。图2是表示标记相机50的结构的概略的结构图。图3是落射光源52的A视图。图4是侧射光源54的B视图。图5是表示与元件安装机10的控制相关的结构的框图。需要说明的是，图1的左右方向是X轴方向，前(近前)后(进深)方向是Y轴方向，上下方向是Z轴方向。元件安装机10在基板搬运方向(X轴方向)上排列配置有多台，构成生产线。
如图1所示，元件安装机10具备：供料器20、基板搬运装置22、具有吸附元件的吸嘴45的头40、使头40移动的头移动装置30、零件相机23、标记相机50。这些收容于设置在基台11上的机壳12。供料器20通过将在对应每预定间隔形成的收容部收容有元件的带从带盘21拉出并进行间距进给，从而作为供给元件的带式供料器而构成。基板搬运装置22具备在Y轴方向上隔开间隔地配置的一对输送导轨，通过驱动一对输送导轨将基板S从图1的左向右(基板搬运方向)搬运。
头40具备：使吸嘴45在上下方向(Z轴方向)上移动的Z轴促动器41(参照图5)和使吸嘴45绕Z轴旋转的θ轴促动器42(参照图5)。头40通过使负压源与吸嘴45的吸引口连通而使吸引口作用负压来吸引元件，通过使正压源连通于吸嘴45的吸引口而使吸引口作用正压来解除元件的吸附。头移动装置30具备X轴滑动件32和Y轴滑动件36。X轴滑动件32被在Y轴滑动件36的前表面设置为沿左右方向(X轴方向)延伸的上下一对X轴导轨31支承，并通过X轴促动器33(参照图5)的驱动而在左右方向上移动。Y轴滑动件36被在机壳12的上段部设置为沿前后方向(Y轴方向)延伸的左右一对Y轴导轨35支承，并通过Y轴促动器37(参照图5)的驱动而在前后方向上移动。在X轴滑动件32安装有头40，头40通过头移动装置30而能够在XY方向上移动。
零件相机23设置在基台11上。零件相机23在被吸嘴45吸附的元件通过零件相机23的上方时，从下方拍摄该元件而生成拍摄图像，并将生成的拍摄图像向控制装置60输出。
标记相机50安装于X轴滑动件32，通过头移动装置30而与头40一同在XY方向上移动，从上方拍摄拍摄对象物。作为拍摄对象物，可举出：由供料器20供给的元件、标注于基板S的标记、安装于基板S之后的元件、基板S的电路布线(铜箔)所印刷的焊料等。如图2所示，标记相机50具备照明部50a和相机主体部50b。照明部50a具有壳体51、落射光源52、半透半反镜53、侧射光源54、扩散板55。壳体51是在下表面开口的圆筒状的部件，且安装于相机主体部50b的下方。
落射光源52设置于壳体51的内侧的侧面。如图3所示，落射光源52是发出R(红色)的单色光的红色LED52a、发出G(绿色)的单色光的绿色LED52b、发出B(蓝色)的单色光的蓝色LED52c分别以相同数目或者几乎相同数目配置在四边形形状的支承板52d上的结构。半透半反镜53在壳体51的内侧倾斜地设置，将来自落射光源52的各LED52a、52b、52c的水平方向的光向下方反射。另外，半透半反镜53使来自下方的光朝向相机主体部50b透过。侧射光源54在壳体51的下方开口附近水平地设置。如图4所示，侧射光源54是红色LED54a、绿色LED54b、蓝色LED54c分别以相同数目或者几乎相同数目配置在环状的支承板54d上的结构，且向下照射光。扩散板55设置于壳体51中的侧射光源54的下方。从落射光源52及侧射光源54发出的光在由扩散板55扩散后向对象物照射。标记相机50能够使落射光源52及侧射光源54中的红光源(红色LED52a、红色LED54a)、绿光源(绿色LED52b、绿色LED54b)、蓝光源(蓝色LED52c、蓝色LED54c)分别单独点亮。
相机主体部50b具备未图示的透镜等光学系统和作为单色拍摄元件的例如单色CCD56。相机主体部50b当从落射光源52及侧射光源54发出并由拍摄对象物反射之后的光透过半透半反镜53而到达时，由单色CCD56接受该光而生成单色图像。需要说明的是，R、G、B的各色的波长区域没有特别限定，但例如也可以使R为590－780nm、使G为490－570nm、使B为400－490nm。另外，相机主体部50b具备未图示的CPU、ROM、RAM、EEPROM等，作为功能模块，如图5所示，具备控制部57、图像处理部58、存储部59。控制部57进行包括落射光源52及侧射光源54的各光源色的发光控制等在内的相机整体的控制。图像处理部58对于由单色CCD56生成的图像进行包括各种校正的图像处理。存储部59存储各种处理程序、图像处理用的数据等。存储部59作为图像处理用的数据而存储后述的校正量ΔRS、ΔGS、ΔBS等。
控制装置60具备未图示的CPU、ROM、RAM、HDD等，作为功能模块，如图5所示，具备控制部61、图像处理部62、存储部63。控制部61进行元件安装机10的整体的控制。控制部61向基板搬运装置22输出控制信号，向X轴促动器33、Y轴促动器37输出控制信号，向Z轴促动器41、θ轴促动器42输出控制信号，向零件相机23输出控制信号，向标记相机50输出控制信号，向供料器20输出控制信号等。对控制部61输入来自标记相机50的图像、来自零件相机23的图像等。图像处理部62对由标记相机50、零件相机23拍摄到的图像进行处理。存储部63存储各种处理程序、各种数据等。
此处，标记相机50在使落射光源52及侧射光源54中的红光源、绿光源、蓝光源分别单独点亮的照明下，拍摄拍摄对象物而生成R、G、B的3个原图像(单色图像)。将生成的原图像向控制装置60输出，通过图像处理部62使3个原图像重叠进行合成处理而生成彩色图像。通过使各原图像重叠而生成彩色图像，从而不需要如彩色相机的拜耳排列那样将各像素分配于各光源色，因此，虽耗费拍摄时间但能够不降低分辨率地进行拍摄。但是，通过对于每个光源色在像面的不同的位置成像，从而发生越靠图像周边则越容易产生偏离的色差(倍率色差)。因此，为了使各原图像的拍摄对象物不偏离地重叠，不仅需要校正因透镜的形变引起的失真像差，还需要校正色差。在标记相机50的存储部59存储有用于其的校正量。
该校正量通常在将标记相机50组装于元件安装机10之前设定，根据例如在载置夹具板JP的台的上方设置了标记相机50的状态下拍摄到的图像设定。图6是表示夹具板JP的一个例子的说明图。如图示那样，夹具板JP是以规定尺寸形成的矩形平板状的板，例如圆形状等预定形状的基准标记M以矩阵状排列设置有多个。各基准标记M设置为，使标记的中心位于以夹具板JP的中心位置JPc为基准而规定的各自的理想位置。
图7是表示校正量设定处理的一个例子的流程图。该处理通过标记相机50的控制部57和图像处理部58来进行。需要说明的是，图像处理部58进行的处理也可以通过由通用的计算机等构成的图像处理装置进行。在校正量设定处理中，控制部57首先在红光源(红色LED52a、红色LED54a)的照明下利用标记相机50拍摄夹具板JP而获取红基准图像R0(S100)。接下来，图像处理部58根据红基准图像R0识别夹具板JP的中心位置JPc和各基准标记M的位置(S110)。例如，图像处理部58检测夹具板JP的区域，将该区域的中心识别为中心位置JPc。另外，图像处理部58检测各基准标记M各自的区域，将以中心位置JPc为基准的各区域的中心位置识别为各基准标记M各自的位置。
接着，图像处理部58根据夹具板JP的中心位置JPc和几个基准标记M的位置来运算夹具板JP的斜度(S120)。例如，图像处理部58使用中心位置JPc的周围的多个(例如4个、12个等)基准标记M的位置，根据各基准标记M的位置相对于中心位置JPc的偏离来运算夹具板JP的斜度。需要说明的是，使用中心位置JPc的周围的基准标记M是因为中心位置JPc的附近失真像差的影响小。
图像处理部58当运算夹具板JP的斜度时，根据各基准标记M各自的理想位置和斜度，分别导出红基准图像R0的各基准标记M的基准位置RMP(S130)。基准位置RMP是使斜度反映于各基准标记M各自的理想位置的位置，在红基准图像R0中成为各基准标记M应该存在的位置。接下来，图像处理部58对应每个基准标记M(每个位置坐标)分别运算用于使S110中识别出的各基准标记M的位置与各基准标记M的基准位置RMP对位的校正量ΔRS，并与红光源相对应地存储于存储部59(S140)。
图8是表示设定各光源的校正量的状况的一个例子的说明图，图8的(A)是设定与红光源对应的校正量ΔRS的状况的一个例子。图8的(A)中，由实线的白色的圆圈表示红基准图像R0中的基准标记M，作为一个例子，示出基准标记M(1)～(6)6个标记。另外，由虚线的圆圈表示基准位置RMP，表示分别与基准标记M(1)～(6)对应的基准位置RMP(1)～(6)。基准标记M(1)～(6)各自的校正量ΔRS(1)～(6)成为用于使根据红基准图像R0识别出的基准标记M(1)～(6)的位置分别与基准位置RMP(1)～(6)匹配的校正量(参照箭头)，成为X轴方向及Y轴方向的移动量等。
接下来，控制部57在落射光源52及侧射光源54中的绿光源的照明下利用标记相机50拍摄夹具板JP而获取绿基准图像G0(S150)。图像处理部58根据绿基准图像G0识别各基准标记M的位置(S160)。接着，图像处理部58对应每个基准标记M(每个位置坐标)分别运算用于使各基准标记M的位置与S130中导出的红基准图像R0中的基准位置RMP对位的校正量ΔGS，并与绿光源相对应地存储于存储部59(S170)。
图8的(B)是设定与绿光源对应的校正量ΔGS的状况的一个例子，由实线的带有斜线的圆圈表示绿基准图像G0中的基准标记M(1)～(6)。另外，示出红基准图像R0中的基准位置RMP(1)～(6)。校正量ΔGS(1)～(6)成为用于使根据绿基准图像G0识别出的基准标记M(1)～(6)的位置分别与基准位置RMP(1)～(6)匹配的校正量(X轴方向及Y轴方向的移动量等)。即，设定校正量ΔGS，上述校正量ΔGS用于使根据绿基准图像G0识别出的基准标记M的位置不是与绿基准图像G0中的基准位置匹配，而是与红基准图像R0中的基准位置RMP匹配。因此，校正量ΔGS成为不仅能够校正失真像差还能够以使绿光源的色差与红基准图像R0匹配的方式校正的校正量。
接着，控制部57在蓝光源(蓝色LED52c、蓝色LED54c)的照明下利用标记相机50拍摄夹具板JP而获取蓝基准图像B0(S180)。图像处理部58根据蓝基准图像B0识别各基准标记M的位置(S190)。接着，图像处理部58对应每个基准标记M(每个位置坐标)分别运算用于使各基准标记M的位置与S130中导出的红基准图像R0中的基准位置RMP对位的校正量ΔBS，并与蓝光源相对应地存储于存储部59(S200)。图8的(C)是设定与蓝光源对应的校正量ΔBS的状况的一个例子，通过与图8的(B)相同的方法设定蓝光源的校正量ΔBS。即，设定校正量ΔBS，上述校正量ΔBS用于使根据蓝基准图像B0识别出的基准标记M的位置不是与蓝基准图像B0中的基准位置匹配，而是与红基准图像R0中的基准位置RMP匹配。因此，与绿光源的校正量ΔGS同样，蓝光源的校正量ΔBS成为不仅能够校正失真像差还能够以使蓝光源的色差与红基准图像R0匹配的方式校正的校正量。将这些校正量ΔRS、ΔGS、ΔBS存储于存储部59的标记相机50组装于元件安装机10的头40。
接下来，对这样构成的本实施方式的元件安装机10的动作进行说明。首先，对元件安装处理进行说明。在元件安装处理中，控制装置60的控制部61首先以使吸嘴45来到供料器20的元件供给位置的上方的方式控制头移动装置30，以使吸嘴45吸附元件的方式控制头40。接下来，控制部61以使头40在零件相机23的上方通过并向基板S的安装位置的上方移动的方式控制头移动装置30，并且以拍摄被吸嘴45吸附的元件的方式控制零件相机23。图像处理部62对零件相机23拍摄到的图像进行图像处理，识别元件的姿势并运算其位置偏离量。接着，控制部61以将元件安装于基于元件的位置偏离量而校正后的安装位置的方式控制头40。控制部61通过反复执行这样的元件安装处理，在基板S上安装预先规定的数量/种类的元件。
接着，对元件安装机10进行了元件安装处理之后进行的元件的安装检查进行说明。图9是表示安装检查处理的一个例子的流程图。在安装检查处理中，控制部61以使标记相机50来到安装有元件的基板S的上方的方式控制头移动装置30并执行成为合成源的原图像的拍摄/校正处理(S300)。图10是表示原图像的拍摄/校正处理的一个例子的流程图。
在原图像的拍摄/校正处理中，标记相机50的控制部57首先在红光源(红色LED52a、红色LED54a)的照明下利用标记相机50拍摄基板S而获取原图像(单色图像)R1(S302)。而且，图像处理部58使用存储于存储部59的校正量ΔRS来校正原图像R1并向控制部61输出(S304)。接下来，控制部57在绿光源(绿色LED52b、绿色LED54b)的照明下利用标记相机50拍摄基板S并获取原图像G1(S306)。而且，图像处理部58使用存储于存储部59的校正量ΔGS来校正原图像G1并向控制部61输出(S308)。接着，控制部57在蓝光源(蓝色LED52c、蓝色LED54c)的照明下利用标记相机50拍摄基板S而获得原图像B1(S310)。而且，图像处理部58使用存储于存储部59的蓝光源的校正量ΔBS来校正原图像B1并向控制部61输出(S312)。通过分别使用各光源色的校正量ΔRS、ΔGS、ΔBS来校正各原图像R1、G1、B1，能够一同校正失真像差和色差。此处，在校正量设定处理中，在绿基准图像G0、蓝基准图像B0中分别进行与红基准图像R0相同的处理而对应每个光源色设定了失真像差的校正量和色差的校正量的情况下，分别进行失真像差的校正和色差的校正，校正耗费精力和时间。在本实施方式中，能够一同校正失真像差和色差，因此，能够缩短校正时间，能够迅速地对彩色图像进行合成处理而进行安装检查。
图像处理部62当获取这样生成的校正后的各原图像R1、G1、B1时，通过使各原图像R1、G1、B1重叠而进行合成处理来生成彩色图像(S320)。然后，图像处理部62使用生成的彩色图像进行安装检查(S340)，结束安装检查处理。图像处理部62在安装检查中，检查根据彩色图像识别出的元件的位置是否为该元件的安装位置，或者检查元件的安装偏离量(位置偏离量、旋转偏离量)是否为允许范围内。使用上述的校正量ΔRS、ΔGS、ΔBS适当地校正各原图像R1、G1、B1的失真像差和色差，因此，能够抑制合成的彩色图像中的重叠的偏离。因此，能够抑制因重叠的偏离引起的元件的位置的错误识别等，因此，能够提高安装检查的检查精度。
此处，明确本实施方式的结构要素与本公开的结构要素的对应关系。本实施方式的存储部59相当于存储部，具备落射光源52和侧射光源54的照明部50a相当于光源部，具备单色CCD56的相机主体部50b相当于拍摄部，图像处理部58相当于校正部，控制部61相当于检查部。另外，标记相机50相当于拍摄装置。标记相机50和控制装置60相当于检查装置。需要说明的是，在本实施方式中，通过对拍摄装置、检查装置的动作进行说明也明确本公开的图像校正方法的一个例子。
在以上说明的元件安装机10中，在标记相机50的存储部59存储有R、G、B的各校正量ΔRS、ΔGS、ΔBS。校正量ΔRS作为将根据在红光源的照明下拍摄夹具板JP的红基准图像(特定光源色的基准图像)R0识别出的基准标记M的位置校正为红基准图像R0中的基准位置RMP的校正量而设定。另一方面，校正量ΔGS、ΔBS分别作为将根据在绿光源、蓝光源的照明下拍摄夹具板JP的绿基准图像G0、蓝基准图像B0识别出的基准标记M的位置校正为红基准图像R0中的基准位置RMP的校正量而设定。而且，拍摄安装有元件的基板S的原图像R1、G1、B1，分别使用校正量ΔRS、ΔGS、ΔBS而一同校正原图像R1、G1、B1的失真像差和色差。因此，与使用失真像差和色差各自的校正量分别进行校正的情况相比，能够减少原图像R1、G1、B1的失真像差和色差的校正的麻烦。
另外，在校正量ΔRS的设定中，基于红基准图像R0中的夹具板JP的中心位置JPc和基准标记M的位置来运算夹具板JP的斜度，使用该斜度和基准标记M的理想位置来规定基准位置RMP。因此，能够适当地规定反映出夹具板JP的斜度的基准位置RMP，求出校正量ΔRS。另外，在其它校正量ΔGS、ΔBS的设定中，不求出夹具板JP的中心位置JPc、斜度而求出基准标记M的位置即可，因此，能够迅速地设定各校正量。
另外，在元件安装机10中，使校正后的原图像R1、G1、B1重叠而生成彩色图像，使用彩色图像进行元件的安装检查，因此，能够基于抑制了失真像差和色差的偏离少的彩色图像而高精度地进行元件的安装检查。
需要说明的是，本公开没有被上述的实施方式作任何限定，只要属于本公开的技术范围则能够以各种方式实施是不言而喻的。
例如，在上述的实施方式中，将设定红光源的校正量ΔRS时使用的基准位置RMP在设定绿光源的校正量ΔGS、蓝图像的校正量ΔBS时使用。即，使用红基准图像R0作为特定光源色的基准图像，但不局限于此，也可以使用绿基准图像G0作为特定光源色的基准图像，也可以使用蓝基准图像B0作为特定光源色的基准图像。
在上述的实施方式中，对应每个基准标记M分别运算用于使各基准标记M的位置与各基准标记M的基准位置RMP对位的校正量ΔRS、ΔGS、ΔBS，并将它们存储于存储部59，但不局限于此。也可以是，在运算出各色的基准图像的各基准标记M的校正量ΔRS、ΔGS、ΔBS之后，使用相邻的基准标记M的校正量对各色的基准图像中的更细微的间距的每个位置坐标的校正量进行插值运算，并将其存储于存储部59。也可以是，在各色的基准图像中，使用运算出的每个位置坐标的校正量进一步进行插值运算，最终运算每个像素的校正量，并存储于存储部59。
在上述的实施方式中，标记相机50的图像处理部58分别使用校正量ΔRS、ΔGS、ΔBS来校正原图像R1、G1、B1，但不局限于此，也可以由控制装置60的控制部61进行校正。在这样的情况下，标记相机50的存储部59也可以存储校正量ΔRS、ΔGS、ΔBS，控制装置60的存储部63也可以存储校正量ΔRS、ΔGS、ΔBS。
在上述的实施方式中，例示出将R、G、B的3色的原图像R1、G1、B1合成的方式，但不局限于此，只要是将上述3色中的任意2色以上或者包含其它色的2色以上的原图像合成的方式即可。在2色的情况下将一方作为特定光源色而设定校正量即可。
在上述的实施方式中，例示出生成用于进行安装有元件的基板S的检查的彩色图像的方式，但不局限于此。也有时根据成为检查对象的基板S、元件的颜色、材料、形状等，即便不是彩色图像，图像处理部62也能够直接对任一个原图像(单色图像)R1、G1、B1进行安装检查。也可以是，即便在像这样在安装检查中不使用彩色图像的情况下，图像处理部62通过对各原图像进行合成处理而生成彩色图像，控制部61使生成的彩色图像显示于元件安装机10的未图示的显示装置。通过在显示装置显示有彩色图像，作业者能够容易地识别检查对象的状况。
在上述的实施方式中，标记相机50一体地具备具有R、G、B的3色的光源(LED52a～52c、54a～54c)的照明部50a和具有单色CCD56的相机主体部50b，但不局限于此。例如，照明部50a与相机主体部50b也可以分别构成。
在上述的实施方式中，元件安装机10兼作检查装置，但不局限于此，也可以在生产线的比元件安装机10靠基板搬运方向的下游侧处具备专用的检查装置。
在上述的实施方式中，例示出生成用于进行安装有元件的基板的检查的彩色图像的情况，但不局限于此。也可以生成用于在安装元件之前进行基板S的焊料的检查的彩色图像，也可以生成用于进行由供料器20供给的元件的识别的彩色图像。另外，例示出用于标记相机50的情况，但也可以用于零件相机23等其它拍摄装置。另外，不局限于与元件的安装相关的检查，也可以用于使用将各色的原图像合成的合成图像而进行检查的情况。另外，也可以由一个或者多个计算机进行本公开的图像校正方法，例如作为通用的计算机而构成的图像处理装置也可以进行本公开的图像校正方法。
此处，本公开的图像校正方法也可以如以下那样。例如也可以是，在本公开的图像校正方法中，在上述步骤(a)中，识别上述特定光源色的基准图像中的上述部件的中心位置和上述基准标记的位置，基于上述中心位置和上述基准标记的位置来导出上述部件的斜度，使用上述部件的斜度和上述基准标记的理想位置来规定上述特定光源色的基准图像中的上述基准位置，求出上述校正量，在上述步骤(b)中，对于每个上述其它光源色的上述基准图像来识别上述基准标记的位置，求出上述校正量。这样，能够使设置有基准标记的部件的斜度反映于基准标记的理想位置而适当地规定特定光源色的基准图像中的基准标记的基准位置，求出校正量。另外，在求出其它光源色的校正量时，对于每个其它光源色的基准图像来识别基准标记的位置即可，不需要识别部件的中心位置等，因此，能够迅速地求出校正量。
本公开的拍摄装置的主旨在于，具备：存储部，将在上述的任一个图像校正方法中设定的上述校正量与各光源色相对应地存储；光源部，能够照射多个不同的光源色；拍摄部，在各光源色各自的照明下拍摄合成图像的原图像；及校正部，当拍摄上述原图像时，使用与各光源色相对应的上述校正量来一同校正各光源色的原图像的失真像差和色差。
本公开的拍摄装置使用在上述的任一个图像校正方法中设定的校正量来一同校正各光源色的原图像的失真像差和色差，因此，与上述的图像校正方法相同，能够减少原图像的失真像差和色差的校正的麻烦而迅速地生成合成图像。
本公开的检查装置的主旨在于，具备：存储部，将在上述的任一个图像校正方法中设定的上述校正量与各光源色相对应地存储；光源部，能够照射多个不同的光源色；拍摄部，将安装有元件的基板的图像作为原图像而在各光源色各自的照明下进行拍摄；校正部，当拍摄上述原图像时，使用与各光源色相对应的上述校正量来一同校正各光源色的原图像的失真像差和色差；及检查部，使被校正了失真像差和色差的上述原图像重叠而生成合成图像，基于上述合成图像来进行上述元件的安装检查。
本公开的检查装置使用在上述的任一个图像校正方法中设定的校正量来一同校正各光源色的原图像的失真像差和色差，因此，与上述的图像校正方法相同，能够减少原图像的失真像差和色差的校正的麻烦而迅速地生成合成图像。另外，能够基于合成图像高精度地进行元件的安装检查。
工业实用性
本公开能够应用于拍摄装置、检查装置、元件安装机的制造工业等。
附图标记说明
10...元件安装机 11...基台 12...机壳 20...供料器 21...带盘 22...基板搬运装置 23...零件相机 30...头移动装置 31...X轴导轨 32...X轴滑动件 33...X轴促动器 35...Y轴导轨 36...Y轴滑动件 37...Y轴促动器 40...头 41...Z轴促动器 42...θ轴促动器 45...吸嘴 50...标记相机 50a...照明部 50b...相机主体部 51...壳体 52...落射光源 52a...红色LED 52b...绿色LED 52c...蓝色LED 52d...支承板 53...半透半反镜 54...侧射光源 54a...红色LED 54b...绿色LED 54c...蓝色LED 54d...支承板 55...扩散板 56...单色CCD 57...控制部 58...图像处理部 59...存储部 60...控制装置61...控制部 62...图像处理部 63...存储部 S...基板

Claims (4)

1.一种图像校正方法，当使在多个不同的光源色各自的照明下拍摄到的多个原图像重叠而生成合成图像时对所述原图像进行校正，
所述图像校正方法包括如下步骤：
(a)求出用于将根据设置有基准标记的部件在各光源色各自的照明下被拍摄到的每个光源色的基准图像中的特定光源色的基准图像识别出的所述基准标记的位置校正为所述特定光源色的基准图像中的所述基准标记的基准位置的校正量，并将所述校正量与光源色相对应地设定；
(b)对于除所述特定光源色以外的每个其它光源色分别求出用于将根据其它光源色的所述基准图像识别出的所述基准标记的位置校正为所述特定光源色的基准图像中的所述基准位置的校正量，并将所述校正量与光源色相对应地设定；及
(c)当拍摄所述原图像时，使用与各光源色相对应的校正量来一同校正各光源色的原图像的失真像差和色差。
2.根据权利要求1所述的图像校正方法，其中，
在所述步骤(a)中，识别所述特定光源色的基准图像中的所述部件的中心位置和所述基准标记的位置，基于所述中心位置和所述基准标记的位置来导出所述部件的斜度，使用所述部件的斜度和所述基准标记的理想位置来规定所述特定光源色的基准图像中的所述基准位置，求出所述校正量，
在所述步骤(b)中，对于每个所述其它光源色的所述基准图像来识别所述基准标记的位置，求出所述校正量。
3.一种拍摄装置，具备：
存储部，将在权利要求1或2的图像校正方法中设定的所述校正量与各光源色相对应地存储；
光源部，能够照射多个不同的光源色；
拍摄部，在各光源色各自的照明下拍摄合成图像的原图像；及
校正部，当拍摄所述原图像时，使用与各光源色相对应的所述校正量来一同校正各光源色的原图像的失真像差和色差。
4.一种检查装置，具备：
存储部，将在权利要求1或2的图像校正方法中设定的所述校正量与各光源色相对应地存储；
光源部，能够照射多个不同的光源色；
拍摄部，将安装有元件的基板的图像作为原图像而在各光源色各自的照明下进行拍摄；
校正部，当拍摄所述原图像时，使用与各光源色相对应的所述校正量来一同校正各光源色的原图像的失真像差和色差；及
检查部，使被校正了失真像差和色差的所述原图像重叠而生成合成图像，基于所述合成图像来进行所述元件的安装检查。
CN202080097030.2A 2020-02-27 2020-02-27 图像校正方法、拍摄装置及检查装置 Active CN115136579B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008044 WO2021171487A1 (ja) 2020-02-27 2020-02-27 画像補正方法、撮像装置および検査装置

Publications (2)

Publication Number Publication Date
CN115136579A true CN115136579A (zh) 2022-09-30
CN115136579B CN115136579B (zh) 2023-08-04

Family

ID=77491096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080097030.2A Active CN115136579B (zh) 2020-02-27 2020-02-27 图像校正方法、拍摄装置及检查装置

Country Status (4)

Country Link
EP (1) EP4113967A4 (zh)
JP (1) JP7365487B2 (zh)
CN (1) CN115136579B (zh)
WO (1) WO2021171487A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116075148A (zh) * 2023-03-14 2023-05-05 四川易景智能终端有限公司 一种基于人工智能的pcba板生产线智能监管系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1931142A1 (en) * 2006-12-06 2008-06-11 Sony Corporation Projector and adjustment method of the same
JP2010230898A (ja) * 2009-03-26 2010-10-14 Brother Ind Ltd カラー画像表示装置
US20120300112A1 (en) * 2010-03-31 2012-11-29 Canon Kabushiki Kaisha Image pickup apparatus having aberration correcting function and aberration correcting method for image pickup apparatus
JP2013017142A (ja) * 2011-07-06 2013-01-24 Sony Corp 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2014035261A (ja) * 2012-08-08 2014-02-24 Sony Corp 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法
CN104113703A (zh) * 2013-04-15 2014-10-22 佳能株式会社 图像处理装置及图像处理方法
JP2015032895A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 画像処理装置
CN105359638A (zh) * 2013-07-08 2016-02-24 富士机械制造株式会社 元件保持状态检测方法及元件安装装置
CN105915757A (zh) * 2016-06-06 2016-08-31 北京时代拓灵科技有限公司 一种基于rgb彩色通道误差函数的颜色校正方法
CN108370435A (zh) * 2015-12-21 2018-08-03 株式会社小糸制作所 车辆用图像获取装置、以及包括了车辆用图像获取装置的车辆

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116490A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
JP2012138891A (ja) * 2010-12-08 2012-07-19 Canon Inc 撮像装置
JP6408817B2 (ja) * 2014-07-22 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム
CN111434103B (zh) 2017-12-05 2021-09-03 株式会社富士 拍摄单元及元件安装机

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1931142A1 (en) * 2006-12-06 2008-06-11 Sony Corporation Projector and adjustment method of the same
JP2010230898A (ja) * 2009-03-26 2010-10-14 Brother Ind Ltd カラー画像表示装置
US20120300112A1 (en) * 2010-03-31 2012-11-29 Canon Kabushiki Kaisha Image pickup apparatus having aberration correcting function and aberration correcting method for image pickup apparatus
JP2013017142A (ja) * 2011-07-06 2013-01-24 Sony Corp 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2014035261A (ja) * 2012-08-08 2014-02-24 Sony Corp 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法
CN104113703A (zh) * 2013-04-15 2014-10-22 佳能株式会社 图像处理装置及图像处理方法
CN105359638A (zh) * 2013-07-08 2016-02-24 富士机械制造株式会社 元件保持状态检测方法及元件安装装置
JP2015032895A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 画像処理装置
CN108370435A (zh) * 2015-12-21 2018-08-03 株式会社小糸制作所 车辆用图像获取装置、以及包括了车辆用图像获取装置的车辆
CN105915757A (zh) * 2016-06-06 2016-08-31 北京时代拓灵科技有限公司 一种基于rgb彩色通道误差函数的颜色校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHIO KISE ET AL: "Multispectral imaging system with interchangeable filter design", vol. 72, no. 2, pages 2 - 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116075148A (zh) * 2023-03-14 2023-05-05 四川易景智能终端有限公司 一种基于人工智能的pcba板生产线智能监管系统

Also Published As

Publication number Publication date
EP4113967A4 (en) 2023-03-29
JP7365487B2 (ja) 2023-10-19
WO2021171487A1 (ja) 2021-09-02
CN115136579B (zh) 2023-08-04
JPWO2021171487A1 (zh) 2021-09-02
EP4113967A1 (en) 2023-01-04
US20230116070A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
JP2001160135A (ja) 画像処理方法，画像処理システムおよび補正データ作成方法
JP2023118927A (ja) 対基板作業システム
US20080014772A1 (en) Component mounting position correcting method and component mouting apparatus
CN115136579B (zh) 图像校正方法、拍摄装置及检查装置
CN108702867B (zh) 安装装置及拍摄处理方法
JP6837161B2 (ja) 撮像ユニット及び部品実装機
JP7301973B2 (ja) 検査装置
US11997375B2 (en) Image correction method, imaging device, and inspection device
CN105592684B (zh) 电子部件安装装置
CN112514553B (zh) 表面安装机
JPWO2015052755A1 (ja) 実装装置
EP3767938B1 (en) Image-capturing unit and component-mounting device
JP7271738B2 (ja) 撮像ユニット
JPWO2019030875A1 (ja) 画像処理システムおよび部品実装機
WO2023276059A1 (ja) 部品実装機
CN114287176B (zh) 作业机
JP2022072260A (ja) 位置ずれ検出方法、位置ずれ検出装置、位置合せ装置および検査装置
CN117280885A (zh) 识别装置以及识别方法
CN113966650A (zh) 照明单元

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant