JP2023118927A - 対基板作業システム - Google Patents

対基板作業システム Download PDF

Info

Publication number
JP2023118927A
JP2023118927A JP2023111415A JP2023111415A JP2023118927A JP 2023118927 A JP2023118927 A JP 2023118927A JP 2023111415 A JP2023111415 A JP 2023111415A JP 2023111415 A JP2023111415 A JP 2023111415A JP 2023118927 A JP2023118927 A JP 2023118927A
Authority
JP
Japan
Prior art keywords
monochromatic
image
board
lights
work system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023111415A
Other languages
English (en)
Inventor
光孝 稲垣
Mitsutaka Inagaki
英俊 川合
Hidetoshi Kawai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Priority to JP2023111415A priority Critical patent/JP2023118927A/ja
Publication of JP2023118927A publication Critical patent/JP2023118927A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】高解像度の合成画像を利用するか単色画像を利用するかを必要に応じて適宜使い分けられるようにする。【解決手段】対基板作業システムは、XY平面を移動する移動装置と、移動装置に取り付けられた照明装置と、移動装置に取り付けられた単色カメラと、画像処理装置とを備える。画像処理装置は、対象物に基づいて少なくとも2つの単色光の中から1つ又は複数の単色光を選択し、選択された単色光が1つだったならば、1つの単色光で照射された対象物の単色画像を取得するよう照明装置及び単色カメラを制御すると共に対象物の単色画像を対象物検査用画像に設定する。一方、選択された単色光が複数だったならば、複数の単色光を独立して照射された対象物の各単色画像を取得するよう照明装置及び単色カメラを制御すると共に各単色画像を合成した合成画像を対象物検査用画像に設定する。【選択図】図1

Description

本明細書では、対基板作業システムを開示する。
従来、XY平面に配置された基板に対して作業を行う対基板作業システムが知られている。例えば、特許文献1には、こうした対基板作業システムとして、XY平面を移動するヘッドと、基板に光を照射する照明装置と、照明装置によって光が照射された基板を撮像するためのカメラとを備えたものが知られている。一方、画像取得システムとしては、特許文献2に示すように、合成画像を作成するために1番目の光学画像と2番目の光学画像を取得するものが知られている。合成画像は、カラー画像であり、1番目と2番目の光学画像のそれぞれは合成カラー画像の色成分から構成されている。
特開2002-271099号公報 特開2004-191355号公報
ところで、対基板作業システムにおいて、カメラで撮像される対象物によっては白黒画像で認識できることもあるが認識できないこともあった。この点を考慮すると、対象物のカラー画像を取得してそのカラー画像で対象物を認識できるようにすることも考えられる。その場合、4画素を1ユニットとして色情報が作成されることが多いが、色滲みや偽色といった現象が現れるため対象物を精度良く認識することは難しかった。一方、RGBの光をそれぞれ照射して単色カメラで取得した3つの白黒画像を合成してカラー画像を生成する場合、色滲みや偽色といった現象が解消された高解像度のカラー画像が得られる。しかしながら、どのような対象物であっても3つの白黒画像を合成してカラー画像を生成するため、白黒画像だけでも十分認識できるような対象物については無駄に撮像時間が長くなるという問題があった。
本明細書で開示する対基板作業システムは、上述した課題を解決するためになされたものであり、高解像度の合成画像を利用するか単色画像を利用するかを必要に応じて適宜使い分けられるようにすることを主目的とする。
本明細書で開示する対基板作業システムは、
XY平面に配置された基板に対して作業を行う対基板作業システムであって、
前記XY平面を移動する移動装置と、
前記移動装置に取り付けられ、前記XY平面上の対象物にR,G,Bのうち少なくとも2つの単色光を独立して照射可能な照明装置と、
前記移動装置に取り付けられ、前記照明装置で照射された前記対象物の単色画像を取得する単色カメラと、
前記対象物に基づいて前記少なくとも2つの単色光の中から1つ又は複数の単色光を選択し、前記選択された単色光が1つだったならば、前記1つの単色光で照射された前記対象物の単色画像を取得するよう前記照明装置及び前記単色カメラを制御すると共に前記対象物の単色画像を対象物検査用画像に設定し、前記選択された単色光が複数だったならば、前記複数の単色光でそれぞれ独立して照射された前記対象物の各単色画像を取得するよう前記照明装置及び前記単色カメラを制御すると共に前記各単色画像を合成した合成画像を前記対象物検査用画像に設定する画像処理装置と、
を備えたものである。
この対基板作業システムでは、対象物に基づいて少なくとも2つの単色光の中から1つ又は複数の単色光を選択し、選択された単色光が1つだったならば、1つの単色光で照射された対象物の単色画像を取得するよう照明装置及び単色カメラを制御すると共に対象物の単色画像を対象物検査用画像に設定する。選択された単色光が複数だったならば、複数の単色光でそれぞれ独立して照射された対象物の各単色画像を取得するよう照明装置及び単色カメラを制御すると共に各単色画像を合成した合成画像を対象物検査用画像に設定する。合成画像は、画素ごとに色情報が得られるため、正方形状に並んだ4画素を1ユニットとして色情報が作成される場合に比べて、色滲みや偽色といった現象が解消された高解像度の画像になるが、複数回撮像する必要があるため撮像に時間がかかる。ここでは、対象物に基づいて対象物検査用画像として1つの単色画像を用いるのか合成画像を用いるのかを選択する。つまり、1つの単色画像を用いるか高解像度の合成画像を利用するかを、対象物に応じて適宜使い分けることができる。そのため、すべての対象物につき対象物検査用画像として合成画像を用いる場合に比べて処理時間が短縮される。
なお、対象物検査用画像は、画像処理装置による対象物の自動検査のために利用されるものとしてもよいし、オペレータが対象物の検査を行うために画像処理装置によってディスプレイに表示されるものとしてもよい。
部品実装機10の斜視図。 マークカメラ50の構成の概略説明図。 落射光源53のA視図。 側射光源55のB視図。 部品実装機10の制御に関わる構成を示すブロック図。 フィデューシャルマーク81を有する基板80の平面図。 ブロックスキップマーク83を有する基板80の平面図。 検査ルーチンの一例を示すフローチャート。 部品P1,P2,P3が実装された後の基板80の平面図。 別の検査ルーチンの一例を示すフローチャート。
本明細書で開示する部品実装機の好適な実施形態を、図面を参照しながら以下に説明する。図1は部品実装機10の斜視図、図2はマークカメラ50の構成の概略説明図、図3は落射光源53のA視図、図4は側射光源55のB視図、図5は部品実装機10の制御に関わる構成を示すブロック図である。なお、本実施形態において、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1に示した通りとする。
部品実装機10は、基板搬送装置18と、ヘッド24と、ノズル37と、パーツカメラ40と、マークカメラ50と、ディスプレイ68と、リールユニット70と、制御装置60とを備えている。
基板搬送装置18は、基板80を搬送したり保持したりする装置である。この基板搬送装置18は、支持板20,20と、コンベアベルト22,22(図1では片方のみ図示)とを備えている。支持板20,20は、左右方向に延びる部材であり、図1の前後に間隔を開けて設けられている。コンベアベルト22,22は、支持板20,20の左右に設けられた駆動輪及び従動輪に無端状となるように架け渡されている。基板80は、一対のコンベアベルト22,22の上面に乗せられて左から右へと搬送される。この基板80は、多数立設された支持ピン23によって裏面側から支持可能となっている。そのため、基板搬送装置18は基板支持装置としての役割も果たす。
ヘッド24は、X軸スライダ26の前面に取り付けられている。X軸スライダ26は、Y軸スライダ30の前面に取り付けられている。Y軸スライダ30は、前後方向に延びる左右一対のガイドレール32,32にスライド可能に取り付けられている。Y軸スライダ30の前面には、左右方向に延びる上下一対のガイドレール28,28が設けられている。X軸スライダ26は、このガイドレール28,28にスライド可能に取り付けられている。ヘッド24は、X軸スライダ26が左右方向に移動するのに伴って左右方向に移動し、Y軸スライダ30が前後方向に移動するのに伴って前後方向に移動する。なお、各スライダ26,30は、それぞれ駆動モータ26a,30a(図5参照)により駆動される。また、ヘッド24は、Z軸モータ34を内蔵し、Z軸に沿って延びるボールネジ35に取り付けられたノズル37の高さをZ軸モータ34によって調整する。さらに、ヘッド24は、ノズル37を軸回転させるQ軸モータ36(図5参照)を内蔵している。
ノズル37は、ノズル先端に部品を吸着して保持したり、ノズル先端に吸着している部品を吸着解除したりする部材である。ノズル37は、図示しない圧力供給源から圧力を供給可能であり、例えば負圧が供給されると部品を吸着し、負圧の供給が停止されるか又は正圧が供給されると部品を吸着解除する。ノズル37は、ヘッド24の本体底面から下方に突出している。また、Z軸モータ34によってノズル37がZ軸方向に沿って昇降することで、ノズル37に吸着された部品の高さが調整される。Q軸モータ36によってノズル37が回転することで、ノズル37に吸着された部品の向きが調整される。
パーツカメラ40は、基板搬送装置18の前方に配置されている。パーツカメラ40は、パーツカメラ40の上方が撮像範囲であり、ノズル37に保持された部品を下方から撮像して撮像画像を生成する。
マークカメラ50は、X軸スライダ26の下面に設けられている。マークカメラ50は、対象物(撮像対象物)を上方から撮像して撮像画像を生成する。マークカメラ50の対象物としては、リールユニット70においてフィーダ74から送り出されるテープ72に保持されている部品、基板80に付されたマーク、基板80に実装されたあとの部品、基板80に印刷されたはんだなどが挙げられる。
マークカメラ50は、図2に示すように、照明装置51と、カメラ本体58とを備えている。照明装置51は、ハウジング52と、落射光源53と、ハーフミラー54と、側射光源55とを備えている。ハウジング52は、下面に開口する円筒状の部材であり、カメラ本体58の下方に取り付けられている。落射光源53は、ハウジング52の内側の側面に設けられている。落射光源53は、図3に示すように、R(レッド)の単色光を発光する赤色LED53aとG(グリーン)の単色光を発光する緑色LED53bとB(ブルー)の単色光を発光する青色LED53cとが四角形状の支持板53d上にそれぞれ同数又はほぼ同数配置されたものである。各LED53a~53cは、中央に発光素子が配置された四角形状のベースに、その発光素子を覆うように半球面のレンズが取り付けられたものである。ハーフミラー54は、ハウジング52の内側に斜めになるように設けられている。ハーフミラー54は、落射光源53のLED53a,53b,53cからの水平方向の光を下方に反射する。また、ハーフミラー54は、下方からの光をカメラ本体58に向けて透過する。側射光源55は、ハウジング52の下方開口付近に水平になるように設けられている。側射光源55は、図4に示すように、赤色LED55aと緑色LED55bと青色LED55cとがリング状の支持板55d上にそれぞれ同数又はほぼ同数配置されたものであり、下向きに光を照射する。各LED55a~55cは、中央に発光素子が配置された四角形状のベースに、その発光素子を覆うように半球面のレンズが取り付けられたものである。ハウジング52のうち側射光源55の下方には、拡散板56が設けられている。落射光源53及び側射光源55から発せられた光は、最終的にはこの拡散板56で拡散されたあと対象物に照射される。カメラ本体58は、受光した光に基づいて撮像画像を生成する。このカメラ本体58は、図示しないレンズなどの光学系及び撮像素子(例えばCCD)を備えている。落射光源53及び側射光源55から発せられ対象物で反射した後の光がハーフミラー54を透過してカメラ本体58に到達すると、カメラ本体58はこの光を受光して撮像画像を生成する。
なお、R,G,Bの各色の波長領域は、特に限定されるものではないが、例えば、Rを590-780nm、Gを490-570nm、Bを400-490nmとしてもよい。
ディスプレイ68は、各種の画像をカラー表示したりモノクロ表示したりするものである。
リールユニット70は、複数のフィーダ74が着脱可能に装着されたものである。フィーダ74は、リール71を備えている。リール71には、テープ72が巻き付けられている。テープ72の表面には、テープ72の長手方向に沿って複数の収容凹部73が設けられている。各収容凹部73には、部品が収容されている。これらの部品は、テープ72の表面を覆うフィルムによって保護されている。こうしたテープ72は、リール71から後方に向かって巻きほどかれ、フィーダ74の所定の部品供給位置74aにおいてフィルムが剥がされて部品が露出した状態となる。所定の部品供給位置74aに送り出された部品は、ノズル37によって吸着される。リールユニット70の動作は、各フィーダ74が備えるフィーダコントローラ76(図5参照)によって制御される。
制御装置60は、図5に示すように、CPU61、記憶部63(ROM、RAM、HDDなど)、入出力インターフェース65などを備えており、これらはバス66を介して接続されている。この制御装置60は、基板搬送装置18、X軸スライダ26の駆動モータ26a、Y軸スライダ30の駆動モータ30a、Z軸モータ34、Q軸モータ36、パーツカメラ40、マークカメラ50、ディスプレイ68及びノズル37用の図示しない圧力供給源へ駆動信号を出力する。また、制御装置60は、パーツカメラ40からの撮像画像やマークカメラ50からの撮像画像を入力する。制御装置60は、リールユニット70のフィーダコントローラ76と通信可能に接続されている。なお、図示しないが、各スライダ26,30には図示しない位置センサが装備されており、制御装置60はそれらの位置センサからの位置情報を入力しつつ、各スライダ26,30の駆動モータ26a,30aを制御する。
ここで、基板80について説明する。図6に示す基板80は、フィデューシャルマーク81を有している。フィデューシャルマーク81は、基板80の対角の2箇所の角に設けられたマークであり、基板80の姿勢(位置と傾き)を補正すること等に利用される。ここでは、フィデューシャルマーク81は、Rの単色光で照射されたときに撮像された単色画像を用いることで基板80と明確に識別できるように作成されているものとする。また、図7に示す基板80は、ブロックスキップマーク83を有している。ブロックスキップマーク83は、基板80が多数個の小基板(基板ブロック82)を取れるように形成されている場合に、基板ブロック82が良好ブロックか不良ブロックかを示すためのマークである。そのため、ブロックスキップマーク83は、良好ブロックであることを表すマーク(図8で白色のマーク)と、不良ブロックであることを表すマーク(図8で黒色のマーク)とが区別できるように作成されている。ここでは、ブロックスキップマーク83は、Rの単色光で照射されたときに撮像された単色画像を用いることで基板80と明確に識別できるように作成されているものとする。つまり、フィデューシャルマーク81もブロックスキップマーク83も、そのマーク81,83と背景である基板80との識別性に基づいてRの単色光が選択される。
次に、部品実装機10が部品実装処理を行うときの動作について説明する。制御装置60のCPU61は、図示しない管理装置から受信した生産プログラムに基づいて、部品実装機10の各部を制御して複数種類、複数個の部品が実装された基板80を生産する。具体的には、CPU61は、部品供給装置であるリールユニット70によって部品供給位置74aに送り出された部品にノズル37が対向するようにX軸スライダ26やY軸スライダ30を制御する。続いて、CPU61は、部品供給位置74aの部品がノズル37に吸着されるようにノズル37の圧力を制御する。続いて、CPU61は、ノズル37に吸着された部品の画像を撮像するようにパーツカメラ40を制御し、得られた部品の画像に基づいて部品の姿勢を認識する。続いて、CPU61は、ノズル37に吸着された部品の姿勢を考慮して部品が基板80の指定位置の直上に配置されるようにX軸スライダ26及びY軸スライダ30を制御し、ノズル37が部品を放すようにノズル37の圧力を制御する。CPU61は、こうした部品実装処理を繰り返し実行することにより、基板80上に予め定められた数、種類の部品を実装する。こうした部品実装機10を複数台、左右方向に並べることにより実装ラインが形成される。基板80が1つの実装ラインの最上流の部品実装機10から最下流の部品実装機10まで搬送されると、基板80上に、予め定められたすべての部品が実装されるようになっている。
次に、部品実装機10が対象物の検査を行うときの動作について説明する。図8は検査ルーチンの一例を示すフローチャートである。制御装置60のCPU61は、検査ルーチンを開始すると、まず、対象物に基づいて単色光を選択する(S100)。例えば、対象物がフィデューシャルマーク81(図6参照)だったならば、CPU61はR,G,Bの3つの単色光の中からRの単色光を選択する。対象物がブロックスキップマーク83(図7参照)だった場合も同様にRの単色光を選択する。上述したように、フィデューシャルマーク81もブロックスキップマーク83も、Rの単色光を照射して撮像した単色画像において基板80(背景)から明確に区別できるからである。一方、対象物が図9に示した部品実装終了後の基板80(例えば部品実装機10が担当しているすべての部品の実装が終了した基板80)上の部品だったならば、CPU61はR,G,Bの3つの単色光の中からすべての単色光を選択する。図9の基板80には、3種類の部品P1,P2,P3が実装されており、部品P1は2個、部品P2は6個、部品P3は1個実装されている。この基板80上の部品P1,P2,P3をR,G,Bのいずれかの単色光で照射して撮像した単色画像においては、部品P1,P2,P3のすべてを基板80(背景)と明確に区別できず、R,G,Bのそれぞれの単色画像を合成した合成画像(カラー画像)においては、部品P1,P2,P3のすべてを基板80と明確に識別できるものとする。つまり、部品P1,P2,P3とその背景である基板80との識別性に基づいてRGBすべての単色光が選択される。
次に、CPU61は、選択された単色光で照射された対象物の単色画像を撮像するようマークカメラ50(すなわち照明装置51及びカメラ本体58)を制御し(S110)、撮像された単色画像をマークカメラ50から入力する(S120)。例えば、対象物がフィデューシャルマーク81やブロックスキップマーク83の場合のように、選択された単色光がRの単色光だったならば、CPU61はRの単色光で照射された対象物の単色画像を取得するようにマークカメラ50を制御し、その単色画像をマークカメラ50から入力する。一方、対象物が図9に示した部品実装終了後の基板80上の部品P1,P2,P3の場合のように、選択された単色光がR,G,Bすべての単色光だったならば、CPU61はRの単色光で照射された部品P1,P2,P3の単色画像、Gの単色光で照射された部品P1,P2,P3の単色画像及びBの単色光で照射された部品P1,P2,P3の単色画像を順に取得するようにマークカメラ50を制御し、それらの単色画像をマークカメラ50から入力する。単色光で対象物を照射するにあたり、通常は照明装置51の側射光源55を用いるが、対象物が金属面のような光沢面を有する場合には落射光源53を用いる。
次に、CPU61は、対象物検査用画像を設定する(S130)。例えば、対象物がフィデューシャルマーク81やブロックスキップマーク83の場合のように、CPU61がマークカメラ50からRの単色光で照射された対象物の単色画像を入力した場合には、その単色画像を対象物検査用画像に設定する。一方、対象物が図9に示した部品実装終了後の基板80上の部品P1,P2,P3の場合のように、CPU61がマークカメラ50からR,G,Bの単色光でそれぞれ独立して照射された対象物の単色画像を入力した場合には、それらの単色画像を合成して合成画像(カラー画像)を生成し、その合成画像を対象物検査用画像に設定する。
ここで、本実施形態で生成されるカラー画像について説明する。Rの単色光で照射された対象物の白黒画像から、画素ごとにRの明るさを多段階の階調(例えば256階調)で表した情報が得られる。Gの単色光で照射された対象物の白黒画像から、画素ごとにGの明るさを多段階の階調で表した情報が得られる。Bの単色光で照射された対象物の白黒画像から、画素ごとにBの明るさを多段階の階調で表した情報が得られる。これらの情報から画素ごとのRGBの情報を得ることができるため、カラー画像を生成することができる。こうして生成されたカラー画像は、画素ごとにRGBの情報が得られるため、正方形状に並んだ4画素を1ユニットとして(例えば一方の対角線にRとB、他方の対角線にGとGが並んだものを1ユニットとして)色情報が作成される場合に比べて、色滲みや偽色といった現象が解消された高解像度のカラー画像が得られる。
次に、CPU61は、対象物検査画像を用いて対象物の検査を実行する(S140)。例えば、対象物がフィデューシャルマーク81やブロックスキップマーク83の場合のように、Rの単色光で照射された単色画像が対象物検査用画像に設定されていた場合には、その単色画像を用いてフィデューシャルマーク81やブロックスキップマーク83の位置を検査する。フィデューシャルマーク81やブロックスキップマーク83の位置の検査は、基板80に部品を実装する前に行われる。フィデューシャルマーク81の位置を検査することで、その位置から基板80の姿勢がわかるため、その姿勢を考慮してその後の部品実装を精度よく行うことができる。ブロックスキップマーク83の位置を検査することで不良な基板ブロック82をスキップして部品実装を行うことができる。なお、フィデューシャルマーク81やブロックスキップマーク83の位置が認識できない場合や本来の位置から許容範囲を超えて外れている場合には、エラーとし、その基板80は部品実装されずに排出される。一方、対象物が図9に示した部品実装終了後の基板80上の部品P1,P2,P3の場合のように、カラー画像が対象物検査用画像に設定されていた場合には、そのカラー画像を用いて部品P1,P2,P3の位置を検査する。上述したように、本実施形態で得られるカラー画像は色滲みや偽色といった現象が解消された高解像度のカラー画像であるため、部品P1,P2,P3の位置を精度よく認識することができ、その結果検査の精度が向上する。なお、部品P1,P2,P3の位置が認識できない場合や本来の位置から許容範囲を超えて外れている場合には、エラーとし、その基板80は廃棄される。
次に、CPU61は、検査結果に応じた画像を記憶部63に保存し(S150)、本ルーチンを終了する。例えば、対象物がフィデューシャルマーク81やブロックスキップマーク83の場合に、エラーにならなかったならば、Rの単色光が照射された対象物の単色画像を記憶部63に保存する。このとき、単色画像を圧縮して保存してもよい。エラーにならなかった場合の画像を詳しく検討する必要はないからである。一方、対象物がフィデューシャルマーク81やブロックスキップマーク83の場合にエラーになったならば、他の(つまりG及びBの)単色光でそれぞれ独立して照射された対象物の単色画像を撮像するようマークカメラ50を制御し、R,G,Bそれぞれの単色画像を記憶部63に保存する。こうすることにより、後でR,G,Bそれぞれの単色画像を調べることによりエラーが発生した原因を追究することができる。このとき、R,G,Bそれぞれの単色画像を記憶部63に保存するのに代えて又は加えて、R,G,Bそれぞれの単色画像を合成して得られるカラー画像を記憶部63に保存してもよい。一方、図9に示した対象物が部品実装終了後の基板80上の部品P1,P2,P3の場合に、エラーにならなかったならば、カラー画像を記憶部63に保存する。このとき、カラー画像を圧縮して保存してもよい。エラーにならなかった場合の画像を詳しく検討する必要はないからである。一方、対象物が部品実装終了後の基板80(図9参照)上の部品P1,P2,P3の場合にエラーになったならば、カラー画像を圧縮することなく記憶部63に保存する。こうすることにより、後でカラー画像を調べることによりエラーが発生した原因を追究することができる。このとき、カラー画像を記憶部63に保存するのに代えて又は加えて、R,G,Bそれぞれの単色画像を記憶部63に保存してもよい。
ここで、本実施形態の構成要素と本明細書に開示の対基板作業システムの構成要素との対応関係について説明する。本実施形態の部品実装機10が本明細書に開示の対基板作業システムに相当し、X軸スライダ26及びY軸スライダ30が移動装置に相当し、照明装置51が照明装置に相当し、カメラ本体58が単色カメラに相当し、制御装置60が画像処理装置に相当する。また、ディスプレイ68が画像表示装置に相当し、記憶部63が記憶装置に相当する
以上説明した本実施形態では、対象物に基づいて対象物検査用画像として1つの単色画像を用いるのか合成画像を用いるのかを選択する。つまり、1つの単色画像を用いるか高解像度の合成画像を利用するかを、対象物に応じて適宜使い分けることができる。そのため、すべての対象物につき対象物検査用画像として合成画像を用いる場合に比べて処理時間が短縮される。
また、対象物の背景からの対象物の識別性に基づいて、RGB3つの単色光の中から1つの単色光を選択するかすべての単色光を選択するかを決定する。そのため、対象物を検査するうえで適切な画像が選択される。
更に、CPU61は、対象物検査用画像における対象物の画像認識の結果に基づいて対象物の良否を判定し、対象物が不良と判定された場合には対象物のR,G,Bの3つの単色光のすべての単色画像及び/又はすべての単色画像を合成した合成画像を記憶部63に保存する。そのため、不良と判定された対象物について、後からその対象物のすべての単色画像及び/又は合成画像(カラー画像)を記憶部63から読み出して不良の原因を追究することができる。このとき、対象物のR,G,Bの3つの単色光のすべての単色画像が揃っていなかった場合には、足りない単色画像を取得して保存する。
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態の検査ルーチンの代わりに、図10の検査ルーチンを実行してもよい。図10の検査ルーチンでは、制御装置60のCPU61は、まず、対象物に関連する事象の変化があったか否かを判定する(S200)。対象物に関連する事象の変化としては、例えば対象物である部品のシェイプデータの変更、その部品を供給するフィーダ74の交換、その部品を吸着するノズル37の交換、その部品の製造会社や製造ロットの変更などが挙げられる。S200で対象物に関連する事象の変化がなかったならば、CPU61は、上述したS100~S150の処理を実行し、本ルーチンを終了する。一方、S200で対象物に関連する事象の変化があったならば、CPU61は、対象物にかかわらずRGBすべての単色光の各々で照射された対象物の単色画像を撮像するようマークカメラ50を制御し(S210)、撮像された単色画像をマークカメラ50から入力する(S220)。次に、CPU61は、対象物検査用画像を設定する(S230)。ここでは、CPU61は、マークカメラ50から入力したR,G,Bそれぞれの単色光で独立して照射された対象物の単色画像を合成して合成画像(カラー画像)を生成し、その合成画像を対象物検査用画像に設定する。その後、CPU61は、上述したS140及びS150と同様のS240及びS250の処理を実行し、本ルーチンを終了する。S250では、CPU61は、検査結果がエラーにならなかったならば、合成画像を圧縮して記憶部63に保存し、検査結果がエラーになったならば、合成画像を圧縮することなく記憶部63に保存する。こうすれば、対象物に関連した事象が変化した場合、エラーが発生する確率が高いため、後からその対象物の合成画像(カラー画像)を記憶部63から読み出してその事象の変化によってどのような影響が対象物に及んだかを詳細に追究することができる。なお、検査結果がエラーになったならば、CPU61は合成画像を記憶部63に保存するのに代えて又は加えて、R,G,Bそれぞれの単色画像を記憶部63に保存してもよい。こうしても、後からその対象物のすべての単色画像及び/又は合成画像(カラー画像)を記憶部63から読み出してその事象の変化によってどのような影響が対象物に及んだかを詳細に追究することができる。
上述した実施形態では、対象物に基づいて単色光を選択し、その選択された単色光で照射された単色画像を撮像したが、部品実装機10のディスプレイ68で編集するための機上編集用画像を作成する場合には、対象物によらずRGB3色の単色画像を撮像しこれらを合成して合成画像(カラー画像)を作成し、ディスプレイ68に表示してもよい。
上述した実施形態において、生産開始時はRGBそれぞれの単色光で独立して照射された対象物の単色画像を撮像し、RGBの単色画像の中で対象物の特徴点が対象物の背景から良好に識別できるものがある場合には、その単色画像の単色光をその対象物に対応づけるようにし、いずれの単色画像でも対象物の特徴点がよく見えない場合には、各単色画像を合成した合成画像(カラー画像)が得られるようにすべての単色光をその対象物に対応づけるようにしてもよい。この対応付け作業は、制御装置60のCPU61が行ってもよいし、オペレータが行ってもよい。また、生産開始後所定期間が経過するまでは、検査ルーチンのS100において、対象物によらずすべての単色光を選択することとし、その後、この対応付け作業を行うようにしてもよい。対応付け作業を行った後は、検査ルーチンのS100において、その対象物に対応づけられた単色光を選択すればよい。
上述した実施形態の検査ルーチンにおいて、ある1つの単色光が選択される対象物の場合でも、定期的に、R,G,Bそれぞれの単色光で独立して照射された対象物の単色画像を合成し、その合成画像(カラー画像)を残しておくようにしてもよい。
上述した実施形態において、対象物を、リールユニット70のテープ72の収容凹部73に収容された部品としてもよい。また、部品実装機10の部品供給装置としてリールユニット70を例示したが、特にこれに限定されるものではなく、例えば、トレイに部品を載せて供給するトレイユニットを採用してもよい。その場合、対象物を、トレイに載置された部品としてもよい。
上述した実施形態では、照明装置51は、RGBの3色を独立して照射可能としたが、2色(例えばRとG、RとB、GとB)を独立して照射可能としてもよい。その場合、1色の単色画像では認識できない対象物については、2色の単色光のそれぞれで独立して照射された対象物の単色画像を合成した合成画像を用いるようにしてもよい。
上述した実施形態では、対基板作業システムとして部品実装機10を例示したが、特にこれに限定されるものではなく、例えば複数の部品実装機10が並んだ実装ラインの上流に配置されるはんだ印刷機であってもよい。はんだ印刷機は、部品を実装する前の基板80の所定位置にはんだを印刷する機器であり、はんだを対象物として上述した検査ルーチンを行うようにしてもよい。
上述した実施形態の検査ルーチンのS130において、CPU61は、対象物検査用画像を設定したあとその対象物検査用画像をディスプレイ68に表示してもよい。こうすれば、オペレータはディスプレイ68に映された対象物検査用画像を見て対象物の検査を行うことができる。その場合、S140及びS150の処理を省略してもよい。
上述した実施形態では、ノズル37を1つ備えたヘッド24を用いたが、円柱形状のヘッド本体の外周に沿って等間隔に複数のノズルを備えたロータリーヘッドを用いてもよい。
上述した実施形態では、部品を吸着保持する部材としてノズル37を例示したが、特にこれに限定されるものではなく、ノズル37の代わりに例えばメカニカルチャックや電磁石を備えていてもよい。
本明細書で開示する対基板作業システムは、以下のように構成してもよい。
本明細書で開示する対基板作業システムにおいて、前記画像処理装置は、前記対象物検査用画像を画像表示装置に表示してもよい。こうすれば、オペレータは画像表示装置を見ることにより対象物検査用画像を確認することができる。
本明細書で開示する対基板作業システムにおいて、前記画像処理装置は、前記対象物の背景からの前記対象物の識別性に基づいて、前記少なくとも2つの単色光の中から1つ又は複数の単色光を選択してもよい。こうすれば、対象物を検査するうえで適切な画像が選択される。例えば、ある1つの単色光が照射された対象物の単色画像において対象物の背景から対象物を識別できる場合にはその1つの単色光を選択すればよいし、いずれの単色光が照射された対象物の単色画像においても対象物の背景から対象物を識別できないが合成画像では識別できる場合にはその合成画像を生成するのに必要な単色画像に応じた複数の単色光を選択すればよい。
本明細書で開示する対基板作業システムにおいて、前記照明装置は、前記対象物にR,G,Bの3つの単色光を独立して照射可能であり、前記画像処理装置は、前記対象物に基づいて前記R,G,Bの3つの単色光の中から1つの単色光を設定するか又はすべての単色光を選択するようにしてもよい。こうすれば、合成画像はRGBの各単色画像を合成して得られるカラー画像となる。
本明細書で開示する対基板作業システムにおいて、前記画像処理装置は、前記対象物検査用画像における前記対象物の画像認識の結果に基づいて前記対象物の良否を判定し、前記対象物が不良と判定された場合には前記対象物のR,G,Bの3つの単色光のすべての単色画像及び/又は前記すべての単色画像を合成した合成画像を記憶装置に保存してもよい。こうすれば、不良と判定された対象物について、後からその対象物のすべての単色画像及び/又は合成画像(カラー画像)を記憶装置から読み出して不良の原因を追究することができる。このとき、対象物のR,G,Bの3つの波長のすべての単色画像が揃っていなかった場合には、足りない単色画像について単色カメラで撮像するようにしてもよい。あるいは、
本明細書で開示する対基板作業システムにおいて、前記画像処理装置は、前記対象物に関連する事象が変化した場合には前記対象物のR,G,Bの3つの単色光のすべての単色画像及び/又は前記すべての単色画像を合成した合成画像を記憶装置に保存してもよい。こうすれば、対象物に関連した事象が変化した場合、後からその対象物のすべての単色画像及び/又は合成画像(カラー画像)を記憶装置から読み出してその事象の変化によってどのような影響が対象物に及んだかを追究することができる。このとき、対象物のR,G,Bの3つの波長のすべての単色画像が揃っていなかった場合には、足りない単色画像について単色カメラで撮像するようにしてもよい。対象物に関連する事象が変化した場合としては、例えば対象物が基板に実装される部品だったとすると、その部品のシェイプデータが変更された場合、その部品を供給するための部品供給装置やノズルが交換された場合、その部品の製造会社やロットが変更された場合などが挙げられる。
本明細書で開示する対基板作業システムにおいて、前記対象物は、前記基板に付されたマーク、前記基板に実装された部品、前記基板へ部品を供給する部品供給装置に配置された部品又は前記基板に印刷されたはんだであってもよい。
本発明は、基板に部品を実装する作業を伴う産業に利用可能である。
10 部品実装機、18 基板搬送装置、20 支持板、22 コンベアベルト、23 支持ピン、24 ヘッド、26 X軸スライダ、26a 駆動モータ、28 ガイドレール、30 Y軸スライダ、30a 駆動モータ、32 ガイドレール、34 Z軸モータ、35 ボールネジ、36 Q軸モータ、37 ノズル、40 パーツカメラ、50 マークカメラ、51 照明装置、52 ハウジング、53 落射光源、53a 赤色LED、53b 緑色LED、53c 青色LED、53d 支持板、54 ハーフミラー、55 側射光源、55a 赤色LED、55b 緑色LED、55c 青色LED、55d 支持板、56 拡散板、58 カメラ本体、60 制御装置、61 CPU、63 記憶部、65 入出力インターフェース、66 バス、68 ディスプレイ、70 リールユニット、71 リール、72 テープ、73 収容凹部、74 フィーダ、74a 部品供給位置、76 フィーダコントローラ、80 基板、81 フィデューシャルマーク、82 基板ブロック、83 ブロックスキップマーク、P1,P2,P3 部品。

Claims (7)

  1. XY平面に配置された基板に対して作業を行う対基板作業システムであって、
    前記XY平面を移動する移動装置と、
    前記移動装置に取り付けられ、前記XY平面上の対象物にR,G,Bのうち少なくとも2つの単色光を独立して照射可能な照明装置と、
    前記移動装置に取り付けられ、前記照明装置で照射された前記対象物の単色画像を取得する単色カメラと、
    前記対象物に基づいて前記少なくとも2つの単色光の中から1つ又は複数の単色光を選択し、前記選択された単色光が1つだったならば、前記1つの単色光で照射された前記対象物の単色画像を取得するよう前記照明装置及び前記単色カメラを制御すると共に前記対象物の単色画像を対象物検査用画像に設定し、前記選択された単色光が複数だったならば、前記複数の単色光でそれぞれ独立して照射された前記対象物の各単色画像を取得するよう前記照明装置及び前記単色カメラを制御すると共に前記各単色画像を合成した合成画像を前記対象物検査用画像に設定する画像処理装置と、
    を備えた対基板作業システム。
  2. 前記画像処理装置は、前記対象物検査用画像を画像表示装置に表示する、
    請求項1に記載の対基板作業システム。
  3. 前記画像処理装置は、前記対象物の背景からの前記対象物の識別性に基づいて、前記少なくとも2つの単色光の中から1つ又は複数の単色光を選択する、
    請求項1又は2に記載の対基板作業システム。
  4. 前記照明装置は、前記対象物にR,G,Bの3つの単色光を独立して照射可能であり、
    前記画像処理装置は、前記対象物に基づいて前記R,G,Bの3つの単色光の中から1つの単色光を設定するか又はすべての単色光を選択する、
    請求項1~3のいずれか1項に記載の対基板作業システム。
  5. 前記画像処理装置は、前記対象物検査用画像における前記対象物の画像認識の結果に基づいて前記対象物の良否を判定し、前記対象物が不良だった場合には前記対象物のR,G,Bの3つの単色光のすべての単色画像及び/又は前記すべての単色画像を合成した合成画像を記憶装置に保存する、
    請求項4に記載の対基板作業システム。
  6. 前記画像処理装置は、前記対象物に関連する事象が変化した場合には前記対象物のR,G,Bの3つの単色光のすべての単色画像及び/又は前記すべての単色画像を合成した合成画像を記憶装置に保存する、
    請求項4又は5に記載の対基板作業システム。
  7. 前記対象物は、前記基板に付されたマーク、前記基板に実装された部品、前記基板へ部品を供給する部品供給装置に配置された部品、又は前記基板に印刷されたはんだである、
    請求項1~6のいずれか1項に記載の対基板作業システム。
JP2023111415A 2019-07-26 2023-07-06 対基板作業システム Pending JP2023118927A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023111415A JP2023118927A (ja) 2019-07-26 2023-07-06 対基板作業システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/029470 WO2021019609A1 (ja) 2019-07-26 2019-07-26 対基板作業システム
JP2021536454A JP7311608B2 (ja) 2019-07-26 2019-07-26 対基板作業システム
JP2023111415A JP2023118927A (ja) 2019-07-26 2023-07-06 対基板作業システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021536454A Division JP7311608B2 (ja) 2019-07-26 2019-07-26 対基板作業システム

Publications (1)

Publication Number Publication Date
JP2023118927A true JP2023118927A (ja) 2023-08-25

Family

ID=74229294

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021536454A Active JP7311608B2 (ja) 2019-07-26 2019-07-26 対基板作業システム
JP2023111415A Pending JP2023118927A (ja) 2019-07-26 2023-07-06 対基板作業システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021536454A Active JP7311608B2 (ja) 2019-07-26 2019-07-26 対基板作業システム

Country Status (5)

Country Link
US (1) US20220261981A1 (ja)
EP (1) EP4007481A4 (ja)
JP (2) JP7311608B2 (ja)
CN (1) CN114128417B (ja)
WO (1) WO2021019609A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450580A (zh) * 2019-10-02 2022-05-06 柯尼卡美能达株式会社 工件的表面缺陷检测装置及检测方法、工件的表面检查系统以及程序
WO2022254696A1 (ja) * 2021-06-04 2022-12-08 株式会社Fuji 実装装置及び画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04365178A (ja) * 1991-06-13 1992-12-17 Matsushita Electric Ind Co Ltd 実装機などにおける画像認識装置
US5758942A (en) * 1995-12-18 1998-06-02 Micron Technology, Inc. Mechanical vision system using selective wavelength and brightness illumination
JPH1140983A (ja) * 1997-07-18 1999-02-12 Matsushita Electric Ind Co Ltd 基板マーク認識装置
JP3668383B2 (ja) * 1998-02-27 2005-07-06 松下電器産業株式会社 電子部品実装装置
JP2001229381A (ja) * 2000-02-15 2001-08-24 Matsushita Electric Works Ltd 画像処理検査システムおよびその方法
JP4256059B2 (ja) * 2000-10-04 2009-04-22 シーケーディ株式会社 三次元計測装置
JP4536280B2 (ja) * 2001-03-12 2010-09-01 ヤマハ発動機株式会社 部品実装機、実装検査方法
US6781687B2 (en) 2002-09-26 2004-08-24 Orbotech Ltd. Illumination and image acquisition system
CN100489508C (zh) * 2004-07-21 2009-05-20 欧姆龙株式会社 基板检查方法及装置
JP4910897B2 (ja) * 2007-06-13 2012-04-04 オムロン株式会社 はんだフィレットの検査方法および基板外観検査装置
JP5417197B2 (ja) * 2010-01-25 2014-02-12 ヤマハ発動機株式会社 検査装置および検査方法
JP5877639B2 (ja) * 2010-12-27 2016-03-08 富士機械製造株式会社 画像生成装置および画像生成方法
JP6131315B2 (ja) * 2013-02-21 2017-05-17 富士機械製造株式会社 通信システム及び電子部品装着装置
DE102013104679A1 (de) * 2013-05-07 2014-11-13 Witrins S.R.O. Verfahren und Vorrichtung zur optischen Analyse eines PCBs
CN106662537A (zh) * 2015-01-29 2017-05-10 株式会社Decsys 光学式外观检查装置以及使用该装置的光学式外观检查系统
JP2018169413A (ja) * 2015-08-28 2018-11-01 パナソニックIpマネジメント株式会社 照明装置および照明システム
JP6450700B2 (ja) * 2016-03-29 2019-01-09 Ckd株式会社 基板検査装置
JP6918583B2 (ja) * 2017-06-08 2021-08-11 Juki株式会社 検査装置、実装装置、検査方法

Also Published As

Publication number Publication date
JP7311608B2 (ja) 2023-07-19
EP4007481A1 (en) 2022-06-01
CN114128417A (zh) 2022-03-01
JPWO2021019609A1 (ja) 2021-02-04
EP4007481A4 (en) 2022-07-27
US20220261981A1 (en) 2022-08-18
CN114128417B (zh) 2024-03-12
WO2021019609A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
JP2023118927A (ja) 対基板作業システム
JP5877639B2 (ja) 画像生成装置および画像生成方法
JP6837161B2 (ja) 撮像ユニット及び部品実装機
JP2003174292A (ja) 部品実装方法及び部品実装装置
KR20220044741A (ko) 웨이퍼 외관 검사 장치 및 방법
JP7365487B2 (ja) 画像補正方法、撮像装置および検査装置
JP6261985B2 (ja) 実装装置
JP6836938B2 (ja) ダイボンディング装置および半導体装置の製造方法
JP7301973B2 (ja) 検査装置
JP6339849B2 (ja) 検査装置
CN112840752B (zh) 元件拍摄用相机及元件安装机
WO2023276059A1 (ja) 部品実装機
JP7271738B2 (ja) 撮像ユニット
EP3767938B1 (en) Image-capturing unit and component-mounting device
JP2005127836A (ja) 部品認識方法、部品認識装置、表面実装機、部品試験装置および基板検査装置
WO2024009410A1 (ja) 部品有無判定方法および画像処理システム
WO2024062635A1 (ja) 検査装置及び検査方法
CN111757667A (zh) 检查装置及检查方法
JP2009168485A (ja) 半導体デバイス試験装置とその制御方法
JPWO2018100692A1 (ja) 電子部品の画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240527