JP2012137980A - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
JP2012137980A
JP2012137980A JP2010290605A JP2010290605A JP2012137980A JP 2012137980 A JP2012137980 A JP 2012137980A JP 2010290605 A JP2010290605 A JP 2010290605A JP 2010290605 A JP2010290605 A JP 2010290605A JP 2012137980 A JP2012137980 A JP 2012137980A
Authority
JP
Japan
Prior art keywords
image
average luminance
image generation
designated area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010290605A
Other languages
English (en)
Other versions
JP5877639B2 (ja
Inventor
Mitsutaka Inagaki
光孝 稲垣
Ikuo Suzuki
郁夫 鈴木
Hiroshi Oike
博史 大池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Priority to JP2010290605A priority Critical patent/JP5877639B2/ja
Priority to US13/334,656 priority patent/US9474195B2/en
Priority to CN201110457105.6A priority patent/CN102595870B/zh
Publication of JP2012137980A publication Critical patent/JP2012137980A/ja
Application granted granted Critical
Publication of JP5877639B2 publication Critical patent/JP5877639B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0815Controlling of component placement on the substrate during or after manufacturing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's

Abstract

【課題】コントラストの高い最適画像を、取込画像から、自動的に生成可能な画像生成装置および画像生成方法を提供することを課題とする。
【解決手段】画像生成装置1は、電子部品P1〜P6の少なくとも一部が配置された撮像エリアB1に照明光21D、21M、21Uを照射する照明装置と、照明光21D、21M、21Uが照射された撮像エリアB1を撮像する撮像装置3と、撮像により取得される取込画像D1〜D3を処理する画像処理装置4と、を備える。画像処理装置4は、取込画像D1〜D3を基に調整前画像F1Rを生成し、調整前画像F1Rの輝度を調整して調整画像K1Rを生成し、該調整画像K1Rの該指定エリアE1と該比較対象エリアE2との該平均輝度差を最大にして最適画像L1Rを生成することを特徴とする。
【選択図】図6

Description

本発明は、例えば、基板に装着された電子部品の方向検査用の画像を生成するために用いられる画像生成装置および画像生成方法に関する。
特許文献1には、トレイに載置された電子部品の方向を検査する検査装置が開示されている。電子部品の上面には、文字、記号、図柄などのマークが配置されている。マークは、一般的に白色である。一方、電子部品の上面は、一般的に黒色である。このため、マークがあるエリアと、マークがないエリアと、では平均輝度が異なる。したがって、双方のエリアの平均輝度から、双方のエリアの位置関係を判別することができる。また、双方のエリアの位置関係から、電子部品の方向を判別することができる。しかしながら、同文献記載の検査装置の場合、平均輝度を算出する基になる画像のコントラストが低い場合、方向の判別精度が低くなる。
特開2009−76796号公報
また、トレイに載置された電子部品のみならず、基板に装着された電子部品に対しても、方向検査は行われる。画像のコントラストが低い場合、作業者は、撮像時の照明装置のライティング条件(例えば照明色)を変更する、撮像装置のシャッタースピードを変更する、などの改善措置を、試行錯誤しながら行っている。このため、コントラストを高くするためには、時間がかかる。
また、ライティング条件、照明色、シャッタースピードなどを適切に設定するためには、作業者の熟練を要する。したがって、作業者のスキルにより、電子部品の方向が正しいにもかかわらず、エラーと誤報してしまう場合がある。また、反対に、電子部品の方向が間違っているにもかかわらず、間違いを見落としてしまう場合がある。すなわち、作業者のスキルが低い場合、誤報や見落としが発生する確率が高くなる。つまり、電子部品の異常の検出精度が低くなる。また、作業者のスキルにより、検出精度がばらついてしまう。
本発明の画像生成装置および画像生成方法は、上記課題に鑑みて完成されたものである。本発明は、コントラストの高い最適画像を、取込画像から、自動的に生成可能な画像生成装置および画像生成方法を提供することを目的とする。
(1)上記課題を解決するため、本発明の画像生成装置は、電子部品の少なくとも一部が配置された撮像エリアに照明光を照射する照明装置と、該照明光が照射された該撮像エリアを撮像する撮像装置と、撮像により取得される取込画像を処理する画像処理装置と、を備える画像生成装置であって、前記画像処理装置は、前記取込画像を基に調整前画像を生成し、該調整前画像の輝度を調整して調整画像を生成し、該調整画像の、指定エリアと、該指定エリア以外の比較対象エリアと、の平均輝度差を最大にして最適画像を生成することを特徴とする。
本発明の画像生成装置は、照明装置と撮像装置と画像処理装置とを備えている。撮像装置の撮像エリアには、照射装置により、照明光が照射される。撮像エリアには、電子部品の少なくとも一部が配置されている。撮像エリアは、撮像装置により撮像される。撮像により取得される取込画像からは、そのまま、または適宜画像処理を施すことにより、調整前画像が生成される。調整前画像からは、輝度を調整することにより、調整画像が生成される。そして、調整画像の指定エリアと比較対象エリアとの平均輝度差が最大となる最適画像が生成される。
このように、本発明の画像生成装置によると、電子部品の異常などの検出に最適な、コントラストの高い最適画像を、取込画像から、自動的に生成することができる。このため、最適画像の取得を作業者が手動で行う場合と比較して、最適画像を短時間で取得することができる。また、作業者のスキルによらず、電子部品の異常の検出精度が高くなる。また、作業者のスキルによらず、検出精度がばらつきにくい。
(2)好ましくは、上記(1)の構成において、前記画像処理装置は、前記取込画像が色成分ごとに分解された複数の単色画像を基に、複数の選択候補画像を生成し、全ての該選択候補画像の各々に対して、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、全ての該選択候補画像から、該平均輝度差が最大となる選択画像を選択し、前記調整前画像は、該選択画像である構成とする方がよい。
本構成によると、取込画像が複数の色成分に応じて分解される。すなわち、取込画像から、複数の単色画像が生成される。複数の単色画像からは、複数の単色画像をそのまま用いることにより、または複数の単色画像を適宜合成することにより、複数の選択候補画像が生成される。選択候補画像には、指定エリアと比較対象エリアとが設定される。双方のエリアの平均輝度差を算出し、平均輝度差を比較することにより、全ての選択候補画像から、平均輝度差が最大となる選択画像が選択される。選択画像からは、輝度を調整することにより、調整画像が生成される。そして、調整画像の指定エリアと比較対象エリアとの平均輝度差が最大となる最適画像が生成される。本構成によると、最適画像のコントラストを高くすることができる。
(3)好ましくは、上記(1)または(2)の構成において、前記画像処理装置は、前記取込画像から前記最適画像を生成する経緯で取得された条件を用いて、別の該取込画像から該最適画像を生成する構成とする方がよい。
本構成によると、時系列的に前の画像処理で取得された条件を、時系列的に後の画像処理で利用することができる。このため、後の画像処理に要する時間が短くなる。
一例として、同種かつ同座標の複数の電子部品の画像処理を行う場合、調整前画像から調整画像を生成する際の輝度調整条件、調整画像から最適画像を生成する際の輝度調整条件などを、時系列的に前に画像処理される電子部品と、後に画像処理される電子部品と、で兼用することができる。
(4)好ましくは、上記(1)ないし(3)のいずれかの構成において、前記画像処理装置は、前記調整前画像のゲイン値、オフセット値を調整することにより、前記調整画像を生成し、該調整画像の該ゲイン値、該オフセット値を、各々、所定量ずつ変化させ、各値ごとに、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、該平均輝度差が最大になる前記最適画像を生成する構成とする方がよい。
図1(a)に、ゲイン値調整の概念図を示す。図1(b)に、オフセット値調整の概念図を示す。図1(a)に示すように、ゲイン値の倍率を1超過にすると、調整前の輝度分布A1に対して、輝度分布A2を広げることができる。また、ゲイン値の倍率を1未満にすると、調整前の輝度分布A1に対して、輝度分布A3を狭めることができる。このように、ゲイン値を調整すると、輝度のコントラスト差を大きくすることができる。
図1(b)に示すように、オフセット値を調整すると、調整前の輝度分布A1に対する調整後の輝度分布A4のように、輝度分布の幅はそのままで、位置を移動させることができる。このように、オフセット値を調整すると、輝度を加算調整することができる。
本構成によると、まず、調整前画像のゲイン値、オフセット値が調整され、調整画像が生成される。次に、調整画像のゲイン値、オフセット値を、各々、所定量ずつ変化させる。そして、各値ごとに(ゲイン値およびオフセット値のうち少なくとも一方を変化させるごとに)、指定エリアと比較対象エリアとの平均輝度差を算出する。算出した平均輝度差を比較して、平均輝度差が最大になる調整画像を最適画像としている。
本構成によると、ゲイン値調整、オフセット値調整により調整前画像を調整した後、再度ゲイン値調整、オフセット値調整を行い、指定エリアと比較対象エリアとの平均輝度差を最大にしている。このため、最適画像における指定エリアと比較対象エリアとのコントラストを高くすることができる。
(5)好ましくは、上記(1)ないし(4)のいずれかの構成において、前記照明装置は、複数の照明器を有し、複数の該照明器は、前記撮像エリアに対する前記照明光の入射角が互いに異なり、前記取込画像は、複数の該照明器ごとに、前記撮像装置に複数枚取得される構成とする方がよい。
照明光の入射角を変えると、撮像エリアから撮像装置に反射する反射光の強さが変化する。このため、取込画像のコントラストが変化する。この点、本構成によると、照明光の入射角が、照明器の数だけ、複数設定されている。また、複数の入射角ごとに取込画像が取得される。したがって、コントラストの高い取込画像が取得されやすくなる。
(5−1)好ましくは、上記(5)の構成において、複数の前記照明器は、前記撮像エリアに対して直交する垂線に沿って前記照明光を照射する落射照明器と、該垂線に対して交差する方向から該照明光を照射する側射照明器と、を有する構成とする方がよい。本構成によると、照射光を、垂直方向、および垂直方向に対して交差する方向から、撮像エリアに照射することができる。
(6)好ましくは、上記(2)ないし(5)のいずれかの構成において、複数の前記色成分は、赤(R)、緑(G)、青(B)の三原色成分である構成とする方がよい。本構成によると、取込画像の電子部品の色がいかなる色であっても、R、G、Bいずれかの単色画像のコントラストを高くすることができる。すなわち、電子部品の色の多様性に対応することができる。
(7)好ましくは、上記(1)ないし(6)のいずれかの構成において、前記電子部品は、該電子部品の方向を判別できるマークを有し、前記撮像エリアおよび前記指定エリアには、該マークが含まれる構成とする方がよい。
本構成によると、最適画像を用いて、トレイに載置された電子部品や、基板に装着された電子部品に対する方向検査を行うことができる。このため、作業者のスキルによらず、電子部品の方向異常の検出精度が高くなる。また、作業者のスキルによらず、検出精度がばらつきにくい。
(8)好ましくは、上記(7)の構成において、前記最適画像を表示する表示装置を備え、前記画像処理装置は、表示前の該最適画像の、前記指定エリアの前記平均輝度と、前記比較対象エリアの該平均輝度と、を比較し、該指定エリアの該平均輝度の方が高い場合は、該表示装置に表示される該最適画像の前記マークに白を設定し、該指定エリアの該平均輝度の方が低い場合は、該表示装置に表示される該最適画像の該マークに黒を設定する構成とする方がよい。本構成によると、指定エリアのマークと、比較対象エリアと、のコントラストをより高くすることができる。このため、マークを判別しやすくなる。
(9)上記課題を解決するため、本発明の画像生成方法は、電子部品の少なくとも一部が配置された撮像エリアの取込画像を基に調整前画像を生成する調整前画像生成ステップと、該調整前画像の輝度を調整して調整画像を生成する調整画像生成ステップと、該調整画像の、指定エリアと、該指定エリア以外の比較対象エリアと、の平均輝度差を最大にして最適画像を生成する最適画像生成ステップと、を有することを特徴とする。
本発明の画像生成方法は、調整前画像生成ステップと、調整画像生成ステップと、最適画像生成ステップと、を有している。調整前画像生成ステップにおいては、まず、撮像エリアを撮像し、取込画像を取得する。撮像により取得される取込画像から、そのまま、または適宜画像処理を施すことにより、調整前画像を生成する。調整前画像からは、輝度を調整することにより、調整画像を生成する。そして、調整画像の指定エリアと比較対象エリアとの平均輝度差が最大となる最適画像が生成される。
このように、本発明の画像生成方法によると、電子部品の異常などの検出に最適な、コントラストの高い最適画像を、取込画像から、自動的に生成することができる。このため、最適画像の取得を作業者が手動で行う場合と比較して、最適画像を短時間で取得することができる。また、作業者のスキルによらず、電子部品の異常の検出精度が高くなる。また、作業者のスキルによらず、検出精度がばらつきにくい。
(10)好ましくは、上記(9)の構成において、前記調整前画像生成ステップは、前記取込画像を、色成分ごとに分解することにより、複数の単色画像を生成し、複数の該単色画像を基に、複数の選択候補画像を生成する選択候補画像生成ステップと、全ての該選択候補画像の各々に対して、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、該平均輝度差が最大となる選択画像を選択する画像選択ステップと、を有し、前記調整前画像は、該選択画像である構成とする方がよい。
本構成によると、調整前画像生成ステップが、選択候補画像生成ステップと画像選択ステップとを有している。選択候補画像生成ステップにおいては、まず、取込画像を、色成分ごとに分解して、複数の単色画像を生成する。続いて、複数の単色画像から、複数の単色画像をそのまま用いることにより、または複数の単色画像を適宜合成することにより、複数の選択候補画像を生成する。画像選択ステップにおいては、まず、全ての選択候補画像に対して、指定エリアと比較対象エリアとの平均輝度差を算出する。次に、平均輝度差が最大となる選択画像を選択する。本構成によると、最適画像のコントラストを高くすることができる。
(11)好ましくは、上記(9)または(10)の構成において、前記最適画像生成ステップの後に、前記調整前画像生成ステップから該最適画像生成ステップまでの経緯で取得された条件を用いて、別の前記取込画像から前記最適画像を生成する条件利用ステップを有する構成とする方がよい。
本構成によると、時系列的に前の画像処理で取得された条件を、時系列的に後の画像処理で利用することができる。このため、後の画像処理に要する時間が短くなる。
一例として、同種かつ同座標の複数の電子部品の画像処理を行う場合、調整画像生成ステップにおける調整前画像から調整画像を生成する際の輝度調整条件、最適画像生成ステップにおける調整画像から最適画像を生成する際の輝度調整条件などを、時系列的に前に画像処理される電子部品と、後に画像処理される電子部品と、で兼用することができる。
(12)好ましくは、上記(9)ないし(11)のいずれかの構成において、前記調整画像生成ステップにおいては、前記調整前画像のゲイン値、オフセット値を調整することにより、前記調整画像を生成し、前記最適画像生成ステップにおいては、該調整画像の該ゲイン値、該オフセット値を、各々、所定量ずつ変化させ、各値ごとに、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、該平均輝度差が最大になる前記最適画像を生成する構成とする方がよい。
調整画像生成ステップにおいては、調整前画像のゲイン値、オフセット値が調整され、調整画像が生成される。最適画像生成ステップにおいては、調整画像のゲイン値、オフセット値を、各々、所定量ずつ変化させる。そして、各値ごとに(ゲイン値およびオフセット値のうち少なくとも一方を変化させるごとに)、指定エリアと比較対象エリアとの平均輝度差を算出する。算出した平均輝度差を比較して、平均輝度差が最大になる調整画像を最適画像としている。
本構成によると、ゲイン値調整、オフセット値調整により調整前画像を調整した後、再度ゲイン値調整、オフセット値調整を行い、指定エリアと比較対象エリアとの平均輝度差を最大にしている。このため、最適画像における指定エリアと比較対象エリアとのコントラストを高くすることができる。
(13)好ましくは、上記(9)ないし(12)のいずれかの構成において、前記電子部品は、該電子部品の方向を判別できるマークを有し、前記撮像エリアおよび前記指定エリアには、該マークが含まれる構成とする方がよい。
本構成によると、最適画像を用いて、トレイに載置された電子部品や、基板に装着された電子部品に対する方向検査を行うことができる。このため、作業者のスキルによらず、電子部品の方向異常の検出精度が高くなる。また、作業者のスキルによらず、検出精度がばらつきにくい。
(14)好ましくは、上記(13)の構成において、前記最適画像生成ステップにおいては、前記最適画像の、前記指定エリアの前記平均輝度と、前記比較対象エリアの該平均輝度と、を比較し、該指定エリアの該平均輝度の方が高い場合は、該最適画像の前記マークに白を設定し、該指定エリアの該平均輝度の方が低い場合は、該最適画像の該マークに黒を設定する構成とする方がよい。本構成によると、指定エリアのマークと、比較対象エリアと、のコントラストをより高くすることができる。このため、マークを判別しやすくなる。
本発明によると、コントラストの高い最適画像を、取込画像から、自動的に生成可能な画像生成装置および画像生成方法を提供することができる。
(a)はゲイン値調整の概念図である。(b)はオフセット値調整の概念図である。 本発明の一実施形態である基板外観検査機が組み込まれた基板生産ラインの模式図である。 同基板外観検査機の上面図である。 同基板外観検査機の検査ヘッド付近の斜視図である。 電子部品の装着が完了した基板の上面図である。 本発明の一実施形態である画像生成方法の模式図である。 本発明の一実施形態である画像生成装置が組み込まれた電子部品実装機の斜視図である。
以下、本発明の画像生成装置および画像生成方法の実施の形態について説明する。
<基板外観検査機の配置および構成>
まず、本実施形態の画像生成装置が組み込まれた、基板外観検査機の配置について説明する。図2に、基板外観検査機が配置された基板生産ラインの模式図を示す。図2に示すように、基板生産ライン9は、左側(上流側)から右側(下流側)に向かって、複数の電子部品実装機6と、基板外観検査機7と、リフロー炉92と、を備えている。基板外観検査機7は、最下流の電子部品実装機6と、リフロー炉92と、の間に介装されている。
基板生産ライン9を搬送される基板には、複数の電子部品実装機6により、段階的に多数の電子部品が装着される。基板外観検査機7は、基板に対する電子部品の装着状態を検査する。リフロー炉92は、基板と電子部品との間に介在するクリームはんだを溶融させ、基板に電子部品をはんだ付けする。
次に、基板外観検査機7の構成について説明する。図3に、同基板外観検査機の上面図を示す。なお、基板Bにハッチングを施す。図3に示すように、基板外観検査機7は、ベース72と、基板搬送装置73と、XYロボット74と、検査ヘッド75と、制御装置70(図2参照)と、画像処理装置4(図2参照)と、表示装置5(図2参照)と、を備えている。
基板搬送装置73は、ベース72の上面に配置されている。基板搬送装置73は、前後一対のコンベアベルト730f、730rを備えている。基板搬送装置73の前後方向位置、前後方向幅は、後述する電子部品実装機6の基板搬送装置660の搬送部660f、660rの前後方向位置、前後方向幅に応じて、変更可能である(図7参照)。基板Bは、コンベアベルト730f、730rにより、左側から右側に向かって搬送される。コンベアベルト730f、730rは、基板を搬送する基板搬送体としての機能を有している。
X方向は左右方向に、Y方向は前後方向に、Z方向は上下方向に、各々、対応している。XYロボット74は、Y方向スライダ740と、X方向スライダ741と、上下一対のY方向ガイドレール742と、前後一対のX方向ガイドレール743f、743rと、X方向移動用ボールねじ部744と、Y方向移動用ボールねじ部745と、を備えている。
前後一対のX方向ガイドレール743f、743rは、基板搬送装置73を前後方向から挟むように、ベース72の上面に配置されている。X方向スライダ741は、前後一対のX方向ガイドレール743f、743rに、左右方向に摺動可能に取り付けられている。X方向スライダ741は、ベース72に取り付けられた、X方向移動用ボールねじ部744により駆動される。上下一対のY方向ガイドレール742は、X方向スライダ741に配置されている。Y方向スライダ740は、上下一対のY方向ガイドレール742に、前後方向に摺動可能に取り付けられている。Y方向スライダ740は、X方向スライダ741に取り付けられた、Y方向移動用ボールねじ部745により駆動される。
検査ヘッド75は、Y方向スライダ740の右面に取り付けられている。このため、検査ヘッド75は、XYロボット74により、前後左右方向に移動可能である。図4に、同基板外観検査機の検査ヘッド付近の斜視図を示す。図4に示すように、検査ヘッド75は、フレーム750と、照明装置2と、撮像装置3と、を備えている。フレーム750は、上下三段のブラケット750U、750M、750Dを備えている。ブラケット750U、750M、750Dの中央には、各々、通光用の孔が穿設されている。
照明装置2は、落射照明器20Uと、側射上段照明器20Mと、側射下段照明器20Dと、を備えている。落射照明器20U、側射上段照明器20M、側射下段照明器20Dは、本発明の「照明器」の概念に含まれる。
落射照明器20Uは、上段のブラケット750Uに取り付けられている。落射照明器20Uは、光源200Uと、ハーフミラー201Uと、光学系(図略)と、を備えている。図4に点線で示すように、光源200Uの落射光(照明光)21Uは、レンズなどを有する光学系により、平行光に変換される。落射光21Uは、左方に進行し、ハーフミラー201Uで90°方向転換し、下方に進行する。このため、基板Bの上面の撮像エリアB1は、落射光21Uにより、真上方向から照らされる。撮像エリアB1に対する、落射光21Uの入射角θUは90°である。
側射上段照明器20Mは、中段のブラケット750Mに取り付けられている。側射上段照明器20Mは、リング状の光源200Mを備えている。図4に点線で示すように、基板Bの上面の撮像エリアB1は、光源200Mからの側射上段光(照明光)21Mにより、入射角θM(<θU)の方向から照らされる。
側射下段照明器20Dは、下段のブラケット750Dに取り付けられている。側射下段照明器20Dは、リング状の光源200Dを備えている。図4に点線で示すように、基板Bの上面の撮像エリアB1は、光源200Dからの側射下段光(照明光)21Dにより、入射角θD(<θM)の方向から照らされる。
光源200U、200M、200Dは、いずれも、白色LEDである。このため、光源200U、200M、200Dは、いずれも、R、G、Bの三原色成分を全て有している 撮像装置3は、上段のブラケット750Uに取り付けられている。撮像装置3は、CCDエリアセンサである。撮像装置3は、多数の受光素子が二次元的に配置された撮像面を有している。撮像装置3は、真上方向から、撮像エリアB1を撮像する。
図2に示す制御装置70は、上述した基板搬送装置73、XYロボット74、検査ヘッド75を、統合的に制御可能である。制御装置70は、画像処理装置4、表示装置5に電気的に接続されている。
本実施形態の画像生成装置1は、基板外観検査機7に組み込まれている。画像生成装置1は、基板外観検査機7の構成部材のうち、照明装置2、撮像装置3、画像処理装置4、表示装置5を備えている。
<基板生産時の基板外観検査機および画像生成装置の動き>
次に、基板生産時の基板外観検査機7および画像生成装置1の動きについて説明する。図1に示すように、電子部品の装着が完了した基板は、基板外観検査機7を通過する。この際、基板に対する電子部品の装着状態が検査される。
図5に、電子部品の装着が完了した基板の上面図を示す。図5に示すように、基板Bには、多種多様の電子部品P1〜P6が装着されている。全ての電子部品P1〜P6は、予め決められた順に、図4に示す撮像装置3により撮像される。そして、電子部品P1〜P6の位置ずれ、方向ずれ、欠品などが検査される。
以下、任意の一点の電子部品P1の方向検査を行う場合について説明する。方向検査においては、電子部品P1の方向が所定の方向に合致しているか否か(例えば、90°、180°回転した状態で、基板Bに装着されていないか)が検査される。
まず、図3、図4に示す検査ヘッド75を、電子部品P1の真上まで移動させる。すなわち、撮像エリアB1に電子部品P1を入れる。次に、図4に示す落射照明器20U、側射上段照明器20M、側射下段照明器20Dを順番に点灯させ、各照明器が点灯したタイミングで、図4に示す撮像装置3を用いて、撮像エリアB1を撮像する。つまり、合計三枚の画像を取得する。その後、図2に示す画像処理装置4により、三枚の画像を処理する。そして、電子部品P1の方向を検査する。
ここで、基板Bが搬入一枚目の基板Bの場合は、後述する画像生成方法のうち、調整前画像生成ステップ(選択候補画像生成ステップ、画像選択ステップ)と、調整画像生成ステップと、最適画像生成ステップと、を経て、撮像エリアB1の最適画像が生成される。そして、当該最適画像を用いて方向検査が行われる。一方、基板Bが搬入二枚目以降の基板Bの場合は、後述する画像生成方法のうち、条件利用ステップだけを経て、撮像エリアB1の最適画像が生成される。そして、当該最適画像を用いて、方向検査が行われる。
最適画像は、表示装置(ディスプレイ)5に表示される。電子部品の方向の正誤は、後述するように、最適画像の平均輝度から、自動的に判別される。図5に示す全ての電子部品P1〜P6の検査が完了したら、図2に示すように、検査完了後の基板を、基板外観検査機7からリフロー炉92に払い出す。
<画像生成方法>
次に、本実施形態の画像生成方法について説明する。ここでは、図5の枠VI内の電子部品P1の取込画像から最適画像を生成する場合について説明する。図6に、本実施形態の画像生成方法の模式図を示す。図6に示すように、本実施形態の画像生成方法は、調整前画像生成ステップと、調整画像生成ステップと、最適画像生成ステップと、条件利用ステップ(図略)と、を有している。
[調整前画像生成ステップ]
本ステップは、選択候補画像生成ステップと、画像選択ステップと、を有している。
(選択候補画像生成ステップ)
本ステップにおいては、まず、図2に示す制御装置70で、図3、図4に示す検査ヘッド75を動かすことにより、図4に示す撮像エリアB1に、図5に示す電子部品P1を入れる。
次に、図2に示す制御装置70で、図4に示す落射照明器20Uを点灯させる。そして、真上から落射光21Uが投射された状態で、撮像装置3を用いて、撮像エリアB1を撮像する。続いて、図2に示す制御装置70で、図4に示す落射照明器20Uを消灯し、側射上段照明器20Mを点灯させる。そして、側方上段から側射上段光21Mが投射された状態で、撮像装置3を用いて、撮像エリアB1を撮像する。続いて、図2に示す制御装置70で、図4に示す側射上段照明器20Mを消灯し、側射下段照明器20Dを点灯させる。そして、側方下段から側射下段光21Dが投射された状態で、撮像装置3を用いて、撮像エリアB1を撮像する。このようにして、図6に示すように、照明光の入射角が互いに異なる、三枚の取込画像D1〜D3を取得する。
取込画像D1〜D3には、各々、指定エリアE1と比較対象エリアE2とが設定されている。指定エリアE1、比較対象エリアE2の形状、サイズ(画素数=8ビット)は同じである。指定エリアE1には、円形のマークMが配置されている。
三枚の取込画像D1〜D3は、いずれもカラー画像である。取込画像D1〜D3は、R、G、Bの三原色成分に分解され、データ化され、撮像装置3から、図2に示す画像処理装置4に伝送される。画像処理装置4においては、取込画像D1から、R、G、Bの三原色の三枚の単色画像D1R、D1G、D1Bが生成される。また、取込画像D2から、R、G、Bの三原色の三枚の単色画像D2R、D2G、D2Bが生成される。また、取込画像D3から、R、G、Bの三原色の三枚の単色画像D3R、D3G、D3Bが生成される。このように、合計九枚の単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bが生成される。九枚の単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bは、そのまま選択候補画像として用いられる。
(画像選択ステップ)
本ステップにおいては、まず、九枚の単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bの全てに対して、一枚ずつ、指定エリアE1と比較対象エリアE2との平均輝度差を算出する。
具体的には、指定エリアE1の各画素の輝度を検出し、各画素の輝度の積算値を指定エリアE1の画素数で割る。同様に、比較対象エリアE2の各画素の輝度を検出し、各画素の輝度の積算値を比較対象エリアE2の画素数で割る。このようにして、指定エリアE1および比較対象エリアE2の平均輝度を算出する。
次に、九枚の単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bに対して、各々、指定エリアE1と比較対象エリアE2との平均輝度差を算出する。それから、平均輝度差が最大の単色画像(本例では単色画像D1R)を、選択画像F1Rとする。
[調整画像生成ステップ]
本ステップにおいては、まず、ルックアップテーブルを作成する。具体的には、ゲイン値Jの範囲を0.00〜255.00に設定する。また、オフセット値Iの範囲を−255〜255に設定する。明るさ基準値Hは、以下の式(1)により算出される。
H=127.5−I×0.5 ・・・式(1)
変換後明るさJは、以下の式(2)により算出される。
J=((x−H)×J+H+0.5)+I ・・・式(2)
式(2)の変数xを、0〜255まで1ずつ増加させることにより、ルックアップテーブルを作成する。なお、変換後明るさJが0よりも小さくなる場合は、J=0とする。また、変換後明るさJが255よりも大きくなる場合は、J=255とする。
次に、作成されたルックアップテーブルを基に、選択画像F1Rの画像変換を行う。そして、選択画像F1Rよりも指定エリアE1と比較対象エリアE2とのコントラストが高い、調整画像K1Rを生成する。
[最適画像生成ステップ]
本ステップにおいては、まず、調整画像K1Rに対して、ゲイン値を0.00〜255.00まで0.20ずつ増加させながら、オフセット値を−200〜200まで10ずつ変化させる。そして、各値で、指定エリアE1と比較対象エリアE2との平均輝度差を算出する。なお、平均輝度差の算出方法は、画像選択ステップと同様である。
例えば、ゲイン値=1.00として、オフセット値を−200〜200まで変化させると、(ゲイン値,オフセット値)は、(1.00,−200)、(1.00,−190)、(1.00,−180)・・・(1.00,180)、(1.00,190)、(1.00,200)となる。この各々の値に対して、指定エリアE1と比較対象エリアE2との平均輝度差を算出する。
また、ゲイン値=1.20として、オフセット値を−200〜200まで変化させると、(ゲイン値,オフセット値)は、(1.20,−200)、(1.20,−190)、(1.20,−180)・・・(1.20,180)、(1.20,190)、(1.20,200)となる。この各々の値に対して、指定エリアE1と比較対象エリアE2との平均輝度差を算出する。
次に、平均輝度差が最大になるゲイン値、オフセット値の組合せを選択する。なお、該当するゲイン値、オフセット値の組合せが複数ある場合、ゲイン値が最小になるゲイン値、オフセット値の組合せを選択する。その理由は、ゲイン値が大きくなると、個体差の影響を受けやすくなるからである。
それから、当該ゲイン値、オフセット値の組合せを用いて調整画像K1Rを画像変換することで、調整画像K1Rよりも指定エリアE1と比較対象エリアE2とのコントラストが高い、最適画像L1Rを生成する。
その後、平均輝度差が最大になるゲイン値、オフセット値の組合せを用いて、最適画像L1Rの指定エリアE1の平均輝度と、比較対象エリアE2の平均輝度と、を比較する。比較の結果、指定エリアE1の方が、比較対象エリアE2よりも、平均輝度が高い場合は、最適画像L1RのマークMに白を設定する。一方、指定エリアE1の方が、比較対象エリアE2よりも、平均輝度が低い場合は、最適画像L1RのマークMに黒を設定する。
マークMに色が着色された最適画像L1Rは、図2に示す表示装置5に表示される。電子部品の方向の正誤は、自動的に判別される。具体的には、特許文献1に記載されているように、画像処理装置4は、図6に示す最適画像L1Rの指定エリアE1の平均輝度と、比較対象エリアE2の平均輝度と、を比較する。ここでは、図6に示す方向が、電子部品P1の正しい装着方向と仮定する。比較の結果、指定エリアE1の方が、比較対象エリアE2よりも、平均輝度が高いと判定される場合、輝度の高いマークMが指定エリアE1に存在することになる。このため、電子部品P1の方向が正しいと判断される。反対に、指定エリアE1の方が、比較対象エリアE2よりも、平均輝度が低いと判定される場合、輝度の高いマークMが比較対象エリアE2に存在することになる。このため、電子部品P1の方向が誤っていると判断される。
上記一連の、選択候補画像生成ステップ、画像選択ステップ、調整画像生成ステップ、最適画像生成ステップは、図5に示す全ての電子部品P1〜P6に対して実行される。全ての電子部品P1〜P6に対する検査が完了したら、図2に示すように、検査完了後の基板を、基板外観検査機7からリフロー炉92に払い出す。
[条件利用ステップ]
図2に示すように、検査完了後の基板がリフロー炉92に払い出されると、次の検査対象の基板が電子部品実装機6から基板外観検査機7に搬入される。本ステップにおいては、上記一連の、選択候補画像生成ステップ、画像選択ステップ、調整画像生成ステップ、最適画像生成ステップにより取得された条件をそのまま利用して、新しい基板の電子部品を検査する。
具体的には、新しい基板と、検査完了後の基板と、は同種類の基板である。すなわち、図5に示すように、新しい基板Bも検査完了後の基板Bも、同じ電子部品P1〜P6が、同じ座標に装着されている。このため、検査完了後の基板Bの電子部品P1に関する条件を、そのまま新しい基板Bの電子部品P1に転用することができる。電子部品P2〜P6に関しても同様である。
一例として、新しい基板Bの電子部品P1の方向検査を行う場合について、上述の検査完了後の基板Bの電子部品P1の方向検査を行う場合と比較しながら、説明する。
(選択候補画像生成ステップ)
本ステップにおいては、一枚だけ取込画像D1が撮像される。すなわち、検査完了後の基板に対する選択候補画像生成ステップで設定された、取込画像D1の撮像条件が用いられる。撮像条件は、本発明の「条件」の概念に含まれる。具体的には、図4に示す落射照明器20Uを点灯させ、撮像装置3を用いて、撮像エリアB1を撮像する。
取込画像D1を一枚しか撮像しない理由は、図6に示すように、検査完了後の基板に対する選択候補画像生成ステップ、画像選択ステップの結果から、既に、取込画像D1から取得される単色画像D1Rが選択画像F1Rに選ばれることが判っているからである。
(画像選択ステップ)
本ステップにおいては、単色画像D1Rを、そのまま選択画像F1Rとする。
(調整画像生成ステップ)
本ステップにおいては、検査完了後の基板に対する調整画像生成ステップで作成された、ルックアップテーブルが用いられる。ルックアップテーブルは、本発明の「条件」の概念に含まれる。すなわち、ルックアップテーブルを用いて、選択画像F1Rの画像変換を行う。そして、選択画像F1Rよりも指定エリアE1と比較対象エリアE2とのコントラストが高い、調整画像K1Rを生成する。
(最適画像生成ステップ)
本ステップにおいては、検査完了後の基板に対する最適画像生成ステップで取得された、平均輝度差が最大になるゲイン値、オフセット値の組合せが用いられる。平均輝度差が最大になるゲイン値、オフセット値は、本発明の「条件」の概念に含まれる。すなわち、当該ゲイン値、オフセット値の組合せを用いて、調整画像K1Rの画像変換を行う。そして、調整画像K1Rよりも指定エリアE1と比較対象エリアE2とのコントラストが高い、最適画像L1Rを生成する。
その後、マークMに白が着色された最適画像L1Rは、図2に示す表示装置5に表示される。そして、電子部品の方向の正誤が自動的に判別される。
当該条件利用ステップは、図5に示す全ての電子部品P1〜P6に対して実行される。全ての電子部品P1〜P6に対する検査が完了したら、図2に示すように、検査完了後の基板を、基板外観検査機7からリフロー炉92に払い出す。検査完了後の基板がリフロー炉92に払い出されると、次の検査対象の基板が電子部品実装機6から基板外観検査機7に搬入される。当該基板に対しても、条件利用ステップが行われる。このように、条件利用ステップは、同種の基板に対して、順次、繰り返し実行される。
<作用効果>
次に、本実施形態の画像生成装置1および画像生成方法の作用効果について説明する。本実施形態の画像生成装置1および画像生成方法によると、図6に示すように、電子部品P1〜P6の異常などの検出に最適な、コントラストの高い最適画像L1Rを、取込画像D1〜D3から、自動的に生成することができる。このため、最適画像L1Rの取得を作業者が手動で行う場合と比較して、最適画像L1Rを短時間で取得することができる。また、作業者のスキルによらず、電子部品P1〜P6の異常の検出精度が高くなる。また、作業者のスキルによらず、検出精度がばらつきにくい。
また、本実施形態の画像生成装置1および画像生成方法によると、一枚目の基板に対して選択候補画像生成ステップ、画像選択ステップ、調整画像生成ステップ、最適画像生成ステップを実行した際に取得された条件をそのまま利用して、二枚目以降の基板に対して条件利用ステップを繰り返し実行することができる。
すなわち、一枚目の基板の電子部品P1〜P6の方向検査で取得された条件(選択候補画像生成ステップにおける取込画像D1の撮像枚数、撮像条件、調整画像生成ステップにおけるルックアップテーブル、最適画像生成ステップにおける平均輝度差が最大になるゲイン値、オフセット値など)を、そのまま二枚目以降の基板の電子部品P1〜P6の方向検査で利用することができる。このため、画像処理、延いては電子部品P1〜P6の方向検査に要する時間が短くなる。
また、本実施形態の画像生成装置1および画像生成方法によると、図6に示すように、調整画像生成ステップにおいて、ゲイン値調整、オフセット値調整を行うことにより、選択画像F1Rから調整画像K1Rを生成している。また、最適画像生成ステップにおいて、再びゲイン値調整、オフセット値調整を行うことにより、調整画像K1Rから最適画像L1Rを生成している。このため、最適画像L1Rにおける指定エリアE1と比較対象エリアE2とのコントラストを高くすることができる。
また、本実施形態の画像生成装置1および画像生成方法によると、図4に示すように、照明装置2が、落射照明器20U、側射上段照明器20M、側射下段照明器20Dを備えている。落射照明器20Uの落射光21Uの入射角θUと、側射上段照明器20Mの側射上段光21Mの入射角θMと、側射下段照明器20Dの側射下段光21Dの入射角θDと、は互いに相違している。図6に示す取込画像D1は落射光21Uの照射時に、取込画像D2は側射上段光21Mの照射時に、取込画像D3は側射下段光21Dの照射時に、各々、撮像装置3に取り込まれる。このため、取込画像D1〜D3のコントラストが変化する。したがって、コントラストの高い取込画像D1〜D3が取得されやすくなる。
また、本実施形態の画像生成装置1および画像生成方法によると、図6に示すように、R、G、Bの三原色の単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bが生成される。このため、取込画像D1〜D3の電子部品P1〜P6の色がいかなる色であっても、R、G、Bいずれかの単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bのコントラストを高くすることができる。すなわち、電子部品P1〜P6の色の多様性に対応することができる。
また、本実施形態の画像生成装置1および画像生成方法によると、図2に示すように、指定エリアE1と比較対象エリアE2との平均輝度の高低に応じて、表示装置5に表示される最適画像L1RのマークMに、白または黒が設定される。このため、指定エリアE1のマークMと、比較対象エリアE2と、のコントラストをより高くすることができる。したがって、マークMを判別しやすくなる。
<その他>
以上、本発明の画像生成装置および画像生成方法の実施の形態について説明した。しかしながら、実施の形態は上記形態に特に限定されるものではない。当業者が行いうる種々の変形的形態、改良的形態で実施することも可能である。
上記実施形態においては、基板外観検査機7に画像生成装置1を組み込んだが、電子部品実装機6に組み込んでもよい。図7に、本発明の一実施形態である画像生成装置が組み込まれた電子部品実装機の斜視図を示す。電子部品実装機6は、ベース65と、モジュール66と、トレイユニット67と、デバイスパレット63と、制御装置60(図2参照)と、画像処理装置61(図2参照)と、表示装置62(図2参照)と、を備えている。
モジュール66は、ベース65の上面に着脱可能に配置されている。モジュール66は、基板搬送装置660と、XYロボット661と、装着ヘッド662と、マークカメラ663と、パーツカメラ64と、照明装置(図略)と、を備えている。基板搬送装置660は、前後一対の搬送部660f、660rを備えている。マークカメラ663は、本発明の「撮像装置」の概念に含まれる。
搬送部660f、660rは、各々、一対のコンベアベルトを備えている。搬送部660f、660rは、各々、基板Bを搬送可能である。XYロボット661は、Y方向スライダ661aと、X方向スライダ661bと、左右一対のY方向ガイドレール661cと、上下一対のX方向ガイドレール661dと、を備えている。左右一対のY方向ガイドレール661cは、モジュール66のハウジング内部空間の上面に配置されている。Y方向スライダ661aは、左右一対のY方向ガイドレール661cに、前後方向に摺動可能に取り付けられている。上下一対のX方向ガイドレール661dは、Y方向スライダ661aの前面に配置されている。X方向スライダ661bは、上下一対のX方向ガイドレール661dに、左右方向に摺動可能に取り付けられている。
装着ヘッド662は、X方向スライダ661bに取り付けられている。このため、装着ヘッド662は、XYロボット661により、前後左右方向に移動可能である。装着ヘッド662の下方には、吸着ノズル662aが取り付けられている。吸着ノズル662aは、装着ヘッド662に対して、下方に移動可能である。
マークカメラ663および照明装置(白色LED)は、装着ヘッド662と共に、X方向スライダ661bに取り付けられている。マークカメラ663および照明装置(白色LED)は、XYロボット661により、前後左右方向に移動可能である。マークカメラ663は、基板Bや電子部品の位置決め用のマークを撮像可能である。照明装置はマークカメラ663の撮像エリアに照明光を照射可能である。
パーツカメラ64は、搬送部660fの前方に配置されている。電子部品を吸着した吸着ノズル662a(つまり装着ヘッド662)は、パーツカメラ64の上方を通過する。この際、吸着ノズル662aの電子部品は、パーツカメラ64により撮像される。
デバイスパレット63は、モジュール66の前部開口に装着されている。トレイユニット67は、ベース65の前方に配置されている。トレイユニット67は、ケース670とシャトルコンベア671とを備えている。ケース670内には、多数のトレイ672が上下方向に積層されている。シャトルコンベア671の後端は、デバイスパレット63の上縁まで到達している。ケース670内のトレイ672は、シャトルコンベア671により、後方(基板Bの方向)に取り出し可能である。
本実施形態の画像生成装置1は、電子部品実装機6に組み込まれている。画像生成装置1は、電子部品実装機6の構成部材のうち、照明装置、マークカメラ663、画像処理装置61、表示装置62を備えている。
電子部品は、トレイ672に載置されている。電子部品は、吸着ノズル662aにより、パーツカメラ64を経由して、トレイ672から基板Bの装着座標まで搬送される。電子部品は、吸着ノズル662aにより、基板Bの装着座標に装着される。
トレイ672における電子部品の配置方向が、基板Bにおける電子部品の装着方向と異なる場合、電子部品P1の装着方向が所定の方向に合致しないおそれがある。例えば、所定の方向に対して、90°、180°回転した状態で、基板Bに装着されるおそれがある。このため、図2に示す基板外観検査機7における方向検査に先駆けて、トレイ672における電子部品の方向を検査する場合がある。
トレイ672における電子部品の方向検査の場合、図2に示す制御装置70の動作を制御装置60が、画像処理装置4の動作を画像処理装置61が、表示装置5の動作を表示装置62が、各々、実行する。また、図4に示す撮像装置3の動作を図7に示すマークカメラ663が、図4に示す照明装置2の動作をマークカメラ663に並設された照明装置が、各々、実行する。画像生成装置1を電子部品実装機6に組み込むと、トレイ672の電子部品の画像のコントラストを高くすることができる。このため、電子部品の方向異常の検出精度が高くなる。
また、マークカメラ663の代わりに、パーツカメラ64を画像生成装置1の撮像装置としてもよい。また、パーツカメラ64に並設された照明装置(図略)を画像生成装置1の照明装置としてもよい。こうすると、吸着ノズル662aに吸着された電子部品の画像のコントラストを高くすることができる。このため、電子部品の方向異常の検出精度が高くなる。
また、上記実施形態においては、図4に示すように、光源200U、200M、200Dとして、各々、白色LEDを用いた。しかしながら、光源200U、200M、200Dとして、R、G、Bの単色REDを組み合わせて用いてもよい。また、蛍光灯など他の照明器を用いてもよい。また、光源200M、200Dはリング状(無端円環状)でなくてもよい。例えば、点状、部分円弧状でもよい。
また、上記実施形態においては、図4に示すように、落射照明器20U、側射上段照明器20M、側射下段照明器20Dという三つの照明器を照明装置2に配置した。しかしながら、照明器の配置数は特に限定しない。照明器の配置数が一つの場合、撮像装置3に対して照明器を移動可能に配置すれば、照明光の入射角θU、θM、θDを適宜切り替えることができる。
また、上記実施形態においては、図6に示すように、選択候補画像生成ステップにおいて、三枚の取込画像D1〜D3を撮像装置3に取り込んだ。しかしながら、取込画像D1〜D3の枚数は特に限定しない。取込画像D1〜D3が一枚の場合であっても、複数の単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bを生成することができる。
また、上記実施形態においては、図6に示すように、調整前画像生成ステップにおいて、取込画像D1〜D3から単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bを生成し、単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bの中から選択画像F1Rを生成した。しかしながら、取込画像D1〜D3が一枚の場合、当該取込画像D1〜D3を、そのまま調整前画像(選択画像)F1Rとして用いてもよい。こうすると、画像処理に要する時間が短くなる。
また、単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bの色成分は特に限定しない。また、取込画像D1〜D3は、カラー画像でなくてもよい。
また、上記実施形態においては、図6に示すように、選択候補画像生成ステップにおいて、単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3Bをそのまま選択候補画像として用いた。しかしながら、単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3を適宜合成した画像を、選択候補画像として用いてもよい。この場合は、選択候補画像における指定エリアE1と比較対象エリアE2とのコントラストが高くなるように、単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3を合成すればよい。単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3の合成画像数(一枚の選択候補画像を生成するために、何枚の単色画像D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3を合成するか)は特に限定しない。また、生成される選択候補画像の枚数は特に限定しない。
上記実施形態においては、図5に示すように、電子部品P1の円形のマークMを用いて、方向検査を行った。しかしながら、方向検査に用いるマークMは特に限定しない。電子部品P2の文字、数字、型番など、電子部品P3の半円模様、電子部品P4の台形模様、電子部品P5の四角模様、電子部品P6の直線模様などを、マークMとして用いてもよい。また、電子部品の形状的な特徴部をマークMとして用いてもよい。
また、上記実施形態においては、図6に示すように、指定エリアE1と比較対象エリアE2とを、対角線状に配置した。しかしながら、指定エリアE1と比較対象エリアE2との位置関係は特に限定しない。指定エリアE1と比較対象エリアE2とのコントラストが高くなるように設定すればよい。
また、上記実施形態においては、図6に示すように、調整画像生成ステップにおいて、式(1)、式(2)を用いて、ルックアップテーブルを作成した。すなわち、式(1)、式(2)を用いて、画像の変調(強調)を行った。しかしながら、式(1)、式(2)以外の変調式を用いて、画像の変調を行ってもよい。また、ルックアップテーブル作成時のゲイン値Jの設定範囲、オフセット値Iの設定範囲も特に限定しない。また、式(2)の変数xの増加幅も特に限定しない。
また、上記実施形態においては、図6に示すように、最適画像生成ステップにおいて、調整画像K1Rに対して、ゲイン値とオフセット値とを変化させながら、各値で、指定エリアE1と比較対象エリアE2との平均輝度差を算出したが、この際のゲイン値、オフセット値の変化幅は特に限定しない。また、平均輝度差が最大になるゲイン値、オフセット値の組合せが複数ある場合、ゲイン値が最小になるゲイン値、オフセット値の組合せを選択しなくてもよい。
また、上記実施形態においては、図6に示すように、画像処理装置4が、最適画像L1Rの指定エリアE1の平均輝度と、比較対象エリアE2の平均輝度と、を比較することにより、電子部品P1の方向を自動的に判別した。しかしながら、表示装置5の画面を見ながら、作業者が目視で電子部品P1の方向を判別してもよい。この場合、指定エリアE1と比較対象エリアE2との平均輝度の高低に応じて、表示装置5に表示される最適画像L1RのマークMは、白または黒に着色されている。このため、作業者が電子部品P1の方向を判別しやすい。
また、図6に示すように、最適画像生成ステップにおいて、画像処理装置4が、最適画像L1Rの指定エリアE1の平均輝度と、比較対象エリアE2の平均輝度と、の間(中央値でなくてもよい)の輝度をしきい値として設定してもよい。そして、当該しきい値を用いて、電子部品P1の方向を検査してもよい。また、条件利用ステップにおいて、当該しきい値を、後続の電子部品の方向検査に用いてもよい。しきい値は、本発明の「条件」の概念に含まれる。
また、上記実施形態においては、図6に示すように、基板外観検査機7に搬入された一枚目の基板Bに対して、画像生成方法のうち、調整前画像生成ステップ(選択候補画像生成ステップ、画像選択ステップ)、調整画像生成ステップ、最適画像生成ステップを実行した。しかしながら、基板生産ライン9の外でこれらのステップを実行し、これらのステップで取得された条件を用いて、基板外観検査機7により、搬入一枚目の基板Bから電子部品の方向検査を行ってもよい。この場合、基板生産ライン9の外に、図4に示すような、基板外観検査機7と同様の撮像環境を設定する必要がある。
また、上記実施形態においては、基板外観検査機7の制御装置70と画像処理装置4とを別々に配置したが、共通のコンピュータなどを用いて、一体的に配置してもよい。同様に、電子部品実装機6の制御装置60と画像処理装置61とについても、一体的に配置してもよい。また、上記実施形態においては、基板外観検査機7をリフロー炉92の上流側に配置したが、リフロー炉92の下流側に配置してもよい。
また、上記実施形態においては、図5に示すように、電子部品P1〜P6に対して、個別に方向検査を行った。しかしながら、撮像エリアB1の広い撮像装置3を用いて、複数個ずつまとめて電子部品P1〜P6の方向検査を行ってもよい。こうすると、方向検査に要する時間が短くなる。また、上記実施形態においては、電子部品の方向検査に本発明の画像生成装置、画像生成方法を用いたが、電子部品の位置ずれ検査、欠品検査に用いてもよい。
1:画像生成装置、2:照明装置、3:撮像装置、4:画像処理装置、5:表示装置、6:電子部品実装機、7:基板外観検査機、9:基板生産ライン。
20D:側射下段照明器、20M:側射上段照明器、20U:落射照明器、21D:側射下段光(照明光)、21M:側射上段光(照明光)、21U:落射光(照明光)、60:制御装置、61:画像処理装置、62:表示装置、63:デバイスパレット、64:パーツカメラ(撮像装置)、65:ベース、66:モジュール、67:トレイユニット、70:制御装置、72:ベース、73:基板搬送装置、74:XYロボット、75:検査ヘッド、92:リフロー炉。
200D:光源、200M:光源、200U:光源、201U:ハーフミラー、660:基板搬送装置、660f:搬送部、660r:搬送部、661:XYロボット、661a:Y方向スライダ、661b:X方向スライダ、661c:Y方向ガイドレール、661d:X方向ガイドレール、662:装着ヘッド、662a:吸着ノズル、663:マークカメラ(撮像装置)、670:ケース、671:シャトルコンベア、672:トレイ、730f:コンベアベルト、730r:コンベアベルト、740:Y方向スライダ、741:X方向スライダ、742:Y方向ガイドレール、743f:X方向ガイドレール、743r:X方向ガイドレール、744:X方向移動用ボールねじ部、745:Y方向移動用ボールねじ部、750:フレーム、750D:ブラケット、750M:ブラケット、750U:ブラケット。
θD:入射角、θM:入射角、θU:入射角、A1:輝度分布、A2:輝度分布、A3:輝度分布、A4:輝度分布、B:基板、B1:撮像エリア、D1〜D3:取込画像、D1R、D1G、D1B、D2R、D2G、D2B、D3R、D3G、D3B:単色画像、E1:指定エリア、E2:比較対象エリア、F1R:選択画像、K1R:調整画像、L1R:最適画像、M:マーク、P1〜P6:電子部品。

Claims (14)

  1. 電子部品の少なくとも一部が配置された撮像エリアに照明光を照射する照明装置と、該照明光が照射された該撮像エリアを撮像する撮像装置と、撮像により取得される取込画像を処理する画像処理装置と、を備える画像生成装置であって、
    前記画像処理装置は、前記取込画像を基に調整前画像を生成し、該調整前画像の輝度を調整して調整画像を生成し、該調整画像の、指定エリアと、該指定エリア以外の比較対象エリアと、の平均輝度差を最大にして最適画像を生成することを特徴とする画像生成装置。
  2. 前記画像処理装置は、前記取込画像が色成分ごとに分解された複数の単色画像を基に、複数の選択候補画像を生成し、全ての該選択候補画像の各々に対して、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、全ての該選択候補画像から、該平均輝度差が最大となる選択画像を選択し、
    前記調整前画像は、該選択画像である請求項1に記載の画像生成装置。
  3. 前記画像処理装置は、前記取込画像から前記最適画像を生成する経緯で取得された条件を用いて、別の該取込画像から該最適画像を生成する請求項1または請求項2に記載の画像生成装置。
  4. 前記画像処理装置は、前記調整前画像のゲイン値、オフセット値を調整することにより、前記調整画像を生成し、
    該調整画像の該ゲイン値、該オフセット値を、各々、所定量ずつ変化させ、各値ごとに、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、該平均輝度差が最大になる前記最適画像を生成する請求項1ないし請求項3のいずれかに記載の画像生成装置。
  5. 前記照明装置は、複数の照明器を有し、
    複数の該照明器は、前記撮像エリアに対する前記照明光の入射角が互いに異なり、
    前記取込画像は、複数の該照明器ごとに、前記撮像装置に複数枚取得される請求項1ないし請求項4のいずれかに記載の画像生成装置。
  6. 複数の前記色成分は、赤(R)、緑(G)、青(B)の三原色成分である請求項2ないし請求項5のいずれかに記載の画像生成装置。
  7. 前記電子部品は、該電子部品の方向を判別できるマークを有し、
    前記撮像エリアおよび前記指定エリアには、該マークが含まれる請求項1ないし請求項6のいずれかに記載の画像生成装置。
  8. 前記最適画像を表示する表示装置を備え、
    前記画像処理装置は、表示前の該最適画像の、前記指定エリアの前記平均輝度と、前記比較対象エリアの該平均輝度と、を比較し、該指定エリアの該平均輝度の方が高い場合は、該表示装置に表示される該最適画像の前記マークに白を設定し、該指定エリアの該平均輝度の方が低い場合は、該表示装置に表示される該最適画像の該マークに黒を設定する請求項7に記載の画像生成装置。
  9. 電子部品の少なくとも一部が配置された撮像エリアの取込画像を基に調整前画像を生成する調整前画像生成ステップと、
    該調整前画像の輝度を調整して調整画像を生成する調整画像生成ステップと、
    該調整画像の、指定エリアと、該指定エリア以外の比較対象エリアと、の平均輝度差を最大にして最適画像を生成する最適画像生成ステップと、
    を有する画像生成方法。
  10. 前記調整前画像生成ステップは、
    前記取込画像を、色成分ごとに分解することにより、複数の単色画像を生成し、複数の該単色画像を基に、複数の選択候補画像を生成する選択候補画像生成ステップと、
    全ての該選択候補画像の各々に対して、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、該平均輝度差が最大となる選択画像を選択する画像選択ステップと、を有し、
    前記調整前画像は、該選択画像である請求項9に記載の画像生成方法。
  11. 前記最適画像生成ステップの後に、前記調整前画像生成ステップから該最適画像生成ステップまでの経緯で取得された条件を用いて、別の前記取込画像から前記最適画像を生成する条件利用ステップを有する請求項9または請求項10に記載の画像生成方法。
  12. 前記調整画像生成ステップにおいては、前記調整前画像のゲイン値、オフセット値を調整することにより、前記調整画像を生成し、
    前記最適画像生成ステップにおいては、該調整画像の該ゲイン値、該オフセット値を、各々、所定量ずつ変化させ、各値ごとに、前記指定エリアと前記比較対象エリアとの前記平均輝度差を算出し、該平均輝度差が最大になる前記最適画像を生成する請求項9ないし請求項11のいずれかに記載の画像生成方法。
  13. 前記電子部品は、該電子部品の方向を判別できるマークを有し、
    前記撮像エリアおよび前記指定エリアには、該マークが含まれる請求項9ないし請求項12のいずれかに記載の画像生成方法。
  14. 前記最適画像生成ステップにおいては、前記最適画像の、前記指定エリアの前記平均輝度と、前記比較対象エリアの該平均輝度と、を比較し、該指定エリアの該平均輝度の方が高い場合は、該最適画像の前記マークに白を設定し、該指定エリアの該平均輝度の方が低い場合は、該最適画像の該マークに黒を設定する請求項13に記載の画像生成方法。
JP2010290605A 2010-12-27 2010-12-27 画像生成装置および画像生成方法 Active JP5877639B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010290605A JP5877639B2 (ja) 2010-12-27 2010-12-27 画像生成装置および画像生成方法
US13/334,656 US9474195B2 (en) 2010-12-27 2011-12-22 Image generating apparatus and image generating method
CN201110457105.6A CN102595870B (zh) 2010-12-27 2011-12-27 图像生成装置以及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010290605A JP5877639B2 (ja) 2010-12-27 2010-12-27 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
JP2012137980A true JP2012137980A (ja) 2012-07-19
JP5877639B2 JP5877639B2 (ja) 2016-03-08

Family

ID=46316211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010290605A Active JP5877639B2 (ja) 2010-12-27 2010-12-27 画像生成装置および画像生成方法

Country Status (3)

Country Link
US (1) US9474195B2 (ja)
JP (1) JP5877639B2 (ja)
CN (1) CN102595870B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033815A1 (ja) * 2012-08-27 2014-03-06 富士機械製造株式会社 Ng部品表示方法およびng部品表示システム
JP2017032410A (ja) * 2015-07-31 2017-02-09 リコーエレメックス株式会社 検査装置、方法及びプログラム
WO2020255365A1 (ja) * 2019-06-21 2020-12-24 株式会社Fuji 画像合成装置、画像取得装置、画像処理システム、画像処理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068162A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 半導体装置のコントラスト画像処理方法、処理装置、及び、処理プログラム
US11357149B2 (en) * 2015-05-21 2022-06-07 Fuji Corporation Component orientation determination data creation device and component orientation determination data creation method
JP6528133B2 (ja) * 2016-03-04 2019-06-12 パナソニックIpマネジメント株式会社 部品実装装置
CN107330867B (zh) * 2017-06-16 2020-02-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
US11210764B2 (en) * 2017-06-21 2021-12-28 Fuji Corporation Apparatus for performing work on substrate
EP3723466A4 (en) * 2017-12-04 2020-11-25 Fuji Corporation SYSTEM FOR CHECKING THE MOUNTING ORIENTATION OF AN ELECTRONIC COMPONENT AND METHOD OF CHECKING THE MOUNTING ORIENTATION OF AN ELECTRONIC COMPONENT
WO2020012588A1 (ja) * 2018-07-12 2020-01-16 株式会社Fuji 画像処理方法および部品実装機
JP7311608B2 (ja) * 2019-07-26 2023-07-19 株式会社Fuji 対基板作業システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08219716A (ja) * 1994-12-13 1996-08-30 Toshiba Corp 入力画像コントラスト処理装置およびこれを用いた装置
JP2000099625A (ja) * 1998-09-28 2000-04-07 Nidek Co Ltd 文字認識装置
JP2002543421A (ja) * 1999-05-04 2002-12-17 スピードライン・テクノロジーズ・インコーポレーテッド 基板上の半田ペースト堆積を検査する方法および装置
JP2003066339A (ja) * 2001-08-29 2003-03-05 Olympus Optical Co Ltd 画像比較装置
JP2006200900A (ja) * 2005-01-18 2006-08-03 Juki Corp 対象物の認識方法及び装置
JP2006300888A (ja) * 2005-04-25 2006-11-02 Anritsu Sanki System Co Ltd 濃度データ変換方法および装置並びにx線検査システム
JP2009076796A (ja) * 2007-09-24 2009-04-09 Fuji Mach Mfg Co Ltd 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機
JP2009236493A (ja) * 2008-03-25 2009-10-15 Mitsubishi Rayon Co Ltd 透明板の欠陥検査方法および装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100435611C (zh) 2005-08-05 2008-11-19 华南理工大学 一种贴片机自适应式光源照明系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08219716A (ja) * 1994-12-13 1996-08-30 Toshiba Corp 入力画像コントラスト処理装置およびこれを用いた装置
JP2000099625A (ja) * 1998-09-28 2000-04-07 Nidek Co Ltd 文字認識装置
JP2002543421A (ja) * 1999-05-04 2002-12-17 スピードライン・テクノロジーズ・インコーポレーテッド 基板上の半田ペースト堆積を検査する方法および装置
JP2003066339A (ja) * 2001-08-29 2003-03-05 Olympus Optical Co Ltd 画像比較装置
JP2006200900A (ja) * 2005-01-18 2006-08-03 Juki Corp 対象物の認識方法及び装置
JP2006300888A (ja) * 2005-04-25 2006-11-02 Anritsu Sanki System Co Ltd 濃度データ変換方法および装置並びにx線検査システム
JP2009076796A (ja) * 2007-09-24 2009-04-09 Fuji Mach Mfg Co Ltd 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機
JP2009236493A (ja) * 2008-03-25 2009-10-15 Mitsubishi Rayon Co Ltd 透明板の欠陥検査方法および装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSND200301462001; 増村 茂樹: '"画像処理システムにおけるライティング技術とその展望"' 映像情報インダストリアル Vol.34, No.1, 200211, p.29-36, 産業開発機構(株) *
CSNH199700242007; 奥田 健児、外2名: '"IC文字認識装置"' 東芝レビュー Vol.52, No.2, 19970201, p.55-58, 株式会社東芝 *
JPN6014033626; 奥田 健児、外2名: '"IC文字認識装置"' 東芝レビュー Vol.52, No.2, 19970201, p.55-58, 株式会社東芝 *
JPN6014033627; 増村 茂樹: '"画像処理システムにおけるライティング技術とその展望"' 映像情報インダストリアル Vol.34, No.1, 200211, p.29-36, 産業開発機構(株) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033815A1 (ja) * 2012-08-27 2014-03-06 富士機械製造株式会社 Ng部品表示方法およびng部品表示システム
JP2017032410A (ja) * 2015-07-31 2017-02-09 リコーエレメックス株式会社 検査装置、方法及びプログラム
WO2020255365A1 (ja) * 2019-06-21 2020-12-24 株式会社Fuji 画像合成装置、画像取得装置、画像処理システム、画像処理方法
JPWO2020255365A1 (ja) * 2019-06-21 2020-12-24

Also Published As

Publication number Publication date
US20120162405A1 (en) 2012-06-28
JP5877639B2 (ja) 2016-03-08
CN102595870B (zh) 2016-08-31
US9474195B2 (en) 2016-10-18
CN102595870A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
JP5877639B2 (ja) 画像生成装置および画像生成方法
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
KR101969378B1 (ko) 조명 유닛, 결함 검사 장치, 및 조명 방법
JP2014526706A (ja) 非接触式部品検査装置及び部品検査方法
JP2000238233A (ja) スクリーン検査方法,装置およびスクリーン印刷機
JP5338772B2 (ja) 部品実装用装置および撮像用の照明装置ならびに照明方法
JP2023118927A (ja) 対基板作業システム
CN112986282A (zh) 检查装置及检查方法
JP5832167B2 (ja) 部品有無判定装置及び部品有無判定方法
JP2014048073A (ja) 撮像条件最適化方法および撮像条件最適化システム
JP6836938B2 (ja) ダイボンディング装置および半導体装置の製造方法
JP7365487B2 (ja) 画像補正方法、撮像装置および検査装置
JP5913866B2 (ja) 基板検査用マスタデータ作成方法
JP7301973B2 (ja) 検査装置
WO2019171756A1 (ja) 成形品の撮影方法および成形品の撮影装置
US11971367B2 (en) Inspection device and inspection method
JP2629881B2 (ja) 基板検査のための検査領域設定方法およびその方法を用いた検査領域設定装置
CN111757667B (zh) 检查装置及检查方法
WO2023276059A1 (ja) 部品実装機
JP2790557B2 (ja) 検査データ教示方法およびこの方法を用いた実装基板検査装置
JP2000002667A (ja) はんだ検査装置
JP2021125487A (ja) 基板の検査装置、基板の検査方法
JP2002158437A (ja) プリント基板における無半田部分の除去方法およびその装置
JP2021124298A (ja) 基板の検査装置、基板の検査方法
JP2021124299A (ja) 基板の検査装置、基板の検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141008

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150109

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150120

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160126

R150 Certificate of patent or registration of utility model

Ref document number: 5877639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250