JP2023050857A - 画像検査方法、及び画像検査装置 - Google Patents

画像検査方法、及び画像検査装置 Download PDF

Info

Publication number
JP2023050857A
JP2023050857A JP2021161192A JP2021161192A JP2023050857A JP 2023050857 A JP2023050857 A JP 2023050857A JP 2021161192 A JP2021161192 A JP 2021161192A JP 2021161192 A JP2021161192 A JP 2021161192A JP 2023050857 A JP2023050857 A JP 2023050857A
Authority
JP
Japan
Prior art keywords
image
defective
images
transfer
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021161192A
Other languages
English (en)
Inventor
晃 小原
Akira Obara
信治 杉田
Shinji Sugita
啓雅 笠原
Keiga Kasahara
葵 望月
Aoi Mochizuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2021161192A priority Critical patent/JP2023050857A/ja
Priority to TW111131778A priority patent/TWI822269B/zh
Priority to CN202211016830.4A priority patent/CN115908238A/zh
Priority to DE102022208849.2A priority patent/DE102022208849A1/de
Publication of JP2023050857A publication Critical patent/JP2023050857A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8874Taking dimensions of defect into account
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Preparing Plates And Mask In Photomechanical Process (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ある部品の不良箇所の画像を、他の部品の画像に転写することで、疑似的な不良箇所の画像と計測値を生成及び表示し、良品と不良品の違いを視覚的及び数値的に判別することを可能とする、画像検査装置(例えばX線検査装置)を用いた画像検査方法を提供する。【解決手段】画像検査装置を用いた画像検査方法は、良品の画像における転写先に、不良箇所の画像を転写し、転写画像を生成する転写ステップを、全てのステップのうちの一部として有する。【選択図】図6

Description

本発明は、検査対象物の画像を検査することで検査対象物の良不良を判定するための画像検査方法、及び画像検査装置に関する。
従来、実際の製造工程では品質管理のために必要な数の不良画像が得られない場合に、良品画像を基に疑似的な不良画像を作成することが知られている。例えば、初期学習時に必要とする不良画像を擬似的に作成する場合に、自動的且つ大量に作成することが可能な疑似不良画像自動作成装置が公知である。当該疑似不良画像自動作成装置は、ニューラルネットワークの学習データとして、良品画像は良品入力部から入力し、学習する。また、不良画像は不良画像入力部から入力し、学習する。さらに、不良画像抽出部で、良品との差分データを抽出し、疑似データ条件設定部では、乱数発生部の乱数値から不良合成位置等の不良作成条件を幾通りも作成し、この不良作成条件に基づいて疑似不良画像作成部が良品画像に差分データを合成することで、幾通りもの疑似不良画像を作成し、ニューラルネットワークの学習データとして入力する(例えば、特許文献1参照)。
また、良品と不良品とを判別するモデルを精度良く学習させることができる学習装置も公知である。当該学習装置は、中間画像生成部と、中間画像表示部と、境界受付部と、教師画像特定部とを備える。中間画像生成部は、良品を表す画像である良品画像と不良品を表す画像である不良品画像とから、複数の中間画像を生成する。中間画像表示部は、良品画像と不良品画像の間に複数の中間画像を配置して表示装置に表示する。境界受付部は、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。教師画像特定部は、指定された境界に基づいて良品画像および不良品画像の画像を特定する(例えば、特許文献2参照)。また、不良品画像から良品画像を容易に生成することのできる画像処理装置も公知である(例えば、特許文献3参照)。
上記特許文献1において開示されているような発明内容によると、良品画像に係るデータと不良画像に係るデータとに基づいて疑似不良画像を作成し、その疑似不良画像をニューラルネットワークの学習データとして入力することで、疑似不良画像自動作成装置の検査装置としての良否判定の精度を高めることができる。しかし、疑似不良画像やその計測値を、過去から蓄積されている不良画像を用いて効率よく作成できるとは言えなかった。
また、上記特許文献2において開示されているような発明内容によると、良品画像と不良品画像とに基づいて複数の中間画像を生成する際に、境界受付部において、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。しかし、中間画像の境界を指定する際に不良品画像が十分に得られなかった場合、良品画像のみに基づいて中間画像の境界を指定しなければならず、経験に頼った指定が必要となる虞がある。この経験に頼った指定は、学習装置による検査品質にばらつきを生じさせる虞があるため、好ましくない。また、過去から蓄積されている不良画像を用いて新たな疑似不良画像を効率よく作成できるとは言えなかった。
特開2005-156334号公報 特許第6780769号公報 特開2020-008488号公報
本発明は、上記のような問題点に鑑みてなされたものであり、過去に取得された不良箇所の画像を、良品画像に転写することで、疑似的な不良箇所の画像を効率よく作成し、品質管理に利用可能とする、画像検査方法及び画像検査装置を提供することを最終的な目的とする。
上記の課題を解決するための本発明は、
画像検査装置を用いて検査対象物における良品と不良品の判別を可能とする画像検査方法であって、
前記良品の画像を表示する画像表示ステップと、
前記良品と同種の検査対象物における複数の不良箇所の画像を表示する不良画像表示ステップと、
前記良品の画像における転写先、及び当該転写先に対応して前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記良品の画像における前記転写先に、前記選択ステップにおいて選択された前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、
を有する、画像検査方法である。
本発明によれば、転写ステップにおいて、良品の画像における転写先に不良箇所の画像を転写することで、疑似的な不良箇所の画像を効率よく生成することが可能である。この疑似的な不良箇所の画像は、製造工程における良品と不良品の違いの判別するために用いることが可能であり、これによって、良品と不良品の違いを画像検査装置に登録するティーチングという作業が容易に実行しやすくなる。良品と不良品の違いの判別基準として、この転写画像を提供することもできる。また、転写ステップにおいて転写する不良箇所の画像が多いほど、より多くの疑似的な不良箇所の画像が得られる。
また、本発明においては、前記転写画像を表示する転写画像表示ステップと、前記転写画像における所定の特徴量を計測する計測ステップと、前記計測ステップにおいて得られた計測結果または、前記計測ステップにおいて得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果を表示する計測結果表示ステップと、をさらに有する、画像検査方法としてもよい。これによれば、良品と不良品の違いを視覚的及び数値的に判別することが可能であり、判別基準がより明確になるため、ティーチングがより容易に実行しやすくなる。
また、本発明においては、前記画像表示ステップ及び前記不良画像表示ステップにおいて、前記良品の画像及び前記複数の不良箇所の画像は、それぞれXYZの三方向からの断層画像として表示されることを特徴とする、画像検査方法としてもよい。これによれば、不良品が立体的である場合、当該不良品における不良箇所を死角によって見落とすリスクを防止することができる。
また、本発明においては、前記転写ステップにおいて、前記転写先のサイズと、前記不良箇所の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、画像検査方法としてもよい。これによれば、転写先のサイズによらず転写することが可能である。
また、本発明においては、前記計測結果表示ステップにおいて、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査方法としてもよい。ヒストグラムで表示
されることで、計測値に応じて不良品の頻度が簡単に確認できる。
また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、
前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
前記良品画像における前記接続部のXY方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査方法としてもよい。これによれば、転写先が明確に定まる。
また、本発明においては、前記接続部のZ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、画像検査方法としてもよい。これによれば、良品が立体的である場合にも転写先が明確に定まる。
また、本発明においては、上述の画像検査方法における、複数の不良箇所の画像の管理方法であって、過去の検査で取得された前記複数の不良箇所の画像がデータベース化されており、前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測ステップにおいて計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、不良箇所の画像の管理方法としてもよい。これによれば、不良箇所に係るより詳細な情報を把握することが可能である。この不良箇所に係るより詳細な情報を提供することもできる。
また、本発明においては、
検査対象物における良品と不良品の判別を可能とする画像検査装置であって、
前記良品の画像のデータを蓄積するデータベースと、
前記良品と同種の検査対象物における複数の不良箇所の画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記良品の画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記データベースから取得した前記良品の画像、及び前記不良データベースから取得した前記複数の不良箇所の画像を表示する表示部と、
を備える、画像検査装置としてもよい。
本発明によれば、簡単な装置構成で、良品の画像における転写先に不良箇所の画像を転写することが可能である。これによって、良品と不良品の違いを判別することが可能となり、また、良品と不良品の違いを判別することが可能となることで、ティーチングが容易に実行しやすくなる。
また、本発明においては、前記転写画像における所定の特徴量を計測する計測部、をさらに備え、前記表示部は、前記転写部において得られた前記転写画像、及び前記計測部において得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果をも表示することを特徴とする、画像検査装置としてもよい。これによれば、良品と不良品の違いを視覚的及び数値的に判別することが可能であり、判別基準がより明確になるため、ティーチングがより容易に実行しやすくなる。
また、本発明においては、前記表示部において、前記良品の画像及び前記複数の不良箇所の画像は、それぞれXYZの三方向からの断層画像として表示されることを特徴とする、画像検査装置としてもよい。これによれば、不良品が立体的である場合、当該不良品に
おける不良箇所を死角によって見落とすリスクを防止することができる。表示部は、良品の画像及び複数の不良箇所の画像を、XY方向及びYZ方向及びXZ方向の全ての方向からの断層画像として表示できるため、良品及び不良箇所の全体像が把握しやすい。
また、本発明においては、前記転写部において、前記転写先のサイズと、前記不良箇所の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、画像検査装置としてもよい。これによれば、転写先のサイズによらず転写することが可能である。
また、本発明においては、前記表示部において、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査装置としてもよい。ヒストグラムで表示されることで、計測値に応じて不良品の頻度が簡単に確認できる。また、表示部において転写画像とヒストグラムを同時に表示することができれば、良品と不良品の違いを視覚的及び数値的に判別することがより容易になる。
また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、前記良品画像における前記接続部のXY方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査装置としてもよい。これによれば、転写先が明確に定まる。
また、本発明においては、前記接続部のZ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、画像検査装置としてもよい。これによれば、良品が立体的である場合にも転写先が明確に定まる。
また、本発明においては、前記不良データベースにおいて、過去の検査で取得された前記複数の不良箇所の画像がデータベース化されており、前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測部において計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、画像検査装置としてもよい。これによれば、不良箇所に係るより詳細な情報を把握することができる。
なお、上記の課題を解決するための手段は、可能な限り互いに組み合わせて用いることができる。
本発明によれば、ある部品の不良箇所の画像を、良品画像に転写することで、疑似的な不良箇所の画像を効率よく作成し、品質管理に利用することが可能となる。その結果、疑似的な不良箇所の画像と計測値を生成及び表示し、良品と不良品の違いを視覚的及び数値的に判別することが可能となる。また、充分な不良箇所の画像を確保することができ、ティーチングが容易に実行しやすくなる。
図1は、本発明の実施例に係るX線検査装置の一例を示す機能ブロック図である。 図2は、本発明の実施例に係るX線検査装置を用いた画像検査方法における、複数の不良箇所の画像の管理方法の一例を示す説明図である。 図3Aは、本発明の実施例に係るX線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第1の図である。図3Bは、本発明の実施例に係るX線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第2の図である。 図4Aは、本発明の実施例に係るX線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第3の図である。図4Bは、本発明の実施例に係るX線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第4の図である。 図5は、本発明の実施例に係るX線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第5の図である。 図6は、本発明の実施例に係るX線検査装置を用いた画像検査方法の手順を示すフローチャートである。
〔適用例〕
以下に本発明の適用例の概要について一部の図面を用いて説明する。本発明は図1に示すようなX線検査装置1に適用することができる。また、本発明はX線検査装置1を用いることで、図6のフローチャートに示すような処理に適用することができる。
図1は、本発明が適用可能なX線検査装置1の一例を示す機能ブロック図である。図1に示すように、X線検査装置1は大別して、撮像部10、及び演算部20、及び表示部30を備えて構成される。撮像部10は、ステージ11、及び撮像条件記憶部12、及びX線発生器13、及びX線検出器14を備えて構成される。X線検査装置1による検査の検査対象物(例えば電子部品がはんだ付けされた回路基板等)はステージ11上に置かれ、撮像条件記憶部12にから読み出された撮像条件(例えば撮像距離や輝度等)に基づいて撮像カメラ(図示略)によって撮像される。また、ステージ11上に置かれた検査対象物は、X線発生器13から発生するX線によって、立体構造等が解析される。X線検出器14は、X線発生器13から照射され検査対象物を透過したX線の強度を検出する。
演算部20は、三次元データ作成部21、及びデータベース22、及び不良データベース23、及び転写部24、及び計測部25を備えて構成される。三次元データ作成部21は、撮像カメラによって撮像された検査対象物の画像に基づき、三次元データを作成する。なお、三次元データとは、XYZの三方向から見た際の断層画像のことである。ここで、検査対象物の製造工程において不良が発生する頻度が低いといった理由により、検査対象物から不良品の三次元データを取得することは困難であることが多い。そのため、検査対象物の三次元データは良品のデータとして作成されることが多い。また、作成された三次元データはデータベース22に蓄積される。なお、例えば検査対象物が平面構造体である場合や検査対象物の表面のみのデータを取得したい場合等は、演算部20は三次元データ作成部21ではなく、二次元データを作成する構成を備えていてもよい。不良データベース23は、検査対象物と同じ種類の部品における複数の不良箇所の三次元データを蓄積している。なお、不良データベース23が蓄積しているデータについても、二次元データであってもよい。
表示部30は、三次元データ作成部21が作成した三次元データ(以下、不良箇所の三次元データと明確に区別するため、当該三次元データを「良品の画像」という)、及び不良データベース23が蓄積している不良箇所の三次元データ(以下、「不良箇所の画像」という)を表示する。不良データベース23には、予め過去の検査で取得された不良箇所の画像がデータベース化されている。表示部30において、良品の画像の一部の領域、及び不良箇所の画像を選択することで、転写部24は良品の画像の一部の領域を転写先として、不良箇所の画像を転写する。これによって、良品の画像を更新し、疑似的な不良箇所を含む転写画像を生成する。ここで、転写とは、一般的な画像処理手法(例えば二値化による手法)を組み合わせて、不自然にならないように画像の切り貼りをする処理のことを
意味する(以下の実施例に記載の転写についても同様である)。また、転写先とは、画像の切り貼りをする処理が実行される領域のことを意味する(以下の実施例に記載の転写先についても同様である)。表示部30は、この転写画像を表示し、計測部25は表示された転写画像を計測する。計測が終了すると表示部30は計測結果(図示略)を表示する。この計測結果によって、検査対象物における不良の発生頻度を確認することができる。
なお、上記の演算部20が実行する演算処理と表示部30が表示する内容について、詳細は以下の実施例において、図3A、図3B、図4A、図4B、図5を用いて説明する。
図6は、本発明が適用可能なX線検査装置1を用いた画像検査方法の手順を示すフローチャートである。フローについては、本適用例では概要のみ説明し、詳細は以下の実施例で説明する。
本適用例におけるX線検査装置1を用いた画像検査方法においては、上述の通り、まず三次元データ作成部21が作成した良品の画像を表示部30に表示し、次に不良データベース23から取得した不良箇所の画像も表示部30に表示する。次に表示部30に表示された良品の画像から転写先として任意の点を選択し、また、表示部30に表示された複数の不良箇所の画像の中から一以上の不良箇所の画像を選択する。転写先が定められると、その転写先に選択された不良箇所の画像が転写される。これによって、良品の画像を加工し、疑似的な不良箇所を含む転写画像を生成する。次にこの転写画像は表示部30に表示され、計測部25において所定の特徴量が計測される。最後に計測結果が表示部30に表示される。
以上のように、本適用例におけるX線検査装置1を用いた画像検査方法によれば、検査対象物の製造工程において不良が発生せず、三次元データ作成部21から検査対象物における不良箇所のデータが取得できなかった場合においても、転写部24によって疑似的な不良箇所を含む転写画像を生成することができる。さらに、転写画像を計測部25において計測することで、良品と不良品の違いを視覚的及び数値的に判別することが可能となる。良品と不良品の違いの判別基準として、この転写画像を提供することもできる。
〔実施例〕
以下、本発明の実施例に係るX線検査装置1を用いた画像検査方法について、図面(上記の適用例で一旦説明した図面も含む)を用いてより詳細に説明する。なお、本発明に係るX線検査装置は、以下の構成に限定する趣旨のものではない。また、実施例では、画像検査装置の一例としてX線検査装置1を例示するが、これに限定する趣旨のものではなく、他の種類の装置であってもよい。
<装置構成>
ここで、図1の説明に戻る。本実施例に係るX線検査装置1は、適用例において説明したX線検査装置1と同様の構成を有するため、適用例において説明した内容については、詳細な説明は省略する。また、本明細書では同一の構成要素については同一の符号を用いて説明を行う。
三次元データ作成部21は、過去にデータベース22に蓄積された良品の画像をデータベース22から取得することができる。そのため、ステージ11上に検査対象物が置かれていなくても、転写部24は検査対象物の良品の画像に不良箇所の画像を転写することができる。よって、三次元データ作成部21は、X線検査装置1における撮像機能とは独立した機能として転写画像を生成することができる。また、例えば図2に示す通り、不良データベース23には、予め過去の検査で取得された複数の不良箇所の画像がデータベース化されており、複数の不良箇所の画像のそれぞれに対して、検査対象物の種類、及び不良
の種類、及び不良度合いを表す数値による不良段階が紐付けされている。そして、不良箇所の画像と部品の種類と不良の種類と数値による不良段階の四項目を一つのセットとしてIDが付与されている。表示部30は、当該四項目の情報を表示できるようにしてもよい。また、フィルタ機能やソート機能によって、当該四項目のうちの一項目を検索することが可能である。検査対象物が、例えば電子素子がはんだ付けされた回路基板である場合、不良の種類としては例えば不濡れやボイド等が挙げられる(図2においては、不良箇所の画像として、はんだ付けされた箇所における不良ピン51(詳細は以下で説明する)の画像を例示する)。数値による不良段階は過去に計測部25によって計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値である。不良箇所の画像に係る詳細な情報として、上記四項目が一つのセットとして管理された情報を提供することもできる。図2に示す管理方法は、本発明における不良箇所の画像の管理方法に相当する。
<X線検査装置を用いた画像検査方法>
以下では、図3A、図3B、図4A、図4B、図5に基づいて、本実施例に係るX線検査装置1を用いた画像検査方法において、表示部30が表示する内容の一例の流れを説明する。表示部30が表示する内容は演算部20が実行する演算処理に基づく。また、以下では一例として、検査対象物が、回路基板上の電子素子であるチップ40における複数のピン50であるとする。
図3Aは、三次元データ作成部21がチップ40の良品の画像を作成した際に表示部30が表示する内容の一例である。表示部30は、一のチップ40について、それぞれXY方向(平面視における方向)及びYZ方向(側面視における方向)及びXZ方向(正面視もしくは背面視における方向)から見た際の画像を断層画像として表示する。いずれの方向から見た際の画像であるかを明確にするため、それぞれの画像に「XY」「YZ」「XZ」といった表記が付されるようにしてもよい。また、良品である場合には、XY方向から見た際のピン50は高い真円度を有する円形の形状を有し、YZ方向及びXZ方向から見た際のピン50は楕円の形状を有する。また、表示部30には「転写設定」「転写実行」「計測」といった、演算部20に対するコマンドを示すボタンが表示され、ユーザがこのボタンを押下することで演算部20が演算処理を開始する。
図3Bは、不良データベース23から複数の不良箇所(以下、「不良ピン51」という)の画像を取得した際に表示部30が表示する内容の一例である。複数の不良ピン51の画像は、ユーザが「転写設定」ボタンを押下することでリスト化して表示される。不良ピン51についても、それぞれXY方向、YZ方向、XZ方向から見た際の画像が一つのセットで断層画像として表示される。また、不良ピン51についても、「XY」「YZ」「XZ」といった表記が付されるようにしてもよい。なお、本実施例においては、不良ピン51とは、例えば真円あるいは楕円の形状が崩れたピンのことをいう。
図4Aは、転写先となるチップ40の画像の一部と、転写元となる不良ピン51の画像を選択する際に表示部30が表示する内容の一例である。転写先と転写元を定める際には、図3Aにおいて表示されたチップ40の画像から任意の一点を選択し、図3Bにおいて表示された複数の不良ピン51の画像から一の不良ピン51の画像を選択する。それぞれの選択箇所は、例えば図4Aに示すように黒点等で表示される。また、チップ40の画像から任意の一点を選択した際には、その一点に基づいて転写先が定まる。転写先のピン50について具体的には、XY方向の境界は、二値化によって自動で判定される、または手動で領域設定した上で当該領域内の画像について二値化によって自動で判定される。Z方向の境界は、ピン50の両端であり、ピン50の両端の位置を捉えることによって自動で設定される。Z方向の境界が自動で設定されるように、チップ40の画像は、チップ40やピン50の特徴を捉えて画像処理される。これによって、転写先となるチップ40の画
像の部分と、転写先に対応して転写元となる不良ピン51の画像がそれぞれ定まる。なお、チップ40の画像において、ピン50の画像が複数個含まれるように、領域を選択し、それら複数のピン50のそれぞれに対応して不良ピン51の画像を複数選択してもよい。ここで、転写先は、電子素子と回路基板の接続部としてのピン50に相当する。
図4Bは、チップ40の画像の一部に不良ピン51の画像を転写した際に表示部30が表示する内容の一例である。ユーザが「転写実行」ボタンを押下することで、転写部24は、図4Aにおいて選択した不良ピン51の画像をチップ40の画像の一部に転写する。この転写によって、チップ40におけるピン50は不良ピン51に置き換えられ(以下、この転写によって置き換えられたピン50を「転写ピン52」という)、転写画像が生成される。転写の際には、転写先の画像と転写元の画像のそれぞれのサイズが異なることが多いため、これらのサイズが同じになるように転写元となる不良ピン51の画像のサイズを拡大または縮小することによって調整することができる。なお、図4Aにおいて、例えばXY方向から見た際のチップ40の画像の一部の領域を選択した場合、その領域はXY方向のみならず、YZ方向及びXZ方向にも定められるため、図4Bにおいて、転写画像が生成された際にはXY方向及びYZ方向及びXZ方向の全ての方向において転写ピン52が表示される(すなわち、XY方向から見た際の転写ピン52が表示されると、その転写ピン52に対応してYZ方向及びXZ方向から見た際の転写ピン52も表示される)。転写ピン52は、例えば図4Bに示すように四角で囲って表示される。また、上述の通り、図4Aにおいてチップ40の画像の一部を複数箇所において選択し、それら複数箇所のそれぞれに対応して不良ピン51の画像を複数選択してもよいため、その場合には複数の不良ピン51を転写してより多くの転写ピン52の画像(すなわち不良箇所の画像)を得ることができる。
図5は、転写画像を計測した際に表示部30が表示する内容の一例である。転写画像はピン50と転写ピン52を有し、ユーザが「計測」ボタンを押下することで、計測部25は、転写画像上の全てのピン50と転写ピン52、及び転写画像ではない他のチップ40上の全てのピン50と転写ピン52における所定の特徴量を計測する。計測が実行されると表示部30は計測結果60を表示する。計測結果60は、例えば図5に示すように計測値を横軸、頻度を縦軸とするヒストグラムで表示される。この場合、新たに作成された転写画像における所定の特徴量の計測値と、他のチップ40の画像とから、工程における計測対象物の所定の特徴量の計測値のヒストグラムを表示することもできるし、この時点で表示されている転写画像に係るチップ40における、全てのピン50と転写ピン52の計測値のヒストグラムを表示することもできる。また、所定の特徴量とは、例えばピン50及び転写ピン52の表面における真円度や面積であり、ピン50及び転写ピン52はこの計測値における所定の閾値に基づいて良品と不良品に大別される。
<フローチャート>
ここで、図6の説明に戻る。以下、図6を用いて本実施例に係るX線検査装置1を用いた画像検査方法の手順について詳細に説明する。本フローチャートでは、まず、三次元データ作成部21が、XY方向及びYZ方向及びXZ方向から見た際のチップ40の画像を作成し、表示部30がそのチップ40の画像を断層画像として表示する(S101)。ここで、S101は、本発明における画像表示ステップ、及び本実施例における図3Aに相当する。さらに表示部30は、不良データベース23から取得したXY方向及びYZ方向及びXZ方向から見た際の複数の不良ピン51の画像も、チップ40の画像と並べて表示する(S102)。ここで、S102は、本発明における不良画像表示ステップ、及び本実施例における図3Bに相当する。次に表示部30に表示されたチップ40の画像から任意の点を選択し、当該任意の点に対応して複数の不良ピン51の画像から一以上の不良ピン51の画像を選択する。チップ40の画像から任意の点を選択した際、当該任意の点に基づいてXY方向の境界とZ方向の境界が定められることで転写先が定められる(S10
3)。ここで、S103は、本発明における選択ステップ、及び本実施例における図4Aに相当する。転写先が定められると、その転写先に選択された不良ピン51の画像が転写される。これによって、チップ40の画像が加工され、疑似的な不良箇所としての転写ピン52を含む転写画像が生成される(S104)。ここで、S104は、本発明における転写ステップ、及び本実施例における図4Bに相当する。表示部30は転写画像を表示し(S105)、計測部25は、転写画像及び転写画像ではない他のチップ40上のピン50と転写ピン52の全てに対して、例えばそれらの表面における真円度や面積を計測する(S106)。ここで、S105は、本発明における転写画像表示ステップ、及び本実施例における図5に相当する。また、S106は、本発明における計測ステップ、及び本実施例における図5に相当する。S106における計測結果60は、表示部30に例えばヒストグラムで表示される(S107)。ここで、S107は、本発明における計測結果表示ステップ、及び本実施例における図5に相当する。
<付記1>
画像検査装置(1)を用いて検査対象物(40)における良品(50)と不良品(51、52)の判別を可能とする画像検査方法であって、
前記良品の画像を表示する画像表示ステップ(S101)と、
前記良品と同種の検査対象物における複数の不良箇所(51)の画像を表示する不良画像表示ステップ(S102)と、
前記良品の画像における転写先、及び当該転写先に対応して前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を選択する選択ステップ(S103)と、
前記良品の画像における前記転写先に、前記選択ステップにおいて選択された前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップ(S104)と、
を有する、画像検査方法。
<付記2>
検査対象物(40)における良品(50)と不良品(51、52)の判別を可能とする画像検査装置(1)であって、
前記良品の画像のデータを蓄積するデータベース(22)と、
前記良品と同種の検査対象物における複数の不良箇所(51)の画像のデータを蓄積する不良データベース(23)と、
前記データベースから取得した前記良品の画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部(24)と、
前記データベースから取得した前記良品の画像、及び前記不良データベースから取得した前記複数の不良箇所の画像を表示する表示部(30)と、
を備える、画像検査装置(1)。
1 :X線検査装置
10 :撮像部
11 :ステージ
12 :撮像条件記憶部
13 :X線発生器
14 :X線検出器
20 :演算部
21 :三次元データ作成部
22 :データベース
23 :不良データベース
24 :転写部
25 :計測部
30 :表示部
40 :チップ
50 :ピン
51 :不良ピン
52 :転写ピン
60 :計測結果

Claims (16)

  1. 画像検査装置を用いて検査対象物における良品と不良品の判別を可能とする画像検査方法であって、
    前記良品の画像を表示する画像表示ステップと、
    前記良品と同種の検査対象物における複数の不良箇所の画像を表示する不良画像表示ステップと、
    前記良品の画像における転写先、及び当該転写先に対応して前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
    前記良品の画像における前記転写先に、前記選択ステップにおいて選択された前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、
    を有する、画像検査方法。
  2. 前記転写画像を表示する転写画像表示ステップと、
    前記転写画像における所定の特徴量を計測する計測ステップと、
    前記計測ステップにおいて得られた計測結果または、前記計測ステップにおいて得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果を表示する計測結果表示ステップと、
    をさらに有する、請求項1に記載の画像検査方法。
  3. 前記画像表示ステップ及び前記不良画像表示ステップにおいて、前記良品の画像及び前記複数の不良箇所の画像は、それぞれXYZの三方向からの断層画像として表示されることを特徴とする、請求項1または2に記載の画像検査方法。
  4. 前記転写ステップにおいて、前記転写先のサイズと、前記不良箇所の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、請求項1から3のいずれか一項に記載の画像検査方法。
  5. 前記計測結果表示ステップにおいて、前記計測結果はヒストグラムで表示されることを特徴とする、請求項2から4のいずれか一項に記載の画像検査方法。
  6. 前記検査対象物は、電子素子を搭載した回路基板であり、
    前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
    前記良品画像における前記接続部のXY方向の境界は、二値化によって自動で判定されることを特徴とする、請求項1から5のいずれか一項に記載の画像検査方法。
  7. 前記接続部のZ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、請求項6に記載の画像検査方法。
  8. 請求項2から7のいずれか一項に記載の画像検査方法における、複数の不良箇所の画像の管理方法であって、
    過去の検査で取得された前記複数の不良箇所の画像がデータベース化されており、
    前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測ステップにおいて計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、不良箇所の画像の管理方法。
  9. 検査対象物における良品と不良品の判別を可能とする画像検査装置であって、
    前記良品の画像のデータを蓄積するデータベースと、
    前記良品と同種の検査対象物における複数の不良箇所の画像のデータを蓄積する不良データベースと、
    前記データベースから取得した前記良品の画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
    前記データベースから取得した前記良品の画像、及び前記不良データベースから取得した前記複数の不良箇所の画像を表示する表示部と、
    を備える、画像検査装置。
  10. 前記転写画像における所定の特徴量を計測する計測部、をさらに備え、
    前記表示部は、前記転写部において得られた前記転写画像、及び前記計測部において得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果をも表示することを特徴とする、請求項9に記載の画像検査装置。
  11. 前記表示部において、前記良品の画像及び前記複数の不良箇所の画像は、それぞれXYZの三方向からの断層画像として表示されることを特徴とする、請求項9または10に記載の画像検査装置。
  12. 前記転写部において、前記転写先のサイズと、前記不良箇所の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、請求項9から11のいずれか一項に記載の画像検査装置。
  13. 前記表示部において、前記計測結果はヒストグラムで表示されることを特徴とする、請求項10から12のいずれか一項に記載の画像検査装置。
  14. 前記検査対象物は、電子素子を搭載した回路基板であり、
    前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
    前記良品画像における前記接続部のXY方向の境界は、二値化によって自動で判定されることを特徴とする、請求項9から13のいずれか一項に記載の画像検査装置。
  15. 前記接続部のZ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、請求項14に記載の画像検査装置。
  16. 前記不良データベースにおいて、過去の検査で取得された前記複数の不良箇所の画像がデータベース化されており、
    前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測部において計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、請求項10から15のいずれか一項に記載の画像検査装置。
JP2021161192A 2021-09-30 2021-09-30 画像検査方法、及び画像検査装置 Pending JP2023050857A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021161192A JP2023050857A (ja) 2021-09-30 2021-09-30 画像検査方法、及び画像検査装置
TW111131778A TWI822269B (zh) 2021-09-30 2022-08-24 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置
CN202211016830.4A CN115908238A (zh) 2021-09-30 2022-08-24 图像检查方法、不良部位的图像的管理方法和图像检查装置
DE102022208849.2A DE102022208849A1 (de) 2021-09-30 2022-08-26 Bildprüfverfahren und bildprüfvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021161192A JP2023050857A (ja) 2021-09-30 2021-09-30 画像検査方法、及び画像検査装置

Publications (1)

Publication Number Publication Date
JP2023050857A true JP2023050857A (ja) 2023-04-11

Family

ID=85477226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021161192A Pending JP2023050857A (ja) 2021-09-30 2021-09-30 画像検査方法、及び画像検査装置

Country Status (4)

Country Link
JP (1) JP2023050857A (ja)
CN (1) CN115908238A (ja)
DE (1) DE102022208849A1 (ja)
TW (1) TWI822269B (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456899B1 (en) * 1999-12-07 2002-09-24 Ut-Battelle, Llc Context-based automated defect classification system using multiple morphological masks
JP2005156334A (ja) 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
US9183624B2 (en) * 2013-06-19 2015-11-10 Kla-Tencor Corp. Detecting defects on a wafer with run time use of design data
WO2018173478A1 (ja) 2017-03-23 2018-09-27 日本電気株式会社 学習装置、学習方法および学習プログラム
KR102440695B1 (ko) * 2017-08-11 2022-09-05 삼성전자주식회사 웨이퍼 맵 분석 장치, 이를 이용한 웨이퍼 맵 분석 방법 및 반도체 장치 제조 방법
JP7194348B2 (ja) 2018-07-11 2022-12-22 オムロン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20210033496A (ko) * 2018-08-15 2021-03-26 에이에스엠엘 네델란즈 비.브이. 원시 이미지들로부터 고품질 평균 sem 이미지들의 자동 선택 시 기계 학습 활용

Also Published As

Publication number Publication date
CN115908238A (zh) 2023-04-04
DE102022208849A1 (de) 2023-03-30
TW202316107A (zh) 2023-04-16
TWI822269B (zh) 2023-11-11

Similar Documents

Publication Publication Date Title
CN110579479A (zh) 一种基于假点缺陷检测的pcb检修系统及检修方法
US20080281548A1 (en) Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines
JP5776605B2 (ja) 基板検査結果の分析作業支援用の情報表示システムおよび分析作業の支援方法
JP2009123851A (ja) 欠陥観察分類方法及びその装置
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
JP2006317266A (ja) 検査基準設定装置及び方法、並びに、工程検査装置
KR20130050236A (ko) 검사 결과의 목시 확인 작업의 지원용의 시스템 및 장치 및 방법
JP2008045952A (ja) フィレット検査のための検査基準データの設定方法、およびこの方法を用いた基板外観検査装置
CN106168582B (zh) 检查装置及检查方法
US6987874B2 (en) Method and apparatus for managing surface image of thin film device, and method and apparatus for manufacturing thin film device using the same
JP2011138930A (ja) 電子基板の検査管理方法、検査管理装置および目視検査装置
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
KR20070077103A (ko) 화상 취입 방법 및 검사 방법 및 그 장치
WO2010061771A1 (ja) 観察条件決定支援装置および観察条件決定支援方法
JP2018091771A (ja) 検査方法、事前画像選別装置及び検査システム
JP2018077147A (ja) 検査システム、検査装置の制御方法及びプログラム
JP2023050857A (ja) 画像検査方法、及び画像検査装置
JP2008186879A (ja) 基板検査方法
JP2001183307A (ja) 実装済プリント基板検査装置における判定基準自動調整方法およびその装置
KR101511089B1 (ko) Aoi 장비의 티칭 데이터 자동 생성 방법
JPH11258178A (ja) 検査装置および方法
JP2023051102A (ja) 画像検査方法、及び画像検査装置
JP2023050842A (ja) 画像検査方法、及び画像検査装置
JP2023050937A (ja) 画像検査方法、及び画像検査装置
JP2023050697A (ja) 画像検査方法、及び画像検査装置