JP2023050937A - 画像検査方法、及び画像検査装置 - Google Patents
画像検査方法、及び画像検査装置 Download PDFInfo
- Publication number
- JP2023050937A JP2023050937A JP2021161315A JP2021161315A JP2023050937A JP 2023050937 A JP2023050937 A JP 2023050937A JP 2021161315 A JP2021161315 A JP 2021161315A JP 2021161315 A JP2021161315 A JP 2021161315A JP 2023050937 A JP2023050937 A JP 2023050937A
- Authority
- JP
- Japan
- Prior art keywords
- image
- defective
- resolution
- transfer
- transfer destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】過去に取得された不良箇所の画像を良品の画像における転写先に転写する際に、転写元の画像の解像度が転写先の解像度と比較して低い場合に、転写元の画像の解像度を高解像度化することで転写元の画像の解像度を転写先の解像度に近づけ、より自然な転写画像を作成することを可能とする、画像検査装置(例えばX線検査装置)を用いた画像検査方法を提供する。
【解決手段】画像検査装置を用いた画像検査方法は、過去に良品と判別された画像における転写先に、過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップを、全てのステップのうちの一部として有し、転写ステップにおいて、不良箇所の画像を転写先に転写する際に、不良箇所の画像の解像度が転写先の解像度と比較して低い場合に不良箇所の画像の解像度を高解像度化することで、不良箇所の画像の解像度を転写先の解像度に近づけることが可能である。
【選択図】図6
【解決手段】画像検査装置を用いた画像検査方法は、過去に良品と判別された画像における転写先に、過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップを、全てのステップのうちの一部として有し、転写ステップにおいて、不良箇所の画像を転写先に転写する際に、不良箇所の画像の解像度が転写先の解像度と比較して低い場合に不良箇所の画像の解像度を高解像度化することで、不良箇所の画像の解像度を転写先の解像度に近づけることが可能である。
【選択図】図6
Description
本発明は、ある部品の不良箇所の画像を他の良品の画像における転写先に転写する際に、不良箇所の画像の解像度を転写先の解像度に近づけ、より自然な転写画像を作成することを特徴とする画像検査方法、及び画像検査装置に関する。
従来、実際の製造工程では品質管理のために必要な数の不良画像が得られない場合に、良品画像を基に疑似的な不良画像を作成することが知られている。例えば、初期学習時に必要とする不良画像を擬似的に作成する場合に、自動的且つ大量に作成することが可能な疑似不良画像自動作成装置が公知である。当該疑似不良画像自動作成装置は、ニューラルネットワークの学習データとして、良品画像は良品入力部から入力し、学習する。また、不良画像は不良画像入力部から入力し、学習する。さらに、不良画像抽出部で、良品との差分データを抽出し、疑似データ条件設定部では、乱数発生部の乱数値から不良合成位置等の不良作成条件を幾通りも作成し、この不良作成条件に基づいて疑似不良画像作成部が良品画像に差分データを合成することで、幾通りもの疑似不良画像を作成し、ニューラルネットワークの学習データとして入力する(例えば、特許文献1参照)。
また、良品と不良品とを判別するモデルを精度良く学習させることができる学習装置も公知である。当該学習装置は、中間画像生成部と、中間画像表示部と、境界受付部と、教師画像特定部とを備える。中間画像生成部は、良品を表す画像である良品画像と不良品を表す画像である不良品画像とから、複数の中間画像を生成する。中間画像表示部は、良品画像と不良品画像の間に複数の中間画像を配置して表示装置に表示する。境界受付部は、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。教師画像特定部は、指定された境界に基づいて良品画像および不良品画像の画像を特定する(例えば、特許文献2参照)。また、不良品画像から良品画像を容易に生成することのできる画像処理装置も公知である(例えば、特許文献3参照)。
上記特許文献1において開示されているような発明内容によると、良品画像に係るデータと不良画像に係るデータとに基づいて疑似不良画像を作成し、その疑似不良画像をニューラルネットワークの学習データとして入力することで、疑似不良画像自動作成装置の検査装置としての良否判定の精度を高めることができる。しかし、疑似不良画像やその計測値を、過去から蓄積されている不良画像を用いて効率よく作成できるとは言えなかった。例えば疑似不良画像を生成した際に、当該疑似不良画像が実際の不良画像と比較して不自然となる虞がある。
また、上記特許文献2において開示されているような発明内容によると、良品画像と不良品画像とに基づいて複数の中間画像を生成する際に、境界受付部において、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。しかし、中間画像の境界を指定する際に不良品画像が十分に得られなかった場合、良品画像のみに基づいて中間画像の境界を指定しなければならず、経験に頼った指定が必要となる虞がある。この経験に頼った指定は、学習装置による検査品質にばらつきを生じさせる虞があるため、好ましくない。また、上記特許文献1と同様に、過去から蓄積されている不良画像を用いて新たな疑似不良画像を効率よく作成できるとは言えなかった。
本発明は、上記のような問題点に鑑みてなされたものであり、過去に取得された不良箇所の画像(転写元の画像)を良品の画像における転写先に転写する際に、転写元の画像の解像度が転写先の解像度と比較して低い場合に、転写元の画像の解像度を高解像度化することで転写元の画像の解像度を転写先の解像度に近づけ、より自然な転写画像を作成することを特徴とする、画像検査方法及び画像検査装置を提供することを最終的な目的とする。
上記の課題を解決するための本発明は、
画像検査装置を用いて検査対象物における良不良の判別を可能とする画像検査方法であって、
過去に良品と判別された画像を表示する画像表示ステップと、
過去に不良品と判別された画像を表示する不良画像表示ステップと、
前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、を有し、
前記転写ステップにおいて、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査方法である。
画像検査装置を用いて検査対象物における良不良の判別を可能とする画像検査方法であって、
過去に良品と判別された画像を表示する画像表示ステップと、
過去に不良品と判別された画像を表示する不良画像表示ステップと、
前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、を有し、
前記転写ステップにおいて、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査方法である。
本発明によれば、転写ステップにおいて、不良箇所の画像の解像度を転写先の解像度に近づけることで、容易により自然な転写画像を作成することが可能となる。この転写画像は、製造工程における良品と不良品の違いを判別するために用いることが可能であり、これによって、良品と不良品の違いを画像検査装置に登録するティーチング作業が容易になる。良品と不良品の違いの判別基準として、この転写画像を提供することもできる。また、転写ステップにおいて転写する不良箇所の画像が多いほど、より多くの疑似的な不良箇所の画像が得られる。
また、本発明においては、前記転写画像を表示する転写画像表示ステップをさらに有する、画像検査方法としてもよい。これによれば、転写画像表示ステップにおいて、転写画像を表示することで、良品と不良品の違いを視覚的に判別することが可能であり、判別基準がより明確になるため、ティーチング作業がより容易になる。
また、本発明においては、前記転写ステップにおいて、低解像度の画像を入力することで高解像度の画像を出力する学習済モデルを用いて、前記不良箇所の画像の解像度を高解像度化することを特徴とする、画像検査方法としてもよい。これによれば、学習済モデルにおけるプログラムを管理するだけで、容易に不良箇所の画像の解像度を高解像度化することができる。学習済モデルは、低解像度の画像と高解像度の画像の関係性を記憶することで、低解像度の画像を容易に高解像度化することが可能である。
また、本発明においては、前記転写ステップにおいて、前記転写先のサイズと同等になるように、前記学習済モデルを用いて前記不良箇所の画像のサイズを拡大することを特徴
とする、画像検査方法としてもよい。これによれば、学習済モデルによって定まるパラメータを読み込むだけで、容易に不良箇所の画像の解像度を高解像度化することができる。
とする、画像検査方法としてもよい。これによれば、学習済モデルによって定まるパラメータを読み込むだけで、容易に不良箇所の画像の解像度を高解像度化することができる。
また、本発明においては、前記転写画像及び他の検査対象物における所定の特徴量を取得する特徴量取得ステップと、前記特徴量取得ステップにおいて得られた前記所定の特徴量の計測結果に基づき、計測後に新たに前記検査対象物を良品と不良品に分別するための閾値を自動で算出する自動算出ステップと、前記特徴量取得ステップにおいて得られた前記所定の特徴量の前記計測結果および/または前記自動算出ステップにおいて得られた前記閾値を表示する計測結果表示ステップと、をさらに有する、画像検査方法としてもよい。これによれば、計測結果表示ステップにおいて、閾値が表示されることで、良品と不良品の違いを視覚的及び数値的に判別することが可能となり、判別基準がさらに明確になるため、ティーチング作業がさらに容易になる。
また、本発明においては、前記結果表示ステップにおいて、前記不良品は、前記転写画像と、前記他の検査対象物のうち不良箇所を含む検査対象物が、さらに識別可能であるように表示されることを特徴とする、画像検査方法としてもよい。なお、転写画像は言わば意図的に作成した不良画像であり、これによれば、不良を、転写画像に由来する不良と製造工程において実際に発生した不良に区別して管理することができる。
また、本発明においては、前記閾値は、前記良品における前記所定の特徴量の平均値と、前記不良品における前記所定の特徴量の平均値との中間値であることを特徴とする、画像検査方法としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。
また、本発明においては、前記閾値は、前記過去に不良品と判別された画像及び前記転写画像における前記所定の特徴量の最大値であることを特徴とする、画像検査方法としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。
また、本発明においては、前記結果表示ステップにおいて、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査方法としてもよい。ヒストグラムで表示されることで、計測値に応じて不良品の頻度が簡単に確認できる。計測値の分布も簡単に確認できる。
また、本発明においては、前記画像表示ステップ及び前記不良画像表示ステップにおいて、前記過去に良品と判別された画像及び前記過去に不良品と判別された画像は、それぞれXYZの三方向からの断層画像として表示されることを特徴とする、画像検査方法としてもよい。これによれば、不良品が立体的である場合、当該不良品における不良箇所を死角によって見落とすリスクを防止することができる。
また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、前記過去に良品と判別された画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、前記過去に良品と判別された画像における前記接続部のXY方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査方法としてもよい。これによれば、転写前の画像が不鮮明な場合であっても転写先の外郭を自動的に明確化することができ、転写先が明確に定まる。
また、本発明においては、前記接続部のZ方向の境界は、手動または自動で設定されることを特徴とする、画像検査方法としてもよい。これによれば、Z方向について、転写前の画像が不鮮明な場合であっても、使用者の感覚によって、転写先を明確に定めることができる。
また、本発明においては、上述の画像検査方法における、複数の不良箇所の画像の管理方法であって、前記不良箇所の画像がデータベース化されており、前記不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記特徴量取得ステップにおいて計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、不良箇所の画像の管理方法としてもよい。これによれば、不良箇所に係るより詳細な情報を把握することが可能である。この不良箇所に係るより詳細な情報を提供することもできる。
また、本発明においては、
検査対象物における良不良の判別を可能とする画像検査装置であって、
過去に良品と判別された画像のデータを蓄積するデータベースと、
過去に不良品と判別された画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記過去に良品と判別された画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部と、
を備え、
前記転写部は、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査装置としてもよい。
検査対象物における良不良の判別を可能とする画像検査装置であって、
過去に良品と判別された画像のデータを蓄積するデータベースと、
過去に不良品と判別された画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記過去に良品と判別された画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部と、
を備え、
前記転写部は、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査装置としてもよい。
本発明によれば、簡単な装置構成で容易により自然な転写画像を作成することが可能であり、良品と不良品の判別基準が明確になる。この判別基準は、製造工程における良品と不良品の違いを判別するために用いることが可能であり、これによって、ティーチング作業が容易になる。
また、本発明においては、前記表示部は、前記転写部から取得した前記転写画像を表示することを特徴とする、画像検査装置としてもよい。これによれば、表示部が転写画像を表示することによって、良品と不良品の違いを視覚的に判別することが可能であり、判別基準がより明確になるため、ティーチング作業がより容易になる。
また、本発明においては、前記転写部は、低解像度の画像を入力することで高解像度の画像を出力する学習済モデルを有し、前記学習済モデルは、前記不良箇所の画像の解像度を高解像度化することを特徴とする、画像検査装置としてもよい。これによれば、学習済モデルにおけるプログラムを管理するだけで、より確実に不良箇所の画像の解像度を高解像度化することができる。
また、本発明においては、前記学習済モデルは、前記転写先のサイズと同等になるように、前記不良箇所の画像のサイズを拡大することを特徴とする、画像検査装置としてもよい。これによれば、不良個所の画像を構成する画素数を増加させることが可能で、より確実に不良箇所の画像の解像度を高解像度化することができる。
また、本発明においては、前記転写画像及び他の検査対象物における所定の特徴量を計測する計測部と、前記計測部から取得した前記所定の特徴量の計測結果に基づき、計測後に新たに前記検査対象物を良品と不良品に分別するための閾値を自動で算出する算出部と、をさらに備え、前記表示部は、前記計測部から取得した前記所定の特徴量の前記計測結
果および/または前記算出部から取得した前記閾値を表示することを特徴とする、画像検査方法としてもよい。これによれば、表示部が閾値を表示することによって、良品と不良品の違いを視覚的及び数値的に判別することが可能となり、判別基準がさらに明確になるため、ティーチング作業がさらに容易になる。
果および/または前記算出部から取得した前記閾値を表示することを特徴とする、画像検査方法としてもよい。これによれば、表示部が閾値を表示することによって、良品と不良品の違いを視覚的及び数値的に判別することが可能となり、判別基準がさらに明確になるため、ティーチング作業がさらに容易になる。
また、本発明においては、前記表示部において、前記不良品は、前記転写画像と前記他の検査対象物のうち不良箇所を含む検査対象物がさらに識別可能であるように表示されることを特徴とする、画像検査装置としてもよい。これによれば、不良を、転写画像に由来する不良と製造工程において実際に発生した不良に区別して管理することができる。
また、本発明においては、前記閾値は、前記良品における前記所定の特徴量の平均値と、前記不良品における前記所定の特徴量の平均値との中間値であることを特徴とする、画像検査装置としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。
また、本発明においては、前記閾値は、前記過去に不良品と判別された画像及び前記転写画像における前記所定の特徴量の最大値であることを特徴とする、画像検査装置としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。
また、本発明においては、前記表示部において、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査装置としてもよい。ヒストグラムで表示されることで、計測値に応じて不良品の頻度が簡単に確認できる。計測値の分布も簡単に確認できる。また、表示部において転写画像とヒストグラムを同時に表示することができれば、良品と不良品の違いを視覚的及び数値的に判別することがより容易になる。
また、本発明においては、前記表示部において、前記過去に良品と判別された画像及び前記過去に不良品と判別された画像は、それぞれXYZの三方向からの断層画像として表示されることを特徴とする、画像検査装置としてもよい。これによれば、不良品が立体的である場合、当該不良品における不良箇所を死角によって見落とすリスクを防止することができる。表示部は、良品の画像及び不良品の画像を、XY方向及びYZ方向及びXZ方向の全ての方向からの断層画像として表示できるため、良品及び不良箇所の全体像が把握しやすい。
また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、前記過去に良品と判別された画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、前記過去に良品と判別された画像における前記接続部のXY方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査装置としてもよい。これによれば、転写前の画像が不鮮明な場合であっても転写先の外郭を自動的に明確化することができ、転写先が明確に定まる。
また、本発明においては、前記接続部のZ方向の境界は、手動または自動で設定されることを特徴とする、画像検査装置としてもよい。これによれば、Z方向について、転写前の画像が不鮮明な場合であっても、使用者の感覚によって、転写先を明確に定めることができる。
また、本発明においては、前記不良箇所の画像がデータベース化されており、前記不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測部において計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、画像検査装置としてもよい。こ
れによれば、不良箇所に係るより詳細な情報を把握することができる。
れによれば、不良箇所に係るより詳細な情報を把握することができる。
なお、上記の課題を解決するための手段は、可能な限り互いに組み合わせて用いることができる。
本発明によれば、過去に取得された不良箇所の画像(転写元の画像)を良品の画像における転写先に転写する際に、転写元の画像の解像度が転写先の解像度と比較して低い場合に転写元の画像の解像度を高解像度化することで転写元の画像の解像度を転写先の解像度に近づけ、より自然な転写画像を作成することが可能となる。その結果、検査対象物において良品と不良品の違いを視覚的に判別し、品質管理に利用することが可能となる。また、この転写画像に基づいてティーチングが容易に実行しやすくなる。
〔適用例〕
以下に本発明の適用例の概要について一部の図面を用いて説明する。本発明は図1に示すようなX線検査装置1に適用することができる。また、本発明はX線検査装置1を用いることで、図7のフローチャートに示すような処理に適用することができる。
以下に本発明の適用例の概要について一部の図面を用いて説明する。本発明は図1に示すようなX線検査装置1に適用することができる。また、本発明はX線検査装置1を用いることで、図7のフローチャートに示すような処理に適用することができる。
図1は、本発明が適用可能なX線検査装置1の一例を示す機能ブロック図である。図1に示すように、X線検査装置1は大別して、撮像部10、及び演算部20、及び表示部30を備えて構成される。撮像部10は、ステージ11、及び撮像条件記憶部12、及びX線発生器13、及びX線検出器14を備えて構成される。X線検査装置1による検査の検査対象物(例えば電子部品がはんだ付けされた回路基板等)はステージ11上に置かれ、撮像条件記憶部12から読み出された撮像条件(例えば撮像距離や輝度等)に基づいて撮像カメラ(図示略)によって撮像される。また、ステージ11上に置かれた検査対象物は、X線発生器13から発生するX線によって、立体構造等が解析される。X線検出器14は、X線発生器13から照射され検査対象物を透過したX線の強度を検出する。
演算部20は、三次元データ作成部21、及びデータベース22、及び不良データベー
ス23、及び転写部24、及び計測部25、及び算出部26を備えて構成される。三次元データ作成部21は、撮像カメラによって撮像された検査対象物の画像に基づき、三次元データを作成する。なお、三次元データとは、XYZの三方向から見た際の断層画像のことである。ここで、検査対象物の製造工程において不良が発生する頻度が低いといった理由により、検査対象物から不良品の三次元データを取得することは困難であることが多い。そのため、検査対象物の三次元データは良品のデータとして作成されることが多い。また、作成された三次元データはデータベース22に蓄積される。なお、例えば検査対象物が平面構造体である場合や検査対象物の表面のみのデータを取得したい場合等は、演算部20は三次元データ作成部21ではなく、二次元データを作成する構成を備えていてもよい。不良データベース23は、検査対象物と同種の部品における複数の不良箇所の三次元データを蓄積している。なお、不良データベース23が蓄積しているデータについても、二次元データであってもよい。
ス23、及び転写部24、及び計測部25、及び算出部26を備えて構成される。三次元データ作成部21は、撮像カメラによって撮像された検査対象物の画像に基づき、三次元データを作成する。なお、三次元データとは、XYZの三方向から見た際の断層画像のことである。ここで、検査対象物の製造工程において不良が発生する頻度が低いといった理由により、検査対象物から不良品の三次元データを取得することは困難であることが多い。そのため、検査対象物の三次元データは良品のデータとして作成されることが多い。また、作成された三次元データはデータベース22に蓄積される。なお、例えば検査対象物が平面構造体である場合や検査対象物の表面のみのデータを取得したい場合等は、演算部20は三次元データ作成部21ではなく、二次元データを作成する構成を備えていてもよい。不良データベース23は、検査対象物と同種の部品における複数の不良箇所の三次元データを蓄積している。なお、不良データベース23が蓄積しているデータについても、二次元データであってもよい。
表示部30は、三次元データ作成部21が作成した三次元データ(以下、不良箇所の三次元データと明確に区別するため、当該三次元データを「良品の画像」という)、及び不良データベース23が蓄積している不良箇所の三次元データ(以下、「不良箇所の画像」という)を表示する。不良データベース23には、予め過去の検査で取得された不良箇所の画像がデータベース化されている。表示部30において、良品の画像の一部の領域、及び不良箇所の画像を選択することで、転写部24は良品の画像の一部の領域を転写先として、不良箇所の画像を転写する。これによって、良品の画像を加工し、疑似的な不良箇所を含む転写画像を生成する。ここで、転写とは、一般的な画像処理手法(例えば二値化による手法)を組み合わせて、不自然にならないように画像の切り貼りをする処理のことを意味する(以下の実施例に記載の転写についても同様である)。また、転写先とは、画像の切り貼りをする処理が実行される領域のことを意味する(以下の実施例に記載の転写先についても同様である)。また、本発明における過去に良品と判別された画像及び過去に不良品と判別された画像については、以下でも単に良品の画像及び不良箇所の画像という。
表示部30は、この転写画像を表示し、計測部25は表示された転写画像及び他の検査対象物における所定の特徴量を計測する。計測が終了すると、算出部26は計測結果(図示略)に基づいて閾値を自動で算出する。自動算出も終了すると、表示部30は計測結果及び計測結果に基づく閾値を表示する。この計測結果によって、検査対象物における不良の発生頻度を確認することができる。また、この閾値によって、良品と不良品の判別基準が明確になる。また、良品のみならず適切数の不良品における所定の特徴量を計測した計測結果に基づいて、算出部26が閾値を自動で算出することによって、閾値の算出精度を上げることができる。
なお、上記の演算部20が実行する演算処理と表示部30が表示する内容について、詳細は以下の実施例において、図3A、図3B、図4A、図4B、図5を用いて説明する。
図7は、本発明が適用可能なX線検査装置1を用いた画像検査方法の手順を示すフローチャートである。フローについては、本適用例では概要のみ説明し、詳細は以下の実施例で説明する。
本適用例におけるX線検査装置1を用いた画像検査方法においては、上述の通り、まず三次元データ作成部21が作成した良品の画像を表示部30に表示し、次に不良データベース23から取得した不良箇所の画像も表示部30に表示する。次に表示部30に表示された良品の画像から転写先として任意の点を選択し、また、表示部30に表示された複数の不良箇所の画像の中から一以上の不良箇所の画像を選択する。転写先が定められると、その転写先に選択された不良箇所の画像が転写される。これによって、良品の画像を加工
し、疑似的な不良箇所を含む転写画像を生成する。次にこの転写画像は表示部30に表示され、計測部25において、この転写画像及び他の検査対象物における所定の特徴量が計測され、さらに算出部26において、計測結果に基づいて閾値が自動で算出される。最後に計測結果及び計測結果に基づく閾値が表示部30に表示される。
し、疑似的な不良箇所を含む転写画像を生成する。次にこの転写画像は表示部30に表示され、計測部25において、この転写画像及び他の検査対象物における所定の特徴量が計測され、さらに算出部26において、計測結果に基づいて閾値が自動で算出される。最後に計測結果及び計測結果に基づく閾値が表示部30に表示される。
以上のように、本適用例におけるX線検査装置1を用いた画像検査方法によれば、検査対象物の製造工程において不良が発生せず、三次元データ作成部21から検査対象物における不良箇所のデータが取得できなかった場合においても、転写部24によって疑似的な不良箇所を含む転写画像を生成することができる。さらに、転写画像を含む検査対象物における所定の特徴量を計測部25において計測し、算出部26において計測結果に基づく閾値を自動で算出することで、良品と不良品の違いを視覚的及び数値的に判別することが可能となる。良品と不良品の違いの判別基準として、閾値を含む計測結果を提供することもできる。
〔実施例〕
以下、本発明の実施例に係るX線検査装置1を用いた画像検査方法について、図面(上記の適用例で一旦説明した図面も含む)を用いてより詳細に説明する。なお、本発明に係るX線検査装置は、以下の構成に限定する趣旨のものではない。また、実施例では、画像検査装置の一例としてX線検査装置1を例示するが、これに限定する趣旨のものではなく、他の種類の装置であってもよい。
以下、本発明の実施例に係るX線検査装置1を用いた画像検査方法について、図面(上記の適用例で一旦説明した図面も含む)を用いてより詳細に説明する。なお、本発明に係るX線検査装置は、以下の構成に限定する趣旨のものではない。また、実施例では、画像検査装置の一例としてX線検査装置1を例示するが、これに限定する趣旨のものではなく、他の種類の装置であってもよい。
<装置構成>
ここで、図1の説明に戻る。本実施例に係るX線検査装置1は、適用例において説明したX線検査装置1と同様の構成を有するため、適用例において説明した内容については、詳細な説明は省略する。また、本明細書では同一の構成要素については同一の符号を用いて説明を行う。
ここで、図1の説明に戻る。本実施例に係るX線検査装置1は、適用例において説明したX線検査装置1と同様の構成を有するため、適用例において説明した内容については、詳細な説明は省略する。また、本明細書では同一の構成要素については同一の符号を用いて説明を行う。
三次元データ作成部21は、過去の検査で取得され、データベース22に蓄積された良品の画像をデータベース22から取得することができる。そのため、ステージ11上に検査対象物が置かれていなくても、転写部24は検査対象物の良品の画像に不良箇所の画像を転写することができる。よって、三次元データ作成部21は、X線検査装置1における撮像機能とは独立した機能として転写画像を生成することができる。なお、算出部26が閾値を自動で算出する前の時点では、良品の画像及び不良箇所の画像は、それぞれ厳密には良品の候補の画像及び不良箇所の候補の画像を意味するが、以下でも単に良品の画像及び不良箇所の画像と記載する。
また、転写部24は、深層学習モデル241を有していてもよい。深層学習モデル241は、大規模なラベル付けされたデータとニューラルネットワークの構造を利用して学習を行うことが可能であり、転写部24は、深層学習モデル241を用いて低解像度の画像を高解像度化した上で、良品の画像の一部の領域を転写先として、不良箇所の画像を転写することが可能であってもよい。本実施例において転写の際に深層学習モデル241を用いる場合の具体例は図6Cに示す。ここで、深層学習モデル241は、本発明における学習済モデルに相当する。
また、例えば図2に示す通り、不良データベース23には、予め過去の検査で取得された複数の不良箇所の画像がデータベース化されており、複数の不良箇所の画像のそれぞれに対して、検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされている。そして、不良箇所の画像と部品の種類と不良の種類と数値による不良段階の四項目を一つのセットとしてIDが付与されている。表示部30は、当該四項目の情報を表示できるようにしてもよい。また、フィルタ機能やソート機能によって、当
該四項目のうちの一項目を検索することが可能である。検査対象物が、例えば電子素子がはんだ付けされた回路基板である場合、不良の種類としては例えば不濡れやボイド等が挙げられる(図2においては、不良箇所の画像として、はんだ付けされた箇所における不良ピン51(詳細は以下で説明する)の画像を例示する)。数値による不良段階は過去に計測部25によって計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値である。不良箇所の画像に係る詳細な情報として、上記四項目が一つのセットとして管理された情報を提供することもできる。図2に示す管理方法は、本発明における不良箇所の画像の管理方法に相当する。
該四項目のうちの一項目を検索することが可能である。検査対象物が、例えば電子素子がはんだ付けされた回路基板である場合、不良の種類としては例えば不濡れやボイド等が挙げられる(図2においては、不良箇所の画像として、はんだ付けされた箇所における不良ピン51(詳細は以下で説明する)の画像を例示する)。数値による不良段階は過去に計測部25によって計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値である。不良箇所の画像に係る詳細な情報として、上記四項目が一つのセットとして管理された情報を提供することもできる。図2に示す管理方法は、本発明における不良箇所の画像の管理方法に相当する。
<X線検査装置を用いた画像検査方法>
以下では、図3A、図3B、図4A、図4B、図5に基づいて、本実施例に係るX線検査装置1を用いた画像検査方法において、表示部30が表示する内容の一例の流れを説明する。表示部30が表示する内容は演算部20が実行する演算処理に基づく。また、以下では一例として、検査対象物が、回路基板上の電子素子であるチップ40における複数のピン50であるとする。
以下では、図3A、図3B、図4A、図4B、図5に基づいて、本実施例に係るX線検査装置1を用いた画像検査方法において、表示部30が表示する内容の一例の流れを説明する。表示部30が表示する内容は演算部20が実行する演算処理に基づく。また、以下では一例として、検査対象物が、回路基板上の電子素子であるチップ40における複数のピン50であるとする。
図3Aは、三次元データ作成部21がチップ40の良品の画像を作成した際に表示部30が表示する内容の一例である。表示部30は、一のチップ40について、それぞれXY方向(平面視における方向)及びYZ方向(側面視における方向)及びXZ方向(正面視もしくは背面視における方向)から見た際の画像を断層画像として表示する。いずれの方向から見た際の画像であるかを明確にするため、それぞれの画像に「XY」「YZ」「XZ」といった表記が付されるようにしてもよい。また、良品である場合には、XY方向から見た際のピン50は高い真円度を有する円形の形状を有し、YZ方向及びXZ方向から見た際のピン50は楕円の形状を有する。また、表示部30には「転写設定」「転写実行」「計測」といった、演算部20に対するコマンドを示すボタンが表示され、ユーザがこのボタンを押下することで演算部20が演算処理を開始する。
図3Bは、不良データベース23から複数の不良箇所(以下、「不良ピン51」という)の画像を取得した際に表示部30が表示する内容の一例である。複数の不良ピン51の画像は、ユーザが「転写設定」ボタンを押下することでリスト化して表示される。不良ピン51についても、それぞれXY方向、YZ方向、XZ方向から見た際の画像が一つのセットで断層画像として表示される。また、不良ピン51についても、「XY」「YZ」「XZ」といった表記が付されるようにしてもよい。なお、本実施例においては、不良ピン51とは、例えば真円あるいは楕円の形状が崩れたピンのことをいう。
図4Aは、転写先となるチップ40の画像の一部と、転写元となる不良ピン51の画像を選択する際に表示部30が表示する内容の一例である。転写先と転写元を定める際には、図3Aにおいて表示されたチップ40の画像から任意の一点を選択し、図3Bにおいて表示された複数の不良ピン51の画像から一の不良ピン51の画像を選択する。それぞれの選択箇所は、例えば図4Aに示すように黒点等で表示される。また、チップ40の画像から任意の一点を選択した際には、その一点に基づいて転写先が定まる。転写先のピン50について具体的には、XY方向の境界は、二値化によって自動で判定される。または手動で領域設定した上で当該領域内の画像について二値化によって自動で判定される。Z方向の境界は、別ファイルに手動で入力した境界情報を読み込むことによって設定される。これによって、転写先となるチップ40の画像の部分と、転写先に対応して転写元となる不良ピン51の画像がそれぞれ定まる。なお、チップ40の画像において、ピン50の画像が複数個含まれるように、領域を選択し、それら複数のピン50のそれぞれに対応して不良ピン51の画像を複数選択してもよい。ここで、転写先は、電子素子と回路基板の接続部としてのピン50に相当する。
図4Bは、チップ40の画像の一部に不良ピン51の画像を転写した際に表示部30が表示する内容の一例である。ユーザが「転写実行」ボタンを押下することで、転写部24は、図4Aにおいて選択した不良ピン51の画像をチップ40の画像の一部に転写する。この転写によって、チップ40におけるピン50は不良ピン51に置き換えられ(以下、この転写によって置き換えられたピン50を「転写ピン52」という)、転写画像が生成される。なお、図4Aにおいて、例えばXY方向から見た際のチップ40の画像の一部において転写先を選択した場合、その転写先はXY方向のみならず、YZ方向及びXZ方向にも定められるため、図4Bにおいて、転写画像が生成された際にはXY方向及びYZ方向及びXZ方向の全ての方向において転写ピン52が表示される(すなわち、XY方向から見た際の転写ピン52が表示されると、その転写ピン52に対応してYZ方向及びXZ方向から見た際の転写ピン52も表示される)。転写ピン52は、例えば図4Bに示すように四角で囲って表示される。また、上述の通り、図4Aにおけるチップ40の画像において、ピン50の画像が複数個含まれるように、領域を選択し、それら複数のピン50のそれぞれに対応して不良ピン51の画像を複数選択してもよいため、その場合には複数の不良ピン51を転写してより多くの転写ピン52の画像(すなわち不良箇所の画像)を得ることができる。なお、図4Bに示す転写の流れについて、詳細は以下の図6A、図6B、図6Cに示す。
図5は、転写画像及び他のチップ40における所定の特徴量を計測した際に表示部30が表示する内容の一例である。転写画像はピン50と転写ピン52を有し、ユーザが「計測」ボタンを押下することで、計測部25は、転写画像上の全てのピン50と転写ピン52、及び他のチップ40上の全てのピン50と不良ピン51における所定の特徴量を計測する。計測が実行されると計測結果60に基づいて閾値が自動で算出され、表示部30は計測結果60及び閾値(図5における計測結果60中に示す点線)を表示する。計測結果60は、例えば図5に示すように計測値を横軸、頻度を縦軸とするヒストグラムで表示される。また、所定の特徴量とは、例えばピン50及び不良ピン51及び転写ピン52の表面における真円度や面積である。チップ40はこの計測結果における閾値に基づいて、良品と不良品に分別される。ここで、計測結果60において不良品は、転写画像と、不良ピン51を含む他のチップ40が識別可能であるように表示する(例えば色を変えて表示する等)ことが可能であってもよい。また、画像検査方法として、例えば良品における所定の特徴量の平均値と、不良品における所定の特徴量の平均値との中間値、あるいは過去に不良品と判別された画像及び転写画像における所定の特徴量の最大値を、閾値として算出してもよい。
図6A、図6B、図6Cは、図4Bに示す転写の流れを詳細に説明する補足図である。なお、図6A、図6B、図6Cは、転写の流れを模式的に示す図であり、実際に表示部30が表示する内容の一例ではない。図6Aに示すように、転写部24は、図4Aにおいて選択した不良ピン51の画像をチップ40の画像における転写先に転写するが、図6Bに示すように、転写ピン52(転写後のため、不良ピン51と区別する)の画像の解像度と転写先の画像の解像度が異なる場合、転写後に不自然な転写画像が生成される。なお、本実施例では、二の画像の解像度が異なるとは、二の画像のサイズが異なることを示す。具体的には、転写ピン52の画像のサイズが転写先の画像のサイズと比較して何倍も小さく、そのため、転写ピン52の画像の解像度が転写先の画像の解像度と比較して何倍も低い。そのため、事前に深層学習モデル241に学習させた上で、図6Cに示すように、転写前に深層学習モデル241が不良ピン51の画像を読み込み、不良ピン51の画像のサイズ(例えば20×20pixelsとする)を拡大することによって転写先の画像のサイズ(例えば60×60pixelsとする)に近づける。事前に学習させる方法として、例えば、解像度の低い複数の20×20pixelsのサイズの画像を深層学習モデル241に読み込ませ、当該20×20pixelsのサイズの画像のそれぞれに対応する、解像度の高い60×60pixelsのサイズの画像との関係性を学習させ、これによっ
て、20×20pixelsのサイズの画像を入力して60×60pixelsのサイズの画像を出力し、且つ、低解像度の画像を高解像度化する方法を学習させる方法を用いる。これによって、不良ピン51の画像と転写先の画像のサイズと解像度が近い値となり、転写後に自然な転写画像(実際に工程内において生じ得る不良を含む画像)が生成される。また、解像度の低い画像を高解像度化する方法について、深層学習モデル241を用いて高解像度化する以外の例として、低解像度の画像における画素数を増加させるとともに、既存の画素に対応する画素の間の画素の輝度を、2つの既存の画素の輝度の平均値にする等の方法で、既存の画素の間の画素を補完する形で高解像度化するようにしてもよい。
て、20×20pixelsのサイズの画像を入力して60×60pixelsのサイズの画像を出力し、且つ、低解像度の画像を高解像度化する方法を学習させる方法を用いる。これによって、不良ピン51の画像と転写先の画像のサイズと解像度が近い値となり、転写後に自然な転写画像(実際に工程内において生じ得る不良を含む画像)が生成される。また、解像度の低い画像を高解像度化する方法について、深層学習モデル241を用いて高解像度化する以外の例として、低解像度の画像における画素数を増加させるとともに、既存の画素に対応する画素の間の画素の輝度を、2つの既存の画素の輝度の平均値にする等の方法で、既存の画素の間の画素を補完する形で高解像度化するようにしてもよい。
<フローチャート>
ここで、図7の説明に戻る。以下、図7を用いて本実施例に係るX線検査装置1を用いた画像検査方法の手順について詳細に説明する。本フローチャートでは、まず、三次元データ作成部21が、XY方向及びYZ方向及びXZ方向から見た際のチップ40の画像を作成し、表示部30がそのチップ40の画像を断層画像として表示する(S101)。ここで、S101は、本発明における画像表示ステップ、及び本実施例における図3Aに相当する。さらに表示部30は、不良データベース23から取得したXY方向及びYZ方向及びXZ方向から見た際の複数の不良ピン51の画像も、チップ40の画像と並べて表示する(S102)。ここで、S102は、本発明における不良画像表示ステップ、及び本実施例における図3Bに相当する。次に表示部30に表示されたチップ40の画像から任意の点を選択し、当該任意の点に対応して複数の不良ピン51の画像から一以上の不良ピン51の画像を選択する。チップ40の画像から任意の点を選択した際、当該任意の点に基づいてピン50におけるXY方向の境界とZ方向の境界が定められることで転写先が定められる(S103)。ここで、S103は、本発明における選択ステップ、及び本実施例における図4Aに相当する。転写先が定められると、その転写先の画像に選択された不良ピン51の画像が転写される。これによって、チップ40の画像が加工され、疑似的な不良箇所としての転写ピン52を含む転写画像が生成される(S104)。上述の通り、転写画像が生成される際には、転写前にS103において選択された不良ピン51の画像の解像度を転写先の解像度に近づける。ここで、S104は、本発明における転写ステップ、及び本実施例における図4Bに相当する。表示部30は転写画像を表示し(S105)、計測部25は、転写画像上の全てのピン50と転写ピン52、及び他のチップ40上の全てのピン50と不良ピン51に対して、例えばそれらの表面における真円度や面積を計測する(S106)。ここで、S105は、本発明における転写画像表示ステップ、及び本実施例における図5に相当する。また、S106も、本実施例における図5に相当する。算出部26は、S106において得られた計測結果60に基づいて閾値を自動で算出する(S107)。ここで、S107も、本実施例における図5に相当する。計測結果60は、S107において得られた閾値を含めて、表示部30に例えばヒストグラムで表示される(S108)。ここで、S108も、本実施例における図5に相当する。
ここで、図7の説明に戻る。以下、図7を用いて本実施例に係るX線検査装置1を用いた画像検査方法の手順について詳細に説明する。本フローチャートでは、まず、三次元データ作成部21が、XY方向及びYZ方向及びXZ方向から見た際のチップ40の画像を作成し、表示部30がそのチップ40の画像を断層画像として表示する(S101)。ここで、S101は、本発明における画像表示ステップ、及び本実施例における図3Aに相当する。さらに表示部30は、不良データベース23から取得したXY方向及びYZ方向及びXZ方向から見た際の複数の不良ピン51の画像も、チップ40の画像と並べて表示する(S102)。ここで、S102は、本発明における不良画像表示ステップ、及び本実施例における図3Bに相当する。次に表示部30に表示されたチップ40の画像から任意の点を選択し、当該任意の点に対応して複数の不良ピン51の画像から一以上の不良ピン51の画像を選択する。チップ40の画像から任意の点を選択した際、当該任意の点に基づいてピン50におけるXY方向の境界とZ方向の境界が定められることで転写先が定められる(S103)。ここで、S103は、本発明における選択ステップ、及び本実施例における図4Aに相当する。転写先が定められると、その転写先の画像に選択された不良ピン51の画像が転写される。これによって、チップ40の画像が加工され、疑似的な不良箇所としての転写ピン52を含む転写画像が生成される(S104)。上述の通り、転写画像が生成される際には、転写前にS103において選択された不良ピン51の画像の解像度を転写先の解像度に近づける。ここで、S104は、本発明における転写ステップ、及び本実施例における図4Bに相当する。表示部30は転写画像を表示し(S105)、計測部25は、転写画像上の全てのピン50と転写ピン52、及び他のチップ40上の全てのピン50と不良ピン51に対して、例えばそれらの表面における真円度や面積を計測する(S106)。ここで、S105は、本発明における転写画像表示ステップ、及び本実施例における図5に相当する。また、S106も、本実施例における図5に相当する。算出部26は、S106において得られた計測結果60に基づいて閾値を自動で算出する(S107)。ここで、S107も、本実施例における図5に相当する。計測結果60は、S107において得られた閾値を含めて、表示部30に例えばヒストグラムで表示される(S108)。ここで、S108も、本実施例における図5に相当する。
<付記1>
画像検査装置(1)を用いて検査対象物(40)における良不良の判別を可能とする画像検査方法であって、
過去に良品と判別された画像(50)を表示する画像表示ステップ(S101)と、
過去に不良品と判別された画像(51)を表示する不良画像表示ステップ(S102)と、
前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップ(S103)と、
前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップ(S104)と、を有し、
前記転写ステップにおいて、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査方法。
画像検査装置(1)を用いて検査対象物(40)における良不良の判別を可能とする画像検査方法であって、
過去に良品と判別された画像(50)を表示する画像表示ステップ(S101)と、
過去に不良品と判別された画像(51)を表示する不良画像表示ステップ(S102)と、
前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップ(S103)と、
前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップ(S104)と、を有し、
前記転写ステップにおいて、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査方法。
<付記2>
検査対象物(40)における良不良の判別を可能とする画像検査装置(1)であって、
過去に良品と判別された画像(50)のデータを蓄積するデータベース(22)と、
過去に不良品と判別された画像(51)のデータを蓄積する不良データベース(23)と、
前記データベースから取得した前記過去に良品と判別された画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部(24)と、
前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部(30)と、
を備え、
前記転写部は、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査装置(1)。
検査対象物(40)における良不良の判別を可能とする画像検査装置(1)であって、
過去に良品と判別された画像(50)のデータを蓄積するデータベース(22)と、
過去に不良品と判別された画像(51)のデータを蓄積する不良データベース(23)と、
前記データベースから取得した前記過去に良品と判別された画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部(24)と、
前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部(30)と、
を備え、
前記転写部は、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査装置(1)。
1 :X線検査装置
10 :撮像部
11 :ステージ
12 :撮像条件記憶部
13 :X線発生器
14 :X線検出器
20 :演算部
21 :三次元データ作成部
22 :データベース
23 :不良データベース
24 :転写部
241 :深層学習モデル
25 :計測部
26 :算出部
30 :表示部
40 :チップ
50 :ピン
51 :不良ピン
52 :転写ピン
60 :計測結果
10 :撮像部
11 :ステージ
12 :撮像条件記憶部
13 :X線発生器
14 :X線検出器
20 :演算部
21 :三次元データ作成部
22 :データベース
23 :不良データベース
24 :転写部
241 :深層学習モデル
25 :計測部
26 :算出部
30 :表示部
40 :チップ
50 :ピン
51 :不良ピン
52 :転写ピン
60 :計測結果
Claims (8)
- 画像検査装置を用いて検査対象物における良不良の判別を可能とする画像検査方法であって、
過去に良品と判別された画像を表示する画像表示ステップと、
過去に不良品と判別された画像を表示する不良画像表示ステップと、
前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、を有し、
前記転写ステップにおいて、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査方法。 - 前記転写画像を表示する転写画像表示ステップをさらに有する、請求項1に記載の画像検査方法。
- 前記転写ステップにおいて、低解像度の画像を入力することで高解像度の画像を出力する機能を学習させた学習済モデルを用いて、前記不良箇所の画像の解像度を高解像度化することを特徴とする、請求項1または2に記載の画像検査方法。
- 前記転写ステップにおいて、前記転写先のサイズと同等になるように、前記学習済モデルを用いて前記不良箇所の画像のサイズを拡大することを特徴とする、請求項3に記載の画像検査方法。
- 検査対象物における良不良の判別を可能とする画像検査装置であって、
過去に良品と判別された画像のデータを蓄積するデータベースと、
過去に不良品と判別された画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記過去に良品と判別された画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部と、
を備え、
前記転写部は、前記不良箇所の画像を前記転写先に転写する際に、前記不良箇所の画像の解像度が前記転写先の解像度と比較して低い場合に前記不良箇所の画像の解像度を高解像度化することで、前記不良箇所の画像の解像度を前記転写先の解像度に近づけることを特徴とする、画像検査装置。 - 前記表示部は、前記転写部から取得した前記転写画像を表示することを特徴とする、請求項5に記載の画像検査装置。
- 前記転写部は、低解像度の画像を入力することで高解像度の画像を出力する機能を学習させた学習済モデルを有し、
前記学習済モデルは、前記不良箇所の画像の解像度を高解像度化することを特徴とする、請求項5または6に記載の画像検査装置。 - 前記学習済モデルは、前記転写先のサイズと同等になるように、前記不良箇所の画像の
サイズを拡大することを特徴とする、請求項5から7のいずれか一項に記載の画像検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021161315A JP2023050937A (ja) | 2021-09-30 | 2021-09-30 | 画像検査方法、及び画像検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021161315A JP2023050937A (ja) | 2021-09-30 | 2021-09-30 | 画像検査方法、及び画像検査装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023050937A true JP2023050937A (ja) | 2023-04-11 |
Family
ID=85806058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021161315A Pending JP2023050937A (ja) | 2021-09-30 | 2021-09-30 | 画像検査方法、及び画像検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023050937A (ja) |
-
2021
- 2021-09-30 JP JP2021161315A patent/JP2023050937A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8660336B2 (en) | Defect inspection system | |
CN110402487B (zh) | 对从晶片检测的缺陷进行分类的方法和装置 | |
US6799130B2 (en) | Inspection method and its apparatus, inspection system | |
US7352890B2 (en) | Method for analyzing circuit pattern defects and a system thereof | |
US20080281548A1 (en) | Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines | |
JP2019114116A (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
JP5776605B2 (ja) | 基板検査結果の分析作業支援用の情報表示システムおよび分析作業の支援方法 | |
US20060093082A1 (en) | Method of inspection for inner defects of an object and apparatus for same | |
JP2019087044A (ja) | 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
JP2006317266A (ja) | 検査基準設定装置及び方法、並びに、工程検査装置 | |
CN114549512A (zh) | 一种电路板缺陷检测方法、装置、设备及介质 | |
JP7214432B2 (ja) | 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 | |
JP5323457B2 (ja) | 観察条件決定支援装置および観察条件決定支援方法 | |
JP2023050937A (ja) | 画像検査方法、及び画像検査装置 | |
JP2018091771A (ja) | 検査方法、事前画像選別装置及び検査システム | |
JP2023050842A (ja) | 画像検査方法、及び画像検査装置 | |
JP2023051102A (ja) | 画像検査方法、及び画像検査装置 | |
TWI822269B (zh) | 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置 | |
JP2023050697A (ja) | 画像検査方法、及び画像検査装置 | |
Nahar et al. | Computer aided system for inspection of assembled PCB | |
JP2011232302A (ja) | 画像検査方法及び画像検査装置 | |
WO2024116675A1 (ja) | 画像処理装置および画像処理方法 | |
JP2002031605A (ja) | 欠陥確認装置および自動外観検査装置 | |
JP7462377B1 (ja) | 方法、プログラム、情報処理装置、及び学習済みモデル | |
JP6652593B2 (ja) | 検査装置、検査方法、及び検査プログラム |