JP2023051102A - 画像検査方法、及び画像検査装置 - Google Patents

Abstract

【課題】過去に取得された不良箇所の画像を、良品画像に転写することで、疑似的な不良箇所の画像を効率よく作成し、さらに疑似的な不良箇所の画像を含めて全ての検査対象物に基づいて閾値を自動で算出することで、当該閾値に基づいて検査対象物の画像を良品と不良品に分別することを可能とする、画像検査装置（例えばＸ線検査装置）を用いた画像検査方法を提供する。【解決手段】画像検査装置を用いた画像検査方法は、過去に良品と判別された画像における転写先に、不良箇所の画像を転写し、転写画像を生成する転写ステップと、転写画像及び他の検査対象物における所定の特徴量を計測する特徴量取得ステップと、特徴量取得ステップにおいて得られた所定の特徴量の計測結果に基づき、閾値を自動で算出する自動算出ステップとを、全てのステップのうちの一部として有する。【選択図】図５

Description

本発明は、検査対象物の画像を検査することで、検査対象物の良不良を決定するための閾値を自動で算出することが可能である画像検査方法、及び画像検査装置に関する。

従来、実際の製造工程では品質管理のために必要な数の不良画像が得られない場合に、良品画像を基に疑似的な不良画像を作成することが知られている。例えば、初期学習時に必要とする不良画像を擬似的に作成する場合に、自動的且つ大量に作成することが可能な疑似不良画像自動作成装置が公知である。当該疑似不良画像自動作成装置は、ニューラルネットワークの学習データとして、良品画像は良品入力部から入力し、学習する。また、不良画像は不良画像入力部から入力し、学習する。さらに、不良画像抽出部で、良品との差分データを抽出し、疑似データ条件設定部では、乱数発生部の乱数値から不良合成位置等の不良作成条件を幾通りも作成し、この不良作成条件に基づいて疑似不良画像作成部が良品画像に差分データを合成することで、幾通りもの疑似不良画像を作成し、ニューラルネットワークの学習データとして入力する（例えば、特許文献１参照）。

また、良品と不良品とを判別するモデルを精度良く学習させることができる学習装置も公知である。当該学習装置は、中間画像生成部と、中間画像表示部と、境界受付部と、教師画像特定部とを備える。中間画像生成部は、良品を表す画像である良品画像と不良品を表す画像である不良品画像とから、複数の中間画像を生成する。中間画像表示部は、良品画像と不良品画像の間に複数の中間画像を配置して表示装置に表示する。境界受付部は、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。教師画像特定部は、指定された境界に基づいて良品画像および不良品画像の画像を特定する（例えば、特許文献２参照）。また、不良品画像から良品画像を容易に生成することのできる画像処理装置も公知である（例えば、特許文献３参照）。

上記特許文献１において開示されているような発明内容によると、良品画像に係るデータと不良画像に係るデータとに基づいて疑似不良画像を作成し、その疑似不良画像をニューラルネットワークの学習データとして入力することで、疑似不良画像自動作成装置の検査装置としての良否判定の精度を高めることができる。しかし、疑似不良画像やその計測値を、過去から蓄積されている不良画像を用いて効率よく作成できるとは言えず、そのため、疑似不良画像やその計測値に基づいて閾値を効率よく算出できるとは言えなかった。

また、上記特許文献２において開示されているような発明内容によると、良品画像と不良品画像とに基づいて複数の中間画像を生成する際に、境界受付部において、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。しかし、中間画像の境界を指定する際に不良品画像が十分に得られなかった場合、良品画像のみに基づいて中間画像の境界を指定しなければならず、経験に頼った指定が必要となる虞がある。この経験に頼った指定は、学習装置による検査品質にばらつきを生じさせる虞があるため、好ましくない。また、過去から蓄積されている不良画像を用いて新たな疑似不良画像を効率よく作成できるとは言えず、そのため、疑似不良画像やその計測値に基づいて閾値を効率よく算出できるとは言えなかった。

特開２００５－１５６３３４号公報 特許第６７８０７６９号公報 特開２０２０－００８４８８号公報

本発明は、上記のような問題点に鑑みてなされたものであり、過去に取得された不良箇所の画像を、良品画像に転写することで、疑似的な不良箇所の画像を効率よく作成し、さらに疑似的な不良箇所の画像を含めた検査対象物に基づいて閾値を自動で算出することで、当該閾値に基づいて検査対象物の画像を良品と不良品に分別し、品質管理に利用可能とする、画像検査方法及び画像検査装置を提供することを最終的な目的とする。

上記の課題を解決するための本発明は、
画像検査装置を用いて検査対象物における良不良の判別を可能とする画像検査方法であって、
過去に良品と判別された画像を表示する画像表示ステップと、
過去に不良品と判別された画像を表示する不良画像表示ステップと、
前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、
前記転写画像及び他の検査対象物における所定の特徴量を取得する特徴量取得ステップと、
前記特徴量取得ステップにおいて得られた前記所定の特徴量の計測結果に基づき、計測後に新たに前記検査対象物を良品と不良品に分別するための閾値を自動で算出する自動算出ステップと、
を有する、画像検査方法である。

本発明によれば、自動算出ステップにおいて、閾値を自動で算出することで、良品と不良品の判別基準が明確になる。これによって、良品と不良品の違いを画像検査装置に登録するティーチング作業が容易になる。また、計測結果に基づいて閾値を自動で算出することによって、閾値の算出精度を上げることができる。ここで、転写ステップにおいて転写する不良箇所の画像が多いほど、より多くの疑似的な不良箇所の画像が得られ、自動的に算出される閾値の精度を向上させることができる。

また、本発明においては、前記転写画像を表示する転写画像表示ステップと、前記特徴量取得ステップにおいて得られた前記所定の特徴量の前記計測結果および／または前記自動算出ステップにおいて得られた前記閾値を表示する結果表示ステップと、をさらに有する、画像検査方法としてもよい。これによれば、結果表示ステップにおいて、閾値が表示されることで、良品と不良品の違いを視覚的及び数値的に判別することが可能となり、判別基準がより明確になるため、ティーチング作業がより容易になる。

また、本発明においては、前記結果表示ステップにおいて、前記計測結果は、前記転写画像における前記所定の特徴量と、前記他の検査対象物における前記所定の特徴量とが区別可能に表示されることを特徴とする、画像検査方法としてもよい。なお、転写画像は言わば意図的に作成した不良画像であり、これによれば、不良を、転写画像に由来する不良と製造工程において実際に発生した不良に区別して管理することができる。

また、本発明においては、前記閾値は、前記良品における前記所定の特徴量の平均値と、前記不良品における前記所定の特徴量の平均値との中間値であることを特徴とする、画
像検査方法としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。

また、本発明においては、前記閾値は、前記過去に不良品と判別された画像及び前記転写画像における前記所定の特徴量の最大値であることを特徴とする、画像検査方法としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。

また、本発明においては、前記結果表示ステップにおいて、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査方法としてもよい。ヒストグラムで表示されることで、計測値に応じて不良品の頻度が簡単に確認できる。計測値の分布も簡単に確認できる。

また、本発明においては、前記画像表示ステップ及び前記不良画像表示ステップにおいて、前記過去に良品と判別された画像及び前記過去に不良品と判別された画像は、それぞれＸＹＺの三方向からの断層画像として表示されることを特徴とする、画像検査方法としてもよい。これによれば、不良品が立体的である場合、当該不良品における不良箇所を死角によって見落とすリスクを防止することができる。

また、本発明においては、前記転写ステップにおいて、前記転写先のサイズと、前記不良箇所の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、画像検査方法としてもよい。これによれば、転写先のサイズと、不良箇所の画像のサイズが異なる場合であっても、不良画像のサイズを調整することで、より自然な転写画像を作成することが可能である。

また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、前記過去に良品と判別された画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、前記過去に良品と判別された画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査方法としてもよい。これによれば、転写前の画像が不鮮明な場合であっても転写先の外郭を自動的に明確化することができ、転写先が明確に定まる。

また、本発明においては、前記接続部のＺ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって手動または自動で設定されることを特徴とする、画像検査方法としてもよい。これによれば、Ｚ方向について、転写前の画像が不鮮明な場合であっても、使用者の感覚によって、転写先を明確に定めることができる。

また、本発明においては、上述の画像検査方法における、複数の不良箇所の画像の管理方法であって、前記不良箇所の画像がデータベース化されており、前記不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記特徴量取得ステップにおいて計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、不良箇所の画像の管理方法としてもよい。これによれば、不良箇所に係るより詳細な情報を把握することが可能である。この不良箇所に係るより詳細な情報を提供することもできる。

また、本発明においては、
検査対象物における良品と不良品の判別を可能とする画像検査装置であって、
過去に良品と判別された画像のデータを蓄積するデータベースと、
過去に不良品と判別された画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記過去に良品と判別された画像における転写先に、当
該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記転写画像及び他の検査対象物における所定の特徴量を計測する計測部と、
前記計測部から取得した前記所定の特徴量の計測結果に基づき、計測後に新たに前記検査対象物を良品と不良品に分別するための閾値を自動で算出する算出部と、
前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部と、
を備える、画像検査装置としてもよい。

本発明によれば、簡単な装置構成で閾値を自動で算出することが可能であり、良品と不良品の判別基準が明確になる。この判別基準は、製造工程における良品と不良品の違いを判別するために用いることが可能であり、これによって、ティーチングが容易に実行しやすくなる。

また、本発明においては、前記表示部は、前記転写部から取得した前記転写画像、及び前記計測部から取得した前記所定の特徴量の前記計測結果および／または前記算出部から取得した前記閾値を表示することを特徴とする、画像検査装置としてもよい。これによれば、表示部が閾値を表示することによって、良品と不良品の違いを視覚的及び数値的に判別することが可能であり、判別基準がより明確になるため、ティーチングがより容易に実行しやすくなる。

また、本発明においては、前記計測結果は、前記転写画像における前記所定の特徴量と、前記他の検査対象物における前記所定の特徴量とが区別可能に表示されることを特徴とする、画像検査装置としてもよい。これによれば、不良を、転写画像に由来する不良と製造工程において実際に発生した不良に区別して管理することができる。

また、本発明においては、前記閾値は、前記良品における前記所定の特徴量の平均値と、前記不良品における前記所定の特徴量の平均値との中間値であることを特徴とする、画像検査装置としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。

また、本発明においては、前記閾値は、前記過去に不良品と判別された画像及び前記転写画像における前記所定の特徴量の最大値であることを特徴とする、画像検査装置としてもよい。これによれば、簡単な方法で迅速に閾値を算出することができる。

また、本発明においては、前記表示部において、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査装置としてもよい。ヒストグラムで表示されることで、計測値に応じて不良品の頻度が簡単に確認できる。計測値の分布も簡単に確認できる。また、表示部において転写画像とヒストグラムを同時に表示することができれば、良品と不良品の違いを視覚的及び数値的に判別することがより容易になる。

また、本発明においては、前記表示部において、前記過去に良品と判別された画像及び前記過去に不良品と判別された画像は、それぞれＸＹＺの三方向からの断層画像として表示されることを特徴とする、画像検査装置としてもよい。これによれば、不良品が立体的である場合、当該不良品における不良箇所を死角によって見落とすリスクを防止することができる。表示部は、良品の画像及び不良品の画像を、ＸＹ方向及びＹＺ方向及びＸＺ方向の全ての方向からの断層画像として表示できるため、良品及び不良箇所の全体像が把握しやすい。

また、本発明においては、前記転写部において、前記転写先のサイズと、前記不良箇所
の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、画像検査装置としてもよい。これによれば、転写先のサイズによらず転写することが可能である。

また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、前記過去に良品と判別された画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、前記過去に良品と判別された画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査装置としてもよい。これによれば、転写先が明確に定まる。

また、本発明においては、前記接続部のＺ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって手動または自動で設定されることを特徴とする、画像検査装置としてもよい。これによれば、良品が立体的である場合にも転写先が明確に定まる。

また、本発明においては、前記不良箇所の画像がデータベース化されており、前記不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測部において計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、画像検査装置としてもよい。これによれば、不良箇所に係るより詳細な情報を把握することができる。

なお、上記の課題を解決するための手段は、可能な限り互いに組み合わせて用いることができる。

本発明によれば、ある部品の不良箇所の画像を、良品画像に転写することで、疑似的な不良箇所の画像を効率よく作成し、さらに疑似的な不良箇所の画像を含む検査対象物の画像に基づいて閾値を自動で算出することで、当該閾値に基づいて検査対象物の画像を良品と不良品に分別し、品質管理に利用することが可能となる。その結果、疑似的な不良箇所の画像と計測値と閾値を生成及び表示し、良品と不良品の違いを視覚的及び数値的に判別することが可能となる。また、充分な不良箇所の画像を確保することができ、ティーチングが容易に実行しやすくなる。

図１は、本発明の実施例に係るＸ線検査装置の一例を示す機能ブロック図である。 図２は、本発明の実施例に係るＸ線検査装置を用いた画像検査方法における、複数の不良箇所の画像の管理方法の一例を示す説明図である。 図３Ａは、本発明の実施例に係るＸ線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第１の図である。図３Ｂは、本発明の実施例に係るＸ線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第２の図である。 図４Ａは、本発明の実施例に係るＸ線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第３の図である。図４Ｂは、本発明の実施例に係るＸ線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第４の図である。 図５は、本発明の実施例に係るＸ線検査装置を用いた画像検査方法において、表示部が表示する内容の一例の流れを説明する第５の図である。 図６は、本発明の実施例に係るＸ線検査装置を用いた画像検査方法の手順を示すフローチャートである。

〔適用例〕
以下に本発明の適用例の概要について一部の図面を用いて説明する。本発明は図１に示すようなＸ線検査装置１に適用することができる。また、本発明はＸ線検査装置１を用いることで、図６のフローチャートに示すような処理に適用することができる。

図１は、本発明が適用可能なＸ線検査装置１の一例を示す機能ブロック図である。図１に示すように、Ｘ線検査装置１は大別して、撮像部１０、及び演算部２０、及び表示部３０を備えて構成される。撮像部１０は、ステージ１１、及び撮像条件記憶部１２、及びＸ線発生器１３、及びＸ線検出器１４を備えて構成される。Ｘ線検査装置１による検査の検査対象物（例えば電子部品がはんだ付けされた回路基板等）はステージ１１上に置かれ、撮像条件記憶部１２にから読み出された撮像条件（例えば撮像距離や輝度等）に基づいて撮像カメラ（図示略）によって撮像される。また、ステージ１１上に置かれた検査対象物は、Ｘ線発生器１３から発生するＸ線によって、立体構造等が解析される。Ｘ線検出器１４は、Ｘ線発生器１３から照射され検査対象物を透過したＸ線の強度を検出する。

演算部２０は、三次元データ作成部２１、及びデータベース２２、及び不良データベース２３、及び転写部２４、及び計測部２５、及び算出部２６を備えて構成される。三次元データ作成部２１は、撮像カメラによって撮像された検査対象物の画像に基づき、三次元データを作成する。なお、三次元データとは、ＸＹＺの三方向から見た際の断層画像のことである。ここで、検査対象物の製造工程において不良が発生する頻度が低いといった理由により、検査対象物から不良品の三次元データを取得することは困難であることが多い。そのため、検査対象物の三次元データは良品のデータとして作成されることが多い。また、作成された三次元データはデータベース２２に蓄積される。なお、例えば検査対象物が平面構造体である場合や検査対象物の表面のみのデータを取得したい場合等は、演算部２０は三次元データ作成部２１ではなく、二次元データを作成する構成を備えていてもよい。不良データベース２３は、検査対象物と同種の部品における複数の不良箇所の三次元データを蓄積している。なお、不良データベース２３が蓄積しているデータについても、二次元データであってもよい。

表示部３０は、三次元データ作成部２１が作成した三次元データ（以下、不良箇所の三次元データと明確に区別するため、当該三次元データを「良品の画像」という）、及び不良データベース２３が蓄積している不良箇所の三次元データ（以下、「不良箇所の画像」という）を表示する。不良データベース２３には、予め過去の検査で取得された不良箇所の画像がデータベース化されている。表示部３０において、良品の画像の一部の領域、及び不良箇所の画像を選択することで、転写部２４は良品の画像の一部の領域を転写先として、不良箇所の画像を転写する。これによって、良品の画像を加工し、疑似的な不良箇所を含む転写画像を生成する。ここで、転写とは、一般的な画像処理手法（例えば二値化による手法）を組み合わせて、不自然にならないように画像の切り貼りをする処理のことを意味する（以下の実施例に記載の転写についても同様である）。また、転写先とは、画像の切り貼りをする処理が実行される領域のことを意味する（以下の実施例に記載の転写先についても同様である）。また、本発明における過去に良品と判別された画像及び過去に不良品と判別された画像については、以下でも単に良品の画像及び不良箇所の画像という。

表示部３０は、この転写画像を表示し、計測部２５は表示された転写画像及び他の検査対象物における所定の特徴量を計測する。計測が終了すると、算出部２６は計測結果（図示略）に基づいて閾値を自動で算出する。自動算出も終了すると、表示部３０は計測結果
及び計測結果に基づく閾値を表示する。この計測結果によって、検査対象物における不良の発生頻度を確認することができる。また、この閾値によって、良品と不良品の判別基準が明確になる。また、良品のみならず適切数の不良品における所定の特徴量を計測した計測結果に基づいて、算出部２６が閾値を自動で算出することによって、閾値の算出精度を上げることができる。

なお、上記の演算部２０が実行する演算処理と表示部３０が表示する内容について、詳細は以下の実施例において、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５を用いて説明する。

図６は、本発明が適用可能なＸ線検査装置１を用いた画像検査方法の手順を示すフローチャートである。フローについては、本適用例では概要のみ説明し、詳細は以下の実施例で説明する。

本適用例におけるＸ線検査装置１を用いた画像検査方法においては、上述の通り、まず三次元データ作成部２１が作成した良品の画像を表示部３０に表示し、次に不良データベース２３から取得した不良箇所の画像も表示部３０に表示する。次に表示部３０に表示された良品の画像から転写先として任意の点を選択し、また、表示部３０に表示された複数の不良箇所の画像の中から一以上の不良箇所の画像を選択する。転写先が定められると、その転写先に選択された不良箇所の画像が転写される。これによって、良品の画像を加工し、疑似的な不良箇所を含む転写画像を生成する。次にこの転写画像は表示部３０に表示され、計測部２５において、この転写画像及び他の検査対象物における所定の特徴量が計測され、さらに算出部２６において、計測結果に基づいて閾値が自動で算出される。最後に計測結果及び計測結果に基づく閾値が表示部３０に表示される。

以上のように、本適用例におけるＸ線検査装置１を用いた画像検査方法によれば、検査対象物の製造工程において不良が発生せず、三次元データ作成部２１から検査対象物における不良箇所のデータが取得できなかった場合においても、転写部２４によって疑似的な不良箇所を含む転写画像を生成することができる。さらに、転写画像を含む検査対象物における所定の特徴量を計測部２５において計測し、算出部２６において計測結果に基づく閾値を自動で算出することで、良品と不良品の違いを視覚的及び数値的に判別することが可能となる。良品と不良品の違いの判別基準として、閾値を含む計測結果を提供することもできる。

〔実施例〕
以下、本発明の実施例に係るＸ線検査装置１を用いた画像検査方法について、図面（上記の適用例で一旦説明した図面も含む）を用いてより詳細に説明する。なお、本発明に係るＸ線検査装置は、以下の構成に限定する趣旨のものではない。また、実施例では、画像検査装置の一例としてＸ線検査装置１を例示するが、これに限定する趣旨のものではなく、他の種類の装置であってもよい。

＜装置構成＞
ここで、図１の説明に戻る。本実施例に係るＸ線検査装置１は、適用例において説明したＸ線検査装置１と同様の構成を有するため、適用例において説明した内容については、詳細な説明は省略する。また、本明細書では同一の構成要素については同一の符号を用いて説明を行う。

三次元データ作成部２１は、過去の検査で取得され、データベース２２に蓄積された良品の画像をデータベース２２から取得することができる。そのため、ステージ１１上に検査対象物が置かれていなくても、転写部２４は検査対象物の良品の画像に不良箇所の画像を転写することができる。よって、三次元データ作成部２１は、Ｘ線検査装置１における
撮像機能とは独立した機能として転写画像を生成することができる。なお、算出部２６が閾値を自動で算出する前の時点では、良品の画像及び不良箇所の画像は、それぞれ厳密には良品の候補の画像及び不良箇所の候補の画像を意味するが、以下でも単に良品の画像及び不良箇所の画像と記載する。

また、例えば図２に示す通り、不良データベース２３には、予め過去の検査で取得された複数の不良箇所の画像がデータベース化されており、複数の不良箇所の画像のそれぞれに対して、検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされている。そして、不良箇所の画像と部品の種類と不良の種類と数値による不良段階の四項目を一つのセットとしてＩＤが付与されている。表示部３０は、当該四項目の情報を表示できるようにしてもよい。また、フィルタ機能やソート機能によって、当該四項目のうちの一項目を検索することが可能である。検査対象物が、例えば電子素子がはんだ付けされた回路基板である場合、不良の種類としては例えば不濡れやボイド等が挙げられる（図２においては、不良箇所の画像として、はんだ付けされた箇所における不良ピン５１（詳細は以下で説明する）の画像を例示する）。数値による不良段階は過去に計測部２５によって計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値である。不良箇所の画像に係る詳細な情報として、上記四項目が一つのセットとして管理された情報を提供することもできる。図２に示す管理方法は、本発明における不良箇所の画像の管理方法に相当する。

＜Ｘ線検査装置を用いた画像検査方法＞
以下では、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５に基づいて、本実施例に係るＸ線検査装置１を用いた画像検査方法において、表示部３０が表示する内容の一例の流れを説明する。表示部３０が表示する内容は演算部２０が実行する演算処理に基づく。また、以下では一例として、検査対象物が、回路基板上の電子素子であるチップ４０における複数のピン５０であるとする。

図３Ａは、三次元データ作成部２１がチップ４０の良品の画像を作成した際に表示部３０が表示する内容の一例である。表示部３０は、一のチップ４０について、それぞれＸＹ方向（平面視における方向）及びＹＺ方向（側面視における方向）及びＸＺ方向（正面視もしくは背面視における方向）から見た際の画像を断層画像として表示する。いずれの方向から見た際の画像であるかを明確にするため、それぞれの画像に「ＸＹ」「ＹＺ」「ＸＺ」といった表記が付されるようにしてもよい。また、良品である場合には、ＸＹ方向から見た際のピン５０は高い真円度を有する円形の形状を有し、ＹＺ方向及びＸＺ方向から見た際のピン５０は楕円の形状を有する。また、表示部３０には「転写設定」「転写実行」「計測」といった、演算部２０に対するコマンドを示すボタンが表示され、ユーザがこのボタンを押下することで演算部２０が演算処理を開始する。

図３Ｂは、不良データベース２３から複数の不良箇所（以下、「不良ピン５１」という）の画像を取得した際に表示部３０が表示する内容の一例である。複数の不良ピン５１の画像は、ユーザが「転写設定」ボタンを押下することでリスト化して表示される。不良ピン５１についても、それぞれＸＹ方向、ＹＺ方向、ＸＺ方向から見た際の画像が一つのセットで断層画像として表示される。また、不良ピン５１についても、「ＸＹ」「ＹＺ」「ＸＺ」といった表記が付されるようにしてもよい。なお、本実施例においては、不良ピン５１とは、例えば真円あるいは楕円の形状が崩れたピンのことをいう。

図４Ａは、転写先となるチップ４０の画像の一部と、転写元となる不良ピン５１の画像を選択する際に表示部３０が表示する内容の一例である。転写先と転写元を定める際には、図３Ａにおいて表示されたチップ４０の画像から任意の一点を選択し、図３Ｂにおいて表示された複数の不良ピン５１の画像から一の不良ピン５１の画像を選択する。それぞれ
の選択箇所は、例えば図４Ａに示すように黒点等で表示される。また、チップ４０の画像から任意の一点を選択した際には、その一点に基づいて転写先が定まる。転写先のピン５０について具体的には、ＸＹ方向の境界は、二値化によって自動で判定される。または手動で領域設定した上で当該領域内の画像について二値化によって自動で判定される。Ｚ方向の境界は、ピン５０の両端であり、ピン５０の両端の位置を捉えることによって手動または自動で設定される。Ｚ方向の境界が自動で設定されるように、チップ４０の画像は、チップ４０やピン５０の特徴を捉えて画像処理される。これによって、転写先となるチップ４０の画像の部分と、転写先に対応して転写元となる不良ピン５１の画像がそれぞれ定まる。なお、チップ４０の画像において、ピン５０の画像が複数個含まれるように、領域を選択し、それら複数のピン５０のそれぞれに対応して不良ピン５１の画像を複数選択してもよい。ここで、転写先は、電子素子と回路基板の接続部としてのピン５０に相当する。

図４Ｂは、チップ４０の画像の一部に不良ピン５１の画像を転写した際に表示部３０が表示する内容の一例である。ユーザが「転写実行」ボタンを押下することで、転写部２４は、図４Ａにおいて選択した不良ピン５１の画像をチップ４０の画像の一部に転写する。この転写によって、チップ４０におけるピン５０は不良ピン５１に置き換えられ（以下、この転写によって置き換えられたピン５０を「転写ピン５２」という）、転写画像が生成される。転写の際には、転写先の画像と転写元の画像のそれぞれのサイズが異なることが多いため、これらのサイズが同じになるように転写元となる不良ピン５１の画像のサイズを拡大または縮小することによって調整することができる。なお、図４Ａにおいて、例えばＸＹ方向から見た際のチップ４０の画像の一部において転写先を選択した場合、その転写先はＸＹ方向のみならず、ＹＺ方向及びＸＺ方向にも定められるため、図４Ｂにおいて、転写画像が生成された際にはＸＹ方向及びＹＺ方向及びＸＺ方向の全ての方向において転写ピン５２が表示される（すなわち、ＸＹ方向から見た際の転写ピン５２が表示されると、その転写ピン５２に対応してＹＺ方向及びＸＺ方向から見た際の転写ピン５２も表示される）。転写ピン５２は、例えば図４Ｂに示すように四角で囲って表示される。また、上述の通り、図４Ａにおけるチップ４０の画像において、ピン５０の画像が複数個含まれるように、領域を選択し、それら複数のピン５０のそれぞれに対応して不良ピン５１の画像を複数選択してもよい。このため、その場合には複数の不良ピン５１を転写してより多くの転写ピン５２の画像（すなわち不良箇所の画像）を得ることができる。

図５は、転写画像及び他のチップ４０における所定の特徴量を計測した際に表示部３０が表示する内容の一例である。転写画像はピン５０と転写ピン５２を有し、ユーザが「計測」ボタンを押下することで、計測部２５は、転写画像上の全てのピン５０と転写ピン５２、及び他のチップ４０上の全てのピン５０と不良ピン５１における所定の特徴量を計測する。計測が実行されると計測結果６０に基づいて閾値が自動で算出され、表示部３０は計測結果６０及び閾値（図５における計測結果６０中に示す点線）を表示する。計測結果６０は、例えば図５に示すように計測値を横軸、頻度を縦軸とするヒストグラムで表示される。また、所定の特徴量とは、例えばピン５０及び不良ピン５１及び転写ピン５２の表面における真円度や面積である。チップ４０はこの計測結果における閾値に基づいて、良品と不良品に分別される。ここで、計測結果６０において不良品は、転写画像と、不良ピン５１を含む他のチップ４０が識別可能であるように表示する（例えば色を変えて表示する等）ことが可能であってもよい。また、画像検査方法として、例えば良品における所定の特徴量の平均値と、不良品における所定の特徴量の平均値との中間値、あるいは過去に不良品と判別された画像及び転写画像における所定の特徴量の最大値を、閾値として算出してもよい。

＜フローチャート＞
ここで、図６の説明に戻る。以下、図６を用いて本実施例に係るＸ線検査装置１を用い
た画像検査方法の手順について詳細に説明する。本フローチャートでは、まず、三次元データ作成部２１が、ＸＹ方向及びＹＺ方向及びＸＺ方向から見た際のチップ４０の画像を作成し、表示部３０がそのチップ４０の画像を断層画像として表示する（Ｓ１０１）。ここで、Ｓ１０１は、本発明における画像表示ステップ、及び本実施例における図３Ａに相当する。さらに表示部３０は、不良データベース２３から取得したＸＹ方向及びＹＺ方向及びＸＺ方向から見た際の複数の不良ピン５１の画像も、チップ４０の画像と並べて表示する（Ｓ１０２）。ここで、Ｓ１０２は、本発明における不良画像表示ステップ、及び本実施例における図３Ｂに相当する。次に表示部３０に表示されたチップ４０の画像から任意の点を選択し、当該任意の点に対応して複数の不良ピン５１の画像から一以上の不良ピン５１の画像を選択する。チップ４０の画像から任意の点を選択した際、当該任意の点に基づいてピン５０におけるＸＹ方向の境界とＺ方向の境界が定められることで転写先が定められる（Ｓ１０３）。ここで、Ｓ１０３は、本発明における選択ステップ、及び本実施例における図４Ａに相当する。転写先が定められると、その転写先に選択された不良ピン５１の画像が転写される。これによって、チップ４０の画像が加工され、疑似的な不良箇所としての転写ピン５２を含む転写画像が生成される（Ｓ１０４）。ここで、Ｓ１０４は、本発明における転写ステップ、及び本実施例における図４Ｂに相当する。表示部３０は転写画像を表示し（Ｓ１０５）、計測部２５は、転写画像上の全てのピン５０と転写ピン５２、及び他のチップ４０上の全てのピン５０と不良ピン５１に対して、例えばそれらの表面における真円度や面積を計測する（Ｓ１０６）。ここで、Ｓ１０５は、本発明における転写画像表示ステップ、及び本実施例における図５に相当する。また、Ｓ１０６は、本発明における特徴量取得ステップ、及び本実施例における図５に相当する。算出部２６は、Ｓ１０６において得られた計測結果６０に基づいて閾値を自動で算出する（Ｓ１０７）。ここで、Ｓ１０７は、本発明における自動算出ステップ、及び本実施例における図５に相当する。計測結果６０は、Ｓ１０７において得られた閾値を含めて、表示部３０に例えばヒストグラムで表示される（Ｓ１０８）。ここで、Ｓ１０８は、本発明における結果表示ステップ、及び本実施例における図５に相当する。

＜付記１＞
画像検査装置（１）を用いて検査対象物（４０）における良不良の判別を可能とする画像検査方法であって、
過去に良品と判別された画像（５０）を表示する画像表示ステップ（Ｓ１０１）と、
過去に不良品と判別された画像（５１）を表示する不良画像表示ステップ（Ｓ１０２）と、
前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップ（Ｓ１０３）と、
前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップ（Ｓ１０４）と、
前記転写画像及び他の検査対象物における所定の特徴量を取得する特徴量取得ステップ（Ｓ１０６）と、
前記特徴量取得ステップにおいて得られた前記所定の特徴量の計測結果（６０）に基づき、計測後に新たに前記検査対象物を良品（５０）と不良品（５１、５２）に分別するための閾値を自動で算出する自動算出ステップ（Ｓ１０７）と、
を有する、画像検査方法。

＜付記２＞
検査対象物（４０）における良不良の判別を可能とする画像検査装置（１）であって、
過去に良品と判別された画像（５０）のデータを蓄積するデータベース（２２）と、
過去に不良品と判別された画像（５１）のデータを蓄積する不良データベース（２３）
と、
前記データベースから取得した前記過去に良品と判別された画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部（２４）と、
前記転写画像及び他の検査対象物における所定の特徴量を計測する計測部（２５）と、
前記計測部から取得した前記所定の特徴量の計測結果（６０）に基づき、計測後に新たに前記検査対象物を良品（５０）と不良品（５１、５２）に分別するための閾値を自動で算出する算出部（２６）と、
前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部（３０）と、
を備える、画像検査装置（１）。

１ ：Ｘ線検査装置
１０ ：撮像部
１１ ：ステージ
１２ ：撮像条件記憶部
１３ ：Ｘ線発生器
１４ ：Ｘ線検出器
２０ ：演算部
２１ ：三次元データ作成部
２２ ：データベース
２３ ：不良データベース
２４ ：転写部
２５ ：計測部
２６ ：算出部
３０ ：表示部
４０ ：チップ
５０ ：ピン
５１ ：不良ピン
５２ ：転写ピン
６０ ：計測結果

Claims (12)

1. 画像検査装置を用いて検査対象物における良不良の判別を可能とする画像検査方法であって、
   過去に良品と判別された画像を表示する画像表示ステップと、
   過去に不良品と判別された画像を表示する不良画像表示ステップと、
   前記過去に良品と判別された画像における転写先、及び当該転写先に対応して前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
   前記過去に良品と判別された画像における前記転写先に、前記選択ステップにおいて選択された前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、
   前記転写画像及び他の検査対象物における所定の特徴量を取得する特徴量取得ステップと、
   前記特徴量取得ステップにおいて得られた前記所定の特徴量の計測結果に基づき、計測後に新たに前記検査対象物を良品と不良品に分別するための閾値を自動で算出する自動算出ステップと、
   を有する、画像検査方法。
2. 前記転写画像を表示する転写画像表示ステップと、
   前記特徴量取得ステップにおいて得られた前記所定の特徴量の前記計測結果および／または前記自動算出ステップにおいて得られた前記閾値を表示する結果表示ステップと、
   をさらに有する、請求項１に記載の画像検査方法。
3. 前記結果表示ステップにおいて、前記計測結果は、前記転写画像における前記所定の特徴量と、前記他の検査対象物における前記所定の特徴量とが区別可能に表示されることを特徴とする、請求項２に記載の画像検査方法。
4. 前記閾値は、前記良品における前記所定の特徴量の平均値と、前記不良品における前記所定の特徴量の平均値との中間値であることを特徴とする、請求項１から３のいずれか一項に記載の画像検査方法。
5. 前記閾値は、前記過去に不良品と判別された画像及び前記転写画像における前記所定の特徴量の最大値であることを特徴とする、請求項１から３のいずれか一項に記載の画像検査方法。
6. 前記結果表示ステップにおいて、前記計測結果はヒストグラムで表示されることを特徴とする、請求項２から５のいずれか一項に記載の画像検査方法。
7. 検査対象物における良不良の判別を可能とする画像検査装置であって、
   過去に良品と判別された画像のデータを蓄積するデータベースと、
   過去に不良品と判別された画像のデータを蓄積する不良データベースと、
   前記データベースから取得した前記過去に良品と判別された画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記過去に不良品と判別された画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
   前記転写画像及び他の検査対象物における所定の特徴量を計測する計測部と、
   前記計測部から取得した前記所定の特徴量の計測結果に基づき、計測後に新たに前記検査対象物を良品と不良品に分別するための閾値を自動で算出する算出部と、
   前記データベースから取得した前記過去に良品と判別された画像、及び前記不良データベースから取得した前記過去に不良品と判別された画像を表示する表示部と、
   を備える、画像検査装置。
8. 前記表示部は、前記転写部から取得した前記転写画像、及び前記計測部から取得した前記所定の特徴量の前記計測結果および／または前記算出部から取得した前記閾値を表示することを特徴とする、請求項７に記載の画像検査装置。
9. 前記計測結果は、前記転写画像における前記所定の特徴量と、前記他の検査対象物における前記所定の特徴量とが区別可能に表示されることを特徴とする、請求項８に記載の画像検査装置。
10. 前記閾値は、前記良品における前記所定の特徴量の平均値と、前記不良品における前記所定の特徴量の平均値との中間値であることを特徴とする、請求項７から９のいずれか一項に記載の画像検査装置。
11. 前記閾値は、前記過去に不良品と判別された画像及び前記転写画像における前記所定の特徴量の最大値であることを特徴とする、請求項７から９のいずれか一項に記載の画像検査装置。
12. 前記表示部において、前記計測結果はヒストグラムで表示されることを特徴とする、請求項７から１１のいずれか一項に記載の画像検査装置。
    

Images