JP2023071276A - 検査方法および検査装置 - Google Patents

Abstract

【課題】 検査領域の誤認識を抑制した検査方法および検査装置を提供することにある。【解決手段】 検査方法は、被検査物の検査画像を取得する検査画像取得ステップと、検査画像の特徴に基づいて検査画像を仮の検査領域と仮の非検査領域に分け、仮の検査領域と仮の非検査領域の境界線を第１輪郭として取得する第１輪郭取得ステップと、予め記憶されている基準となる特徴と第１輪郭を比較し、基準となる特徴に対して第１輪郭が所定長さ以上離れている特定部分がある場合は、第１輪郭の特定部分を基準となる特徴で修正して第２輪郭を取得し、第２輪郭に基づいて検査画像を検査領域と非検査領域に分け、検査領域を検査する検査ステップを有する。【選択図】 図１

Description

本発明は、検査方法および検査装置に関する。

特許文献１には、欠陥の見逃し、または、欠陥の誤検出を抑制するために、撮像部によって撮像された素子チップの画像に基づいて、素子チップの周縁領域の外側のエッジおよび有効領域を検出し、検出された周縁領域の外側のエッジと有効領域とに基づいて、素子チップの欠陥を検査するための検査領域を決定し、素子チップの検査領域に対応する画像と、予め記憶されている良品の素子チップの画像とを比較することにより、素子チップの欠陥を検出する欠陥検査装置が開示されてる。

特開２０１７－１６１２３６号公報

しかしながら、特許文献1の欠陥検査装置では、周縁領域の外側のエッジおよび有効領域を誤認識してしまうことについては検討されておらず、周縁領域の外側のエッジと有効領域とに基づいて決定される素子チップの欠陥を検査するための検査領域を誤認識するおそれがあった。
本発明の目的の一つは、検査領域の誤認識を抑制した検査方法および検査装置を提供することにある。

本発明の一実施形態における検査方法は、被検査物の検査画像を取得する検査画像取得ステップと、検査画像の特徴に基づいて検査画像を仮の検査領域と仮の非検査領域に分け、仮の検査領域と仮の非検査領域の境界線を第１輪郭として取得する第１輪郭取得ステップと、予め記憶されている基準となる特徴と第１輪郭を比較し、基準となる特徴に対して第１輪郭が所定長さ以上離れている特定部分がある場合は、第１輪郭の特定部分を基準となる特徴で修正して第２輪郭を取得し、第２輪郭に基づいて検査画像を検査領域と非検査領域に分け、検査領域を検査する検査ステップと、を有する。

よって、本発明にあっては、非検査物個々に正確な検査領域を生成することで検査精度を向上することができる。

実施形態１の検査装置の概略図である。 実施形態１における検査方法の流れを示すフローチャートである。 実施形態１における検査方法の動作を説明するタイムチャートである。 実施形態２における検査方法の流れを示すフローチャートである。 実施形態３における検査方法の動作を説明するタイムチャートである。 実施形態４における第２輪郭取得ステップの動作を説明するタイムチャートである。 実施形態５における検査方法の動作を説明するタイムチャートである。

〔実施形態１〕
図１は、実施形態１の検査装置1の概略図である。
実施形態１の検査装置1は、カメラ（検査画像取得部）２、ロボット３およびコンピュータ４を備える。
カメラ２は、ピストン（被検査物）５の検査用表面の画像を撮像する（検査画像取得ステップ）。
ロボット３は、カメラ２に対するピストン５の姿勢角を変化させる。
コンピュータ４は、例えばパーソナルコンピュータであり、メモリ６およびＣＰＵ７を備える。
ＣＰＵ７は、第１輪郭取得部８と第２輪郭取得部９と検査部１０を備える。
メモリ６には、複数のサンプル画像を用いて機械学習させた学習結果が記憶されている。
機械学習は、例えば、ニューラルネットを用いた学習であって、実施形態１では、ディープラーニングによる学習を採用している。
また、ニューラルネットを多層に結合したディープラーニングによる学習を行うため、ニューラルネットを用いた場合と比較して、検査の判定精度を向上できる。
さらに、メモリ６には、２次元または３次元の設計用のＣＡＤデータ（形状データ、基準となる特徴）、良品ピストンの寸法データ（形状データ、基準となる特徴）、所定の曲率半径（基準となる特徴）、所定の大きさ（基準となる特徴）等のデータが記憶されている。詳細は、後述する。

図２は、実施形態1における検査方法の流れを示すフローチャートである。

ステップＳ１では、カメラ２によりピストン５の検査画像を取得する（検査画像取得ステップ）。
ステップＳ２では、検査画像の模様若しくは画素の輝度変化に基づいて輪郭を抽出し、仮の検査領域Ｔａと仮の非検査領域Ｊａに分ける（第１輪郭取得ステップ）。
ステップＳ３では、仮の検査領域Ｔａと仮の被検査領域Ｊａの境界線を第1輪郭Ｒ１として取得する（第１輪郭取得ステップ）。
ステップＳ４では、メモリ６に予め記憶されている２次元または３次元の設計用の形状データであるＣＡＤデータＤ１（形状データ、基準となる特徴）と第1輪郭Ｒ１を比較し、第２輪郭Ｒ２ａを取得する（第２輪郭取得ステップ）。
このように、２次元または３次元の設計用の形状データであるＣＡＤデータＤ１を使うことにより、簡易に比較することができる。
ステップＳ５では、第２輪郭Ｒ２ａに基づいて検査領域Ｔｒと非検査領域Ｊｒに分ける（第２輪郭取得ステップ）。
ステップＳ６では、修正された第２輪郭Ｒ２ａに基づく検査領域Ｔｒを機械学習のディープラーニングに基づく推論により検査し、欠陥個所を抽出する。（検査ステップ）。

図３は、実施形態１における検査方法の動作を説明するタイムチャートである。

まず、検査画像取得ステップでは、カメラ２によりピストン５の検査画像を取得する。
なお、以下矢視Ａ部の拡大検査画像で説明する。
つぎに、第１輪郭取得ステップでは、検査画像の模様若しくは画素の輝度変化に基づいて輪郭を抽出し、仮の検査領域Ｔａと仮の非検査領域Ｊａに分け、仮の検査領域Ｔａと仮の被検査領域Ｊａの境界線を、破線で示す第1輪郭Ｒ１として取得する。
なお、非検査領域Ｊａと欠陥Ｋの模様若しくは画素の輝度は、類似しているため、欠陥Ｋを含む領域を非検査領域Ｊａとして誤認識している。
このため、第２輪郭取得ステップでは、ＣＡＤデータＤ１と第1輪郭Ｒ１を比較し、ＣＡＤデータＤ１と第1輪郭Ｒ１間の長さが、所定長さａ０以上の箇所を特定部分Ｑ（ａ１＞ａ０）として抽出する。
さらに、特定部分Ｑを除き、第1輪郭Ｒ１を修正して、第２輪郭Ｒ２ａを取得し、第２輪郭Ｒ２ａに基づいて検査画像を検査領域Ｔｒと非検査領域Ｊｒに分ける。
検査ステップでは、修正された第２輪郭Ｒ２ａに基づく検査領域Ｔｒを機械学習のディープラーニングに基づく推論により検査し、欠陥個所を抽出する。
この各ステップを検査対象の個々のピストンに対して実施する。
これにより、仮の検査領域Ｔａと仮の非検査領域Ｊａの誤認識を、２次元または３次元の設計用の形状データであるＣＡＤデータＤ１で修正することで第２輪郭Ｒ２ａを取得し、実際の検査画像に合った正確な検査領域を取得することができるので、検査対象のピストン個々の検査精度を向上することができる。

次に、実施形態１の作用効果を説明する。

（１）検査装置１は、ピストン５の検査画像を取得する検査画像取得ステップと、仮の検査領域Ｔａと仮の非検査領域Ｊａに分け、仮の検査領域Ｔａと仮の非検査領域Ｊａの境界線を第１輪郭Ｒ１として取得する第１輪郭取得ステップと、メモリ６に予め記憶されている２次元または３次元の設計用の形状データであるＣＡＤデータＤ１と第1輪郭Ｒ１を比較し、ＣＡＤデータＤ１と第1輪郭Ｒ１間の長さが、所定長さａ０以上の箇所を特定部分Ｑ（ａ１＞ａ０）として抽出し、特定部分Ｑを除き、第1輪郭Ｒ１を修正して、第２輪郭Ｒ２ａを取得し、第２輪郭Ｒ２ａに基づいて検査画像を検査領域Ｔｒと非検査領域Ｊｒに分ける第２輪郭取得ステップと、修正された第２輪郭Ｒ２ａに基づく検査領域Ｔｒを機械学習のディープラーニングにより検査する検査ステップを有するようにした。
よって、仮の検査領域Ｔａと仮の非検査領域Ｊａの誤認識を、２次元または３次元の設計用の形状データであるＣＡＤデータＤ１で修正することで第２輪郭Ｒ２ａを取得し、機械学習のロジックを変更することなく、実際の検査画像に合った正確な検査領域を取得することができるので、検査対象のピストン個々の検査精度を向上することができる。
また，不正確な検査領域に基き良品部と欠陥部が混在していると機械学習精度向上に時間を要する。本発明であれば、正確な検査領域が得られるため良品部と欠陥部の区別が明確となり機械学習精度向上の時間が短縮できる。

（２）メモリ６に予め記憶されている２次元または３次元の設計用の形状データであるＣＡＤデータＤ１と第1輪郭Ｒ１を比較するようにした。
よって、簡易に比較することができる。

（３）検査画像の模様若しくは画素の輝度変化に基づいて輪郭を抽出し、仮の検査領域Ｔａと仮の非検査領域Ｊａに分けるようにした。
よって、実際の検査画像から仮の検査領域を、簡単に取得することができる。

図４は、実施形態２における検査方法の流れを示すフローチャートである。

実施形態１では、検査画像の模様若しくは画素の輝度変化に基づいて輪郭を抽出し、仮の検査領域Ｔａと仮の非検査領域Ｊａに分けるようにしていたが、実施形態２では、機械学習により取得された特徴量に基づき、仮の検査領域Taと仮の非検査領域Jaに分けるようにした。
これにより、機械学習の特徴量に基づいて得られた仮の検査領域Ｔａと仮の非検査領域Ｊａの誤認識を２次元または３次元の設計用の形状データであるＣＡＤデータＤ１で修正することで、機械学習のロジックを変更することなく、実際の検査画像に合った正確な検査領域を取得することができるので、検査対象のピストン個々の検査精度を向上することができる。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態２では、実施形態１と同様の作用効果を奏する。

図５は、実施形態３における検査方法の動作を説明するタイムチャートである。

実施形態１では、仮の検査領域Ｔａと仮の非検査領域Ｊａの誤認識を、２次元または３次元の設計用の形状データであるＣＡＤデータＤ１で修正することで第２輪郭Ｒ２ａを取得するようにしていたが、実施形態３では、仮の検査領域Ｔａと仮の非検査領域Ｊａの誤認識を、良品ピストンから抽出した実物に近い寸法データ（形状データ、基準となる特徴）Ｄ２で修正することで第２輪郭Ｒ２ｂを取得するようにした。
これにより、検査精度をより向上することができる。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。

図６は、実施形態４における第２輪郭取得ステップの動作を説明するタイムチャートである。

実施形態１では、仮の検査領域Ｔａと仮の非検査領域Ｊａの誤認識を、２次元または３次元の設計用の形状データであるＣＡＤデータＤ１で修正することで第２輪郭Ｒ２ａを取得するようにしていたが、実施形態４では、複数の点ｆを繋いで形成された第１輪郭Ｒ１の所定の曲率半径（基準となる特徴）ｒ０以下の特定部分Ｑの最も曲率半径ｒ１の小さい部分に対応する点ｆを消去し隣接する点ｆを繋ぎ直し、さらに、第１輪郭Ｒ１の所定の曲率半径ｒ０以下の特定部分Ｑの曲率半径ｒ１の小さい部分に対応する点ｆを順次消去し、隣接する点ｆを繋ぎ直すことを繰り返すことで第２輪郭Ｒ２ｃを取得するようにした。
このように、第１輪郭Ｒ１の曲率半径ｒ１が極端に小さい特定部分Ｑは、誤認識である可能性が高いので、精度の高い検査領域Ｔｒとすることができる。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態４では、実施形態１と同様の作用効果を奏する。

図７は、実施形態５における検査方法の動作を説明するタイムチャートである。

実施形態１の検査方法では、第１輪郭取得ステップ、第２輪郭取得ステップ、検査ステップにより構成していたが、実施形態５では、検査画像の特徴に基づいて検査画像を第1輪郭Ｒ１により仮の検査領域Ｔａと仮の非検査領域Ｊａに分ける第１ステップと、仮の検査領域Ｔａの範囲内に仮の非検査領域Ｊａの第１部分Ｑ１が存在する場合、第１部分Ｑ１が、事前に設定され予め記憶されている所定のピクセル（所定の大きさ）、例えば、所定の直径Ｌ１よりも小さいときは、検査画像を２回収縮処理した後、２回拡張処理を行い、第１部分Ｑ１を仮の検査領域Ｊａから削除して第２輪郭Ｒ２ｄを取得し、検査領域Ｔｒと非検査領域Ｊｒを取得する第２ステップと、検査領域Ｔｒを検査する検査ステップから構成するようにした。
これにより、簡易にノイズ除去が可能となり、実際の検査画像に合った正確な検査領域Ｔｒを取得することができるので、検査対象のピストン個々の検査精度を向上することができる。
その他の構成は、実施形態１と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態５では、実施形態１と同様の作用効果を奏する。

〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、ニューラルネットやディープラーニングに限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。さらに、姿勢制御を行わなくてもよい。
さらに、検査ステップは、機械学習ではなく、通常のルールベース（寸法基準）であってもよい。
また、所定のピクセル（所定の大きさ）は、直径に限らず、面積であってもよい。

１ 検査装置、２ カメラ（検査画像取得部）、３ ロボット、４ コンピュータ、５ ピストン（被検査物）、６ メモリ、７ ＣＰＵ、８ 第１輪郭取得部、９ 第２輪郭取得部、１０ 検査部、ａ０ 所定長さ、Ｄ１ 設計用のＣＡＤデータ（形状データ、基準となる特徴）、Ｄ２ 良品ピストンの寸法データ（形状データ、基準となる特徴）、Ｄ３ 所定の曲率半径ｒ０（基準となる特徴）、Ｄ４ 所定の大きさＬ０（基準となる特徴）、ｆ 点、Ｑ 特定部分、Ｑ1 第1部分、Ｒ１ 第１輪郭、Ｒ２a 第２輪郭、Ｒ２ｂ 第２輪郭、Ｒ２ｃ 第２輪郭、Ｒ２ｄ 第２輪郭、Ｔa 仮の検査領域、Ｊa 仮の非検査領域、Ｔｒ 検査領域、Ｊｒ 非検査領域、

Claims (12)

1. 被検査物の検査画像を取得する検査画像取得ステップと、
   前記検査画像の特徴に基づいて前記検査画像を仮の検査領域と仮の非検査領域に分け、前記仮の検査領域と仮の非検査領域の境界線を第１輪郭として取得する第１輪郭取得ステップと、
   予め記憶されている基準となる特徴と前記第１輪郭を比較し、前記基準となる特徴に対して前記第１輪郭が所定長さ以上離れている特定部分がある場合は、前記第１輪郭の前記特定部分を前記基準となる特徴で修正して第２輪郭を取得し、前記第２輪郭に基づいて前記検査画像を検査領域と非検査領域に分け、前記検査領域を検査する検査ステップと、
   を有する、
   ことを特徴とする検査方法。
2. 請求項１に記載の検査方法において、
   前記基準となる特徴は、前記被検査物について予め設定されている形状データである、
   ことを特徴とする検査方法。
3. 請求項２に記載の検査方法において、
   前記形状データは、前記被検査物の３次元データもしくは２次元データである、
   ことを特徴とする検査方法。
4. 請求項２に記載の検査方法において、
   前記形状データは、前記被検査物以外の基準となる被検査物から抽出した寸法データである、
   ことを特徴とする検査方法。
5. 請求項１に記載の検査方法において、
   前記第１輪郭取得ステップは、前記検査画像の模様若しくは画素の輝度変化に基づいて前記検査画像を仮の検査領域と仮の非検査領域に分ける、
   ことを特徴とする検査方法。
6. 請求項５に記載の検査方法において
   前記第１輪郭取得ステップは、事前に機械学習によって取得された特徴量に基づき、前記検査画像を仮の検査領域と仮の非検査領域に分ける、
   ことを特徴とする検査方法。
7. 請求項６に記載の検査方法において
   前記機械学習はディープラーニングである
   ことを特徴とする検査方法。
8. 請求項１に記載の検査方法において、
   前記基準となる特徴は所定の曲率半径であって、前記第１輪郭の曲線の曲率半径が前記所定の曲率半径以下の部分を有する場合に、それを前記特定部分と判断する、
   ことを特徴とする検査方法。
9. 請求項８に記載の検査方法において、
   前記第１輪郭の曲線は複数の点を繋いで形成されており、
   前記検査ステップでは、前記第１輪郭の前記特定部分の最も曲率の小さい部分に対応する点を消去し、隣接する点を繋ぎ直す修正ステップを有し、
   前記修正ステップを繰り返して前記第２輪郭を取得する、
   ことを特徴とする検査方法。
10. 被検査物の検査装置であって、
    前記被検査物の検査画像を取得する検査画像取得部と、
    前記検査画像の特徴に基づいて前記検査画像を仮の検査領域と仮の非検査領域に分け、前記仮の検査領域と仮の非検査領域の境界線を第１輪郭として取得する第１輪郭取得部と、
    予め記憶されている基準となる特徴と前記第１輪郭を比較し、前記基準となる特徴に対して前記第１輪郭が所定以上離れている特定部分がある場合は、前記第１輪郭の前記特定部分を前記基準となる特徴で修正して第２輪郭を取得する第２輪郭取得部と、
    前記第２輪郭に基づいて前記検査画像を検査領域と非検査領域に分け、前記検査領域を検査する検査部と、
    を有する、
    ことを特徴とする検査装置。
11. 被検査物の検査画像を取得する検査画像取得ステップと、
    前記検査画像の特徴に基づいて前記検査画像を仮の検査領域と仮の非検査領域に分ける第１ステップと、
    前記仮の検査領域の範囲内に前記仮の非検査領域の第１部分が存在する場合、前記第１部分が予め記憶されている所定の大きさよりも小さいときは、前記第１部分を前記仮の検査領域から削除して検査領域を取得する第２ステップと、
    検査領域を検査する第３ステップと、
    を有する、
    ことを特徴とする検査方法。
12. 請求項１１に記載の検査方法において、
    前記第２ステップでは、前記検査画像を収縮処理したのち、拡張処理することで前記第１部分を前記仮の検査領域から削除する、
    ことを特徴とする検査方法。

Images