JP2009236593A

JP2009236593A - 外観検査支援装置

Info

Publication number: JP2009236593A
Application number: JP2008081118A
Authority: JP
Inventors: Yasushi Miyamoto; 康司宮本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-03-26
Filing date: 2008-03-26
Publication date: 2009-10-15

Abstract

【課題】半導体表面の検査では、損傷の形状が類似していても異なる輝度での微小な明暗を識別する必要があり、従来の２値化処理を伴う画像の判定方法では同一形状でも輝度の異なる損傷は識別できないという問題があった。
【解決手段】輝度情報を含んだ検査画像に対してニューラルネットワーク演算による既知の損傷パターン照会を行ない、さらに回転角ごとに検査画像を変換して損傷パターン照会を行なった出力結果を、目視検査における検査員への支援情報として提供する。
【選択図】図１

Description

この発明は、検査員の目視により半導体表面の損傷検出を行なう外観検査について、検査員による損傷部の識別を支援する、外観検査支援装置に関する。

多品種少量生産の製品における半導体表面の外観検査では、半導体をカメラで撮影し、カメラの撮影画像について、輝度画像の明暗の均一性を検査員が目視判定することで損傷を検出している。この種のカメラ画像を用いた傷検査装置において、損傷を識別する際、輝度画像の２値化処理を行なった上で、ニューラルネットワーク演算を利用して傷判断を行なうための特徴量算出を行なう技術が知られている（例えば、特許文献１参照）。

特開平６−２３５６２５号公報

カメラによる半導体の撮影画像を用いて目視検査する場合、未経験の検査員が熟練検査員と同等の評価を実施するには、長期間の訓練を要するという問題があった。

また、特許文献１に記載する従来の傷検査装置においては、ニューラルネットワーク演算を行なう際、回転したパターンの認識率が低く、傷の発生方向によっては傷の認識率に差異が生じるという問題があった。

さらに、半導体表面の傷検査では、損傷の形状が類似していても、例えば深い傷と浅い傷の画像のように、輝度の異なる画像についての微小な明暗差を識別する必要がある。特許文献１に記載するような、画像の２値化処理を伴う従来の傷判定方法では、同一形状でも輝度の異なる損傷は識別できないという問題があった。

この発明は、係る課題を解決するためになされたものであり、輝度情報を含んだ傷検査画像に対して、ニューラルネットワーク演算による傷判定情報を、目視検査を行なう検査員へ提供する外観検査支援装置を得ることを目的とする。

この発明による外観検査支援装置は、検査対象を撮像する撮像装置と、上記撮像装置の撮影画像を、輝度情報を含む量子化画像に量子化する量子化演算装置と、上記量子化演算装置により量子化された量子化画像を回転変換し、回転変換後の量子化画像に基づいて、画像の回転角毎にニューラルネットワーク演算により類似損傷パターンと一致率の算出を行なうニューラルネットワーク演算部と、上記ニューラルネットワーク演算部により得られた回転角毎の類似損傷パターンと一致率と所見を表示する表示装置と、上記量子化画像の回転角毎に、検査員の判定と所見を入力して保存する操作入力装置と、上記操作入力装置により入力された回転角毎の検査員の判定と所見結果および量子化画像に基づいて、ニューラルネットワーク演算部に対し損傷パターンの学習を行なう学習部とを備えたものである。

この発明によれば、輝度の異なる損傷について傷検査画像を回転変換し、回転角毎に、検査員が損傷候補を判定識別するための支援情報を提供することができるので、未習熟な検査員であっても、熟練検査員と同等レベルの検査を行なうことが可能となる。

実施の形態１．
図１はこの発明の実施の形態１による外観検査支援装置の構成を示すものである。
図において、外観検査支援装置は、検査対象１を撮像する撮像装置３と、検査対象１を移動させるＸＹステージ２と、撮像装置３の撮影画像（検査画像）を量子化する量子化演算装置４と、装置全体の制御を行なう制御装置５と、記憶装置６と、表示装置７と、操作入力装置８と、照明装置９を備える。

ＸＹステージ２は、検査対象１を載置する検査台と、検査台を水平面（ＸＹ面）内で移動させる可動ステージとから成る。検査対象１はＸＹステージ２の検査台における所定位置に設置され、正確に位置決めされる。撮像装置３は、ＸＹステージ２の検査台の可動範囲内で、撮影視野が下方を向くように、検査台の上方に設置される。ＸＹステージ２は、撮像装置３の撮影範囲内における所定位置に、検査対象１を移動する。これにより、撮像装置３における検査対象１の撮像領域が特定される。撮像装置３によるＸＹステージ２上の撮影範囲内は、照明装置９により照明が当てられる。撮像装置３は、照明装置９の照明による検査対象１からの反射光を受光し、検査対象１の画像を検出する。

量子化演算装置４は、撮像装置３で検出された検査画像を量子化し、輝度を有する量子化画像信号として出力する。記憶装置６は、既知の損傷パターンと、既知の損傷パターンにより得られたニューラルネットワーク演算にて用いられる結合荷重値が保存されている。制御装置５は撮像装置３の撮像制御や、ＸＹステージ２の駆動制御を行なう。また、制御装置５には、量子化演算装置４により量子化された量子化画像信号に基づいて、ニューラルネットワーク演算処理を行なうニューラルネットワーク演算部１０が設けられる。ニューラルネットワーク演算部１０は、記憶装置６に保存されている結合荷重を用いてニューラルネットワーク演算を行い、既知の損傷パターンの照会を行なう。また、制御装置５には、ニューラルネットワーク演算における損傷パターンについての学習を行なう学習部１１が設けられる。操作入力装置８はキーボードやマウスなどから構成され、検査員の入力情報を検査制御装置５に入力する。表示装置７は検査制御装置５から出力される出力画像をディスプレイ画面に表示する。

図２は実施の形態１における外観検査支援装置の動作を示す図である。
図２において、制御装置５を起動し検査が開始すると、制御装置５はＸＹステージ２の可動ステージを駆動させる。ＸＹステージ２は所定位置まで検査対象１を移動させる（ステップＳ３００）。
次に、制御装置５は、撮像装置３による撮影を開始し、検査対象範囲の画像を検出する（ステップＳ３０１）。
次に、量子化演算装置４は、撮像装置３で検出された検査画像を量子化する（ステップＳ３０２）。

次に、ニューラルネットワーク演算部１０は、類似損傷パターンの照会処理（ステップＳ１００）を行なう。
ここで、ステップＳ１００では、次のステップＳ３０３〜ステップＳ３０６に示す処理が行なわれる。

まず、量子化演算装置４からの量子化画像に基づいて、ニューラルネットワーク演算により、類似損傷パターンを算出する（ステップＳ３０３）。
また、ニューラルネットワーク演算により量子化画像との一致率を算出し、類似損傷パターンに対応した所見情報を出力する（ステップＳ３０４）。
ステップＳ３０３にて算出した類似損傷パターンは画像化され、表示装置７を介してディスプレイ画像に表示される。また、ステップＳ３０３にて算出した一致率についても、表示装置７を介してディスプレイ画像に表示される。
検査員は、この表示装置７の表示画像を見て、類似損傷パターンと検査画像とを見比べて、類似損傷パターンについての所見を得ることができる。また、この所見は、操作入力装置８を介してニューラルネットワーク演算部１０に入力することができる。所見としては、例えば類似損傷パターンが検査画像と類似していないと判断される場合に、ＮＧとなる。また、類似損傷パターンが検査画像と類似していると判断される場合に、ＯＫとなる（ステップＳ３０５）。
次に、量子化演算装置４からの量子化画像を、所定角度回転させる量子化画像の回転変換を行なう（ステップＳ３０６）。
この回転変換を行なった後に、類似損傷パターンの照会処理Ｓ１００における、Ｓ３０３〜Ｓ３０５の処理を繰り返し行なう。かくして、この所定回転角度毎の回転変換を１回転（３６０度）分繰り返す。

図３は、ニューラルネットワーク演算による類似損傷パターン照会処理動作を説明する図である。
図に示すように、まず画像回転角度０度の状態で、ニューラルネットワーク演算を実施し、角度０度の類似度損傷パターン４０１を出力する。
次に、画像を９０度回転変換し、画像回転角度９０度の状態で、ニューラルネットワーク演算を実施し、角度９０度の類似度損傷パターン４０２を出力する。
次に、画像を１８０度回転変換し、画像回転角度１８０度の状態で、ニューラルネットワーク演算を実施し、角度１８０度の類似度損傷パターン４０３を出力する。
さらに、画像を２７０度回転変換し、画像回転角度２７０度の状態で、ニューラルネットワーク演算を実施し、角度２７０度の類似度損傷パターン４０４を出力し、一連の回転変換処理を完了する。

このようにして、ステップＳ１００の処理が完了すると、判定支援情報の表示処理が行なわれる（ステップＳ３０７）。
この判定支援情報の表示処理では、回転変換後の角度毎に、ステップＳ１００により取得した類似損傷パターンと一致率および所見について、判定支援情報として表示装置７のディスプレイ画像に表示が行なわれる。

次に、判定入力処理（ステップＳ３０８）を行ない、その結果について良否判定が行なわれる（ステップＳ３０９）。
ここで、判定入力処理Ｓ３０８にて、検査対象の量子化画像について検査員が不良と判定入力した場合、学習部１１において損傷パターンの学習処理（ステップＳ２００）が行なわれる。

損傷パターンの学習処理Ｓ２００においては、まず回転角入力処理（ステップＳ３１２）が行なわれ、量子化画像内の損傷形状について角度を明示して、表示装置７のディスプレイ画像に表示が行なわれる。
次に、量子化画像の回転変換処理（ステップＳ３１３）を行なった後、学習部１１は変換後の画像を用いて、回転角毎の量子化画像による教師あり学習処理（ステップＳ３１４）が行なわれる。
この際、変換後の画像を用いて、全ての回転角について順次、量子化画像を用いた検査員による所見入力処理（ステップＳ３１５）が行なわれる。この所見入力結果に基づいて、ニューラルネットワーク演算にて用いられる結合荷重値が更新される。
かくして、回転角毎に入力された所見は所見保存処理（ステップＳ３１６）にて記憶装置６に保存され、検査が終了する。

一方、判定入力処理Ｓ３０８にて、検査対象の量子化画像について検査員が良と判定入力した場合、そのまま検査が終了する。

以上説明した通り、この実施の形態による外観検査支援装置は、検査対象を撮像する撮像装置３と、撮像装置３の撮影画像を、輝度情報を含む量子化画像に量子化する量子化演算装置４と、量子化演算装置４により量子化された量子化画像を回転変換し、回転変換後の量子化画像に基づいて、画像の回転角毎にニューラルネットワーク演算により類似損傷パターンと一致率の算出を行なうニューラルネットワーク演算部１０と、ニューラルネットワーク演算部１０により得られた回転角毎の類似損傷パターンと一致率と所見を表示する表示装置７と、量子化画像の回転角毎に、検査員の判定と所見を入力して保存する操作入力装置８と、操作入力装置８により入力された回転角毎の検査員の判定と所見結果および量子化画像に基づいて、ニューラルネットワーク演算部に対し損傷パターンの学習を行なう学習部１１を備えたものである。

この構成により、この実施の形態による外観検査支援装置は、損傷パターンの回転に伴う認識率の低下を抑制することが可能となる。また、目視検査の過程で、教師あり学習処理を行なって損傷識別能力の向上を図るため、検査員による装置運用に伴う負担を軽減することができる。

さらに、輝度情報を含んだ検査画像に対して、ニューラルネットワーク演算による既知の損傷パターン照会を行ない、回転角ごとに検査画像を変換して損傷パターン照会を行なった出力結果を、目視検査における検査員に対して、損傷候補を判定識別するための支援情報として提供することで、未習熟な検査員でも長期の訓練期間を要することなしに熟練検査員に近いレベルの検査を行なうことが可能となる。

この発明の実施の形態１による外観検査支援装置の構成を示す図である。この発明の実施の形態１による外観検査支援装置の動作を示す図である。ニューラルネットワーク演算による損傷パターンの照会例を示す図である。

符号の説明

１検査対象、２ＸＹステージ、３撮像装置、４量子化演算装置、５制御装置、６記憶装置、７表示装置、８操作入力装置、１０ニューラルネットワーク演算装置、１１学習部。

Claims

検査対象を撮像する撮像装置と、
上記撮像装置の撮影画像を、輝度情報を含む量子化画像に量子化する量子化演算装置と、
上記量子化演算装置により量子化された量子化画像を回転変換し、回転変換後の量子化画像に基づいて、画像の回転角毎にニューラルネットワーク演算により類似損傷パターンと一致率の算出を行なうニューラルネットワーク演算部と、
上記ニューラルネットワーク演算部により得られた回転角毎の類似損傷パターンと一致率と所見を表示する表示装置と、
上記量子化画像の回転角毎に、検査員の判定と所見を入力して保存する操作入力装置と、
上記操作入力装置により入力された回転角毎の検査員の判定と所見結果および量子化画像に基づいて、ニューラルネットワーク演算部に対し損傷パターンの学習を行なう学習部と、
を備えた外観検査支援装置。