JP2015028438A - 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体 - Google Patents

欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体 Download PDF

Info

Publication number
JP2015028438A
JP2015028438A JP2013157640A JP2013157640A JP2015028438A JP 2015028438 A JP2015028438 A JP 2015028438A JP 2013157640 A JP2013157640 A JP 2013157640A JP 2013157640 A JP2013157640 A JP 2013157640A JP 2015028438 A JP2015028438 A JP 2015028438A
Authority
JP
Japan
Prior art keywords
defect candidate
defect
image data
closed
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013157640A
Other languages
English (en)
Inventor
中村 篤
Atsushi Nakamura
篤 中村
正和 柳瀬
Masakazu Yanase
正和 柳瀬
正雄 戸屋
Masao Toya
正雄 戸屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013157640A priority Critical patent/JP2015028438A/ja
Priority to PCT/JP2014/066438 priority patent/WO2015015945A1/ja
Publication of JP2015028438A publication Critical patent/JP2015028438A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】欠陥の判定における処理負荷を軽減し、欠陥候補の特定を精度よく行う。【解決手段】第一の閾値を用いた第一の二値化処理を実行して得られた第一の閉領域の数よりも、第一の閾値と異なる第二の閾値に基づく第二の二値化処理を実行して得られた第二の閉領域の数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補として更新した欠陥候補情報から、画像データにおける欠陥候補を特定する欠陥候補特定部21を備える。【選択図】図2

Description

本発明は、シートやガラス板やパネル等の平板状、または、緩やかな曲率を有する板上体に存在する欠陥の検査に関わる欠陥候補特定装置、欠陥判定装置及び欠陥検査装置に関する。
一般に、液晶パネル等の様々な工業製品の製造工程において、一部の製品に表面傷等の様々な欠陥が発生することがあるため、製品の欠陥を製造工程内で検出するために撮像画像を用いた検査が広く行われている。
例えば撮像画像を用いた検査方法として、特許文献1に開示されているように、画像を小領域に分割して少領域ごとに輝度値の平均化処理を行い、原画像との差分を取り、ある明るさ以上の画素を欠陥部として抽出する技術が知られている。
また、撮像画像を用いた欠陥検出の単純な欠陥判定方法としては、撮像画像のうち正常部位の階調値の範囲を、閾値を用いて設定し、撮像画像の階調値を閾値で二値化することにより、閾値から外れた部位を欠陥候補として判定する、二値化処理を用いた方法がある。
特許第4893788号公報(2012年3月7日発行)
しかしながら、単純な二値化処理を用いた欠陥判定方法には下記のような問題がある。
二値化処理を用いた欠陥判定方法において、欠陥の見落としを防止するためには二値化処理を行うための閾値を正常な輝度値側に設定する必要がある。しかし、このように閾値を正常階調値側に設定した場合、二値化後の画像から個々の欠陥候補のサイズや形状を判定しようとすると、見かけ上個々の欠陥のサイズが一回り大きく判定されてしまい、さらに形状についても正しく判定されない。また、特に複数の欠陥候補が隣接して存在する場合は、個々の欠陥が一回り大きく判定されることにより、隣接する欠陥候補どうしが合体してしまい、前記欠陥候補の各々がサイズが小さい微小な欠陥候補であったとしても、隣接する複数の欠陥候補の群全体をサイズが非常に大きな単一の欠陥候補として判定してしまう。
このような問題は、欠陥候補のサイズ、形状、個数などを欠陥判定に用いる場合は特に顕著となる。たとえば、欠陥候補のサイズ情報を欠陥判定に用いる場合であって、一定サイズ以下の欠陥候補を正常、一定サイズ以上の欠陥候補を欠陥、と判定する場合、上記の問題によって欠陥候補のサイズを大きく判定してしまうため、本来であれば正常と判定すべき小さいサイズの欠陥候補を欠陥と判定してしまう。さらに、検査工程で検出した欠陥を検査工程での欠陥検出情報に基づいて下流の修正工程で修正を行う場合は、修正工程に無駄な負荷が発生しまうなど、工程管理上大きな問題となる。
本発明は、上記の問題点に鑑みなされたものであって、その目的は、欠陥の判定における処理負荷を軽減し、欠陥判定を精度よく行うことのできる欠陥候補特定装置及び欠陥候補特定方法を提供することにある。
上記の課題を解決するために、本発明の一態様に係る欠陥候補特定装置は、画像データに対して、第一の閾値を用いた第一の二値化処理を実行する第一の二値化処理手段と、上記第一の二値化処理の実行により生成された二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第一の閉領域を識別する第一の閉領域識別手段と、上記第一の閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する欠陥候補情報作成手段と、上記欠陥候補情報によって画像データにおける欠陥候補を特定する欠陥候補特定手段と、上記画像データにおける上記第一の閉領域を少なくとも一つ含む領域を対象領域として設定する対象領域設定手段と、上記画像データに対して、上記対象領域毎に、上記第一の閾値と異なる第二の閾値に基づく第二の二値化処理を少なくとも1回以上実行して少なくとも1つの第二の二値化処理後の画像データを生成する第二の二値化処理手段と、上記第二の二値化処理の実行により生成された上記第二の二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第二の閉領域を識別する第二の閉領域識別手段と、上記対象領域毎に、第一の閉領域の個数と、少なくとも1つの上記第二の第二の二値化処理後の該画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する欠陥候補情報更新手段とを備え、上記欠陥候補特定手段は、上記欠陥候補情報更新手段によって更新された欠陥候補情報から、画像データにおける欠陥候補を特定することを特徴としている。
上記の課題を解決するために、本発明の一態様に係る欠陥候補特定方法は、画像データから欠陥候補を特定する欠陥候補特定方法において、画像データに対して、第一の閾値を用いた第一の二値化処理を実行する第一の二値化処理工程と、上記第一の二値化処理の実行により生成された二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第一の閉領域を識別する第一の閉領域識別工程と、上記第一の閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する欠陥候補情報作成工程と、上記欠陥候補情報によって画像データにおける欠陥候補を特定する欠陥候補特定工程と、上記画像データにおける上記第一の閉領域を少なくとも一つ含む領域を対象領域として設定する対象領域設定工程と、上記画像データに対して、上記対象領域毎に、上記第一の閾値と異なる第二の閾値に基づく第二の二値化処理を少なくとも1回以上実行して少なくとも1つの第二の二値化処理後の画像データを生成する第二の二値化処理工程と、上記第二の二値化処理の実行により生成された上記第二の二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第二の閉領域を識別する第二の閉領域識別工程と、上記対象領域毎に、第一の閉領域の個数と、少なくとも1つの上記第二の二値化処理後の画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する欠陥候補情報更新工程とを含み、上記欠陥候補特定工程は、上記欠陥候補情報更新工程によって更新されたた欠陥候補情報に基づいて、上記画像データにおける欠陥候補を特定することを特徴としている。
本発明の一態様によれば、欠陥の判定における処理負荷を軽減し、欠陥判定を精度よく行うことのできるという効果を奏する。
本発明の実施形態1に係る外観検査装置の概略構成図である。 図1に示す外観検査装置が備える画像処理部の概略ブロック図である。 図2に示す画像処理部における欠陥判定処理の流れを示すフローチャートである。 (a)〜(e)は、図2に示す画像処理部による欠陥判定処理の流れを模式的に示した図である。 図2に示す画像処理部における第2の閾値を変化させた場合の閉領域の個数推移を示す図である。 図2に示す画像処理部における第2の閾値を変化させた場合の閉領域の個数推移を示す他の例を示した図である。 本発明の実施形態2に係る外観検査装置で使用する二値化処理に使用する閾値の推移を示す図である。 本発明の実施形態3に係る外観検査装置で使用する二値化処理に使用する閾値の推移を示す図である。 図8に示す二値化処理に使用する閾値の推移を用いた場合の閉領域の個数推移を示す図である。 本発明の実施形態4に係る外観検査装置で使用する二値化処理に使用する閾値の推移を示す図である。 図10に示す二値化処理に使用する閾値の推移を用いた場合の閉領域の個数推移を示す図である。
〔実施形態1〕
本発明の一実施の形態について説明すれば以下の通りである。
図1は、本実施形態に係る外観検査装置1の構成を表わす模式図である。本実施形態では、外観検査装置1を、液晶ディスプレイの製造工程におけるパネルの外観を検査するための装置として使用する例について説明する。なお、外観検査装置1は、液晶ディスプレイ以外の他の物を検査する装置、たとえば、シリコン基板を検査する装置等であってもよい。あるいは、当該外観検査装置1は、上記のような検査のため以外に、たとえば、印刷物に形成された図形、文字等を検査する装置にも適用可能である。
(外観検査装置1の概要説明)
外観検査装置1は、図1に示すように、カメラ101、照明器201、ステージ301、画像処理部100、コントローラ200、装置制御部300を含んでいる。ステージ301上には、検査対象物であるワーク302が載置されている。
上記撮像部であるカメラ101と、上記カメラ101が生成した画像データから欠陥を判定する欠陥判定装置である画像処理部100とによって欠陥検査装置を構成している。
カメラ101は、ステージ301上に載置された検査対象のワーク302を撮像する撮像手段であり、たとえばCCD(Charge Coupled Device)カメラやラインセンサカメラである。照明器201は、照明器は、たとえばLED光源を用いた照明器である。
コントローラ200は、カメラ101、照明器201、ステージ301に対してそれぞれ制御信号を送り、所望の制御を行う制御手段である。
具体的には、コントローラ200は、ステージ301に制御信号を送信することにより、当該ステージ301の位置を制御する。これにより、ステージ301は、コントローラ200からの制御信号に応じて駆動する。
コントローラ200は、照明器201に、ステージ301を照射するための光を発信する制御を実行する。これにより、照明器201は、コントローラからの信号に基づいて光の照射方向および光量を調節する。
コントローラ200は、カメラ101に制御信号を送信することにより、検査対象のワーク302の撮影を制御する。これにより、カメラ101は、コントローラ200からの制御信号に基づいて検査対象のワーク302の全体もしくは予め定められた範囲を撮影し、画像データを画像処理部100に出力する。
本実施例においては、カメラ101としてはラインセンサカメラを用い、照明器201として複数のLEDが列状に並んだLEDバー照明を用い、ステージ301は1軸方向に駆動するステージを用いた。
装置制御部300は、外部から入力される指示に基づいて、あるいは予め定められた条件が成立する場合に、所定の制御信号をコントローラ200に送信し、前述した各部の動作をコントローラ200に制御させる。
また、装置制御部300は、外部から入力される指示に基づいて、あるいは予め定められた条件が成立する場合に、上記コントローラ200に送信する制御信号とは別の所定の制御信号を画像処理部100にも送信する。
画像処理部100は、装置制御部300からの制御信号(指令)に基づいて、カメラ101により出力される画像データに対した予め定められた画像処理を実行し、その結果を装置制御部300に出力する。
(画像処理部100の詳細)
以下に、上記画像処理部100について詳細に説明する。
図2は、画像処理部100の概略構成を表すブロック図である。
画像処理部100は、入力部11、データ記録部12、出力部13、制御部(欠陥判定装置)14を含んでいる。
入力部11は、外部からデータの入力を受付ける。このデータには、上述したカメラ101により出力される画像データと装置制御部300により出力される制御データとが含まれる。
データ記録部12は、予め定められた画像処理を実行するためのデータ、カメラ101により入力された画像データ、その他画像処理に必要なデータを格納する。
出力部13は、装置制御部300に対して、制御部14にて実行された画像処理の結果を出力する。
制御部14は、入力部11から入力された画像データにおける欠陥の候補を特定するための処理を行う欠陥候補特定部(欠陥候補特定装置)21、欠陥候補特定部21によって特定された欠陥候補を所定の基準により真の欠陥であると判定するための処理を行う欠陥判定部22を含んでいる。
欠陥候補特定部21は、二値化処理部41、識別部42、対象領域設定部43、閾値算出部44、欠陥候補情報作成部(欠陥候補情報作成手段)45、閾値決定部46、欠陥候補情報更新部47、特定部(欠陥候補特定手段)48を含む。
二値化処理部(第一の二値化処理手段、第二の二値化処理手段)41は、閾値を用いて、入力部11またはデータ記録部12からの画像データに対して二値化処理を実行する処理部である。当該閾値は、第一の閾値と、後述する算出処理により算出された第二、第三の閾値のいずれであってもよい。なお、第一の閾値は予め定められた値でも、動的に定められた閾値決定方法で算出された値でも構わない。
二値化処理部41が第一の二値化処理手段として機能する場合、入力部11から入力された画像データに対して、第一の閾値を用いた第一の二値化処理を実行する。また、二値化処理部41が第二の二値化処理手段として機能する場合、第一の二値化処理を実行することによって設定された対象領域毎に、上記第一の閾値と異なる第二の閾値を用いた第二の二値化処理を少なくとも1回実行して、少なくとも1つの第二の二値化処理後の画像データを生成する。
また、二値化処理部41が第二の二値化処理手段として機能する場合、第二の閾値を段階的に変化させて、対象領域設定部43によって設定された対象領域毎に、第二の二値化処理を複数回実行するようにしてもよい。対象領域設定部43による対象領域の設定についての詳細は後述する。
識別部(第一の閉領域識別手段、第二の閉領域識別手段)42は、二値化処理部41において上記二値化処理の実行により生成されたデータ(二値化データ)に基づいて、画像データに基づく画像における背景から欠陥候補に挙げられる少なくとも1つ以上の閉領域(閉曲線で囲まれた領域)を識別する。
識別部42が第一の閉領域識別手段として機能する場合、上記二値化処理部41において第一の二値化処理を実行して得られる二値化データから、上記画像データにおける閉曲線で囲まれた閉領域を識別する。また、識別部42が第二の閉領域識別手段として機能する場合、上記二値化処理部41において第二の二値化処理を実行して得られる二値化データから、上記画像データにおける閉曲線で囲まれた閉領域を識別する。
対象領域設定部(対象領域設定手段)43は、識別部42で識別された少なくとも1つ以上の閉領域を含む対象領域を設定する。つまり、対象領域設定部43は、画像データにおける識別された上記閉領域を少なくとも一つ以上含む対象領域を設定する。
上記対象領域は、原則として閉領域1個に対して対象領域が1個が対応するように、閉領域の数だけ設定することが望ましい。ただし、閉領域があまりに近接しすぎている場合などは一つの対象領域中に複数の閉領域が含まれることが避けられないことがあるため、ここでは、閉領域を少なくとも一つ以上含む対象領域を設定するとしている。
閾値算出部44は、入力された画像データに基づいて対象領域設定部43により決定された対象領域に対する閾値および閾値の範囲を算出する。ここで、算出した閾値は、第一の閾値とは異なる閾値である第二の閾値である。
上記第二の閾値は、二値化処理部41において、欠陥候補に挙げられた閉領域を二値化処理するための閾値である。
欠陥候補情報作成部45は、識別部42において識別された上記第一の閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する。
ここで、欠陥候補情報に含まれる、画像データにおいて欠陥候補を特定するための情報は、具体的には、画像データにおける欠陥候補の座標位置を示す座標情報を含んだ情報である。この座標情報は、欠陥候補の座標を一覧にした座標リストであってもよい。このように画像データに存在する欠陥候補を特定するためには、上述の欠陥候補の座標情報は必須であるが、この他に、欠陥公報情報には、欠陥候補のサイズや形状の情報を含んでいてもよい。これら欠陥候補のサイズや形状の情報は、上記座標情報と対応付けたリストとするのが好ましい。このようにして作成された欠陥候補情報は、データ記録部12に一時的に格納され、必要に応じて読み出され欠陥候補の特定に用いられ、また、必要に応じて読み出されて更新される。欠陥候補情報の更新については後述する。
閾値決定部46は、欠陥候補情報作成部45において作成された欠陥候補情報に基づいて、欠陥候補に挙げられた領域に対応する第三の閾値を決定する。
上記第三の閾値は、二値化処理部41において、第二の閾値によって二値化処理が実行されて得られた二値化データに基づいて対象領域設定部43により決定された対象領域を二値化処理するための閾値である。
欠陥候補情報更新部47は、上記欠陥候補情報作成部45によって作成された欠陥候補情報を更新する欠陥候補情報更新手段である。
例えば、欠陥候補情報更新部47は、対象領域設定部43によって設定された対象領域毎に、第一の閉領域の個数と、少なくとも1つの第二の二値化処理後の該画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する。
特定部48は、欠陥候補情報更新部47で更新された欠陥候補情報によって画像データにおける欠陥候補を特定する。なお、特定部48は、欠陥候補情報更新部47で更新されなかった欠陥候補情報によっても画像データにおける欠陥候補を特定する。
上記例では、欠陥候補情報更新部47は、画像データにおいて設定された同じ対象領域に対して、第一の二値化処理を実行して得られた第一の閉領域の個数と、第二の二値化処理を実行して得られた第二の閉領域の個数とを比較して、欠陥候補情報を更新している。しかしながら、欠陥候補情報更新部47による欠陥候補情報の更新処理は、上記の例に限定されるものではなく、上記第一の閉領域の個数と、第二の閉領域の個数との比較の後、第二の閾値を段階的に変化させて、変化させた第二の閾値を用いた第二の二値化処理を順次実行して複数の二値化処理後の画像データを生成し、上記対象領域毎に、上記欠陥候補情報更新手段による欠陥候補情報の更新に用いた第二の閾値を用いて得られた第二の閉領域の個数と、上記第二の閾値と少なくとも1段違う第二の閾値を用いて得られた第二の閉領域の個数とを比較して、個数の多い第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新するようにしてもよい。
このようにして、上記欠陥候補特定部21において特定された欠陥候補に関する情報が、後段の欠陥判定部22に送られる。
上記欠陥判定部22は、特定された欠陥候補に関する情報に基づいて、当該欠陥が画像データにおける欠陥であるか否かを判定する。
ここで、特定された欠陥候補に関する情報とは、欠陥の面積、サイズ等の欠陥として特定するための特徴量を示す情報である。従って、欠陥判定部22は、特定された欠陥候補に関する情報に基づいて、特定された欠陥候補が真の欠陥か否かを判定する。例えば、欠陥判定部22は、欠陥候補特定部21から送られた特定された欠陥候補に関する情報(欠陥候補の面積、サイズ)を、データ記録部12に予め格納されている欠陥の特徴量(欠陥の面積、サイズ)とを比較することにより、欠陥候補が真の欠陥であるか否かを判定する。これにより、画像データにおける欠陥の有無、すなわち検査対象のワーク302における欠陥の有無を判定することが可能となる。欠陥判定部22は、後述する第三の閾値で二値化処理された欠陥候補に挙げられた対象領域の結果に基づき、欠陥の判定を行う。この欠陥の判定の具体的な例については後述する。
欠陥判定部22による判定結果は、出力部13に出力され、ユーザに対して、検査対象のワーク302における欠陥の有無を知らせるようになっている。例えば、出力部13の出力先がモニタであれば、欠陥判定部22から出力された判定結果を、当該モニタ上でユーザが認識できる状態で表示させ、検査対象のワーク302における欠陥の有無を知らせる。また、出力部13の出力先がプリンタであれば、欠陥判定部22から出力された判定結果をプリントアウトする。
ここで重要なのが、1段階異なる閾値での2値化データどうしの閉曲線の数を段階ごとに順次比較していくことにより、欠陥候補情報を比較毎に順次更新していき、最終的な欠陥候補情報において欠陥候補の個数、位置、サイズ、形状などを正確に判定する点にある。以下に、欠陥判定処理の流れについて説明する。
(画像処理部100による欠陥判定処理(1))
次に、画像処理部100による欠陥判定処理の第一の手順について説明する。ここでは、第一の二値化処理を1回、第二の二値化処理を少なくとも1回行って、欠陥判定処理を行う例について説明する。
図3は、欠陥判定処理の流れを示すフローチャートである。
まず、制御部14の欠陥候補特定部21は、入力部11からの画像データの入力を検知する(ステップS11)。ここで、画像データは、カメラ101が撮像したステージ301上に載置された検査対象のワーク302の画像データである。
次に、欠陥候補特定部21の二値化処理部41は、第一の閾値(Th=Th1)で画像全体を二値化する(ステップS12:第一の二値化処理工程)。つまり、二値化処理部41は、入力された画像データに対して、第一の閾値を用いた第一の二値化処理を実行する。具体的には、欠陥候補特定部21の二値化処理部41が、入力を検知した画像データ全体に対して、データ記録部12から読み出した第一の閾値Th1を用いて第一の二値化処理を実行している。この時点での二値化処理は、データ記録部12に格納されている第一の閾値Th1での第一の二値化処理であり、画像中に欠陥候補として挙げられる領域を篩にかけるスクリーニングの役割を果たしている。ここで、第一の閾値は、予め設定された閾値とする。また、第一の閾値は、検査対象のワーク302の種類(液晶ディスプレイ、シリコン基板など)毎に予め設定されるのが好ましい。
なお、第一の閾値による第一の二値化処理の対象の画像データ全体は、画像データ全体に順ずるものも含むものとする。例えば、画像の周辺部を除いたものであってもよいし、例えば、画像データが大きい場合は、所定数やサイズに応じて幾つかに分割したデータを、当該画像データ全体としてみなして扱ってもよい。
次に、欠陥候補特定部21の識別部42は、ステップS12において、上記第一の二値化処理を実行して得られる二値化データから、上記画像データにおける閉曲線で囲まれた第一の閉領域を識別する(ステップS13:第一の閉領域識別工程)。
続いて、欠陥候補特定部21の対象領域設定部43は、ステップS13において識別された第一の閉領域を少なくとも一つ以上含む対象領域を設定する(ステップS14:対象領域設定工程)。なお、ここで設定される対象領域は、1つであってもよいし複数であってもよい。
次に、欠陥候補特定部21の二値化処理部41が第二の二値化処理手段として機能として、ステップS14において設定された対象領域毎に、上記第一の閾値Th1と異なる第二の閾値Th2を用いて、第二の二値化処理を少なくとも1回以上実行して少なくとも1つの第二の二値化処理後の画像データを生成する(ステップS15:第二の二値化処理工程)。
ここで、上記第二の二値化処理で用いる第二の閾値Th2は、予め設定していてもよいし、入力された画像データの輝度値から算出するようにしてもよい。例えば、上記ステップS14において設定された対象領域の各々の最大輝度値(MAX)を算出し、対応する領域内で第二の閾値(Th2)の範囲(Th1<Th2<MAX)を決定し、この範囲内で適宜設定するようにしてもよい。
さらに、欠陥候補特定部21の識別部42は、ステップS15において、第二の二値化処理を実行して得られる二値化データから、上記画像データにおける閉曲線で囲まれた第二の閉領域を識別する(ステップS16:第二の閉領域識別工程)。
続いて、欠陥候補特定部21の欠陥候補情報作成部45は、ステップS13で識別された第一の閉領域を欠陥候補とし、画像データにおいて欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する(ステップS17:欠陥候補情報作成工程)。
次に、欠陥候補特定部21の欠陥候補情報更新部47は、ステップS17において作成された欠陥候補情報を更新するか否かを判定する(ステップS18)。ここでは、ステップS14において設定された対象領域毎に、ステップS13において識別された第一の閉領域の個数と、ステップS16において識別された第二の閉領域、すなわち、少なくとも1つの第二の二値化処理後の該画像データにおける第二の閉領域の個数とを比較する。比較した結果、第二の閉領域の個数のほうが多い場合、欠陥候補情報更新要(YES)と判断し、ステップS19(欠陥候補情報更新工程)に移行し、第一の閉領域の個数のほうが多い場合、欠陥候補情報更新は不要(NO)と判断し、ステップS20(欠陥候補特定工程)に移行する。
ステップS19では、欠陥候補情報更新部47は、ステップS17において作成した欠陥候補情報を、第二の閉領域を欠陥候補とした新しい欠陥候補情報に更新する。
ステップS20では、ステップS17において作成された欠陥候補情報またはステップS19において更新された欠陥候補情報によって画像データにおける欠陥候補を特定する。ここまでの処理が本発明の欠陥候補特定方法の処理を示す。
最後に、ステップS20において特定された欠陥候補に関する情報(欠陥候補の面積、サイズ)に基づいて、当該欠陥候補が画像データにおける欠陥であるか否かを判定する(ステップS21)。
上記の欠陥判定処理では、ステップS15において、第二の二値化処理は1回行う例について説明したが、欠陥判定の精度を向上させるためには、第二の二値化処理を反復して複数回行うのが好ましい。
ここで、上記二値化処理部41において、第二の二値化処理を反復して行うとは、第二の閾値Th2を上記の範囲(Th1<Th2<MAX)で段階的に変化させて、変化させた第二の閾値Th2を用いて第二の二値化処理を順次実行することを意味している。なお、本実施形態では、第一の二値化処理を実行することで設定された対象領域毎に、第二の閾値Th2はMAXからTh1まで逐次的に1階調ずつ減少させ二値化処理を行うものとする。また、第二の二値化処理の回数を低減させるため、間隔を開けてステップ状に第二の閾値Th2を減少させても構わない。いずれの場合であっても、第二の二値化処理は、第二の閾値Thが減少する方向、あるいは増加する方向の一方向に段階的に順次行われるものとする。
第二の二値化処理を複数回実行する場合、最初の第二の閾値から少しずつ緩くなるように閾値を段階的に変化させれば、得られる閉曲線の振る舞いは以下の2通りある。
(1)徐々に閉領域が小さくなりながら、ある閾値で閉曲線が消滅する。(閉曲線の減少)。
(2)徐々に閉領域が小さくなると同時に、ある閾値で閉領域が複数に分裂する。(閉曲線の増加)
上記のステップS18では、第一の閉領域の数と、第二の閉領域の数とを比較し、欠陥候補情報を更新するか否かを判定しているが、上記のように第二の二値化処理を反復して複数回実行する場合において、第二の閉領域の数を比較した結果に応じて、欠陥候補情報を更新するか否かの判定をしてもよい。つまり、上記(2)の場合、欠陥候補情報更新部47において、閉曲線が増加したか否かを判定(ステップS18)し、閉曲線が増加した場合(ステップS18のYES)に、欠陥候補情報を更新する(ステップS19)。
以下に、第二の二値化処理を複数回実行して、欠陥判定を行う処理について説明する。
(画像処理部100による欠陥判定処理(2))
次に、画像処理部100による欠陥判定処理の第二の手順について説明する。ここでは、第二の二値化処理を複数回反復して行い、対象領域内の閉領域を分離させ、新たな対象領域を設定して、欠陥判定処理を行う例について説明する。
ここでは、欠陥候補特定部21の対象領域設定部43が、上記欠陥候補情報更新部47が欠陥候補情報の更新を行うたびに、対象領域毎に、増加した閉領域を少なくとも一つ以上含む複数の領域を新たな対象領域として再設定する。
具体的には、欠陥候補特定部21の対象領域設定部43は、欠陥候補情報更新部47によって更新された欠陥候補情報から、欠陥候補に挙げられた対象領域(閉領域)が分離するか否かを判定する。より具体的には、対象領域設定部43は、反復して行われた第二の二値化処理後の結果において、閉領域の個数をモニタする。ここでは、閉領域の個数が、3個から2個に減少、2個から1個に減少するような場合、第二の閾値(Th2)の範囲内(Th1<Th2<MAX)において、ピークがそれぞれ3個、2個存在すると判断される。従って、欠陥候補に挙げられた対象領域を分離する閾値が存在することが分かる。
或いは、対象領域設定部43は、反復して行われた第二の二値化処理後の結果において、閉領域の重心位置をモニタする。この場合、欠陥候補に挙げられた対象領域の重心位置と、各々の閉領域の重心位置を比較する。第二の閾値Th2が第一の閾値Th1に近しい値の場合は、欠陥候補に挙げられた対象領域の重心位置と第二の二値化処理後の閉領域で重心位置が一致、或いは画像中の数画素単位で近しい距離になるが、ピークが複数個ある場合、それぞれの重心位置は欠陥候補に挙げられた対象領域の重心位置とは異なる位置になる。従って、閉領域の重心位置と欠陥候補に挙げられた対象領域の重心位置とを比較することによって、欠陥候補に挙げられた対象領域を分離する閾値が存在することが分かる。
つまり、閾値決定部46は、対象領域設定部43が閉領域を分離すると判定した場合、判明した閾値を第三の閾値(Th=Th3)として設定する。
一方、対象領域設定部43が閉領域を分離しないと判定した場合、欠陥候補情報更新部47において更新される前の欠陥候補情報を判定結果として、データ記録部12に格納する。
続いて、欠陥候補特定部21の二値化処理部41は、上記で設定された第三の閾値Th3で欠陥候補に挙げられた対象領域の第二の二値化処理を行う。
欠陥判定部22は、第三の閾値で二値化処理された欠陥候補に挙げられた対象領域の結果に基づき、二値化処理後の閉領域の個数、サイズ等の特徴量を算出し、一定以上の特徴量をもつ閉領域を不良欠陥と判断し結果をデータ記録部12に格納する。例えば、直径180μm以上の欠陥は不良品と判断する、X方向もしくはY方向のサイズが1mm以上は不良品と判断する、或いは、複数の特徴量を複合させて判断するなどである。
このようにして求められた欠陥候補に挙げられた対象領域毎に閾値を決定することで、欠陥候補の特定と、特定された欠陥候補からの真の欠陥の判定を行う欠陥検査を精度良く行うことができる。
ここで、より真の欠陥の判定を行う欠陥検査を精度良く行うためには、上記欠陥候補情報更新部47において、上記欠陥候補情報の更新を行うたびに、比較対象の閉領域の面積を新たな欠陥候補のサイズ情報として欠陥候補情報における欠陥候補サイズの情報を更新するようにすればよい。
(パネル検査)
次に、上述した欠陥判定処理を用いたパネル検査について、図4から図6を参照しながら以下に説明する。尚、このパネルの検査基準においては、直径180μm以上の欠陥を不良欠陥と判断し、180μm以下の欠陥に関しては、近接距離に関わらず良品扱いの欠陥とする。
図4の(a)は、図1に示す外観検査装置1のカメラ101によって撮像されたステージ301上のワーク302(パネル)の入力画像であり、図4の(b)は、二値化処理部41によって、第一の閾値Th1で画像全体を二値化処理された後の画像である。ここでは第一の閾値Th1=100(255階調中)として二値化処理を行った。二値化処理の結果、図4の(b)の点線で囲まれる領域に320μm×180μmの欠陥候補の輝点が得られた。図4の(c)は、外観検査装置1の対象領域設定部43によって設定された対象領域を欠陥候補として原画像から抽出(特定)した結果を示している。
次に、欠陥候補に挙げられた領域の原画像中で、最も輝度が高い階調を制御部14によって測定する。この検査対象のパネルにおいては、最大階調MAXは200階調(255階調中)であった。その結果、閾値算出部44は、第二の閾値Th2の範囲を100<Th2<200と決定した。
次に、二値化処理部41は、閾値算出部44によって定義された範囲において、欠陥候補に挙げられた領域の二値化処理を反復して行う。本発明においては、最大の閾値MAXから第一の閾値Th1まで逐次的に第二の閾値Th2を変化させて行った。つまり、第二の閾値は、最大の閾値MAXから第一の閾値Th1に向かって徐々に小さくなるように段階的に変化させて、第二の二値化処理を順次行った。
図5は、反復して第二の二値化処理を行った結果であり、縦軸は第二の閾値の値であり、横軸は領域内の位置を示す。また、図5の図形はそれぞれの閾値で二値化処理を行った後、欠陥候補情報更新部47によって更新された欠陥候補情報から得られた、閉領域の個数と、形状、面積を表したものである。第二の閾値Th2が最大値MAXに近い状態では、閉領域の数が1個であるが、第二の閾値Th2が170を下回ると、新たな閉領域が観測された。さらに閾値を下げていくと第二の閾値Th2が120を下回ると閉領域が繋がり1個になった。図4の(d)は反復して二値化処理を行った結果を示すグラフである。図4の(d)及び図5の結果から、閾値決定部46は第三の閾値Th3をTh3=120と決定した。図4の(e)は第三の閾値Th3で欠陥候補として挙げられた領域を二値化処理した結果であり、欠陥判定部22は、それぞれの欠陥サイズを直径150μmと直径110μmと測定した。欠陥判定部22はそれぞれの特徴量と検査基準を比較し、欠陥候補に挙げられた領域の中に含まれる欠陥は良品扱いの欠陥と判断し、出力部は該パネルを良品と出力する。本手法を用いることで、欠陥候補に挙げられた領域内に含まれる2個の欠陥が分離されて検出でき、その特徴量と検査基準を照合することができる。検査の性能が向上し不良と判定されていたパネルを救い上げることができるため、結果として、歩留まりが改善するという効果を奏する。
本実施形態においては、図5に示したように閉領域の個数で対象となる領域の欠陥の推移を測定したが、各閉領域の重心位置と、欠陥候補として挙げられた領域の重心位置を比較しても構わない。図6は該手法を説明する模式図である。図6は縦軸に第二の閾値、横軸に第二の閾値で処理された後の閉領域の重心位置を示した図である。重心座標は欠陥候補情報作成部45により得られる。第二の閾値Th2が第一の閾値Th1に近しい場合、第二の閾値Th2での二値化処理を行った閉領域の重心と欠陥候補を含む領域の重心位置はほぼ一致する。しかしながら、欠陥候補を含む領域に複数個の欠陥が含まれる場合、それぞれの重心位置は欠陥候補に挙げられた対象領域の重心位置とは異なる位置になる。従って、閉領域の重心位置と欠陥候補に挙げられた対象領域の重心位置とを比較することによって、欠陥候補に挙げられた対象領域を分離する閾値が存在することがわかる。
このようにして得られた閾値を第三の閾値として第二の二値化処理を実行し、得られた結果から、欠陥判定部22によって、欠陥候補に挙げられた領域の中に含まれる欠陥の良否を判定する。
〔実施形態2〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、前記実施形態1において行った第二の二値化処理で用いる第二の閾値を2分探索で反復した例について説明する。
図7に示すように、第二の閾値Th2での1回目の閾値(Th2−1)を、閾値上限(MAX)と閾値下限(Th1)の中点(Th2−1)で行う。次に、閾値上限(MAX)と1回目の閾値(Th2−1)の中点(Th2−2−1)、及び閾値下限(Th1)と1回目の閾値(Th2−1)の中点(Th2−2−2)で行う。それぞれの閾値で二値化処理を行い得られる閉領域の個数の変化、位置の変化をモニタする。
このように、閉領域の個数や位置の変化が生じる範囲に絞っての閾値を探索することによって、欠陥候補に挙げられた対象領域を構成する、輝度の山、谷位置の探索を高速化することができる。即ち、図7ではステップ2の閾値(Th2−2−1)とステップ3の閾値(Th2−3−1)では、得られる閉領域の個数、重心位置が同一であるため、第二の閾値をTh2−2−1からTh2−3−1まではスキップして行う。
ステップ3の閾値(Th2−3−2)や閾値(Th2−3−3)では、それぞれの閾値を規定する1回前の閾値(Th2−2−1)や(Th2−2−2)での二値化処理結果から、閉領域の個数、重心位置に差が生じていることから、該閾値を含む領域の探索を継続する。
以上のように、第二の二値化処理で用いる第二の閾値を2分探索で反復することで、閉領域の個数や位置の変化が生じる範囲に絞っての閾値を探索することになり、この結果、欠陥候補に挙げられた対象領域を構成する、輝度の山、谷位置の探索を高速化することができる。従って、欠陥候補の特定から、最終的な欠陥の判定結果が得られまでの処理時間を短縮させることができる。
〔実施形態3〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、前記実施形態1の図4の(d)に示す欠陥の判定結果が得られたパネルではなく、図8に示す欠陥の判定結果となった別のパネルを用いた例について説明する。上記パネルにおいては、対象領域設定部43によって設定された対象領域、すなわち第一の閾値で欠陥候補に挙げられた領域に430μm×180μmの輝点が発生していた。閾値算出部44において、第二の閾値Th2の範囲を設定すれば、以下のようになった。第一の閾値Th1が100、対象領域内で測定した最大輝度MAXが220であったことから、第二の閾値Th2の範囲は、100<Th2<220となる。二値化処理部41では、この範囲内で第二の二値化処理を反復して行った。その結果が図8に示すグラフである。
また、第二の閾値Th2を規定範囲(100<Th2<220)内で変化させた際の閉領域の個数、位置、面積等を測定した結果が、図9に示すようになる。このような場合であっても、前記実施形態1で示した手法により、それぞれの閉領域を分離する閾値(第三の閾値Th3)をTh3−1、Th3−2と規定することが可能であり、それぞれの閾値で分離された欠陥を判定することが可能である。
なお、本実施形態においては、第一の閾値Th1で欠陥候補に挙げられた領域に430μm×180μmの輝点が発生していたが、図9に示すように、本手法により150μm×140μm、130μm×110μm、100μm×90μmの欠陥が3個近接していることが分かった。従って、欠陥候補として挙げられた領域に含まれる一つの欠陥(一番小さい、100μm×90μm)は良品扱いの欠陥として判定され、残りの二つの領域が真の欠陥として判定された。この例では、欠陥候補に含まれる真の欠陥が2個であったが、複数個存在していても構わない。
以上にように、本実施形態に係る欠陥判定方法によれば、欠陥候補から、良品扱いの欠陥を除外して、真の欠陥を判定することができるため、欠陥判定の精度を向上させることができる。
〔実施形態4〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、前記実施形態1の図4の(d)に示す欠陥の判定結果が得られたパネルではなく、図10に示す欠陥の判定結果となった別のパネルを用いた例について説明する。上記パネルにおいては、対象領域設定部43によって設定された対象領域、すなわち第一の閾値で欠陥候補に挙げられた領域に450μm×200μmの輝点が発生していた。閾値算出部44において、第二の閾値Th2の範囲を設定すれば、以下のようになった。第一の閾値Th1が100、対象領域内の最大輝度MAXが220であったことから、第二の閾値Th2の範囲は、100<Th2<220となる、二値化処理部41は、この範囲内で二値化処理を反復して行った。その結果が図10に示すグラフである。
また、第二の閾値Th2を規定範囲(100<Th2<220)内で変化させた際の閉領域の個数、位置、面積等を測定した結果が、図11に示すようになる。図11から、第二の閾値Th2を変化させつつ第二の二値化処理を反復して行っても、領域の個数は1個のままであり、また重心位置も欠陥候補に挙げられた領域と差が生じていなかった。このような欠陥の場合、第三の閾値は第一の閾値Th1と同一に設定され、欠陥候補に挙げられた領域に450μm×200μmが存在し、判定基準と比較して不良パネルと判定された。
以上にように、本実施形態に係る欠陥判定方法によれば、第三の閾値を設定するまでの処理を行わずに済むため、欠陥候補から、真の欠陥を判定するまでの時間を大幅に短縮することができる。
〔ソフトウェアによる実現例〕
外観検査装置1の制御ブロック(特に画像処理部100)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、画像処理部100は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る欠陥候補特定装置は、画像データに対して、第一の閾値を用いた第一の二値化処理を実行する第一の二値化処理手段(二値化処理部41)と、上記第一の二値化処理の実行により生成された二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第一の閉領域を識別する第一の閉領域識別手段(識別部42)と、上記第一の閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する欠陥候補情報作成手段(欠陥候補情報作成部45)と、上記欠陥候補情報によって画像データにおける欠陥候補を特定する欠陥候補特定手段(欠陥候補特定部48)と、上記画像データにおける上記第一の閉領域を少なくとも一つ含む領域を対象領域として設定する対象領域設定手段(対象領域設定部43)と、上記画像データに対して、上記対象領域毎に、上記第一の閾値と異なる第二の閾値に基づく第二の二値化処理を少なくとも1回以上実行して少なくとも1つの第二の二値化処理後の画像データを生成する第二の二値化処理手段(二値化処理部41)と、上記第二の二値化処理の実行により生成された上記第二の二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第二の閉領域を識別する第二の閉領域識別手段(識別部42)と、上記対象領域毎に、第一の閉領域の個数と、少なくとも1つの上記第二の二値化処理後の画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する欠陥候補情報更新手段(欠陥候補情報更新部47)とを備え、上記欠陥候補特定手段(欠陥候補情報更新部47)は、上記欠陥候補情報更新手段によって更新された欠陥候補情報から、画像データにおける欠陥候補を特定することを特徴としている。
上記の構成によれば、画像データに対して、第一の閾値を用いた第一の二値化処理を実行して得られた、二値化データから識別された閉曲線で囲まれた第一閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する。また、画像データにおける上記第一の閉領域を少なくとも一つ含む領域を対象領域として設定して、当該画像データに対して、上記対象領域毎に、上記第一の閾値と異なる第二の閾値に基づく第二の二値化処理を少なくとも1回以上実行して少なくとも1つの第二の二値化処理後の画像データを生成する。そして、対象領域毎に、第一の閉領域の個数と、少なくとも1つの第二の二値化処理後の該画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の数が、第一の閉領域の数よりも多い場合に、上記欠陥候補情報を更新する。そして、更新された欠陥候補情報から、画像データにおける欠陥候補を特定する。
このように二値化処理を少なくとも2段階で行うことで、最初の二値化処理(第一の二値化処理)でおおざっぱに欠陥候補を特定し、次の二値化処理(第二の二値化処理)で詳細に欠陥候補を特定することができるので、同程度の欠陥候補の特定の精度を実現するために、一つの閾値で二値化処理を実行した場合に比べて、少なくとも2つの閾値で二値化処理を実行した場合のほうが処理負荷を軽減できる。
従って、欠陥候補の特定から、最終的に欠陥の判定を行うまでの処理負荷を軽減し、欠陥判定を精度よく行うことができるという効果を奏する。
本発明の態様2に係る欠陥候補特定装置は、上記態様1において、上記第二の二値化処理手段(二値化処理部41)は、第二の閾値を段階的に変化させて、上記対象領域設定手段(対象領域設定部43)によって設定された対象領域毎に、変化させた第二の閾値を用いて第二の二値化処理を順次実行して複数の二値化処理後の画像データを生成し、上記欠陥候補情報更新手段(欠陥候補情報更新部47)は、上記対象領域毎に、上記欠陥候補情報更新手段による欠陥候補情報の更新に用いた第二の閾値を用いて得られた第二の閉領域の個数と、上記第二の閾値と少なくとも1段違う第二の閾値を用いて得られた第二の閉領域の個数を比較して、個数の多い第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新するようにしてもよい。
上記の構成によれば、第二の二値化処理が、第二の閾値を段階的に変化させて、反復して行われるので、変化した第二の閾値毎に、欠陥候補情報が作成される。そして、最新の欠陥候補情報の作成に用いた第二の二値化処理後の画像データにおける閉領域の個数に対して、該画像データとは1段階異なる閾値で次に行った第二の二値化処理後の画像データにおける閉領域の個数を比較対象として比較し、閉領域の数が比較対象のほうが多い場合に、該比較対象の閉領域の部分を新たな欠陥候補と判定し、上記欠陥候補情報が更新される。この更新された欠陥候補情報に基づいて画像データにおける欠陥候補を特定する。
このように、欠陥候補情報を比較毎に順次更新していき、最終的な欠陥候補情報において画像データにおける欠陥候補を特定することで、欠陥候補の個数、位置、サイズ、形状などを正確に判定することが可能となる。
本発明の態様3に係る欠陥候補特定装置は、上記態様2において、上記対象領域設定手段(対象領域設定部43)は、上記欠陥候補情報更新手段(欠陥候補情報更新部47)が上記欠陥候補情報の更新を行うたびに、対象領域毎に、増加した閉領域を少なくとも一つ以上含む複数の対象領域を新たな対象領域として再設定してもよい。
上記の構成によれば、欠陥候補情報更新手段が上記欠陥候補情報の更新を行うたびに、対象領域毎に、増加した閉領域を少なくとも一つ以上含む複数の対象領域を新たな対象領域として再設定することで、対象領域内で閉領域の個数が増えた場合であっても、できるだけ対象領域に一つの閉領域が含まれるようにすることが可能となる。
本発明の態様4に係る欠陥候補特定装置は、上記態様1〜3のいずれか1態様において、上記欠陥候補情報には欠陥候補のサイズを示す欠陥候補サイズの情報が含まれ、上記欠陥候補情報更新手段(欠陥候補情報更新部47)は、上記欠陥候補情報の更新を行うたびに、比較対象の閉領域の面積を新たな欠陥候補のサイズとして欠陥候補情報における欠陥候補サイズの情報を更新してもよい。
上記の構成によれば、欠陥候補情報には欠陥候補のサイズを示す欠陥候補サイズの情報が含まれ、欠陥候補情報更新手段は、上記欠陥候補情報の更新を行うたびに、比較対象の閉領域の面積を新たな欠陥候補のサイズとして欠陥候補情報における欠陥候補サイズの情報を更新することで、欠陥サイズに基づいて欠陥判定を行うことが可能となる。
本発明の態様5に係る欠陥判定装置は、上記態様1〜4のいずれか1項に記載の欠陥候補特定装置(欠陥候補特定部21)を備え、上記欠陥候補特定装置によって特定された欠陥候補に関する情報に基づいて、当該欠陥候補が画像データにおける欠陥であるか否かを判定することを特徴としている。
上記の構成によれば、欠陥判定に要する処理負荷を低減させ、画像データにおいて特定された欠陥候補から適切に真の欠陥を判定することができる。
本発明の態様6に係る欠陥検査装置は、検査対象物(ワーク302)を撮像しての画像データを生成する撮像部(カメラ101)と、上記撮像部が生成した画像データから欠陥を判定する欠陥判定装置(画像処理部100)とを備え、上記欠陥判定装置(画像処理部100)は、上記態様1〜4のいずれか1態様に記載の欠陥判定装置であってもよい。
上記の構成によれば、欠陥の判定における処理負荷を軽減し、欠陥判定を精度よく行うことのできる欠陥検査装置を実現できる。
本発明の態様7に係る欠陥候補特定方法は、画像データから欠陥候補を特定する欠陥候補特定方法において、画像データに対して、第一の閾値を用いた第一の二値化処理を実行する第一の二値化処理工程(ステップS12)と、上記第一の二値化処理の実行により生成された二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第一の閉領域を識別する第一の閉領域識別工程(ステップS13)と、上記第一の閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する欠陥候補情報作成工程(ステップS17)と、上記欠陥候補情報によって画像データにおける欠陥候補を特定する欠陥候補特定工程(ステップS20)と、上記画像データにおける上記第一の閉領域を少なくとも一つ含む領域を対象領域として設定する対象領域設定工程(ステップS14)と、上記画像データに対して、上記対象領域毎に、上記第一の閾値と異なる第二の閾値に基づく第二の二値化処理を少なくとも1回以上実行して少なくとも一つの第二の二値化処理後の画像データを生成する第二の二値化処理工程(ステップS15)と、上記第二の二値化処理の実行により生成された上記第二の二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第二の閉領域を識別する第二の閉領域識別工程(ステップS16)と、上記対象領域毎に、第一の閉領域の個数と、少なくとも1つの上記第二の二値化処理後の画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する欠陥候補情報更新工程(ステップS18,S19)とを含み、上記欠陥候補特定工程(ステップS20)は、上記欠陥候補情報更新工程によって更新されたた欠陥候補情報に基づいて、上記画像データにおける欠陥候補を特定することを特徴としている。
上記の構成によれば、本発明の態様1にかかる欠陥候補特定装置における効果と同様の効果を奏する。
本発明の各態様に係る欠陥候補特定装置(欠陥候補特定部21)は、コンピュータによって実現してもよく、この場合には、コンピュータを上記欠陥判定装置が備える各手段として動作させることにより上記画像処理部をコンピュータにて実現させる欠陥候補特定装置の欠陥候補特定プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、画像処理装置、たとえば外観を検査するための検査装置に利用することができる。
1 外観検査装置
11 入力部
12 データ記録部
13 出力部
14 制御部
21 欠陥候補特定部(欠陥候補特定装置)
22 欠陥判定部(欠陥判定手段)
41 二値化処理部(第一の二値化処理手段、第二の二値化処理手段)
42 識別部(第一の閉領域認識手段、第二の閉領域認識手段)
43 対象領域設定部(対象領域設定手段)
44 閾値算出部
45 欠陥候補情報作成部(欠陥候補情報作成手段)
46 閾値決定部
47 欠陥候補情報更新部(欠陥候補情報更新手段)
48 特定部(欠陥候補特定手段)
100 画像処理部(欠陥判定装置)
101 カメラ(撮像部)
200 コントローラ
201 照明器
300 装置制御部
301 ステージ
302 ワーク(検査対象物)
Th1 第一の閾値
Th2 第二の閾値
Th3 第三の閾値

Claims (9)

  1. 画像データに対して、第一の閾値を用いた第一の二値化処理を実行する第一の二値化処理手段と、
    上記第一の二値化処理の実行により生成された二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第一の閉領域を識別する第一の閉領域識別手段と、
    上記第一の閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する欠陥候補情報作成手段と、
    上記欠陥候補情報によって画像データにおける欠陥候補を特定する欠陥候補特定手段と、
    上記画像データにおける上記第一の閉領域を少なくとも一つ含む領域を対象領域として設定する対象領域設定手段と、
    上記画像データに対して、上記対象領域毎に、上記第一の閾値と異なる第二の閾値に基づく第二の二値化処理を少なくとも1回以上実行して少なくとも1つの第二の二値化処理後の画像データを生成する第二の二値化処理手段と、
    上記第二の二値化処理の実行により生成された上記第二の二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第二の閉領域を識別する第二の閉領域識別手段と、
    上記対象領域毎に、第一の閉領域の個数と、少なくとも1つの上記第二の二値化処理後の画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する欠陥候補情報更新手段とを備え、
    上記欠陥候補特定手段は、上記欠陥候補情報更新手段によって更新された欠陥候補情報から、画像データにおける欠陥候補を特定することを特徴とする欠陥候補特定装置。
  2. 上記第二の二値化処理手段は、
    第二の閾値を段階的に変化させて、上記対象領域設定手段によって設定された対象領域毎に、変化させた第二の閾値を用いて第二の二値化処理を順次実行して複数の二値化処理後の画像データを生成し、
    上記欠陥候補情報更新手段は、
    上記対象領域毎に、上記欠陥候補情報更新手段による欠陥候補情報の更新に用いた第二の閾値を用いて得られた第二の閉領域の個数と、上記第二の閾値と少なくとも1段違う第二の閾値を用いて得られたそれぞれの第二の閉領域の個数とを比較して、個数の多い第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新することを特徴とする請求項1記載の欠陥候補特定装置。
  3. 上記対象領域設定手段は、
    上記欠陥候補情報更新手段が上記欠陥候補情報の更新を行うたびに、対象領域毎に、増加した閉領域を少なくとも一つ以上含む複数の対象領域を新たな対象領域として再設定することを特徴とする請求項2記載の欠陥候補特定装置。
  4. 上記欠陥候補情報には欠陥候補のサイズを示すサイズ情報が含まれ、
    上記欠陥候補情報更新手段は、
    上記欠陥候補情報の更新を行うたびに、比較対象の閉領域の面積を新たな欠陥候補のサイズとして欠陥候補情報におけるサイズ情報を更新することを特徴とする請求項1〜3のいずれか1項に記載の欠陥候補特定装置。
  5. 請求項1〜4のいずれか1項に記載の欠陥候補特定装置を備え、
    上記欠陥候補特定装置によって特定された欠陥候補に関する情報に基づいて、当該欠陥候補が画像データにおける欠陥であるか否かを判定することを特徴とする欠陥判定装置。
  6. 検査対象物を撮像しての画像データを生成する撮像部と、
    上記撮像部が生成した画像データから欠陥を判定する欠陥判定装置とを備え、
    上記欠陥判定装置は、請求項5に記載の欠陥判定装置であることを特徴とする欠陥検査装置。
  7. 画像データから欠陥候補を特定する欠陥候補特定方法において、
    画像データに対して、第一の閾値を用いた第一の二値化処理を実行する第一の二値化処理工程と、
    上記第一の二値化処理の実行により生成された二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第一の閉領域を識別する第一の閉領域識別工程と、
    上記第一の閉領域を欠陥候補とし、画像データにおいて上記欠陥候補を特定するための情報を含んだ欠陥候補情報を作成する欠陥候補情報作成工程と、
    上記欠陥候補情報によって画像データにおける欠陥候補を特定する欠陥候補特定工程と、
    上記画像データにおける上記第一の閉領域を少なくとも一つ含む領域を対象領域として設定する対象領域設定工程と、
    上記画像データに対して、上記対象領域毎に、上記第一の閾値と異なる第二の閾値に基づく第二の二値化処理を少なくとも1回以上実行して少なくとも1つの第二の二値化処理後の画像データを生成する第二の二値化処理工程と、
    上記第二の二値化処理の実行により生成された上記第二の二値化処理後の画像データに基づいて、該画像データにおける閉曲線で囲まれた領域である第二の閉領域を識別する第二の閉領域識別工程と、
    上記対象領域毎に、第一の閉領域の個数と、少なくとも1つの上記第二の二値化処理後の画像データにおける第二の閉領域の個数とを比較し、第二の閉領域の個数のほうが多い場合に、当該第二の閉領域を新たな欠陥候補とし、上記欠陥候補情報を、上記新たな欠陥候補を特定するための情報を含んだ欠陥候補情報に更新する欠陥候補情報更新工程とを含み、
    上記欠陥候補特定工程は、
    上記欠陥候補情報更新工程によって更新されたた欠陥候補情報に基づいて、上記画像データにおける欠陥候補を特定することを特徴とする欠陥候補特定方法。
  8. 請求項1から4のいずれか1項に記載の欠陥候補特定装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各手段として機能させるための欠陥候補特定プログラム。
  9. 請求項8に記載の欠陥候補特定プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013157640A 2013-07-30 2013-07-30 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体 Pending JP2015028438A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013157640A JP2015028438A (ja) 2013-07-30 2013-07-30 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体
PCT/JP2014/066438 WO2015015945A1 (ja) 2013-07-30 2014-06-20 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013157640A JP2015028438A (ja) 2013-07-30 2013-07-30 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2015028438A true JP2015028438A (ja) 2015-02-12

Family

ID=52431487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013157640A Pending JP2015028438A (ja) 2013-07-30 2013-07-30 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP2015028438A (ja)
WO (1) WO2015015945A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024116482A1 (ja) * 2022-12-02 2024-06-06 株式会社日本製鋼所 検出システム及び検出方法
JP7507125B2 (ja) 2021-06-07 2024-06-27 株式会社 日立産業制御ソリューションズ 検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105280512B (zh) * 2015-09-17 2018-02-27 上海华力微电子有限公司 一种扫描程式运用阈值修正进行晶圆检测的方法
JP7188870B2 (ja) * 2017-05-31 2022-12-13 株式会社キーエンス 画像検査装置
CN117577550A (zh) * 2023-11-15 2024-02-20 深圳市昇维旭技术有限公司 半导体器件的缺陷分析方法、装置、可读介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0210207A (ja) * 1988-06-29 1990-01-16 Ibiden Co Ltd プリント回路基板の検査装置
JPH04106460A (ja) * 1990-08-28 1992-04-08 Toshiba Corp 欠陥検出方法
JP2890801B2 (ja) * 1990-11-01 1999-05-17 富士ゼロックス株式会社 表面傷検査装置
JPH05280959A (ja) * 1992-03-30 1993-10-29 Fuji Photo Film Co Ltd 欠陥検査装置
JP2002175520A (ja) * 2000-12-06 2002-06-21 Sharp Corp 基板面の不良検出装置、不良検出方法、及び不良検出のためのプログラムを記録した記録媒体
JP2013134666A (ja) * 2011-12-27 2013-07-08 Dainippon Screen Mfg Co Ltd 二値画像生成装置、分類装置、二値画像生成方法および分類方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7507125B2 (ja) 2021-06-07 2024-06-27 株式会社 日立産業制御ソリューションズ 検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システム
WO2024116482A1 (ja) * 2022-12-02 2024-06-06 株式会社日本製鋼所 検出システム及び検出方法

Also Published As

Publication number Publication date
WO2015015945A1 (ja) 2015-02-05

Similar Documents

Publication Publication Date Title
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
US20200364906A1 (en) Image Inspection Apparatus
JP5260183B2 (ja) 欠陥検査方法及びその装置
TWI557650B (zh) 用於識別材料中之缺陷之系統及方法
TWI480967B (zh) 缺陷分類法則建立方法、缺陷分類方法與基於該缺陷分類法則與關鍵區域分析的致命缺陷判斷方法
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
WO2015015945A1 (ja) 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体
KR20210154164A (ko) 검출 방법 및 검출 시스템
KR102384771B1 (ko) 컨포멀 코팅된 pcb에서 기포를 검출하는 방법 및 장치와 이를 위한 컴퓨터로 판독 가능한 기록매체
JP2014119363A (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
CN109819242B (zh) 一种flare测试方法、系统及可读存储介质
JP2010117132A (ja) ウェハのパターン検査方法及び装置
KR102107362B1 (ko) 기판의 결함 검사 방법
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP2009139133A (ja) 欠陥検出方法および欠陥検出装置
WO2020090290A1 (ja) 画像分類装置、画像検査装置、及び画像分類方法
JP2004296592A (ja) 欠陥分類装置、欠陥分類方法およびプログラム
JP6168834B2 (ja) 光学フィルムの欠陥判別方法
JP2002267619A (ja) 欠陥検査方法及び装置
KR101053779B1 (ko) 디스플레이 수단의 메탈 마스크 검사 방법
KR101461418B1 (ko) 영상 정보를 이용한 회로의 불량 검출 방법 및 그 제어 시스템
JP5402182B2 (ja) 外観検査方法及び外観検査装置
JP2012255740A (ja) 欠陥検査装置および欠陥検査方法
JP2000258353A (ja) 欠陥検査方法及びその装置
CN206820860U (zh) 一种机器视觉检测装置