JP2005031952A - Image processing inspection method and image processing inspection device - Google Patents

Image processing inspection method and image processing inspection device Download PDF

Info

Publication number
JP2005031952A
JP2005031952A JP2003195831A JP2003195831A JP2005031952A JP 2005031952 A JP2005031952 A JP 2005031952A JP 2003195831 A JP2003195831 A JP 2003195831A JP 2003195831 A JP2003195831 A JP 2003195831A JP 2005031952 A JP2005031952 A JP 2005031952A
Authority
JP
Japan
Prior art keywords
image
pattern
pattern matching
inspection
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003195831A
Other languages
Japanese (ja)
Inventor
Minoru Yasukawa
実 安川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003195831A priority Critical patent/JP2005031952A/en
Publication of JP2005031952A publication Critical patent/JP2005031952A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing inspection method and image processing inspection device capable of shortening, in an image processing inspection using pattern matching, the processing time required for the image processing inspection. <P>SOLUTION: A coordinate range to be pattern-matched is determined particularly based on the magnitude distribution 19 of density gradient vectors of a subject image 15. In other words, the range for which pattern matching is needed, or the range to be inspected of the subject image 15 is preliminarily narrowed prior to the pattern matching. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理検査方法および画像処理検査装置に関し、検査対象物の入力画像を画像処理によって検査する技術に関する。
【０００２】
【従来の技術】
工業品の製造工程において、たとえば検査員の目視検査によって、工業品に欠陥部分などがあるか否かを検査している。このような目視検査では、検査する検査員の感覚、経験および疲労状態などによって、検査基準のばらつきおよび欠陥部分の見逃しなどがある。しかも所望の数量の工業品を、予め定める時間内に製造するとき、工業品に発生し得る欠陥部分を見逃すことなく目視検査しなければならない。したがって検査員の身体的負担が大きくなる。
【０００３】
一方、検査対象物の入力画像を画像処理によって検査する画像検査装置が実用に供されている。画像処理検査において、入力画像から検出すべき欠陥部分がある一定のパターンを示す場合には、パターンマッチングを用いることが有用である。
【０００４】
パターンマッチングを用いる画像処理検査装置および画像処理検査方法としては、たとえばカラー複写装置による紙幣の偽造防止を図る技術（特許文献１）が提案されている。前記特許文献１によれば、先ず低解像度で色分布を計測した後、この計測した色分布と、予め記録されている色分布とを比較する。これによって画像の粗認識を行い、紙幣の疑いがある場合にのみパターンマッチングする。
【０００５】
【特許文献１】
特開平１１−３１６８３９号公報
【０００６】
【発明が解決しようとする課題】
パターンマッチングを単に用いる技術では、検査対象物が大きくなればなる程、その検査対象物の入力画像と予め定めるパターン画像とをパターンマッチングする処理時間が大きくなる。前記パターン画像の種類が多くなればなる程、その検査対象物の入力画像と全パターン画像とをパターンマッチングする処理時間が大きくなる。したがって前記技術では、実用的なタクトタイム内で検査を完了することが困難である。
【０００７】
特許文献１に記載の技術では、入力画像の大きさに対し、入力画像に出現する欠陥部分の大きさが、予め定められる大きさよりも小さい場合には、次のような問題がある。すなわち入力画像の濃淡のむらなどによって、低解像度ではパターンが検出できなくなる。
【０００８】
さらに入力画像に存在する欠陥部分が、予め定める欠陥部分のパターン画像の角度と異なる角度になる可能性がある場合には、パターンマッチングする都度、パターン画像を順次回転させパターンマッチングする必要がある。したがって検査対象物が大きくなればなる程またはパターン画像の種類が多くなればなる程、その検査対象物の入力画像とパターン画像とをパターンマッチングする処理時間が大きくなる。それ故特許文献１に記載の技術では、実用的なタクトタイム内で検査を完了することが困難である。
【０００９】
したがって本発明の目的は、パターンマッチングを用いた画像処理検査において、画像処理検査に要する処理時間の短縮を図ることが可能な画像処理検査方法および画像処理検査装置を提供することである。
【００１０】
【課題を解決するための手段】
本発明は、検査対象物の入力画像を画像処理によって検査する方法であって、
入力画像の画素値の変化率の大きさを求める勾配算出工程と、
入力画像のうち、前記変化率の大きさに基づいてパターンマッチングする範囲を決定する範囲決定工程と、
入力画像のうち範囲決定工程で決定される範囲の画像と、予め定めるパターン画像とをパターンマッチングするパターンマッチング工程とを有することを特徴とする画像処理検査方法である。
【００１１】
本発明に従えば、勾配算出工程において、入力画像の画素値の変化率の大きさを求める。次に範囲決定工程において、入力画像のうち、前記変化率の大きさに基づいてパターンマッチングする範囲を決定する。その後パターンマッチング工程において、入力画像のうち範囲決定工程で決定される範囲の画像と、予め定めるパターン画像とをパターンマッチングする。このように検査対象物の入力画像を画像処理によって検査する。
【００１２】
特に、入力画像の画素値の変化率の大きさに基づいて、パターンマッチングする範囲を決定している。換言すれば、入力画像のうちパターンマッチングする必要のある範囲すなわち検査すべき範囲を、パターンマッチングする前に予め絞り込んでいる。したがって本発明の画像処理検査方法に従えば、入力画像全体を余すことなくパターンマッチングする従来の技術と比べて、画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００１３】
また本発明は、範囲決定工程は、
画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標を、パターンマッチングする範囲に含めることを特徴とする。
【００１４】
本発明に従えば、範囲決定工程では、画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標をパターンマッチングする範囲に含めている。仮にパターン画像と合致するような画像が存在する範囲では、画素値の変化率の大きさが、予め定める変化率の大きさを超える。逆にパターン画像と合致するような画像か、ないしはパターン画像と合致はしないが何らかのパターンがある画像が存在しない範囲では、画素値の変化率の大きさが、予め定める変化率の大きさを超えない。このように入力画像のうちの任意の範囲について、パターン画像と合致するような画像が存在するか否かを、予め定める変化率の大きさから判断している。したがってパターン画像と合致するような画像が明らかに存在しない範囲については、パターンマッチングを省略することができる。それ故画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００１５】
また本発明は、範囲決定工程は、
画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める段階と、
前記座標にラベリング処理を行う段階と、
ラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定する段階とを有することを特徴とする。
【００１６】
本発明に従えば、最初の段階で、画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める。次の段階で前記座標にラベリング処理を行う。その後ラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定する。このように画素値の変化がある全ての座標についてパターンマッチングするのではなく、複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定している。したがって画像処理検査に要する処理時間の短縮を図ることができる。
【００１７】
また本発明は、パターンマッチング工程は、
画素値の変化率の方向を求める段階と、
前記段階で求められる方向に基づいて、パターン画像を回転する角度を決定する段階とを有することを特徴とする。
【００１８】
本発明に従えば、画素値の変化率の方向を求め、この方向に基づいてパターン画像を回転する角度を決定している。このように決定される角度に基づいて、パターン画像を回転し、パターンマッチングすることが可能となる。したがって本発明の画像処理検査方法に従えば、従来技術のように各設定角度毎にパターン画像を回転させるような複雑な処理をする必要がないので、画像処理検査に要する処理を高速化することができる。
【００１９】
また本発明は、パターンマッチング工程は、
複数のパターン画像を定める段階と、
各パターン画像と入力画像とのパターンマッチングによる類似度を求める段階と、
前記類似度に基づいて、入力画像の検査対象部分を検出する段階とを含むことを特徴とする。
【００２０】
本発明に従えば、最初の段階で複数のパターン画像を定めておき、次の段階で、各パターン画像と入力画像とのパターンマッチングによる類似度を求める。その後の段階で前記類似度に基づいて、入力画像の検査対象部分を検出している。このように類似度に基づいて、検査対象部分であるか否かを判断しているうえ、各パターン画像に対応する検査対象部分を種類別に分けることが可能となる。
【００２１】
また本発明は、検査対象物の入力画像を画像処理によって検査する装置であって、
入力画像の画素値の変化率の大きさを求める勾配算出手段と、
入力画像のうち、前記変化率の大きさに基づいてパターンマッチングする範囲を決定する範囲決定手段と、
入力画像のうち範囲決定手段によって決定される範囲の画像と、予め定めるパターン画像とをパターンマッチングするパターンマッチング手段とを有することを特徴とする画像処理検査装置である。
【００２２】
本発明に従えば、勾配算出手段によって、入力画像の画素値の変化率の大きさを求める。範囲決定手段によって、入力画像のうち前記変化率の大きさに基づいてパターンマッチングする範囲を決定する。その後パターンマッチング手段によって、入力画像のうち範囲決定手段によって決定される範囲の画像と、予め定めるパターン画像とをパターンマッチングする。このように検査対象物の入力画像を画像処理によって検査する。
【００２３】
特に、入力画像の画素値の変化率の大きさに基づいて、パターンマッチングする範囲を決定している。換言すれば、入力画像のうちパターンマッチングする必要のある範囲すなわち検査すべき範囲を、パターンマッチングする前に予め絞り込んでいる。したがって本発明の画像処理検査装置に従えば、入力画像全体を余すことなくパターンマッチングする従来の技術と比べて、画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００２４】
また本発明は、範囲決定手段は、
画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標を、パターンマッチングする範囲に含めることを特徴とする。
【００２５】
本発明に従えば、範囲決定手段によって、画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標をパターンマッチングする範囲に含めている。仮にパターン画像と合致するような画像が存在する範囲では、画素値の変化率の大きさが、予め定める変化率の大きさを超える。逆にパターン画像と合致するような画像か、ないしはパターン画像と合致はしないが何らかのパターンがある画像が存在しない範囲では、画素値の変化率の大きさが、予め定める変化率の大きさを超えない。
【００２６】
このように入力画像のうちの任意の範囲について、パターン画像と合致するような画像が存在するか否かを、予め定める変化率の大きさから判断している。したがってパターン画像と合致するような画像が明らかに存在しない範囲については、パターンマッチングを省略することができる。それ故画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００２７】
また本発明は、範囲決定手段は、
画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める座標算出手段と、
前記座標にラベリング処理を行うラベリング処理手段とを有し、
ラベリング処理手段によってラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定することを特徴とする。
【００２８】
本発明に従えば、座標算出手段によって、画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める。次にラベリング処理手段によって、前記座標にラベリング処理を行う。このラベリング処理手段によってラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定する。このように画素値の変化がある全ての座標についてパターンマッチングするのではなく、複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定している。したがって画像処理検査に要する処理時間の短縮を図ることができる。
【００２９】
また本発明は、パターンマッチング手段は、
画素値の変化率の方向を求めておき、求められる方向に基づいて、パターン画像を回転する角度を決定することを特徴とする。
【００３０】
本発明に従えば、画素値の変化率の方向を求めておき、この方向に基づいてパターン画像を回転する角度を決定している。このように決定される角度に基づいて、パターン画像を回転し、パターンマッチングすることが可能となる。したがって本発明の画像処理検査装置に従えば、従来技術のように各設定角度毎にパターン画像を回転させるような複雑な処理をする必要がないので、画像処理検査に要する処理を高速化することができる。
【００３１】
また本発明は、パターンマッチング手段は、
複数のパターン画像を定めておき、各パターン画像と入力画像とのパターンマッチングによる類似度を求め、前記類似度に基づいて、入力画像の検査対象部分を検出することを特徴とする。
【００３２】
本発明に従えば、複数のパターン画像を定めておき、各パターン画像と入力画像とのパターンマッチングによる類似度を求める。前記類似度に基づいて、入力画像の検査対象部分を検出している。このように類似度に基づいて、検査対象部分であるか否かを判断しているうえ、各パターン画像に対応する検査対象部分を種類別に分けることが可能となる。
【００３３】
また本発明は、入力画像は、検査対象物に照射した反射光、散乱光および回折光の少なくともいずれか一つを受光し撮像した画像であることを特徴とする。
【００３４】
本発明に従えば、検査対象物に照射した反射光、散乱光および回折光の少なくともいずれか一つを受光し撮像することで入力画像を得ることができる。
【００３５】
また本発明は、パターン画像は、検査対象部分を含む検査対象物を撮像した画像から、少なくとも前記検査対象部分を抽出した画像であることを特徴とする。
【００３６】
本発明に従えば、検査対象部分を含む検査対象物を撮像した画像から、少なくとも前記検査対象部分を抽出することで、パターン画像を得ることができる。
【００３７】
また本発明は、前記画像処理検査装置を含む液晶基板検査装置である。
本発明に従えば、前記画像処理検査装置を含む液晶基板検査装置を実現することができる。すなわち液晶基板の入力画像を、画像処理によって検査することができる。
【００３８】
【発明の実施の形態】
図１は、本発明の実施形態に係る画像処理検査方法を示すフローチャートである。図２は、液晶基板検査装置１の構成を概略示す図である。本実施形態は、たとえば液晶基板を撮像した入力画像を画像処理によって検査する液晶基板検査装置に、本発明の画像処理検査装置を適用した場合の一例を示す。以下の説明は、画像処理検査方法についての説明をも含む。
【００３９】
図２に示すように、画像処理検査装置を含む液晶基板検査装置１は、液晶基板撮像部２と、検査制御部３と、画像処理検査部４とを有する。検査制御部３は、工場の工程管理システム５と電気的に接続されている。検査制御部３による制御に基づいて、液晶基板撮像部２にて液晶基板が撮像される。画像処理検査部４は、撮像された画像を検査しその検査結果を検査制御部３に送る。検査制御部３は、検査結果を工程管理システム５へ送る。
【００４０】
図３は、液晶基板撮像部２の構成を概略示す斜視図である。液晶基板撮像部２は、搬送手段としての搬送ステージ６と、照明手段としての照明７と、撮像手段としてのラインＣＣＤカメラ８（ＣＣＤカメラ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅカメラ）とを備えている。搬送ステージ６は、検査対象物である液晶基板９を照明７およびＣＣＤカメラ８に対して相対的に搬送する機能を有する。照明７は、前記検査制御部３からの制御によって点灯し、液晶基板９を照明する。ラインＣＣＤカメラ８は、液晶基板９からの回折光を受光するように構成されている。したがって液晶基板撮像部２は、特に搬送ステージ６の搬送機能によって液晶基板９全面を撮像可能に構成されている。
【００４１】
検査制御部３からの制御によって照明７が点灯した後、搬送ステージ６は、その一表面部に搭載された液晶基板９を矢符Ａ１にて示す基板撮像方向に搬送する。この搬送量は、液晶基板９全面を撮像できるだけのストロークである。搬送ステージ６によって液晶基板９を搬送している間、ラインＣＣＤカメラ８で連続して液晶基板９を撮像する。その結果、液晶基板９全面の画像である液晶基板画像を取得する。ラインＣＣＤカメラ８は画像処理検査部４に電気的に接続されており、前記液晶基板画像は画像処理検査部４に送られる。
【００４２】
図４は、画像処理検査部４の構成を概略示す図である。画像処理検査部４は、画像入力部１０と、演算部１１と、記憶部１２と、結果出力部１３とを備えている。画像入力部１０は、ラインＣＣＤカメラ８からの液晶基板画像１４を受け取る。演算部１１は、画像処理演算を行う。記憶部１２は、液晶基板画像１４および演算結果を記憶する。結果出力部１３は、検査制御部３に演算結果を送る。
【００４３】
すなわちステップｓ０で画像処理検査が開始すると、ステップｓ１に移行する。ステップｓ１において、画像入力部１０で受け取られた液晶基板画像１４に、たとえばノイズ除去のための平滑化処理を施す。この平滑化処理は図１において前処理として図示する。ステップｓ１で前処理された画像は、被検査画像１５として記憶部１２に記憶する。この被検査画像１５が入力画像に相当する。
【００４４】
次にステップｓ２の濃淡勾配分布算出工程に移行し、被検査画像１５の後述する濃淡勾配分布を算出する。このステップｓ２は、図５に示すフローチャートでステップＳ１０で示す濃淡勾配絶対値分布算出と，ステップＳ１１で示す濃淡勾配方向とを経ることで実現されている。この濃淡勾配分布算出工程において、濃淡勾配ベクトルの大きさの分布１９と濃淡勾配ベクトルの方向分布２０とを算出したうえで、記憶部１２にそれぞれ記憶する。
【００４５】
図６は、濃淡勾配分布を算出する方法を説明する図である。ステップｓ２の濃淡勾配分布算出工程では、ステップｓ１０にて濃淡勾配ベクトルの大きさを算出する。すなわち被検査画像１５の二次元の画像において、算出点１６（Ｘｓ，Ｙｓ）に対し、ＸｓをＸｏからＸｅまで矢符Ｘにて示す方向に、ＹｓをＹｏからＹｅまで矢符Ｙにて示す方向に、画像全面を処理するように変化させる。前記（Ｘｓ，Ｙｓ）は、算出点１６の座標と同義である。前記二次元の画像とは、図６に示すように被検査画像１５の原点１７（Ｘｏ，Ｙｏ）から端点１８（Ｘｅ，Ｙｅ）に分布する二次元の画像である。濃淡勾配ベクトルの大きさが、画素値の変化率の大きさに相当する。濃淡勾配ベクトルの大きさを濃淡勾配絶対値という場合もある。
【００４６】
図７は、濃淡勾配分布を算出する方法を示し、算出点とこの算出点に隣接する８点とを示す図である。つまり算出点１６（Ｘｓ，Ｙｓ）では、算出点１６に隣接する８点に対し、座標（Ｘ，Ｙ）における被検査画像１５の画像濃淡値をＶ（Ｘ，Ｙ）とすると、数１に示す濃淡勾配ベクトルの大きさＧ（Ｘｓ，Ｙｓ）を算出し、濃淡勾配ベクトルの大きさの分布１９の座標（Ｘｓ，Ｙｓ）に格納する。このように濃淡勾配ベクトルの大きさの分布１９を得る。数１が勾配算出手段に相当する。
【００４７】
【数１】

Figure 2005031952
【００４８】
具体的に、濃淡勾配ベクトルの大きさＧ（Ｘｓ，Ｙｓ）は、第１項に第２項を加えることで求められる。第１項は、算出点１６の左右に隣接する２点の画像濃淡値の差の二乗に、算出点１６の上下に隣接する２点の画像濃淡値の差の二乗を加えた値の平方根を、「２」で除す。第２項は、算出点１６の斜めに隣接する２点の画像濃淡値の差の二乗に、算出点の別の斜めに隣接する２点の画像濃淡値の差の二乗を加えた値を、「８」で除したうえで平方根を求める。
【００４９】
前述のように濃淡勾配ベクトルの大きさを算出し、さらにステップｓ１１にて濃淡勾配ベクトルの方向を算出する。すなわち被検査画像１５の二次元の画像において、算出点１６（Ｘｓ，Ｙｓ）に対し、ＸｓをＸｏからＸｅまでＹｓをＹｏからＹｅまで画像全面を処理するように変化させる。濃淡勾配ベクトルの方向が画素値の変化率の方向に相当する。濃淡勾配ベクトルの方向を濃淡勾配方向という場合もある。図５においては、ステップｓ１１を濃淡勾配方向算出と表記する。
【００５０】
算出点１６（Ｘｓ，Ｙｓ）では、算出点１６に隣接する８点に対し、座標（Ｘ，Ｙ）における被検査画像１５の画像濃淡値をＶ（Ｘ，Ｙ）とすると、数２に示す濃淡勾配ベクトルの方向Ｄ（Ｘｓ，Ｙｓ）を算出し、濃淡勾配ベクトルの方向分布２０の座標（Ｘｓ，Ｙｓ）に格納する。このように濃淡勾配ベクトルの方向分布２０を得る。
【００５１】
【数２】
Figure 2005031952
【００５２】
具体的に、濃淡勾配ベクトルの方向Ｄ（Ｘｓ，Ｙｓ）は、次のように求められる。算出点１６の上下に隣接する２点の画像濃淡値の差を、算出点１６の左右に隣接する２点の画像濃淡値の差で除す。この値の平方根のａｒｃｔａｎを求める。求められる値に「１８０」を乗じ、「π」で除す。このように濃淡勾配ベクトルの方向Ｄ（Ｘｓ，Ｙｓ）を求める。ただし算出点１６の左右に隣接する２点の画像濃淡値の差が「０」のとき、濃淡勾配ベクトルの方向Ｄ（Ｘｓ，Ｙｓ）は「９０」に定められる。
【００５３】
ステップｓ２の後、ステップｓ３に移行し、濃淡勾配ベクトルの大きさを判定する。この濃淡勾配ベクトルの大きさ判定工程において、濃淡勾配ベクトルの大きさの分布１９と、予め記憶部１２に記憶された検査レシピ情報２１とからパターンマッチング処理座標リスト２２を作る。より具体的には、濃淡勾配ベクトルの大きさ判定工程ステップｓ３では、濃淡勾配ベクトルの大きさの分布１９と、検査レシピ情報２１とを記憶部１２から読み込む。検査レシピ情報２１には濃淡勾配ベクトルの大きさの閾値と、検査に使用する複数のパターン画像の種類と、検査に使用する複数パターン画像の種類毎の類似度閾値を格納している。
【００５４】
その後、濃淡勾配ベクトルの大きさの分布１９の各座標点における濃淡勾配ベクトルの大きさと、検査レシピ情報２１に予め登録されている濃淡勾配ベクトルの大きさの閾値とを比較する。濃淡勾配ベクトルの大きさの閾値を越える濃淡勾配ベクトルの大きさの座標を登録し、パターンマッチング処理座標リスト２２を作る。濃淡勾配ベクトルの大きさ判定工程ステップｓ３が、範囲決定手段に相当する。前記閾値が、予め定める画素値の変化率の大きさに相当する。前述の濃淡勾配ベクトルの大きさ判定工程ステップｓ３は、後述するラベリング処理工程を含む濃淡勾配ベクトルの大きさ判定工程であってもよい（図２２参照）。
【００５５】
次にステップｓ４のパターンマッチング工程において、被検査画像１５と、前記パターンマッチング処理座標リスト２２と、濃淡勾配ベクトルの方向分布２０と、予め記憶部１２に記憶されたパターン情報２３と、検査レシピ情報２１とを読み込む。その後検査に必要なパターンマッチングを行い、類似度を算出する。
【００５６】
パターン情報２３は図９に示すパターン画像２５を１つないしは複数を格納している。算出された類似度は、パターン類似度結果情報２４として記憶部１２に保存する。パターンマッチング工程がパターンマッチング手段に相当する。
【００５７】
図８は、パターンマッチング工程を示すフローチャートである。図９は、パターンマッチング工程におけるパターン画像２５を説明する図である。図１０は、パターンマッチング工程における被検査画像１５を説明する図である。図１１は、パターン画像２５を回転させる回転角度αを示す図である。図１２は、回転後の回転パターン画像２６を説明するための図である。図１３は、類似度を算出する工程を説明するための図である。
【００５８】
パターン画像２５は、たとえば欠陥部分を含む液晶基板９を撮像した画像から、少なくとも前記欠陥部分を抽出した画像である。前記欠陥部分が検査対象部分に相当する。パターンマッチング工程、ステップｓ４では、先ず読込工程、ステップｓ２０において、被検査画像１５と、パターンマッチング処理座標リスト２２と、濃淡勾配ベクトルの方向分布２０と、予め記憶部１２に記憶されたパターン情報２３および検査レシピ情報２１とを読み込む。次にパターン画像選択工程、ステップｓ２１において、検査レシピ情報２１から検査に使用するパターン画像の種類を読み出し、さらにパターン情報２３から前記種類に該当するパターン画像２５と、パターン回転中心座標２７と、パターン回転中心勾配ベクトルの方向２８とを読み込む。その後マッチング座標確認工程、ステップｓ２２に移行する。
【００５９】
マッチング座標確認工程において、パターンマッチング処理座標リスト２２からパターンマッチングするマッチング座標２９を読み込む。さらに濃淡勾配ベクトルの方向分布２０のマッチング座標２９における濃淡勾配ベクトルの方向３０を読み込む。次にパターン画像回転工程、ステップｓ２３において、濃淡勾配ベクトルの方向３０と、パターン回転中心勾配ベクトルの方向２８とが一致するようにパターン画像２５を回転させる目的で、回転角度αを算出する。すなわち、濃淡勾配ベクトルの方向３０とパターン回転中心勾配ベクトルの方向２８との差を求めて回転角度αを算出する。その結果パターン回転中心座標２９を中心に、パターン画像２５を回転角度αだけ回転した回転パターン画像２６を得る。
【００６０】
次に類似度算出工程、ステップｓ２４において、数３に示す類似度を算出する。すなわち回転パターン画像２６の回転中心座標２７と被検査画像１５のマッチング座標２９とにおいて、回転パターン画像２６を回転中心座標２７が被検査画像１５のマッチング座標２９（Ｘｓ，Ｙｓ）と一致するように平行移動した際に、回転パターン画像２６が重なる領域をＫ（Ｘｓ，Ｙｓ）とする。さらに回転パターン画像２６の座標（Ｘ，Ｙ）における濃淡値をＷ（Ｘ，Ｙ）としたときに、数３に示す類似度Ｎ（Ｘｓ，Ｙｓ）を算出する。
【００６１】
【数３】
Figure 2005031952
【００６２】
具体的に類似度Ｎ（Ｘｓ，Ｙｓ）は、以下にように求められる。座標（Ｘ，Ｙ）における被検査画像１５の画像濃淡値Ｖ（Ｘ，Ｙ）に、回転パターン画像２６の座標（Ｘ，Ｙ）における濃淡値Ｗ（Ｘ，Ｙ）を乗じる。そして領域Ｋ（Ｘｓ，Ｙｓ）に含まれる全ての座標（Ｘ，Ｙ）について、Ｖ（Ｘ，Ｙ）×Ｗ（Ｘ，Ｙ）の総和を求める。
【００６３】
領域Ｋ（Ｘｓ，Ｙｓ）に含まれる全ての座標（Ｘ，Ｙ）について、画像濃淡値Ｖ（Ｘ，Ｙ）の二乗の総和を求めておき、領域Ｋ（Ｘｓ，Ｙｓ）に含まれる全ての座標（Ｘ，Ｙ）について、濃淡値Ｗ（Ｘ，Ｙ）の二乗の総和を求める。さらにこれらの総和を乗じた値の平方根を求める。前述のＶ（Ｘ，Ｙ）×Ｗ（Ｘ，Ｙ）の総和から、前記平方根を求めた値を除すことによって、類似度Ｎ（Ｘｓ，Ｙｓ）を算出する。
【００６４】
このように算出された類似度と、マッチング座標２９と、パターン画像の種類とをパターン類似度結果情報２４に登録する。パターンマッチング処理座標リスト２２に登録された全ての座標について、ステップｓ２２〜ｓ２５のステップを繰り返す。さらに検査レシピ情報２１に登録された全ての種類のパターン画像について、ステップｓ２１〜ｓ２６のステップを繰り返す。これによって、パターン類似度結果情報２４を得る。
【００６５】
次に基板判定工程、ステップｓ５に移行する。この工程では、パターン類似度結果情報２４と検査レシピ情報２１とから、液晶基板９の欠陥の個数と、各欠陥の座標と、欠陥の種類とを判定する。その検査結果を、基板検査結果情報３１として記憶部１２に保存する。具体的に基板判定工程、ステップｓ１４において、パターン類似度結果情報２４の各マッチング座標２９における各パターン画像の種類毎の類似度と、検査レシピ情報２１に登録されたパターン画像の種類毎の類似度閾値とを比較する。
【００６６】
この類似度閾値を超えるパターン画像２５の種類について、予めパターン画像の種類の組み合わせによって決めた欠陥の種類を判別し、基板検査結果情報３１に欠陥の種類とその座標とを登録する。全てのマッチング座標２９に対し、欠陥の種類の判別を行った後、同一種類の欠陥が座標上で連続している部分をラベリングによって判別する。この連続部分の個数をその種類の欠陥の個数とし、連続部分に含まれる領域を囲む矩形領域の座標およびサイズを、欠陥の座標およびサイズとして基板検査結果情報３１に登録する。
【００６７】
次に結果出力部１３は、基板検査結果情報３１とパターン類似度結果情報２４とを検査制御部３に送る。次に検査制御部３は、基板検査結果情報３１とパターン類似度結果情報２４とを工程管理システム５へ送る。工程管理システム５はこの情報をもとに、検査を行った液晶基板９をさらに目視検査するのか、不良として払い出すのか、リペアするかなどの次工程を決定する。
【００６８】
図１４は、被検査画像１５Ａの一例を説明する図である。図１５は、パターン画像３２の一例を説明する図である。図１６は、被検査画像１５Ａの濃淡勾配ベクトルの大きさ分布３３を示す図である。図１７は、パターン画像３２の濃淡勾配ベクトルの大きさ分布３４を示す図である。 図１４に示すように被検査画像１５Ａの一部には、図１５に示すパターン画像３２に近似するパターンが存在する。前記パターンを被検査画像１５Ａから検出するのを目的とする。被検査画像の各画素に対し濃度勾配分布を求め、図１６に示す濃淡勾配ベクトルの大きさ分布３３であって、被検査画像１５Ａの濃淡勾配ベクトルの大きさ分布３３を得る。
【００６９】
図１８は、被検査画像１５Ａの濃淡勾配ベクトルの大きさ分布３３にラベリング処理を施した結果３５を説明する図である。図１９は、テンプレート画像３２の濃淡勾配ベクトルの大きさ分布３４にラベリング処理を施した結果３６を説明する図である。図２０および図２１は、濃淡勾配ベクトルの大きさ分布３３にラベリング処理を施した結果３５に基づき、被検査画像１５Ａとパターン画像３２とをパターンマッチングする状態を説明する図である。ラベリング処理を、単に、ラベリングという場合がある。
【００７０】
被検査画像１５Ａの濃淡勾配ベクトルの大きさの分布３３から、濃淡勾配ベクトルの大きさ閾値を越える座標を抽出し、ラベリング処理することで、図１８に示すようなグループ３７，３８，３９を得る。すなわちラベリング処理によってグループ分けされたグループ３７，３８，３９を得ることができ、それぞれのグループにおける重心位置の濃度勾配ベクトルの方向３７Ｄ，３８Ｄ，３９Ｄが得られる。
【００７１】
パターン画像の濃淡勾配ベクトルの大きさの分布３４から、濃淡勾配ベクトルの大きさ閾値を越える座標を抽出し、ラベリング処理することで、図１９に示す結果３６を得られる。この結果３６のうち、グループ化されたグループ４０の重心における濃淡勾配ベクトルの方向４１が矢符で示される。
【００７２】
グループ３９に対して、パターンマッチングを行う様子を示した画像４２が図２０である。濃淡勾配ベクトル３９Ｄに、パターン画像の重心の濃淡勾配ベクトル方向４１が一致するようにパターン画像を回転させる。その後、濃淡勾配ベクトルの大きさ分布の重心位置が一致するような座標において類似度を算出する。この場合パターンはあまり一致せず、類似度は低くなる。この類似度は類似度閾値より低く、この座標には検出すべきパターンはないと判定される。
【００７３】
同様にグループ３８に対して、パターンマッチングを行う様子を示した画像４３が図２１である。濃淡勾配ベクトルの方向３８Ｄに、パターン画像の重心の濃淡勾配ベクトル方向４１が一致するようにパターン画像を回転させる。その後、濃淡勾配ベクトルの大きさ分布の重心位置が一致するような座標において類似度を算出する。この場合パターンは一致し、類似度は高くなる。この類似度が類似度閾値より高い場合、この座標には検出すべきパターンがあると判定される。
【００７４】
同様にグループ３７に対して、パターンマッチングを行う。濃淡勾配ベクトルの方向３７Ｄにパターン画像の重心の濃淡勾配ベクトル方向４１が一致するようにパターン画像を回転させる。その後、濃淡勾配ベクトルの大きさ分布の重心位置が一致するような座標において類似度を算出する。この場合パターンは全く一致せず、類似度はかなり低くなる。この類似度は、類似度閾値より低くなり、この座標には検出すべきパターンがないと判定される。
【００７５】
図２２は、ラベリングを用いた濃淡勾配ベクトルの大きさ判定工程ステップｓ３０を示すフローチャートである。この濃淡勾配ベクトルの大きさ判定工程、ステップｓ３０では、二値化工程、ステップｓ３１で濃淡勾配ベクトルの大きさの分布１９と、検査レシピ情報２１とを記憶部１２から読み込む。そして濃淡勾配ベクトルの大きさの分布１９の各座標点における濃淡勾配ベクトルの大きさと、検査レシピ情報２１に予め登録されている濃淡勾配ベクトルの大きさの閾値とを比較する。濃淡勾配ベクトルの大きさの閾値を超える濃淡勾配ベクトルの大きさの座標を、パターンマッチング処理座標候補リスト４４に登録する。
【００７６】
次にラベリング処理工程、ステップｓ３２において、前記パターンマッチング処理座標候補リスト４４にある座標を、連続するグループにグループ化するラベリング処理を行う。次に特徴量算出工程、ステップｓ３３に移行し、ラベリング処理工程でグループ化された各グループについて特徴量である重心座標を算出する。その後前記重心座標に基づいて、パターンマッチング処理座標リスト２２を作る。前記濃淡勾配ベクトルの大きさ判定工程が、範囲決定手段に相当する。二値化工程が、座標算出手段に相当する。ラベリング処理工程が、ラベリング処理手段に相当する。
【００７７】
以上説明した画像処理検査方法によれば、濃淡勾配分布算出工程、ステップｓ２において、濃淡勾配ベクトルの大きさを求める。その後、濃淡勾配ベクトルの大きさ判定工程、ステップｓ３において、濃淡勾配ベクトルの大きさ分布１９と、予め記憶部１２に記憶された検査レシピ情報２１とからパターンマッチング処理座標リスト２２を作っている。
【００７８】
特に被検査画像１５の濃淡勾配ベクトルの大きさ分布１９に基づいて、パターンマッチングする座標範囲を決定している。換言すれば、被検査画像１５のうちパターンマッチングする必要のある範囲すなわち検査すべき範囲を、パターンマッチングする前に予め絞り込んでいる。したがって本画像処理検査方法によれば、被検査画像全体を余すことなくパターンマッチングする従来の技術と比べて、画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００７９】
また本画像処理検査方法によれば、濃淡勾配ベクトルの大きさ判定工程、ステップｓ３では、濃淡勾配ベクトルの大きさの分布の各座標点における濃淡勾配ベクトルの大きさと、検査レシピ情報２１に予め登録されている濃淡勾配ベクトルの大きさの閾値とを比較し、濃淡勾配ベクトルの大きさの閾値を越える濃淡勾配ベクトルの大きさの座標を登録しパターンマッチング処理座標リスト２２を作っている。
【００８０】
仮にパターン画像と合致するような画像が存在する範囲では、濃淡勾配ベクトルの大きさが前記閾値を越える。逆にパターン画像と合致するような画像が存在しないような範囲では、濃淡勾配ベクトルの大きさが前記閾値を越えない。このように被検査画像１５のうちの任意の範囲について、パターン画像と合致するような画像が存在するか否かを、濃淡勾配ベクトルの大きさの閾値から判断している。したがってパターン画像と合致するような画像が明らかに存在しない範囲については、パターンマッチングを省略することができる。それ故、画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００８１】
図２２に示す画像処理検査方法によれば、特にラベリング工程、ステップｓ３２において、パターンマッチング処理座標候補リスト２２にある座標を、連続するグループにグループ化するラベリング処理を施している。次に特徴量算出工程、ステップｓ３３において、ラベリング工程でグループ化された各グループについて重心座標を算出し、パターンマッチング処理座標リスト２２を作っている。
【００８２】
このように濃淡差のある全ての座標についてパターンマッチングするのではなく、複数の座標の連結の仕方を表す重心座標に基づいて、パターンマッチングする座標範囲を決定している。したがって画像処理検査に要する処理時間の短縮を一層図ることができる。
【００８３】
また画像処理検査方法によれば、濃淡勾配ベクトルの方向分布算出工程、ステップｓ１１において、濃淡勾配ベクトルの方向Ｄ（Ｘｓ，Ｙｓ）を算出し、前記方向に基づいてパターン画像を回転する角度αを決定している。このように決定される角度αに基づいて、パターン画像を回転し、パターンマッチングすることが可能となる。したがって本画像処理検査方法によれば、従来技術のように各設定角度毎にパターン画像を回転させるような複雑な処理をする必要がないので、画像処理検査に要する処理を高速化することができる。
【００８４】
また画像処理検査方法によれば、類似度算出工程、ステップｓ２４において、類似度Ｎ（Ｘｓ，Ｙｓ）を算出し、特に算出された類似度に基づいて、この座標には検出すべきパターンがあるのかないのかを判定している。しかも検査レシピ情報２１に登録された全種類のパターン画像に対応する検査対象部分を、種類別に分けることが可能となる。
【００８５】
本発明の実施の他の形態として、入力画像は、液晶基板に照射した反射光または散乱光を受光し撮像した画像であってもよい。検査対象物は、必ずしも液晶基板に限定されるものではない。その他、前記実施形態に、特許請求の範囲を逸脱しない範囲において種々の部分的変更を行う場合もある。
【００８６】
【発明の効果】
以上のように本発明によれば、特に、入力画像の画素値の変化率の大きさに基づいて、パターンマッチングする範囲を決定している。換言すれば、入力画像のうちパターンマッチングする必要のある範囲すなわち検査すべき範囲を、パターンマッチングする前に予め絞り込んでいる。したがって本発明の画像処理検査方法によれば、入力画像全体を余すことなくパターンマッチングする従来の技術と比べて、画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００８７】
また本発明によれば、範囲決定工程では、画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標をパターンマッチングする範囲に含めている。仮にパターン画像と合致するような画像が存在する範囲には、画素値の変化率の大きさが、予め定める変化率の大きさを超える。逆にパターン画像と合致するような画像が存在しない範囲には、画素値の変化率の大きさが、予め定める変化率の大きさを超えない。このように入力画像のうちの任意の範囲について、パターン画像と合致するような画像が存在するか否かを、予め定める変化率の大きさから判断している。したがってパターン画像と合致するような画像が明らかに存在しない範囲については、パターンマッチングを省略することができる。それ故画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００８８】
また本発明によれば、最初の段階で、画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める。次の段階で前記座標にラベリング処理を行う。その後ラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定する。このように画素値の変化がある全ての座標についてパターンマッチングするのではなく、複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定している。したがって画像処理検査に要する処理時間の短縮を図ることができる。
【００８９】
また本発明によれば、画素値の変化率の方向を求め、この方向に基づいてパターン画像を回転する角度を決定している。このように決定される角度に基づいて、パターン画像を回転し、パターンマッチングすることが可能となる。したがって本発明の画像処理検査方法によれば、従来技術のように各設定角度毎にパターン画像を回転させるような処理を用いる必要がないので、画像処理検査に要する処理を高速化することができる。
【００９０】
また本発明によれば、最初の段階で複数のパターン画像を定めておき、次の段階で、各パターン画像と入力画像とのパターンマッチングによる類似度を求める。その後の段階で前記類似度に基づいて、入力画像の検査対象部分を検出している。このように類似度に基づいて、検査対象部分であるか否かを判断しているうえ、各パターン画像に対応する検査対象部分を種類別に分けることが可能となる。
【００９１】
また本発明によれば、勾配算出手段によって、入力画像の画素値の変化率の大きさを求め、特に範囲決定手段によって、入力画像のうち前記変化率の大きさに基づいてパターンマッチングする範囲を決定している。換言すれば、入力画像のうちパターンマッチングする必要のある範囲すなわち検査すべき範囲を、パターンマッチングする前に予め絞り込んでいる。したがって本発明の画像処理検査装置によれば、入力画像全体を余すことなくパターンマッチングする従来の技術と比べて、画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００９２】
また本発明によれば、範囲決定手段によって、画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標をパターンマッチングする範囲に含めている。仮にパターン画像と合致するような画像が存在する範囲では、画素値の変化率の大きさが、予め定める変化率の大きさを超える。逆にパターン画像と合致するような画像が存在しない範囲では、画素値の変化率の大きさが、予め定める変化率の大きさを超えない。
【００９３】
このように入力画像のうちの任意の範囲について、パターン画像と合致するような画像が存在するか否かを、予め定める変化率の大きさから判断している。したがってパターン画像と合致するような画像が明らかに存在しない範囲については、パターンマッチングを省略することができる。それ故画像処理検査に要する処理時間を大幅に短縮することが可能となる。
【００９４】
また本発明によれば、座標算出手段によって、画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める。次にラベリング処理手段によって、前記座標にラベリング処理を行う。このラベリング処理手段によってラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定する。このように画素値の変化がある全ての座標についてパターンマッチングするのではなく、複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定している。したがって画像処理検査に要する処理時間の短縮を図ることができる。
【００９５】
また本発明によれば、画素値の変化率の方向を求めておき、この方向に基づいてパターン画像を回転する角度を決定している。このように決定される角度に基づいて、パターン画像を回転し、パターンマッチングすることが可能となる。したがって本発明の画像処理検査装置によれば、従来技術のように各設定角度毎にパターン画像を回転させるような複雑な処理をする必要がないので、画像処理検査に要する処理を高速化することができる。
【００９６】
また本発明によれば、複数のパターン画像を定めておき、各パターン画像と入力画像とのパターンマッチングによる類似度を求める。前記類似度に基づいて、入力画像の検査対象部分を検出している。このように類似度に基づいて、検査対象部分であるか否かを判断しているうえ、各パターン画像に対応する検査対象部分を種類別に分けることが可能となる。
【００９７】
また本発明によれば、検査対象物に照射した反射光、散乱光および回折光の少なくともいずれか一つを受光し撮像することで入力画像を得ることができる。
【００９８】
また本発明によれば、検査対象部分を含む検査対象物を撮像した画像から、少なくとも前記検査対象部分を抽出することで、パターン画像を得ることができる。
【００９９】
また本発明によれば、画像処理検査装置を含む液晶基板検査装置を実現することができる。すなわち液晶基板の入力画像を、画像処理によって検査することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理検査方法を示すフローチャートである。
【図２】液晶基板検査装置１の構成を概略示す図である。
【図３】液晶基板撮像部２の構成を概略示す斜視図である。
【図４】画像処理検査部４の構成を概略示す図である。
【図５】濃淡勾配分布を算出する方法を示すフローチャートである。
【図６】濃淡勾配分布を算出する方法を説明する図である。
【図７】濃淡勾配分布を算出する方法を示し、算出点とこの算出点に隣接する８点とを示す図である。
【図８】パターンマッチング工程を示すフローチャートである。
【図９】パターンマッチング工程におけるパターン画像２５を説明する図である。
【図１０】パターンマッチング工程における被検査画像１５を説明する図である。
【図１１】パターン画像２５を回転させる回転角度αを示す図である。
【図１２】回転後の回転パターン画像２６を説明するための図である。
【図１３】類似度を算出する工程を説明するための図である。
【図１４】被検査画像１５Ａの一例を説明する図である。
【図１５】テンプレート画像３２の一例を説明する図である。
【図１６】被検査画像１５Ａの濃淡勾配ベクトルの大きさ分布３３を示す図である。
【図１７】テンプレート画像３２の濃淡勾配ベクトルの大きさ分布３４を示す図である。
【図１８】被検査画像１５Ａの濃淡勾配ベクトルの大きさ分布３３にラベリング処理を施した結果３５を説明する図である。
【図１９】テンプレート画像３２の濃淡勾配ベクトルの大きさ分布３４にラベリング処理を施した結果３６を説明する図である。
【図２０】濃淡勾配ベクトルの大きさ分布３３にラベリング処理を施した結果３５に基づき、被検査画像１５Ａとテンプレート画像３２とをパターンマッチングする状態を説明する図である。
【図２１】濃淡勾配ベクトルの大きさ分布３３にラベリング処理を施した結果３５に基づき、被検査画像１５Ａとテンプレート画像３２とをパターンマッチングする状態を説明する図である。
【図２２】ラベリングを用いた濃淡勾配ベクトルの大きさ判定工程ステップｓ３０を示すフローチャートである。
【符号の説明】
１ 液晶基板検査装置
３ 検査制御部
４ 画像処理検査部
６ 搬送ステージ
７ 照明
８ ラインＣＣＤカメラ
９ 液晶基板
１２ 記憶部
１５ 被検査画像
１９ 濃淡勾配ベクトルの大きさの分布
２０ 濃淡勾配ベクトルの方向分布
２１ 検査レシピ情報
２５ パターン画像
３２ テンプレート画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing inspection method and an image processing inspection apparatus, and relates to a technique for inspecting an input image of an inspection object by image processing.
[0002]
[Prior art]
In the manufacturing process of an industrial product, for example, whether or not the industrial product has a defective portion is inspected by visual inspection by an inspector. In such a visual inspection, there are variations in inspection standards and oversight of defective portions depending on the inspector's sense, experience, and fatigue state. Moreover, when a desired quantity of industrial product is manufactured within a predetermined time, it must be visually inspected without missing a defective portion that may occur in the industrial product. This increases the physical burden on the inspector.
[0003]
On the other hand, an image inspection apparatus that inspects an input image of an inspection object by image processing is put into practical use. In image processing inspection, it is useful to use pattern matching when a certain pattern having a defective portion to be detected from an input image is shown.
[0004]
As an image processing inspection apparatus and an image processing inspection method using pattern matching, for example, a technique (Patent Document 1) for preventing counterfeit bills using a color copying apparatus has been proposed. According to Patent Document 1, first, a color distribution is measured at a low resolution, and then the measured color distribution is compared with a color distribution recorded in advance. As a result, rough recognition of the image is performed, and pattern matching is performed only when there is a suspicion of a bill.
[0005]
[Patent Document 1]
JP 11-316839 A
[0006]
[Problems to be solved by the invention]
In the technology that simply uses pattern matching, the larger the inspection object, the longer the processing time for pattern matching between the input image of the inspection object and a predetermined pattern image. As the number of types of pattern images increases, the processing time for pattern matching between the input image of the inspection object and all pattern images increases. Therefore, it is difficult for the technique to complete the inspection within a practical tact time.
[0007]
The technique described in Patent Document 1 has the following problems when the size of a defect portion that appears in an input image is smaller than a predetermined size with respect to the size of the input image. That is, the pattern cannot be detected at a low resolution due to unevenness in the density of the input image.
[0008]
Further, if there is a possibility that a defective portion existing in the input image has an angle different from the angle of the pattern image of the predetermined defective portion, it is necessary to perform pattern matching by sequentially rotating the pattern image every time pattern matching is performed. Therefore, the larger the inspection object or the more types of pattern images, the longer the processing time for pattern matching between the input image of the inspection object and the pattern image. Therefore, with the technique described in Patent Document 1, it is difficult to complete the inspection within a practical tact time.
[0009]
Accordingly, an object of the present invention is to provide an image processing inspection method and an image processing inspection apparatus capable of reducing processing time required for image processing inspection in image processing inspection using pattern matching.
[0010]
[Means for Solving the Problems]
The present invention is a method for inspecting an input image of an inspection object by image processing,
A gradient calculating step for determining the magnitude of the change rate of the pixel value of the input image;
Of the input image, a range determining step for determining a range for pattern matching based on the magnitude of the change rate;
An image processing inspection method comprising a pattern matching step of pattern matching an image in a range determined in a range determination step in an input image with a predetermined pattern image.
[0011]
According to the present invention, the magnitude of the change rate of the pixel value of the input image is obtained in the gradient calculating step. Next, in a range determination step, a range for pattern matching is determined based on the change rate in the input image. Thereafter, in the pattern matching step, pattern matching is performed between an image in the range determined in the range determination step in the input image and a predetermined pattern image. In this way, the input image of the inspection object is inspected by image processing.
[0012]
In particular, the pattern matching range is determined based on the rate of change of the pixel value of the input image. In other words, a range in the input image that needs pattern matching, that is, a range to be inspected is narrowed down in advance before pattern matching. Therefore, according to the image processing inspection method of the present invention, the processing time required for the image processing inspection can be significantly reduced as compared with the conventional technique in which pattern matching is performed without leaving the entire input image.
[0013]
In the present invention, the range determination step includes
When the change rate of the pixel value exceeds a predetermined change rate, the coordinates of the pixel value are included in a pattern matching range.
[0014]
According to the present invention, in the range determining step, when the change rate of the pixel value exceeds the predetermined change rate, the coordinates of the pixel value are included in the pattern matching range. If there is an image that matches the pattern image, the change rate of the pixel value exceeds the predetermined change rate. Conversely, in the range where the image matches the pattern image or does not match the pattern image but there is no image with some pattern, the rate of change of the pixel value exceeds the predetermined rate of change. Absent. In this way, whether or not there is an image that matches the pattern image in an arbitrary range of the input image is determined from the magnitude of the predetermined change rate. Therefore, pattern matching can be omitted for a range where there is clearly no image that matches the pattern image. Therefore, the processing time required for the image processing inspection can be greatly shortened.
[0015]
In the present invention, the range determination step includes
Obtaining a coordinate of a pixel value in which the magnitude of the change rate of the pixel value exceeds a predetermined change rate magnitude;
Performing a labeling process on the coordinates;
And a step of determining a pattern matching range based on a feature amount representing a method of connecting a plurality of coordinated coordinates.
[0016]
According to the present invention, in the first stage, the coordinates of the pixel value in which the magnitude of the change rate of the pixel value exceeds the predetermined magnitude of the change rate are obtained. In the next step, the coordinates are labeled. Thereafter, a pattern matching range is determined based on a feature amount representing a method of connecting a plurality of coordinated labels. In this way, pattern matching is not performed for all coordinates having a change in pixel value, but a pattern matching range is determined based on a feature amount representing a method of connecting a plurality of coordinates. Accordingly, the processing time required for the image processing inspection can be shortened.
[0017]
In the present invention, the pattern matching process
Obtaining the direction of the rate of change of the pixel value;
And determining an angle for rotating the pattern image based on the direction obtained in the above step.
[0018]
According to the present invention, the direction of the rate of change of the pixel value is obtained, and the angle for rotating the pattern image is determined based on this direction. Based on the angle thus determined, the pattern image can be rotated and pattern matching can be performed. Therefore, according to the image processing inspection method of the present invention, it is not necessary to perform complicated processing such as rotating the pattern image for each set angle as in the prior art, so that the processing required for the image processing inspection is accelerated. Can do.
[0019]
In the present invention, the pattern matching process
Defining a plurality of pattern images;
Obtaining a similarity by pattern matching between each pattern image and the input image;
Detecting an inspection target portion of the input image based on the similarity.
[0020]
According to the present invention, a plurality of pattern images are defined in the first stage, and the similarity by pattern matching between each pattern image and the input image is obtained in the next stage. At a later stage, the inspection target portion of the input image is detected based on the similarity. As described above, it is possible to determine whether the inspection target portion is based on the similarity, and to classify the inspection target portion corresponding to each pattern image by type.
[0021]
Further, the present invention is an apparatus for inspecting an input image of an inspection object by image processing,
A gradient calculating means for determining the magnitude of the change rate of the pixel value of the input image;
Of the input image, range determining means for determining a range for pattern matching based on the magnitude of the change rate;
An image processing inspection apparatus comprising pattern matching means for pattern matching an image in a range determined by a range determination means in an input image and a predetermined pattern image.
[0022]
According to the present invention, the magnitude of the change rate of the pixel value of the input image is obtained by the gradient calculating means. A range determining unit determines a pattern matching range based on the magnitude of the change rate in the input image. Thereafter, the pattern matching means pattern-matches the image in the range determined by the range determination means in the input image with a predetermined pattern image. In this way, the input image of the inspection object is inspected by image processing.
[0023]
In particular, the pattern matching range is determined based on the rate of change of the pixel value of the input image. In other words, a range in the input image that needs pattern matching, that is, a range to be inspected is narrowed down in advance before pattern matching. Therefore, according to the image processing inspection apparatus of the present invention, it is possible to significantly reduce the processing time required for the image processing inspection as compared with the conventional technique in which pattern matching is performed without leaving the entire input image.
[0024]
In the present invention, the range determining means is
When the change rate of the pixel value exceeds a predetermined change rate, the coordinates of the pixel value are included in a pattern matching range.
[0025]
According to the present invention, when the change rate of the pixel value exceeds the predetermined change rate by the range determining means, the coordinates of the pixel value are included in the pattern matching range. If there is an image that matches the pattern image, the change rate of the pixel value exceeds the predetermined change rate. Conversely, in the range where the image matches the pattern image or does not match the pattern image but there is no image with some pattern, the rate of change of the pixel value exceeds the predetermined rate of change. Absent.
[0026]
In this way, whether or not there is an image that matches the pattern image in an arbitrary range of the input image is determined from the magnitude of the predetermined change rate. Therefore, pattern matching can be omitted for a range where there is clearly no image that matches the pattern image. Therefore, the processing time required for the image processing inspection can be greatly shortened.
[0027]
In the present invention, the range determining means is
Coordinate calculating means for obtaining coordinates of pixel values in which the magnitude of the change rate of the pixel value exceeds a predetermined magnitude of the change rate;
Labeling processing means for performing a labeling process on the coordinates,
A pattern matching range is determined based on a feature amount representing a method of connecting a plurality of coordinates labeled by the labeling processing unit.
[0028]
According to the present invention, the coordinate calculation means obtains the coordinates of the pixel value in which the magnitude of the change rate of the pixel value exceeds the predetermined change rate. Next, labeling processing means performs labeling processing on the coordinates. A pattern matching range is determined on the basis of a feature amount representing a method of connecting a plurality of coordinates labeled by the labeling processing means. In this way, pattern matching is not performed for all coordinates having a change in pixel value, but a pattern matching range is determined based on a feature amount representing a method of connecting a plurality of coordinates. Accordingly, the processing time required for the image processing inspection can be shortened.
[0029]
In the present invention, the pattern matching means
The direction of the change rate of the pixel value is obtained, and the angle for rotating the pattern image is determined based on the obtained direction.
[0030]
According to the present invention, the direction of change rate of the pixel value is obtained, and the angle for rotating the pattern image is determined based on this direction. Based on the angle thus determined, the pattern image can be rotated and pattern matching can be performed. Therefore, according to the image processing inspection apparatus of the present invention, it is not necessary to perform complicated processing such as rotating the pattern image for each set angle as in the prior art, so that the processing required for the image processing inspection is accelerated. Can do.
[0031]
In the present invention, the pattern matching means
It is characterized in that a plurality of pattern images are determined, a similarity is obtained by pattern matching between each pattern image and the input image, and an inspection target portion of the input image is detected based on the similarity.
[0032]
According to the present invention, a plurality of pattern images are determined, and the similarity by pattern matching between each pattern image and the input image is obtained. Based on the similarity, the inspection target portion of the input image is detected. As described above, it is possible to determine whether the inspection target portion is based on the similarity, and to classify the inspection target portion corresponding to each pattern image by type.
[0033]
In the invention, it is preferable that the input image is an image obtained by receiving and capturing at least one of reflected light, scattered light, and diffracted light applied to the inspection object.
[0034]
According to the present invention, an input image can be obtained by receiving and imaging at least one of reflected light, scattered light, and diffracted light irradiated on the inspection object.
[0035]
In the invention, it is preferable that the pattern image is an image obtained by extracting at least the inspection target portion from an image obtained by imaging an inspection target including the inspection target portion.
[0036]
According to the present invention, it is possible to obtain a pattern image by extracting at least the inspection target portion from an image obtained by imaging the inspection target including the inspection target portion.
[0037]
The present invention is a liquid crystal substrate inspection apparatus including the image processing inspection apparatus.
According to the present invention, a liquid crystal substrate inspection apparatus including the image processing inspection apparatus can be realized. That is, the input image on the liquid crystal substrate can be inspected by image processing.
[0038]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a flowchart showing an image processing inspection method according to an embodiment of the present invention. FIG. 2 is a diagram schematically illustrating the configuration of the liquid crystal substrate inspection apparatus 1. This embodiment shows an example in which the image processing inspection apparatus of the present invention is applied to a liquid crystal substrate inspection apparatus that inspects an input image obtained by imaging a liquid crystal substrate by image processing, for example. The following description includes a description of the image processing inspection method.
[0039]
As shown in FIG. 2, the liquid crystal substrate inspection apparatus 1 including the image processing inspection apparatus includes a liquid crystal substrate imaging unit 2, an inspection control unit 3, and an image processing inspection unit 4. The inspection control unit 3 is electrically connected to a process management system 5 in the factory. Based on the control by the inspection control unit 3, the liquid crystal substrate imaging unit 2 images the liquid crystal substrate. The image processing inspection unit 4 inspects the captured image and sends the inspection result to the inspection control unit 3. The inspection control unit 3 sends the inspection result to the process management system 5.
[0040]
FIG. 3 is a perspective view schematically illustrating the configuration of the liquid crystal substrate imaging unit 2. The liquid crystal substrate imaging unit 2 includes a transport stage 6 as a transport unit, an illumination 7 as an illumination unit, and a line CCD camera 8 (CCD camera: Charge Coupled Device camera) as an image capture unit. The transport stage 6 has a function of transporting the liquid crystal substrate 9 as an inspection object relative to the illumination 7 and the CCD camera 8. The illumination 7 is turned on by the control from the inspection control unit 3 and illuminates the liquid crystal substrate 9. The line CCD camera 8 is configured to receive diffracted light from the liquid crystal substrate 9. Accordingly, the liquid crystal substrate imaging unit 2 is configured to be able to image the entire surface of the liquid crystal substrate 9, particularly by the transfer function of the transfer stage 6.
[0041]
After the illumination 7 is turned on by the control from the inspection control unit 3, the transport stage 6 transports the liquid crystal substrate 9 mounted on the one surface portion in the substrate imaging direction indicated by the arrow A1. This transport amount is a stroke that can image the entire surface of the liquid crystal substrate 9. While the liquid crystal substrate 9 is being transported by the transport stage 6, the liquid crystal substrate 9 is continuously imaged by the line CCD camera 8. As a result, a liquid crystal substrate image that is an image of the entire surface of the liquid crystal substrate 9 is acquired. The line CCD camera 8 is electrically connected to the image processing inspection unit 4, and the liquid crystal substrate image is sent to the image processing inspection unit 4.
[0042]
FIG. 4 is a diagram schematically illustrating the configuration of the image processing inspection unit 4. The image processing inspection unit 4 includes an image input unit 10, a calculation unit 11, a storage unit 12, and a result output unit 13. The image input unit 10 receives the liquid crystal substrate image 14 from the line CCD camera 8. The calculation unit 11 performs image processing calculation. The storage unit 12 stores the liquid crystal substrate image 14 and the calculation result. The result output unit 13 sends the calculation result to the inspection control unit 3.
[0043]
That is, when the image processing inspection starts in step s0, the process proceeds to step s1. In step s1, the liquid crystal substrate image 14 received by the image input unit 10 is subjected to a smoothing process for noise removal, for example. This smoothing processing is illustrated as preprocessing in FIG. The image preprocessed in step s1 is stored in the storage unit 12 as the inspected image 15. This inspected image 15 corresponds to an input image.
[0044]
Next, the process proceeds to a gradation gradient distribution calculating step in step s2, and a gradation gradient distribution (to be described later) of the inspection image 15 is calculated. This step s2 is realized by going through the density gradient absolute value distribution calculation shown in step S10 in the flowchart shown in FIG. 5 and the density gradient direction shown in step S11. In this gradation gradient distribution calculation step, the distribution 19 of the gradient gradient magnitude and the direction distribution 20 of the gradient gradient vector are calculated and stored in the storage unit 12 respectively.
[0045]
FIG. 6 is a diagram for explaining a method of calculating the light / dark gradient distribution. In the density gradient distribution calculating step in step s2, the magnitude of the density gradient vector is calculated in step s10. That is, in the two-dimensional image of the inspected image 15, Xs is indicated by the arrow X from Xo to Xe and Ys is indicated by the arrow Y from Yo to Ye with respect to the calculation point 16 (Xs, Ys). Change the direction to process the entire image. The (Xs, Ys) is synonymous with the coordinates of the calculation point 16. The two-dimensional image is a two-dimensional image distributed from the origin 17 (Xo, Yo) to the end point 18 (Xe, Ye) of the inspected image 15 as shown in FIG. The magnitude of the shade gradient vector corresponds to the magnitude of the pixel value change rate. The magnitude of the shade gradient vector may be referred to as the shade gradient absolute value.
[0046]
FIG. 7 is a diagram illustrating a method of calculating the light / dark gradient distribution, and is a diagram illustrating calculation points and eight points adjacent to the calculation points. That is, at the calculation point 16 (Xs, Ys), when the image gray value of the image 15 to be inspected at the coordinates (X, Y) is V (X, Y) with respect to the eight points adjacent to the calculation point 16, The magnitude G (Xs, Ys) of the shade gradient vector shown is calculated and stored in the coordinates (Xs, Ys) of the shade 19 magnitude distribution 19. In this way, the distribution 19 of the magnitude of the gray gradient vector is obtained. Equation 1 corresponds to the gradient calculating means.
[0047]
[Expression 1]
Figure 2005031952
[0048]
Specifically, the magnitude G (Xs, Ys) of the light and shade gradient vector is obtained by adding the second term to the first term. The first term is the square root of the value obtained by adding the square of the difference between the two image density values adjacent to the calculation point 16 to the square of the difference between the two image density values adjacent to the calculation point 16. , "2". The second term is a value obtained by adding the square of the difference between the image gray values of two points adjacent to the calculation point 16 to the square of the difference of the image gray values of two points adjacent to the calculation point. Divide by “8” to find the square root.
[0049]
As described above, the magnitude of the light / dark gradient vector is calculated, and the direction of the light / dark gradient vector is calculated in step s11. That is, in the two-dimensional image of the image 15 to be inspected, the calculation point 16 (Xs, Ys) is changed so that Xs is processed from Xo to Xe and Ys is processed from Yo to Ye. The direction of the density gradient vector corresponds to the direction of change rate of the pixel value. The direction of the light / dark gradient vector may be referred to as the light / dark gradient direction. In FIG. 5, step s11 is expressed as light / dark gradient direction calculation.
[0050]
At the calculation point 16 (Xs, Ys), when the image grayscale value of the image 15 to be inspected at the coordinates (X, Y) is V (X, Y) with respect to the eight points adjacent to the calculation point 16, it is expressed by the following equation (2). The direction D (Xs, Ys) of the density gradient vector is calculated and stored in the coordinates (Xs, Ys) of the direction distribution 20 of the density gradient vector. In this way, the direction distribution 20 of the gray gradient vector is obtained.
[0051]
[Expression 2]
Figure 2005031952
[0052]
Specifically, the direction D (Xs, Ys) of the light and shade gradient vector is obtained as follows. The difference between the image gray values of two points adjacent to the upper and lower sides of the calculation point 16 is divided by the difference of the image gray values of the two points adjacent to the left and right of the calculation point 16. Find the arctan of the square root of this value. The obtained value is multiplied by “180” and divided by “π”. In this way, the direction D (Xs, Ys) of the light and shade gradient vector is obtained. However, when the difference between the image gray values of two points adjacent to the left and right of the calculation point 16 is “0”, the direction D (Xs, Ys) of the gray gradient vector is set to “90”.
[0053]
After step s2, the process proceeds to step s3, and the magnitude of the density gradient vector is determined. In this gradient gradient vector magnitude determination step, a pattern matching processing coordinate list 22 is created from the gradient gradient vector magnitude distribution 19 and the inspection recipe information 21 stored in the storage unit 12 in advance. More specifically, in the gradation gradient vector magnitude determination step s3, the gradation gradient vector magnitude distribution 19 and the inspection recipe information 21 are read from the storage unit 12. The inspection recipe information 21 stores a threshold value of the magnitude gradient vector, a plurality of pattern image types used for inspection, and a similarity threshold value for each of the plurality of pattern image types used for inspection.
[0054]
Thereafter, the density gradient vector magnitude at each coordinate point of the density gradient vector magnitude distribution 19 is compared with a threshold value of the magnitude gradient vector size registered in advance in the inspection recipe information 21. Coordinates of the magnitude of the shade gradient vector exceeding the threshold value of the shade gradient vector are registered, and the pattern matching processing coordinate list 22 is created. The magnitude gradient vector magnitude determination step step s3 corresponds to a range determination unit. The threshold value corresponds to a predetermined change rate of the pixel value. The above-described density gradient vector magnitude determining step s3 may be a density gradient vector magnitude determining process including a labeling process described later (see FIG. 22).
[0055]
Next, in the pattern matching process of step s4, the inspected image 15, the pattern matching processing coordinate list 22, the direction distribution 20 of the gradation gradient vector, the pattern information 23 stored in the storage unit 12 in advance, and the inspection recipe information 21 is read. Thereafter, pattern matching necessary for inspection is performed, and the similarity is calculated.
[0056]
The pattern information 23 stores one or a plurality of pattern images 25 shown in FIG. The calculated similarity is stored in the storage unit 12 as pattern similarity result information 24. The pattern matching process corresponds to pattern matching means.
[0057]
FIG. 8 is a flowchart showing the pattern matching process. FIG. 9 is a diagram illustrating the pattern image 25 in the pattern matching process. FIG. 10 is a diagram illustrating the inspection image 15 in the pattern matching process. FIG. 11 is a diagram illustrating the rotation angle α for rotating the pattern image 25. FIG. 12 is a diagram for explaining the rotated pattern image 26 after rotation. FIG. 13 is a diagram for explaining the step of calculating the similarity.
[0058]
The pattern image 25 is an image obtained by extracting at least the defective portion from an image obtained by imaging the liquid crystal substrate 9 including the defective portion, for example. The defective portion corresponds to a portion to be inspected. In the pattern matching step, step s4, first, in the reading step, step s20, the inspected image 15, the pattern matching processing coordinate list 22, the direction distribution 20 of the gray gradient vector, and the pattern information 23 stored in the storage unit 12 in advance. And the inspection recipe information 21 is read. Next, in the pattern image selection step, step s21, the type of the pattern image used for the inspection is read from the inspection recipe information 21, and the pattern image 25 corresponding to the type, the pattern rotation center coordinates 27, and the pattern are further read from the pattern information 23. The direction 28 of the rotation center gradient vector is read. Thereafter, the process proceeds to the matching coordinate confirmation step, step s22.
[0059]
In the matching coordinate checking step, matching coordinates 29 for pattern matching are read from the pattern matching processing coordinate list 22. Further, the gradient gradient vector direction 30 in the matching coordinates 29 of the gradient gradient vector direction distribution 20 is read. Next, in the pattern image rotation step, step s23, the rotation angle α is calculated for the purpose of rotating the pattern image 25 so that the direction 30 of the gradation gradient vector and the direction 28 of the pattern rotation center gradient vector coincide. That is, the rotation angle α is calculated by obtaining the difference between the direction 30 of the light / dark gradient vector and the direction 28 of the pattern rotation center gradient vector. As a result, a rotation pattern image 26 obtained by rotating the pattern image 25 by the rotation angle α around the pattern rotation center coordinate 29 is obtained.
[0060]
Next, in the similarity calculation step, step s24, the similarity shown in Equation 3 is calculated. That is, in the rotation center coordinates 27 of the rotation pattern image 26 and the matching coordinates 29 of the inspection image 15, the rotation center coordinates 27 of the rotation pattern image 26 are matched with the matching coordinates 29 (Xs, Ys) of the inspection image 15. A region where the rotation pattern image 26 overlaps when translated is defined as K (Xs, Ys). Further, when the gray value at the coordinates (X, Y) of the rotation pattern image 26 is W (X, Y), the similarity N (Xs, Ys) shown in Equation 3 is calculated.
[0061]
[Equation 3]
Figure 2005031952
[0062]
Specifically, the similarity N (Xs, Ys) is obtained as follows. The image gray value V (X, Y) of the inspected image 15 at the coordinates (X, Y) is multiplied by the gray value W (X, Y) at the coordinates (X, Y) of the rotation pattern image 26. Then, the sum of V (X, Y) × W (X, Y) is obtained for all coordinates (X, Y) included in the region K (Xs, Ys).
[0063]
For all the coordinates (X, Y) included in the region K (Xs, Ys), the sum of the squares of the image gray values V (X, Y) is obtained, and all of the coordinates included in the region K (Xs, Ys) are obtained. For coordinates (X, Y), the sum of squares of the gray value W (X, Y) is obtained. Further, the square root of a value obtained by multiplying these sums is obtained. The similarity N (Xs, Ys) is calculated by dividing the above-mentioned sum of V (X, Y) × W (X, Y) by the value obtained from the square root.
[0064]
The similarity calculated in this way, the matching coordinates 29, and the pattern image type are registered in the pattern similarity result information 24. Steps s22 to s25 are repeated for all coordinates registered in the pattern matching processing coordinate list 22. Further, steps s21 to s26 are repeated for all types of pattern images registered in the inspection recipe information 21. Thereby, pattern similarity result information 24 is obtained.
[0065]
Next, the substrate determination process, step s5, is entered. In this step, the number of defects of the liquid crystal substrate 9, the coordinates of each defect, and the type of defect are determined from the pattern similarity result information 24 and the inspection recipe information 21. The inspection result is stored in the storage unit 12 as substrate inspection result information 31. Specifically, in the substrate determination step, step s14, the similarity for each pattern image type in each matching coordinate 29 of the pattern similarity result information 24 and the similarity for each pattern image type registered in the inspection recipe information 21 Compare with the threshold.
[0066]
For the type of pattern image 25 exceeding the similarity threshold, the type of defect determined in advance by a combination of the types of pattern image is determined, and the type of defect and its coordinates are registered in the substrate inspection result information 31. After determining the type of defect for all the matching coordinates 29, a portion where the same type of defect continues on the coordinate is determined by labeling. The number of continuous portions is defined as the number of defects of that type, and the coordinates and size of a rectangular region surrounding the region included in the continuous portion are registered in the substrate inspection result information 31 as the coordinates and size of the defect.
[0067]
Next, the result output unit 13 sends the substrate inspection result information 31 and the pattern similarity result information 24 to the inspection control unit 3. Next, the inspection control unit 3 sends the substrate inspection result information 31 and the pattern similarity result information 24 to the process management system 5. Based on this information, the process management system 5 determines the next process such as whether the inspected liquid crystal substrate 9 is further visually inspected, paid out as defective, or repaired.
[0068]
FIG. 14 is a diagram for explaining an example of the inspected image 15A. FIG. 15 is a diagram for explaining an example of the pattern image 32. FIG. 16 is a diagram showing the magnitude distribution 33 of the gray gradient vector of the image to be inspected 15A. FIG. 17 is a diagram showing the magnitude distribution 34 of the light and shade gradient vector of the pattern image 32. As shown in FIG. 14, a part of the image to be inspected 15A has a pattern that approximates the pattern image 32 shown in FIG. The object is to detect the pattern from the image to be inspected 15A. A density gradient distribution is obtained for each pixel of the image to be inspected, and a density distribution vector magnitude distribution 33 of the density gradient vector shown in FIG. 16 is obtained.
[0069]
FIG. 18 is a diagram for explaining a result 35 obtained by applying a labeling process to the magnitude distribution 33 of the light / dark gradient vector of the inspection image 15A. FIG. 19 is a diagram for explaining a result 36 obtained by applying a labeling process to the magnitude distribution 34 of the light and shade gradient vector of the template image 32. FIG. 20 and FIG. 21 are diagrams for explaining a state of pattern matching between the image to be inspected 15A and the pattern image 32 based on the result 35 obtained by performing the labeling process on the magnitude distribution 33 of the grayscale gradient vector. The labeling process may be simply referred to as labeling.
[0070]
The coordinates 37 exceeding the threshold value of the gradient gradient vector are extracted from the distribution 33 of the gradient gradient vector size of the inspected image 15A, and are subjected to labeling processing to obtain groups 37, 38, and 39 as shown in FIG. . That is, groups 37, 38, and 39 grouped by the labeling process can be obtained, and the density gradient vector directions 37D, 38D, and 39D of the centroid positions in the respective groups are obtained.
[0071]
A coordinate 36 exceeding the threshold value of the gradient gradient vector is extracted from the distribution 34 of the gradient gradient vector size of the pattern image, and a labeling process is performed to obtain a result 36 shown in FIG. Among the results 36, the direction 41 of the gradient vector at the center of gravity of the grouped group 40 is indicated by an arrow.
[0072]
FIG. 20 shows an image 42 showing how pattern matching is performed on the group 39. The pattern image is rotated so that the density gradient vector direction 41 of the center of gravity of the pattern image matches the density gradient vector 39D. Thereafter, the degree of similarity is calculated at coordinates where the gravity center positions of the magnitude distributions of the light and shade gradient vectors coincide. In this case, the patterns do not match very much and the similarity is low. This similarity is lower than the similarity threshold, and it is determined that there is no pattern to be detected at this coordinate.
[0073]
Similarly, FIG. 21 shows an image 43 showing how pattern matching is performed on the group 38. The pattern image is rotated so that the gradient gradient vector direction 41 of the center of gravity of the pattern image coincides with the gradient gradient vector direction 38D. Thereafter, the degree of similarity is calculated at coordinates where the gravity center positions of the magnitude distributions of the light and shade gradient vectors coincide. In this case, the patterns match and the similarity is high. If this similarity is higher than the similarity threshold, it is determined that there is a pattern to be detected at this coordinate.
[0074]
Similarly, pattern matching is performed on the group 37. The pattern image is rotated so that the gradient gradient vector direction 41 of the center of gravity of the pattern image coincides with the gradient gradient vector direction 37D. Thereafter, the degree of similarity is calculated at coordinates where the gravity center positions of the magnitude distributions of the light and shade gradient vectors coincide. In this case, the patterns do not match at all, and the similarity is considerably low. This similarity is lower than the similarity threshold, and it is determined that there is no pattern to be detected at this coordinate.
[0075]
FIG. 22 is a flowchart showing the magnitude gradient vector magnitude determination step step s30 using labeling. In this gradation gradient vector magnitude determination step, step s30, the binarization step, and in step s31, the gradation gradient vector magnitude distribution 19 and the inspection recipe information 21 are read from the storage unit 12. Then, the magnitude of the shade gradient vector at each coordinate point of the shade gradient vector magnitude distribution 19 is compared with the threshold value of the shade gradient vector size registered in advance in the inspection recipe information 21. Coordinates of the magnitude of the shade gradient vector exceeding the threshold value of the shade gradient vector are registered in the pattern matching processing coordinate candidate list 44.
[0076]
Next, in a labeling process step, step s32, a labeling process for grouping the coordinates in the pattern matching process coordinate candidate list 44 into consecutive groups is performed. Next, the process proceeds to a feature amount calculation step, step s33, and centroid coordinates, which are feature amounts, are calculated for each group grouped in the labeling process step. Thereafter, a pattern matching processing coordinate list 22 is created based on the barycentric coordinates. The magnitude gradient vector magnitude determination step corresponds to range determination means. The binarization process corresponds to coordinate calculation means. The labeling process corresponds to a labeling process means.
[0077]
According to the image processing inspection method described above, the magnitude of the shade gradient vector is obtained in the shade gradient distribution calculating step, step s2. Thereafter, in the gradation gradient vector magnitude determination step, step s3, the pattern matching processing coordinate list 22 is created from the gradation gradient vector magnitude distribution 19 and the inspection recipe information 21 stored in the storage unit 12 in advance.
[0078]
In particular, the coordinate range for pattern matching is determined based on the magnitude distribution 19 of the gradient gradient vector of the image to be inspected 15. In other words, a range that needs to be pattern-matched in the inspected image 15, that is, a range to be inspected, is narrowed down in advance before pattern matching. Therefore, according to the present image processing inspection method, the processing time required for the image processing inspection can be greatly reduced as compared with the conventional technique in which pattern matching is performed without leaving the entire image to be inspected.
[0079]
Further, according to the present image processing inspection method, in the gradation gradient vector magnitude determination step, in step s3, the gradation gradient vector magnitude at each coordinate point of the gradation gradient vector magnitude distribution and the inspection recipe information 21 are registered in advance. The pattern matching processing coordinate list 22 is created by comparing the shade gradient vector size coordinates that exceed the shade gradient vector size threshold values and registering the shade gradient vector size coordinates that exceed the shade gradient vector size threshold value.
[0080]
In the range where there is an image that matches the pattern image, the magnitude of the density gradient vector exceeds the threshold value. Conversely, in a range where there is no image that matches the pattern image, the magnitude of the density gradient vector does not exceed the threshold value. In this way, whether or not there is an image that matches the pattern image in an arbitrary range of the image to be inspected 15 is determined from the threshold value of the gradient vector. Therefore, pattern matching can be omitted for a range where there is clearly no image that matches the pattern image. Therefore, the processing time required for the image processing inspection can be greatly shortened.
[0081]
According to the image processing inspection method shown in FIG. 22, particularly in the labeling step, step s32, a labeling process for grouping the coordinates in the pattern matching process coordinate candidate list 22 into consecutive groups is performed. Next, in the feature amount calculation step, step s33, the barycentric coordinates are calculated for each group grouped in the labeling step, and the pattern matching processing coordinate list 22 is created.
[0082]
In this way, pattern matching is not performed for all coordinates having a light and shade difference, but a coordinate range for pattern matching is determined based on barycentric coordinates representing how to connect a plurality of coordinates. Therefore, the processing time required for the image processing inspection can be further shortened.
[0083]
Also, according to the image processing inspection method, in the direction distribution calculation step of the gray gradient vector, step s11, the direction D (Xs, Ys) of the gray gradient vector is calculated, and the angle α for rotating the pattern image based on the direction is set. Has been decided. Based on the angle α determined in this manner, the pattern image can be rotated and pattern matching can be performed. Therefore, according to this image processing inspection method, it is not necessary to perform complicated processing such as rotating the pattern image for each set angle as in the prior art, so that the processing required for the image processing inspection can be speeded up. .
[0084]
Also, according to the image processing inspection method, the similarity N (Xs, Ys) is calculated in the similarity calculation step, step s24, and there is a pattern to be detected at these coordinates based on the calculated similarity. Judging whether there is no. Moreover, it is possible to divide the inspection target parts corresponding to all types of pattern images registered in the inspection recipe information 21 by type.
[0085]
As another embodiment of the present invention, the input image may be an image obtained by receiving reflected light or scattered light applied to the liquid crystal substrate and capturing an image. The inspection object is not necessarily limited to the liquid crystal substrate. In addition, various partial changes may be made to the embodiment without departing from the scope of the claims.
[0086]
【The invention's effect】
As described above, according to the present invention, the pattern matching range is determined based on the change rate of the pixel value of the input image. In other words, a range in the input image that needs pattern matching, that is, a range to be inspected is narrowed down in advance before pattern matching. Therefore, according to the image processing inspection method of the present invention, it is possible to significantly reduce the processing time required for the image processing inspection as compared with the conventional technique in which pattern matching is performed without leaving the entire input image.
[0087]
According to the invention, in the range determining step, when the change rate of the pixel value exceeds the predetermined change rate, the coordinates of the pixel value are included in the pattern matching range. In a range where an image that matches the pattern image exists, the change rate of the pixel value exceeds the predetermined change rate. Conversely, in a range where there is no image that matches the pattern image, the change rate of the pixel value does not exceed the predetermined change rate. In this way, whether or not there is an image that matches the pattern image in an arbitrary range of the input image is determined from the magnitude of the predetermined change rate. Therefore, pattern matching can be omitted for a range where there is clearly no image that matches the pattern image. Therefore, the processing time required for the image processing inspection can be greatly shortened.
[0088]
Further, according to the present invention, in the first stage, the coordinates of the pixel value in which the magnitude of the change rate of the pixel value exceeds the predetermined magnitude of the change rate are obtained. In the next step, the coordinates are labeled. Thereafter, a pattern matching range is determined based on a feature amount representing a method of connecting a plurality of coordinated labels. In this way, pattern matching is not performed for all coordinates having a change in pixel value, but a pattern matching range is determined based on a feature amount representing a method of connecting a plurality of coordinates. Accordingly, the processing time required for the image processing inspection can be shortened.
[0089]
Further, according to the present invention, the direction of the rate of change of the pixel value is obtained, and the angle for rotating the pattern image is determined based on this direction. Based on the angle thus determined, the pattern image can be rotated and pattern matching can be performed. Therefore, according to the image processing inspection method of the present invention, it is not necessary to use a process for rotating the pattern image for each set angle as in the prior art, so that the processing required for the image processing inspection can be speeded up. .
[0090]
Further, according to the present invention, a plurality of pattern images are determined in the first stage, and the similarity by pattern matching between each pattern image and the input image is obtained in the next stage. At a later stage, the inspection target portion of the input image is detected based on the similarity. As described above, it is possible to determine whether the inspection target portion is based on the similarity, and to classify the inspection target portion corresponding to each pattern image by type.
[0091]
Further, according to the present invention, the gradient calculating means obtains the magnitude of the change rate of the pixel value of the input image, and in particular, the range determining means determines the range for pattern matching based on the magnitude of the change rate in the input image. Has been decided. In other words, a range in the input image that needs pattern matching, that is, a range to be inspected is narrowed down in advance before pattern matching. Therefore, according to the image processing inspection apparatus of the present invention, it is possible to significantly reduce the processing time required for the image processing inspection as compared with the conventional technique that performs pattern matching without leaving the entire input image.
[0092]
According to the invention, when the change rate of the pixel value exceeds the predetermined change rate by the range determining means, the coordinates of the pixel value are included in the pattern matching range. If there is an image that matches the pattern image, the change rate of the pixel value exceeds the predetermined change rate. Conversely, in the range where there is no image that matches the pattern image, the change rate of the pixel value does not exceed the predetermined change rate.
[0093]
In this way, whether or not there is an image that matches the pattern image in an arbitrary range of the input image is determined from the magnitude of the predetermined change rate. Therefore, pattern matching can be omitted for a range where there is clearly no image that matches the pattern image. Therefore, the processing time required for the image processing inspection can be greatly shortened.
[0094]
According to the present invention, the coordinate calculation means obtains the coordinates of the pixel value in which the magnitude of the change rate of the pixel value exceeds the predetermined change rate. Next, labeling processing means performs labeling processing on the coordinates. A pattern matching range is determined on the basis of a feature amount representing a method of connecting a plurality of coordinates labeled by the labeling processing means. In this way, pattern matching is not performed for all coordinates having a change in pixel value, but a pattern matching range is determined based on a feature amount representing a method of connecting a plurality of coordinates. Accordingly, the processing time required for the image processing inspection can be shortened.
[0095]
According to the present invention, the direction of the rate of change of the pixel value is obtained, and the angle for rotating the pattern image is determined based on this direction. Based on the angle thus determined, the pattern image can be rotated and pattern matching can be performed. Therefore, according to the image processing inspection apparatus of the present invention, it is not necessary to perform complicated processing such as rotating the pattern image for each set angle as in the prior art, so that the processing required for the image processing inspection can be speeded up. Can do.
[0096]
Further, according to the present invention, a plurality of pattern images are determined, and the similarity by pattern matching between each pattern image and the input image is obtained. Based on the similarity, the inspection target portion of the input image is detected. As described above, it is possible to determine whether the inspection target portion is based on the similarity, and to classify the inspection target portion corresponding to each pattern image by type.
[0097]
Further, according to the present invention, an input image can be obtained by receiving and capturing at least one of reflected light, scattered light and diffracted light irradiated on the inspection object.
[0098]
According to the invention, it is possible to obtain a pattern image by extracting at least the inspection object part from an image obtained by imaging an inspection object including the inspection object part.
[0099]
According to the present invention, a liquid crystal substrate inspection apparatus including an image processing inspection apparatus can be realized. That is, the input image on the liquid crystal substrate can be inspected by image processing.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an image processing inspection method according to an embodiment of the present invention.
FIG. 2 is a diagram schematically showing a configuration of a liquid crystal substrate inspection apparatus 1;
3 is a perspective view schematically illustrating a configuration of a liquid crystal substrate imaging unit 2. FIG.
FIG. 4 is a diagram schematically illustrating a configuration of an image processing inspection unit 4;
FIG. 5 is a flowchart showing a method of calculating a light / dark gradient distribution.
FIG. 6 is a diagram illustrating a method for calculating a light / dark gradient distribution.
FIG. 7 is a diagram showing a method of calculating a light / dark gradient distribution, and showing calculation points and eight points adjacent to the calculation points.
FIG. 8 is a flowchart showing a pattern matching process.
FIG. 9 is a diagram illustrating a pattern image 25 in a pattern matching process.
FIG. 10 is a diagram for explaining an inspection image 15 in a pattern matching process.
11 is a diagram showing a rotation angle α for rotating the pattern image 25. FIG.
FIG. 12 is a diagram for explaining a rotated pattern image 26 after rotation.
FIG. 13 is a diagram for explaining a step of calculating similarity.
FIG. 14 is a diagram illustrating an example of an inspection image 15A.
15 is a diagram for explaining an example of a template image 32. FIG.
FIG. 16 is a diagram illustrating a magnitude distribution 33 of a light / dark gradient vector of an inspection image 15A.
FIG. 17 is a diagram illustrating a magnitude distribution 34 of a light and shade gradient vector of a template image 32. FIG.
FIG. 18 is a diagram for explaining a result 35 obtained by applying a labeling process to the magnitude distribution 33 of the gray gradient vector of the image to be inspected 15A.
FIG. 19 is a diagram for explaining a result 36 obtained by performing a labeling process on the magnitude distribution 34 of the light and shade gradient vector of the template image 32;
FIG. 20 is a diagram for explaining a state in which the image to be inspected 15A and the template image 32 are pattern-matched based on a result 35 obtained by performing a labeling process on the magnitude distribution 33 of the grayscale gradient vector.
FIG. 21 is a diagram for explaining a state in which the image to be inspected 15A and the template image 32 are pattern-matched based on a result 35 obtained by applying a labeling process to the magnitude distribution 33 of the light and shade gradient vector.
FIG. 22 is a flowchart showing step s30 for determining a gradient vector magnitude using labeling.
[Explanation of symbols]
1 LCD substrate inspection equipment
3 Inspection control unit
4 Image processing inspection department
6 Transport stage
7 Lighting
8 line CCD camera
9 LCD substrate
12 Storage unit
15 Image to be inspected
19 Size gradient vector size distribution
20 Directional distribution of grayscale vector
21 Inspection recipe information
25 pattern images
32 template images

Claims (13)

検査対象物の入力画像を画像処理によって検査する方法であって、
入力画像の画素値の変化率の大きさを求める勾配算出工程と、
入力画像のうち、前記変化率の大きさに基づいてパターンマッチングする範囲を決定する範囲決定工程と、
入力画像のうち範囲決定工程で決定される範囲の画像と、予め定めるパターン画像とをパターンマッチングするパターンマッチング工程とを有することを特徴とする画像処理検査方法。A method for inspecting an input image of an inspection object by image processing,
A gradient calculating step for determining the magnitude of the change rate of the pixel value of the input image;
Of the input image, a range determining step for determining a range for pattern matching based on the magnitude of the change rate;
An image processing inspection method comprising: a pattern matching step of pattern matching an image in a range determined in a range determination step in an input image with a predetermined pattern image. 範囲決定工程は、
画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標を、パターンマッチングする範囲に含めることを特徴とする請求項１に記載の画像処理検査方法。The range determination process is
The image processing inspection method according to claim 1, wherein when the change rate of the pixel value exceeds a predetermined change rate, the coordinates of the pixel value are included in a pattern matching range. 範囲決定工程は、
画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める段階と、
前記座標にラベリング処理を行う段階と、
ラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定する段階とを有することを特徴とする請求項１に記載の画像処理検査方法。The range determination process is
Obtaining a coordinate of a pixel value in which the magnitude of the change rate of the pixel value exceeds a predetermined change rate magnitude;
Performing a labeling process on the coordinates;
The image processing inspection method according to claim 1, further comprising: determining a pattern matching range based on a feature amount representing a method of connecting a plurality of coordinated coordinates. パターンマッチング工程は、
画素値の変化率の方向を求める段階と、
前記段階で求められる方向に基づいて、パターン画像を回転する角度を決定する段階とを有することを特徴とする請求項１に記載の画像処理検査方法。The pattern matching process
Obtaining the direction of the rate of change of the pixel value;
The image processing inspection method according to claim 1, further comprising: determining an angle for rotating the pattern image based on the direction obtained in the step. パターンマッチング工程は、
複数のパターン画像を定める段階と、
各パターン画像と入力画像とのパターンマッチングによる類似度を求める段階と、
前記類似度に基づいて、入力画像の検査対象部分を検出する段階とを含むことを特徴とする請求項１〜４のいずれかに記載の画像処理検査方法。The pattern matching process
Defining a plurality of pattern images;
Obtaining a similarity by pattern matching between each pattern image and the input image;
The image processing inspection method according to claim 1, further comprising: detecting an inspection target portion of the input image based on the similarity. 検査対象物の入力画像を画像処理によって検査する装置であって、
入力画像の画素値の変化率の大きさを求める勾配算出手段と、
入力画像のうち、前記変化率の大きさに基づいてパターンマッチングする範囲を決定する範囲決定手段と、
入力画像のうち範囲決定手段によって決定される範囲の画像と、予め定めるパターン画像とをパターンマッチングするパターンマッチング手段とを有することを特徴とする画像処理検査装置。An apparatus for inspecting an input image of an inspection object by image processing,
A gradient calculating means for determining the magnitude of the change rate of the pixel value of the input image;
Of the input image, range determining means for determining a range for pattern matching based on the magnitude of the change rate;
An image processing inspection apparatus comprising pattern matching means for pattern matching an image in a range determined by range determination means in an input image and a predetermined pattern image. 範囲決定手段は、
画素値の変化率の大きさが予め定める変化率の大きさを超えるとき、前記画素値の座標を、パターンマッチングする範囲に含めることを特徴とする請求項６に記載の画像処理検査装置。The range determination means is
The image processing inspection apparatus according to claim 6, wherein when the change rate of the pixel value exceeds a predetermined change rate, the coordinates of the pixel value are included in a pattern matching range. 範囲決定手段は、
画素値の変化率の大きさが、予め定める変化率の大きさを超える画素値の座標を求める座標算出手段と、
前記座標にラベリング処理を行うラベリング処理手段とを有し、
ラベリング処理手段によってラベリング処理された複数の座標の連結の仕方を表す特徴量に基づいて、パターンマッチングする範囲を決定することを特徴とする請求項６に記載の画像処理検査装置。The range determination means is
Coordinate calculating means for obtaining coordinates of pixel values in which the magnitude of the change rate of the pixel value exceeds a predetermined magnitude of the change rate;
Labeling processing means for performing a labeling process on the coordinates,
The image processing inspection apparatus according to claim 6, wherein a pattern matching range is determined based on a feature amount representing a connection method of a plurality of coordinates that have been subjected to labeling processing by the labeling processing unit. パターンマッチング手段は、
画素値の変化率の方向を求めておき、求められる方向に基づいて、パターン画像を回転する角度を決定することを特徴とする請求項６に記載の画像処理検査装置。Pattern matching means
The image processing inspection apparatus according to claim 6, wherein a direction of a change rate of the pixel value is obtained, and an angle for rotating the pattern image is determined based on the obtained direction. パターンマッチング手段は、
複数のパターン画像を定めておき、各パターン画像と入力画像とのパターンマッチングによる類似度を求め、前記類似度に基づいて、入力画像の検査対象部分を検出することを特徴とする請求項６に記載の画像処理検査装置。Pattern matching means
7. The method according to claim 6, wherein a plurality of pattern images are determined, a similarity is obtained by pattern matching between each pattern image and the input image, and an inspection target portion of the input image is detected based on the similarity. The image processing inspection apparatus described. 入力画像は、検査対象物に照射した反射光、散乱光および回折光の少なくともいずれか一つを受光し撮像した画像であることを特徴とする請求項６〜１０のいずれかに記載の画像処理検査装置。The image processing according to any one of claims 6 to 10, wherein the input image is an image obtained by receiving and imaging at least one of reflected light, scattered light, and diffracted light irradiated on the inspection object. Inspection device. パターン画像は、検査対象部分を含む検査対象物を撮像した画像から、少なくとも前記検査対象部分を抽出した画像であることを特徴とする請求項１１に記載の画像処理検査装置。The image processing inspection apparatus according to claim 11, wherein the pattern image is an image obtained by extracting at least the inspection target portion from an image obtained by imaging an inspection target including the inspection target portion. 請求項６〜１２のいずれかに記載の画像処理検査装置を含む液晶基板検査装置。A liquid crystal substrate inspection apparatus including the image processing inspection apparatus according to claim 6.
JP2003195831A 2003-07-11 2003-07-11 Image processing inspection method and image processing inspection device Pending JP2005031952A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003195831A JP2005031952A (en) 2003-07-11 2003-07-11 Image processing inspection method and image processing inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003195831A JP2005031952A (en) 2003-07-11 2003-07-11 Image processing inspection method and image processing inspection device

Publications (1)

Publication Number Publication Date
JP2005031952A true JP2005031952A (en) 2005-02-03

Family

ID=34206542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003195831A Pending JP2005031952A (en) 2003-07-11 2003-07-11 Image processing inspection method and image processing inspection device

Country Status (1)

Country Link
JP (1) JP2005031952A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250950A (en) * 2007-03-30 2008-10-16 Sharp Corp Image processor, control program, computer-readable recording medium, electronic equipment and control method of image processor
WO2008123466A1 (en) * 2007-03-30 2008-10-16 Sharp Kabushiki Kaisha Image processing device, control program, computer-readable recording medium, electronic device, and image processing device control method
JP2008250951A (en) * 2007-03-30 2008-10-16 Sharp Corp Image processor, control program, computer-readable recording medium, electronic equipment, and control method of image processor
JP2010055514A (en) * 2008-08-29 2010-03-11 Casio Comput Co Ltd Image processor and program
JP2011145845A (en) * 2010-01-14 2011-07-28 Nanao Corp Block-classified motion vector arithmetic device or method for the same
US8184909B2 (en) 2008-06-25 2012-05-22 United Technologies Corporation Method for comparing sectioned geometric data representations for selected objects

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250950A (en) * 2007-03-30 2008-10-16 Sharp Corp Image processor, control program, computer-readable recording medium, electronic equipment and control method of image processor
WO2008123466A1 (en) * 2007-03-30 2008-10-16 Sharp Kabushiki Kaisha Image processing device, control program, computer-readable recording medium, electronic device, and image processing device control method
JP2008250951A (en) * 2007-03-30 2008-10-16 Sharp Corp Image processor, control program, computer-readable recording medium, electronic equipment, and control method of image processor
JP2008250949A (en) * 2007-03-30 2008-10-16 Sharp Corp Image processor, control program, computer-readable recording medium, electronic equipment and control method of image processor
WO2008123462A1 (en) * 2007-03-30 2008-10-16 Sharp Kabushiki Kaisha Image processing device, control program, computer-readable recording medium, electronic device, and image processing device control method
JP4727614B2 (en) * 2007-03-30 2011-07-20 シャープ株式会社 Image processing apparatus, control program, computer-readable recording medium, electronic apparatus, and control method for image processing apparatus
JP4727615B2 (en) * 2007-03-30 2011-07-20 シャープ株式会社 Image processing apparatus, control program, computer-readable recording medium, electronic apparatus, and control method for image processing apparatus
US8184909B2 (en) 2008-06-25 2012-05-22 United Technologies Corporation Method for comparing sectioned geometric data representations for selected objects
JP2010055514A (en) * 2008-08-29 2010-03-11 Casio Comput Co Ltd Image processor and program
JP2011145845A (en) * 2010-01-14 2011-07-28 Nanao Corp Block-classified motion vector arithmetic device or method for the same

Similar Documents

Publication Publication Date Title
EP3203217B1 (en) Inspection device and inspection method
US9595091B2 (en) Defect classification using topographical attributes
US9858658B2 (en) Defect classification using CAD-based context attributes
JP4150390B2 (en) Appearance inspection method and appearance inspection apparatus
EP3418726A1 (en) Defect detection apparatus, defect detection method, and program
JP6922539B2 (en) Surface defect determination method and surface defect inspection device
CN101770582A (en) Image matching system and method
JP5806786B1 (en) Image recognition device
JP2009293999A (en) Wood defect detector
JP2007212283A (en) Visual inspection device and visual inspection method
CN111539927A (en) Detection process and algorithm of automobile plastic assembly fastening buckle lack-assembly detection device
US11074684B2 (en) Inspection apparatus and inspection method
JP2017166957A (en) Defect detection device, defect detection method and program
JP2005031952A (en) Image processing inspection method and image processing inspection device
JP2007155405A (en) Visual inspection method and visual inspection device
JP5067677B2 (en) Defect detection method, defect detection apparatus, and program
JP2009080004A (en) Inspection device
JP6597469B2 (en) Defect inspection equipment
JP5605010B2 (en) Surface inspection method
JP2004170374A (en) Apparatus and method for detecting surface defect
JP4084969B2 (en) Pattern inspection apparatus and pattern inspection method
JP2011141202A (en) Component inspection device and program
JP2017166956A (en) Defect detection device detection method and program
Park et al. An efficient vision algorithm for fast and fine mask-panel alignment
Katafuchi et al. A method for inspecting industrial parts surfaces based on an optics model