JP2012032370A - 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 - Google Patents
欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2012032370A JP2012032370A JP2011052176A JP2011052176A JP2012032370A JP 2012032370 A JP2012032370 A JP 2012032370A JP 2011052176 A JP2011052176 A JP 2011052176A JP 2011052176 A JP2011052176 A JP 2011052176A JP 2012032370 A JP2012032370 A JP 2012032370A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- model
- input image
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】実質的に同程度の時間及び正確さで、異なる画像の欠陥検出を実行する。
【解決手段】本発明に係る欠陥検出方法は、工業用部品に関する入力画像を受け取るステップと、上記入力画像に関するモデルタイプを受け取るステップと、上記モデルタイプに対応するモデル画像を取得するステップと、上記モデル画像と上記入力画像との間の画像間変換を推定するステップと、上記推定された画像間変換に基づいて上記モデル画像及び上記入力画像を共通座標系に変換することによって位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、を含んでいる。
【選択図】図1
【解決手段】本発明に係る欠陥検出方法は、工業用部品に関する入力画像を受け取るステップと、上記入力画像に関するモデルタイプを受け取るステップと、上記モデルタイプに対応するモデル画像を取得するステップと、上記モデル画像と上記入力画像との間の画像間変換を推定するステップと、上記推定された画像間変換に基づいて上記モデル画像及び上記入力画像を共通座標系に変換することによって位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、を含んでいる。
【選択図】図1
Description
本発明は、一般に、欠陥の検出に関するものである。より具体的には、本発明は、工業製品における欠陥領域の、画像に基づく自動検出に関するものである。
欠陥検出における従来の方法の一つは、人間の検査によるものである。このような方法においては、1つ又は複数の欠陥領域を特定するために、作業者が工業製品の各画像を検査し、欠陥を手動で分類する必要がある。この人間の処理は、作業者の有する技術及び専門知識に深く依存する。加えて、異なる画像の処理に要する時間は大きく異なる。これにより、大量生産パイプラインについての問題を引き起こし得る。さらに、作業能力は、作業者間で大幅に異なり、かつ、時間が経過するにつれて作業者の疲労によりすぐに低下してしまう。
特許文献1には、検査画像中の通常領域について基準画像データと検査画像データとを比較検査し、検査画像中の特別領域について通常領域と異なる検査方法にて検査する技術が開示されている。
また、非特許文献1、及び、非特許文献2には、従来よく知られた、特徴点の検出、及び、各特徴点の形状記述子の抽出に関する方法が開示されている。
C.Schmid、R.Mohr、C.Bauckhage、"Evaluation of Interest Point Detectors"、International Journal of Computer Vision、2000年6月、37(2)号、151−172ページ、
P.Moreels、P.Perona、"Evaluation of Interest Point Detectors"、International Journal of Computer Vision、2007年7月、73(3)号、263−284ページ
欠陥検出における従来の他の方法は、例えば、画像周波数領域における位相相関、及び、画像空間領域における正規化相互相関など、画像テンプレートマッチングを含む。しかしながら、これらの方法は、画質ノイズ、コントラスト変化、及び、他の一般的な画像劣化や不整合に敏感である。さらに重要なことに、これらの方法では、カメラの動きや異なる操作設定によってモデル画像が幾何学的に変換されるような状況を取り扱うことができない。
実質的に同程度の時間で、かつ、実質的に同程度の正確さで、異なる画像の欠陥検出を実行することのできる、ロバストで自動的な方法、システム、及び、装置が望まれている。また、先の入力に基づいて学習を行い、性能を自動的に向上させることのできる、方法、システム、及び装置も望まれている。
本発明の実施形態は、一般的に、欠陥の検出に関するものである。より具体的には、本発明の実施形態は、工業製品の欠陥領域を画像に基づき自動検出することに関する。
本発明の実施形態の第1の側面に基づけば、オンライン分類段階より前にオフライン学習段階が実行される。
本発明の実施形態の第2の側面に基づけば、オンライン段階及びオフライン段階の双方は、ロバストな画像マッチングを含む。この画像マッチングにおいては、入力画像と対応モデル画像との間の幾何学変換が推定される。推定された幾何学変換は、入力画像及び対応モデル画像を、共通の座標系に変換するために用いられ、その結果、入力画像と対応モデル画像との位置合わせが行われる。画像の差分計測は、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。
本発明の実施形態の第3の側面に基づけば、ロバストな画像マッチングは、入力画像の特徴点と対応モデル画像の特徴点との間の特徴点マッチングが、現在推定されている幾何学変換に基づいて更新されるような反復処理を含んでいる。今度は、幾何学変換推定は、更新された特徴点マッチングに基づいて更新される。
本発明の実施形態の第4の側面に基づけば、画素に基づく差分計測が、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。
本発明の実施形態の第5の側面に基づけば、窓関数に基づく差分計測が、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。ここで、窓関数とは、指定された局所領域を窓とし、当該窓以外の領域では値が0となる関数である。したがって、窓関数に基づく差分計測とは、指定された局所領域内に含まれる画素のみに基づく差分計測であると表現することもできる。
本発明に係る欠陥検出方法は、工業用部品における欠陥を検出する欠陥検出方法であって、(a)工業用部品に関する入力画像を受け取るステップと、(b)上記入力画像に関するモデルタイプを受け取るステップと、(c)上記モデルタイプに対応するモデル画像を取得するステップと、(d)上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、(d−1)上記入力画像における第1の特徴点セットを検出するサブステップ、(d−2)上記モデル画像における第2の特徴点セットを検出するサブステップ、(d−3)現在の幾何学変換推定を決定するサブステップ、(d−4)最大反復条件が満たされるまで、(1)上記現在の幾何学変換推定に基づいた上記第1の特徴点セットと上記第2の特徴点のセットとの間の特徴点マッチングのセット、及び、(2)更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、(d−5)上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、(e)上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、(f)上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、(g)上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、を含んでいることを特徴としている。
上記の欠陥検出方法によれば、上記モデル画像と上記入力画像との間の画像間変換が推定され、推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とが取得される。また、上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルが形成され、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルが、上記複数の画像差分ベクトルに対して適用される。
したがって、上記の欠陥検出方法によれば、上記推定された画像間変換に基づいて位置合わせされた上記入力画像および上記モデル画像に基づいて、欠陥検出を行うので、上記モデル画像に対する位置合わせがされていない入力画像が入力される場合であっても、工業用部品における欠陥を効果的に検出することができる。
また、上記の欠陥検出方法によれば、上記モデル画像と上記入力画像との間の画像間変換を推定するステップには、(d−1)上記入力画像における第1の特徴点セットを検出するサブステップ、(d−2)上記モデル画像における第2の特徴点セットを検出するサブステップ、(d−3)現在の幾何学変換推定を決定するサブステップ、(d−4)最大反復条件が満たされるまで、(1)上記現在の幾何学変換推定に基づいた上記第1の特徴点セットと上記第2の特徴点のセットとの間の特徴点マッチングのセット、及び、(2)更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、(d−5)上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップが含まれる。
したがって、上記の欠陥検出方法によれば、上記幾何学変換を用いて上記画像間変換を推定するので、工業用部品における欠陥を効果的に検出することができる。
なお、上記画像間変換の例としては、2D平行移動(translation)、回転、サイズ変化(scaling)、アファイン変換、および、射影変換(homography)等が挙げられる。また、上記幾何学的変換とは、入力画像またはモデル画像の一方の画像内のある一つの画素を、他方の画像の新しい位置に写像する1対1変換である。
また、本発明に係る学習方法は、工業用部品の欠陥を検出するための欠陥検出システムの学習方法であって、(a)工業用部品に関する入力画像を受け取るステップと、(b)上記入力画像に関するモデルタイプを受け取るステップと、(c)上記モデルタイプに対応するモデル画像を取得するステップと、(d)上記入力画像に関する真の欠陥マスクを受け取るステップと、(e)上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、(e−1)上記入力画像における第1の特徴点セットを検出するサブステップ、(e−2)上記モデル画像における第2の特徴点セットを検出するサブステップ、(e−3)現在の幾何学変換推定を決定するサブステップ、(e−4)最大反復条件が満たされるまで、(1)上記現在の幾何学変換推定に基づいた上記第1の特徴点セットと上記第2の特徴点のセットとの間の特徴点マッチングのセット、及び、(2)更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復推定するサブステップ、並びに、(e−5)上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、(f)上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像を取得するステップと、(g)上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、(h)上記複数の画像差分ベクトル及び真の欠陥マスクを用いて、統計分類モデルを学習させるステップと、を含んでいることを特徴としている。
上記の学習方法によれば、先の入力画像に基づいて学習を行い、欠陥検出性能を自動的に向上させることができる。
本発明における、上述および他の目的、特徴、並びに、利点は、添付した図面とともに、下記に示す本発明の詳細な説明を参照することによって、より容易に理解されるだろう。
本発明に係る欠陥検出方法によれば、工業用部品における欠陥を効果的に検出することができる。
本発明に係る実施形態は、図面を参照することによって最も明らかとなるだろう。なお、図面においては、同様の部材には同様の符号を付して示している。また、上述の図面は、この詳細な説明の一部として明示的に取り入れられる。
一般的に記載され、また、図面に示されている本発明の構成は、様々な異なる構成に変更および設計可能であることは、容易に理解できるだろう。すなわち、本発明の方法およびシステムに係る実施形態について下記に示すより詳細な説明は、本発明の範囲を限定するものではなく、本発明についての現在における好ましい実施形態を示しているに過ぎない。
本発明に係る実施形態の要素は、ハードウェア、ファームウェア、および/またはソフトウェアにおいて実現される。本明細書において開示する実施形態では、主として、これらの形態のうち1つのみについて説明するが、当業者が任意の形態においてこれらの要素を実現し得ることは明らかであり、このようにして実現されたものも本発明の範囲に含まれる。
本発明に係る実施形態は、一般に、欠陥の検出に関する。より具体的には、本発明に係る実施形態は、例えば、電子回路、液晶ディスプレイ(LCD)パネル、及び他の工業製品などの、工業製品における欠陥領域を、画像に基づいて自動検出することに関する。
本発明のいくつかの実施形態によれば、工業製品が欠陥領域を含んでいるかどうかを検査するために、また、工業製品が欠陥領域を含んでいる場合には、欠陥領域を特定し欠陥を分類するために、1つ以上のデジタルカメラから工業製品のデジタル画像が取得される。
本発明のいくつかの実施形態は、図1に関連して記載されたオフライン学習段階を含んでいる。これらの実施形態において、モデル画像データベースは、一人または複数の作業者によって構築・更新される。モデル画像データベースは、異なるモデル画像と、各モデル画像についての関連情報とを含んでいる。例えば、関連情報とは、モデルタイプ、要素のラベル画像、及び、他のモデル画像情報などである。新しいモデル画像がモデル画像データベースに追加される度に、作業者は新しく追加されたモデル画像に関する情報を入力する。モデル画像データベースは、従来知られたデータベースの実装に従って、例えばSQLite及び他の従来の関係型データベースソフトウェアなどの、モデルタイプ毎に索引を付けられる従来の関係型データベースソフトウェアによって実装される。オフライン学習段階において、入力画像及び入力画像のモデルタイプ情報が取得される(100)。対応モデル画像がモデル画像データベースから検出され(102)、入力画像の真の欠陥マスクが取得される(104)。入力画像の真の欠陥マスクは、作業者に対し、各画素について、入力画像の各画素に欠陥があるのか否かを特定するラベルを供給するように問い合わせることによって取得される。本発明のいくつかの実施形態において、「1」のラベルは欠陥があることを示し、「−1」のラベルは欠陥がないことを示す。別の実施形態においては、他のラベル値を用いてもよい。ロバストマッチングは、入力画像と対応モデル画像との間で実行され(106)、画像差分ベクトルのセットが、全ての画像画素に対して形成される(108)。画像差分ベクトル及び真の欠陥マスクが、入力画像について格納される(110)。全ての入力画像が処理されたか否かが判定される(112)。未処理の入力画像が存在する場合(113)、次の入力画像及び次の入力画像のモデルタイプ情報が取得され(100)、新しく取得された入力画像についての処理が行われる。全ての入力画像が処理された場合(115)、全ての入力画像について格納された画像差分ベクトル及び真の欠陥マスクが、本発明の実施形態に従ったオンライン欠陥検出で用いられる統計的分類モデルの学習のために用いられる(116)。
入力画像と対応モデル画像とのロバストマッチングの実行(106)は、入力画像と対応モデル画像との間の二次元(2D)幾何学変換の推定を含んでいる。二次元幾何学変換は、画像間変換、又は、変換とも呼ばれる。2D幾何学変換は、入力画像または対応モデル画像の一方の画像内のある一つの画素を、他方の画像の新しい位置に写像する1対1変換である。2D幾何学変換が推定された後、入力画像及び対応モデル画像は共通の2D座標系に写像される。いくつかの実施形態において、対応モデル画像が、入力画像の座標系に写像される。他の実施形態において、入力画像が、対応モデル画像の座標系に写像される。さらに他の実施形態においては、入力画像及び対応モデル画像の双方が、新しい座標系に写像される。
本発明の実施形態に係る、画像間変換の推定は、図2を参照することによって理解されるであろう。なお、画像間変換は、画像の位置あわせとも呼ばれる。これらの実施形態では、T12と表される変換行列は、例えば、入力画像又は対応モデル画像である第1画像における
と表される第1の点を、例えば、対応モデル画像又は入力画像である第2画像における
と表される第1の点に、次式で表されるように割り当てる。
ここで、T12は、2D平行移動(translation)、回転、サイズ変化(scaling)、アファイン変換、射影変換(homography)及び他の画像間変換に関する3×3の行列で表される。本発明の実施形態によれば、多くの特徴点が、入力画像及び対応モデル画像から検出される(200)。検出された各特徴点について、形状記述子が抽出される(202)。特徴点の検出(200)及び各特徴点についての形状記述子の抽出(202)のための方法やシステムが多くあるということを、この分野の技術に関する知識を持った者であれば認識するであろう。典型的な方法は、例えば、C.Schmid、R.Mohr、及びC.Bauckhageによる“Evaluation of Interest Point Detectors”,International Journal of Computer Vision,37(2):151−172、2000年6月、並びに、P.Moreels、及びP.Peronaによる“Evaluation of Fearures Detectors and Descriptors based on 3D Objects”,International Journal of Computer Vision,73(3):263−284、2007年7月、に記載されている。上記文献を参照することによって、それらの全体が本明細書に組み込まれるものとする。
図2に関連して示される本発明のいくつかの実施形態において、作業者は、幾何学変換推定を、2D平行移動に初期化するか否かを指示する(204)。作業者の指示は、平行移動指示(translation indicator)とも呼ばれる。平行移動指示が初期並行移動を算出することを示している場合(205)、初期画像平行移動は、例えば、位相相関及び他のテンプレートマッチング方法など、技術的に知られたテンプレートマッチング方法によって算出される。本発明のいくつかの実施形態において、初期画像平行移動は、モデル画像全体及び入力画像全体を用いて推定される。他の実施形態において、テンプレートマッチングは、モデル画像及び入力画像において選択された対象領域(ROI:region of interest)を用いて行われる。いくつかの実施形態において、ROIは、矩形状又は他の形状の領域であり、モデル画像において、テンプレートマッチングを容易にする特有の特徴を含んでいる領域である。幾何学変換推定は、初期画像平行移動にて推定される。平行移動指示が初期平行移動を算出することを示していない場合(207)、初期幾何学変換推定は、マッチングされた特徴点から算出される。特徴点マッチングは、入力画像において検出された特徴点と、対応モデル画像において検出された特徴点との間の全数検査により決定される(208)。
図2及び図3に関連して示される本発明のいくつかの実施形態において、特徴点マッチングは、入力画像又は対応モデル画像の何れか一方である第1画像から検出された特徴点群から、当該第1画像における処理されていない特徴点を選択(300)することにより、検出される(208)。処理されていない特徴点は、マッチングのための次の特徴点として用いられ、p1と表される。第1画像から検出された特徴点群は、P1と表される。上記入力画像又は対応モデル画像の他の一方である第2画像から検出された特徴点群から、p1と最もマッチ(適合)する上位K2個の点であるK2ベストマッチング特徴点が決定される(302)。第2画像から検出された特徴点群から選ばれた上記K2ベストマッチング特徴点は、M2と表され、第2画像から検出された特徴点群は、P2と表される。p2と表される、処理されていない特徴点は、M2から選択され(304)、第1画像から検出された特徴点群から、p2と最もマッチする上位K1個の点であるK1ベストマッチング特徴点が決定される(306)。上記K1ベストマッチング特徴点であるM1は、p1がM1のセットに含まれるか否かを判定するために検証される(308)。p1がM1に含まれる場合(309)、特徴点ペア{p1、p2}は、特徴点マッチングのセットに加えられ(310)、M2にまだ処理されていない点がないかが確認される(312)。p1がM1に含まれていない場合(311)、M2にまだ処理されていない点がないかが確認される(312)。M2に処理されていない点がある場合(313)、K2ベストマッチング特徴点であるM2から、次の特徴点が選択される(304)。M2に処理されていない点がない場合(315)、P1に含まれる全ての点が処理されたか否かを判定する(316)。P1に処理されていない点がある場合(317)、P1に含まれる次の特徴点が選択され(300)、マッチング処理が繰り返される。P1に処理されていない点がない場合(319)、特徴点マッチングの特徴点セットを後処理に利用可能にし(320)、例えば、特徴点マッチングに基づく初期変換の算出などの後処理を行う(210)。本発明のいくつかの実施形態において、K1及びK2は同一の値を用いる。
初期幾何学変換推定が算出された後(206、210)、特徴点マッチングは、現在の幾何学変換推定、最初は初期幾何学変換推定、によりガイドされて更新される(212)。特徴点マッチングの更新(212)にガイドされた現在の幾何学変換推定は、第1画像における第1の点p1を示す図4を参照することによって理解されるであろう。まず、p1は、現在の幾何学変換の推定に従って、第2画像の座標系における新しい位置p1’に写像される(400)。R1と表される局所領域は、第2画像中の新しい位置p1’の周辺領域として決定される(402)。局所領域R1の中にある特徴点群から、次の処理されていない特徴点p2が選択され(404)、p1とp2との間の位置の差分及び記述子の値が算出され(408)、p2がp1とのマッチングの上位K個以内に入る場合、算出された差分(408)に従って、K要素配列にp2が格納される(410)。R1における全ての特徴点が処理されたか否かが判定される(412)。処理されていない特徴点がある場合(413)、次の処理されていない特徴点が選択され(404)、処理される。R1における全ての特徴点が処理されていた場合(415)、p1のための特徴点マッチングの特徴点セットが後処理に利用可能にされる(416)。幾何学変換推定は、更新された現在の特徴点マッチングに基づいて更新される(214)。現在の幾何学変換推定によってガイドされた特徴点マッチングの回数と、許可された反復の最大数とが、比較され(216)、2つの値の間の条件が一致する場合(217)、入力画像及び対応モデル画像は、推定された幾何学変換に基づく共通の座標系に変換され(218)、その結果として位置合わせされた入力画像及び位置合わせされた対応モデル画像が生成される。2つの値の間の条件が一致しない場合(219)、更新処理が再び繰り返される。
再び図1を参照すれば、画像差分ベクトルは、位置合わせされた画像の各画素位置について形成される(108)。図5に関連して示される本発明のいくつかの実施形態において、画像差分ベクトルの形成は、比較マスク画像の生成を含んでいる(500)。比較マスク画像は、位置合わせされた入力画像と位置合わせされた対応モデル画像との間の各画素位置における画素値の差分を算出することによって生成される(500)。いくつかの実施形態において、差分値の絶対値が、閾値と比較される。差分値の絶対値が閾値よりも小さい場合、マスク値は0に設定され、差分値の絶対値が閾値以上である場合、マスク値は0以外の値に設定される。いくつかの実施形態において、マスク値は、差分値の絶対値が0である場合にのみ、0に設定される。
比較マスク画像における次の処理されていない0でない画素が選択され(502)、位置合わせされた入力画像及び位置合わせされた対応モデル画像から、対応する画素値が抽出される(504)。画素に基づく差分計測が、画素値から算出される(506)。本発明のいくつかの実施形態において、差分値の絶対値は次式によって算出される。
ここで、I(x、y)及びM(x、y)は、それぞれ、位置合わせされた入力画像及び位置合わせされた対応モデル画像の画素位置(x、y)における画素値を表している。本発明のいくつかの実施形態において、相対差分値は次式によって算出される。
いくつかの実施形態において、位置合わせされた入力画像の強度値(画素値)と位置合わせされた対応モデル画像の強度値(画素値)との間の線形一次元(1D)変換は、次式により決定される。
ここで、a及びbは変換パラメータである。本発明のいくつかの実施形態において、補正された差分値の絶対値、及び、補正された相対差分値は、次の2式
及び
によってそれぞれ計算される。
画素値は、選択された画素位置周辺の局所領域から抽出され(508)、窓関数に基づく差分計測が算出される(510)。いくつかの実施形態において、矩形状の窓を用いた窓関数に基づく差分値は、次式によって計算される。
ここで、Wは局所領域を表している。いくつかの実施形態において、正規化相互相関値は、次式で計算される。
ここで、
及び
は、それぞれ、局所領域Wの中の位置合わせされた入力画像の画素値の平均値、及び、局所領域Wの中の位置合わせされた対応モデル画像の画素値の平均値を表している。
全ての0でないマスク画素が処理されたか否かが判定される(512)。処理されていない0でないマスク画素が存在する場合(513)、次の0でないマスク画素が選択され(502)、処理される。全ての0でないマスク画素が処理されていた場合(515)、画像エッジ重みマップがモデル画像から算出される(516)。画像エッジ重みマップは、モデル画像のエッジ画素からの画素数(距離)に基づいて、画素重み付け値を決定する。エッジ画素はよく知られた一般的なエッジ抽出フィルタ処理により抽出する。例えばSobelフィルタにより抽出する。エッジ画素からの距離は例えば最も近いエッジ画素からの距離とする。エッジ画素により近い画素位置は、エッジ画素からより遠い画素位置よりも、より小さい重み付け値を持つ。いくつかの実施形態において、重み付け値は、0から1までの範囲の値である。ここで、エッジ位置と一致した画素位置には、0の重み付け値が与えられ、エッジから最も遠い画素位置には、1の重み付け値が与えられる。差分計測は画像エッジ重みマップに従って調整され(518)、調整された差分値は、後処理に利用可能にされる(520)。いくつかの実施形態において、差分値は、調整されていない差分値に対応する重み付け値を乗算することによって調整される。
画像差分ベクトルは、図6に示すように、各画素位置において形成される。画素位置周辺の局所領域が決定される(600)。いくつかの実施形態において、局所領域は、画素位置を中心とする矩形状の領域である。
処理されていない差分マップが選択され(602)、局所領域内の画素位置から、差分マップに関する差分値が検索される(604)。差分値の2D配列(2次元配列)が、差分値の1D(1次元)ベクトルに変換される(606)。現在の処理された差分マップに関する値の1Dベクトルは、画素位置に関する画像差分ベクトルに追加される。全ての差分マップが処理されたか否かが判定される(610)。処理されていない差分マップが存在する場合(611)、次の処理されていない差分マップが選択される(602)。全ての差分マップが処理されている場合(613)、画素位置に関する画像差分ベクトルは、後処理に利用可能にされる(614)。
処理されていない差分マップが選択され(602)、局所領域内の画素位置から、差分マップに関する差分値が検索される(604)。差分値の2D配列(2次元配列)が、差分値の1D(1次元)ベクトルに変換される(606)。現在の処理された差分マップに関する値の1Dベクトルは、画素位置に関する画像差分ベクトルに追加される。全ての差分マップが処理されたか否かが判定される(610)。処理されていない差分マップが存在する場合(611)、次の処理されていない差分マップが選択される(602)。全ての差分マップが処理されている場合(613)、画素位置に関する画像差分ベクトルは、後処理に利用可能にされる(614)。
図1において、全ての入力画像が処理された後(115)、各入力画像について、入力画像の各画素位置に関する画像差分ベクトルと、真の欠陥マスクとが格納されている。統計分類モデルは、各入力画像について格納されている画像差分ベクトルと真の欠陥マスクとを用いて学習される(116)。学習処理については、図7を参照して説明する。
統計分類モデルは、入力として、入力画像に関する画像差分ベクトルを取り、入力画像の各画素位置における出力ラベルを生成する。ラベルされた出力は、例えば、「欠陥」及び「無欠陥」など、各画素の分類を示すラベルされた分類マップとして参照される。統計分類モデルに関する実施形態の典型例は、サポートベクターマシン、ブースティング分類手法、及び、技術的に知られた他の分類モデルなどを含んでいる。
学習データは、学習部分集合と検証部分集合との、2つの部分集合に分割される(700)。学習パラメータの検証されていないセットが、学習可能なパラメータのセットから選択される(702)。統計分類モデルが、選択された学習パラメータを用いて学習部分集合を用いて学習される(704)。学習された統計分類モデルが、検証部分集合を用いて検証される(706)。検証は、検証部分集合における入力画像に関する画像差分ベクトルを、入力画像の各画素位置が「欠陥」または「無欠陥」とラベル付けされるような、ラベル付けされた出力を生成する統計分類モデルに入力することを含む。検証部分集合における全ての入力画像が処理されると、現在学習された分類モデルの性能スコアが、真の欠陥マスクを用いて算出される(708)。本発明のいくつかの実施形態において、分類モデルに関する性能スコアは、正検出率(true positive rate)及び誤検出率(false positive rate)に基づき、次式に従って決定される。
ここで、TP及びFTは、それぞれ、正検出率及び誤検出率を示しており、αは、欠陥検出システムの性能要求に関する設計パラメータを示している。これらの実施形態において、より高いスコアは、よりよい分類モデル性能を示している。
現在検証された分類モデルの性能スコアは、現在の最もよい分類モデルの性能スコアと比較される(710)。現在検証された分類モデルの性能スコアの方が、現在の最もよい分類モデルの性能スコアよりもよい性能スコアである場合(711)、現在の最もよい分類モデルは、現在検証された分類モデルに更新され(712)、検証すべきパラメータセットが残っているか否かが判定される(714)。現在検証された分類モデルの性能スコアの方が、現在の最もよい分類モデルの性能スコアよりもよい性能スコアでない場合(713)、検証すべきパラメータセットが残っているか否かが判定される(714)。検証すべきパラメータセットが残っている場合(715)、次の検証されていないパラメータのセットが選択される(702)。検証すべきパラメータセットが残っていない場合(717)、学習は完了し(718)、現在の最もよい分類モデルはオンライン欠陥検出処理に用いられる。
本発明のいくつかの実施形態におけるオンライン欠陥検出は、図8を参照することによって理解されるであろう。入力画像及び入力画像のモデルタイプ情報が取得される(800)。対応するモデル画像がモデル画像データベースから検出される(802)。モデル画像データベースは、従来知られたデータベースの実装に従って、例えばSQLite及び他の従来の関係型データベースソフトウェアなどの、モデルタイプ毎に索引を付けられる従来の関係型データベースソフトウェアによって実装される。入力画像と対応モデル画像との間のロバストマッチングが実行され(804)、全ての画像画素について、画像差分ベクトルのセットが形成される(806)。ロバストマッチング及び画像差分ベクトルの形成は、上述のオフライン学習段階と同様の処理で実行される。画像差分ベクトルは、以前に学習された統計分類モデルへの入力として用いられ(808)、統計分類モデルによって返される検出された欠陥領域は、1つ又は複数の後処理段階によって、整えられる(810)。典型的な後処理段階としては、モフォロジー処理の膨張処理(morphological dilation)、色領域の拡張、連結分析、及び、他の技術的に知られた領域改良等を用いた後処理を挙げることができる。
図におけるフローチャート及びダイアグラムは、特定の順序での処理を示しているが、処理の順序は、図に示されたものと異なっていてもよいことが理解されるであろう。例えば、ブロックの処理順序は、図示された順序に比べて変化してもよい。そのうえ、さらなる例として、図において連続して示された2つまたはそれ以上のブロックは、同時に実行されてもよく、または、一部が同時に実行されてもよい。本明細書に記載の様々な論理関数を実行するために、当業者は、ソフトウェア、ハードウェア、および/または、ファームウェアを作成することができることが理解されるであろう。
本発明に係るいくつかの実施形態には、本明細書に記載の特徴及び方法を実行するコンピュータシステムをプログラムするために用いられる指示が格納されているコンピュータ読み取り可能な記録媒体を備えるコンピュータプログラム製品(computer program
product)が含まれる。典型的なコンピュータ読み取り可能な記録媒体には、フラッシュメモリデバイス、フロッピー(登録商標)ディスク、光ディスク、磁気ディスク、デジタルバーサタイルディスク(DVDs)、コンパクトディスク(CDs)、マイクロドライブ、及びその他のディスク型記録媒体等のディスク型記録媒体、リードオンリーメモリ(ROMs)、プログラマブルリードオンリーメモリ(PROMs)、イレイサブルプログラマブルリードオンリーメモリ(EPROMs)、エレクトリカリーイレイサブルプログラマブルリードオンリーメモリ(EEPROMs)、ランダムアクセスメモリ(RAMS)、ビデオランダムアクセスメモリ(VRAMs)、ダイナミックランダムアクセスメモリ(DRAMs)、並びに、指示及び/又はデータを格納することのできる媒体やデバイスが含まれる。
product)が含まれる。典型的なコンピュータ読み取り可能な記録媒体には、フラッシュメモリデバイス、フロッピー(登録商標)ディスク、光ディスク、磁気ディスク、デジタルバーサタイルディスク(DVDs)、コンパクトディスク(CDs)、マイクロドライブ、及びその他のディスク型記録媒体等のディスク型記録媒体、リードオンリーメモリ(ROMs)、プログラマブルリードオンリーメモリ(PROMs)、イレイサブルプログラマブルリードオンリーメモリ(EPROMs)、エレクトリカリーイレイサブルプログラマブルリードオンリーメモリ(EEPROMs)、ランダムアクセスメモリ(RAMS)、ビデオランダムアクセスメモリ(VRAMs)、ダイナミックランダムアクセスメモリ(DRAMs)、並びに、指示及び/又はデータを格納することのできる媒体やデバイスが含まれる。
(欠陥検出装置)
本発明に係る欠陥検出装置は、図1から図8を用いて説明した各ステップの少なくとも一部を実現する各手段を備えることによって実現することができる。
本発明に係る欠陥検出装置は、図1から図8を用いて説明した各ステップの少なくとも一部を実現する各手段を備えることによって実現することができる。
例えば、本発明に係る欠陥検出装置は、(a)工業用部品に関する入力画像を受け取る画像受信手段(ステップ100の一部に対応)と、(b)上記入力画像に関するモデルタイプを受け取るモデルタイプ受信手段(ステップ100の一部に対応)と、(c)上記モデルタイプに対応するモデル画像を取得するモデル画像取得手段(ステップ102に対応)と、(d)上記モデル画像と上記入力画像との間の画像間変換を推定する画像間変換推定手段(ステップ106の一部に対応)であって、(d−1)上記入力画像における第1の特徴点セットを検出し、(d−2)上記モデル画像における第2の特徴点セットを検出し、(d−3)現在の幾何学変換推定を決定し、(d−4)最大反復条件が満たされるまで、(1)上記現在の幾何学変換推定に基づいた上記第1の特徴点セットと上記第2の特徴点のセットとの間の特徴点マッチングのセット、及び、(2)更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新し、(d−5)上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てる画像間変換推定手段と、(e)上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得する画像変換手段(ステップ106の一部に対応)と、(f)上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成する差分計算手段(ステップ108に対応)と、(g)上記複数の画像差分ベクトルに基づいて、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルと、を備えることによって実現することができる。
また、本発明に係る欠陥検出装置は、図2から図8に示した各ステップの少なくとも一部を実現するための各手段を更に備える構成とすることができる。
(プログラム及び記録媒体)
本発明に係る欠陥検出装置の各手段は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
本発明に係る欠陥検出装置の各手段は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、欠陥検出装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである欠陥検出装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記欠陥検出装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、欠陥検出装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
(付記事項)
以上説明したように、本発明のいくつかの実施形態においては、1画素単位で欠陥か無欠陥かを判定しているため、欠陥の形状にとらわれず、任意の形状の欠陥を検出可能である。また、以上説明したように、上記欠陥か無欠陥かの判定精度を向上させるために、1つの画素に基づく比較と1つの窓関数に基づく比較とを採用している。
以上説明したように、本発明のいくつかの実施形態においては、1画素単位で欠陥か無欠陥かを判定しているため、欠陥の形状にとらわれず、任意の形状の欠陥を検出可能である。また、以上説明したように、上記欠陥か無欠陥かの判定精度を向上させるために、1つの画素に基づく比較と1つの窓関数に基づく比較とを採用している。
上述した説明において用いられた用語や表現は、説明のための用語として用いられるものであり、何らの限定を伴うものではない。また、それらの用語や表現は、本明細書に記載された特徴またはその一部と同等の構成を排除することを意図するものではない。本発明の範囲は、以下の請求項によって定義され、以下の請求項によってのみ限定されるものである。
Claims (26)
- 工業用部品における欠陥を検出する欠陥検出方法であって、
(a)工業用部品に関する入力画像を受け取るステップと、
(b)上記入力画像に関するモデルタイプを受け取るステップと、
(c)上記モデルタイプに対応するモデル画像を取得するステップと、
(d)上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、
(d−1)上記入力画像における第1の特徴点セットを検出するサブステップ、
(d−2)上記モデル画像における第2の特徴点セットを検出するサブステップ、
(d−3)現在の幾何学変換推定を決定するサブステップ、
(d−4)最大反復条件が満たされるまで、(1)上記現在の幾何学変換推定に基づいた上記第1の特徴点セットと上記第2の特徴点のセットとの間の特徴点マッチングのセット、及び、(2)更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、
(d−5)上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、
(e)上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、
(f)上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、
(g)上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、
を含んでいることを特徴とする欠陥検出方法。 - 上記入力画像に関する上記ラベルされた分類マップを後処理するステップをさらに含んでいる
ことを特徴とする請求項1に記載の欠陥検出方法。 - 上記工業用部品は、液晶ディスプレイパネル及び電子回路からなるグループから選択された部品である
ことを特徴とする請求項1に記載の欠陥検出方法。 - 上記画像間変換を推定するステップは、
(a)上記第1の特徴点セットの各特徴点の第1形状記述子を抽出し、第1の特徴点セットの形状記述子の第1のセットを生成すると共に、上記第2の特徴点セットの各特徴点の第1形状記述子を抽出し、第2の特徴点セットの形状記述子の第2のセットを生成するサブステップと、
(b)上記形状記述子の第1のセット及び上記形状記述子の第2のセットを用いて、上記第1の特徴点セットと上記第2の特徴点セットとの間の上記特徴点マッチングのセットを決定するサブステップと、
をさらに含んでいる
ことを特徴とする請求項1に記載の欠陥検出方法。 - (a)平行移動指示を受け取るステップと、
(b)上記平行移動指示が初期平行移動の画像間変換を算出することを示しているときに、上記入力画像と上記モデル画像との間の初期画像平行移動変換を決定するステップと、
(c)上記平行移動指示が初期平行移動の画像間変換を算出することを示していないときに、(c−1)上記第1の特徴点セットと上記第2の特徴点セットとの間の第1の特徴点マッチングのセットを検出すると共に、(c−2)上記第1の特徴点マッチングのセットに基づいて初期幾何学変換推定を算出するステップと、
をさらに含んでいる
ことを特徴とする請求項1に記載の欠陥検出方法。 - 上記初期画像平行移動を決定するステップは、上記モデル画像の対象領域を上記入力画像とマッチングするサブステップを含んでいる
ことを特徴とする請求項5に記載の欠陥検出方法。 - 上記モデル画像の上記対象領域は、モデル画像の特有の特徴を少なくとも1つ含んでいる。
ことを特徴とする請求項6に記載の欠陥検出方法。 - 上記共通座標系は、上記入力画像の座標系である
ことを特徴とする請求項1に記載の欠陥検出方法。 - 上記共通座標系は、上記モデル画像の座標系である、
ことを特徴とする請求項1に記載の欠陥検出方法。 - 上記第1の特徴点セットと上記第2の特徴点セットとの間の上記特徴点マッチングのセットを更新するサブステップは、
(a)上記推定された画像間変換に従って、新しい座標系の新しい位置に第1の点を写像するサブステップと、
(b)上記新しい位置の周辺の局所領域を決定するサブステップと、
(c)上記第1の点とマッチする点を決定するために、上記局所領域内の全ての点を検査するサブステップと、
をさらに含んでいる
ことを特徴とする請求項1に記載の欠陥検出方法。 - 上記入力画像及び上記モデル画像に関する上記複数の画像差分ベクトルを形成するステップは、
(a)少なくとも1つの画素に基づく差分計測を算出するサブステップと、
(b)少なくとも1つの窓関数に基づく差分計測を算出するサブステップと、
をさらに含んでいる
ことを特徴とする請求項1に記載の欠陥検出方法。 - (a)上記モデル画像の画像エッジ重みマップを算出するステップと、
(b)上記画像エッジ重みマップを用いて、上記複数の画像差分ベクトルを調整するステップと、
をさらに含んでいる
ことを特徴とする請求項1に記載の欠陥検出方法。 - 第1画素が第2画素よりもよりエッジの近くに位置しているとき、上記画像エッジ重みマップは、上記第1画素よりも上記第2画素を重く重み付ける
ことを特徴とする請求項12に記載の欠陥検出方法。 - 工業用部品における欠陥を検出する欠陥検出装置であって、
(a)工業用部品に関する入力画像を受け取る画像受信手段と、
(b)上記入力画像に関するモデルタイプを受け取るモデルタイプ受信手段と、
(c)上記モデルタイプに対応するモデル画像を取得するモデル画像取得手段と、
(d)上記モデル画像と上記入力画像との間の画像間変換を推定する画像間変換推定手段であって、
(d−1)上記入力画像における第1の特徴点セットを検出し、
(d−2)上記モデル画像における第2の特徴点セットを検出し、
(d−3)現在の幾何学変換推定を決定し、
(d−4)最大反復条件が満たされるまで、(1)上記現在の幾何学変換推定に基づいた上記第1の特徴点セットと上記第2の特徴点のセットとの間の特徴点マッチングのセット、及び、(2)更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新し、
(d−5)上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てる画像間変換推定手段と、
(e)上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得する画像変換手段と、
(f)上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成する差分計算手段と、
(g)上記複数の画像差分ベクトルに基づいて、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルと、
を備えていることを特徴とする欠陥検出装置。 - 上記入力画像に関する上記ラベルされた分類マップを後処理する後処理手段をさらに備えている
ことを特徴とする請求項14に記載の欠陥検出装置。 - 上記工業用部品は、液晶ディスプレイパネル及び電子回路からなるグループから選択された部品である
ことを特徴とする請求項14に記載の欠陥検出装置。 - 上記画像間変換推定手段は、さらに、
(a)上記第1の特徴点セットの各特徴点の第1形状記述子を抽出し、第1の特徴点セットの形状記述子の第1のセットを生成すると共に、上記第2の特徴点セットの各特徴点の第1形状記述子を抽出し、第2の特徴点セットの形状記述子の第2のセットを生成し、
(b)上記形状記述子の第1のセット及び上記形状記述子の第2のセットを用いて、上記第1の特徴点セットと上記第2の特徴点セットとの間の上記特徴点マッチングのセットを決定する
ことを特徴とする請求項14に記載の欠陥検出装置。 - (a)平行移動指示を受け取る平行移動指示受信手段と、
(b)上記平行移動指示が初期平行移動の画像間変換を算出することを示しているときに、上記入力画像と上記モデル画像との間の初期画像平行移動変換を決定する平行移動推定手段と、
(c)上記平行移動指示が初期平行移動の画像間変換を算出することを示していないときに、
(c−1)上記第1の特徴点セットと上記第2の特徴点セットとの間の第1の特徴点マッチングのセットを検出する特徴点マッチング手段と、
(c−2)上記第1の特徴点マッチングのセットに基づいて初期幾何学変換推定を算出する初期幾何学変換計算手段と、をさらに備えている
ことを特徴とする請求項14に記載の欠陥検出装置。 - 上記共通座標系は、上記入力画像の座標系である
ことを特徴とする請求項14に記載の欠陥検出装置。 - 上記共通座標系は、上記モデル画像の座標系である
ことを特徴とする請求項14に記載の欠陥検出装置。 - 上記画像間変換推定手段は、
上記第1の特徴点セットと上記第2の特徴点セットとの間の上記特徴点マッチングのセットの更新を、
(a)上記推定された画像間変換に従って、新しい座標系の新しい位置に第1の点を写像し、
(b)上記新しい位置の周辺の局所領域を決定し、
(c)上記第1の点とマッチする点を決定するために、上記局所領域内の全ての点を検査する、
ことによって行う
ことを特徴とする請求項14に記載の欠陥検出装置。 - 上記差分計算手段は、さらに、
(a)少なくとも1つの画素に基づく差分計測を算出する画素差分計算手段と、
(b)少なくとも1つの窓関数に基づく差分計測を算出する窓差分計算手段と、をさらに備えている
ことを特徴とする請求項14に記載の欠陥検出装置。 - (a)上記モデル画像の画像エッジ重みマップを算出するエッジ重みマップ計算手段と、
(b)上記画像エッジ重みマップを用いて、上記複数の画像差分ベクトルを調整する調整手段と、をさらに備えている
ことを特徴とする請求項14に記載の欠陥検出装置。 - 工業用部品の欠陥を検出するための欠陥検出システムの学習方法であって、
(a)工業用部品に関する入力画像を受け取るステップと、
(b)上記入力画像に関するモデルタイプを受け取るステップと、
(c)上記モデルタイプに対応するモデル画像を取得するステップと、
(d)上記入力画像に関する真の欠陥マスクを受け取るステップと、
(e)上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、
(e−1)上記入力画像における第1の特徴点セットを検出するサブステップ、
(e−2)上記モデル画像における第2の特徴点セットを検出するサブステップ、
(e−3)現在の幾何学変換推定を決定するサブステップ、
(e−4)最大反復条件が満たされるまで、(1)上記現在の幾何学変換推定に基づいた上記第1の特徴点セットと上記第2の特徴点のセットとの間の特徴点マッチングのセット、及び、(2)更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復推定するサブステップ、並びに、
(e−5)上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、
(f)上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像を取得するステップと、
(g)上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、
(h)上記複数の画像差分ベクトル及び真の欠陥マスクを用いて、統計分類モデルを学習させるステップと、
を含んでいることを特徴とする学習方法。 - 請求項14から23までの何れか1項に記載の欠陥検出装置を動作させるための制御プログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
- 請求項25に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/846,748 US8331650B2 (en) | 2010-07-29 | 2010-07-29 | Methods, systems and apparatus for defect detection |
US12/846,748 | 2010-07-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012032370A true JP2012032370A (ja) | 2012-02-16 |
Family
ID=45526775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011052176A Pending JP2012032370A (ja) | 2010-07-29 | 2011-03-09 | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8331650B2 (ja) |
JP (1) | JP2012032370A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103617A1 (ja) * | 2012-12-26 | 2014-07-03 | シャープ株式会社 | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
KR20160134740A (ko) * | 2014-03-17 | 2016-11-23 | 케이엘에이-텐코 코포레이션 | 결함 분류기들 및 뉴슨스 필터들의 생성 |
JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
KR20180117532A (ko) * | 2017-04-18 | 2018-10-29 | 삼성디스플레이 주식회사 | 결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법 |
JPWO2019064599A1 (ja) * | 2017-09-29 | 2020-10-22 | 日本電気株式会社 | 異常検知装置、異常検知方法、及びプログラム |
WO2021106566A1 (ja) * | 2019-11-25 | 2021-06-03 | オムロン株式会社 | 画像検査装置 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120050522A1 (en) * | 2010-08-24 | 2012-03-01 | Research In Motion Limited | Method of and apparatus for verifying assembly components of a mobile device |
US20140270347A1 (en) * | 2013-03-13 | 2014-09-18 | Sharp Laboratories Of America, Inc. | Hierarchical image classification system |
US9530072B2 (en) * | 2013-03-15 | 2016-12-27 | Dropbox, Inc. | Duplicate/near duplicate detection and image registration |
US10210427B2 (en) * | 2014-07-09 | 2019-02-19 | Slyce Acquisition Inc. | Systems, methods, and devices for image matching and object recognition in images |
JP6325405B2 (ja) * | 2014-09-22 | 2018-05-16 | 株式会社東芝 | 特徴点検出装置、方法及びプログラム |
US9842390B2 (en) | 2015-02-06 | 2017-12-12 | International Business Machines Corporation | Automatic ground truth generation for medical image collections |
US9639781B2 (en) | 2015-04-10 | 2017-05-02 | Cognex Corporation | Systems and methods for classification and alignment of highly similar or self-similar patterns |
US9740944B2 (en) * | 2015-12-18 | 2017-08-22 | Ford Global Technologies, Llc | Virtual sensor data generation for wheel stop detection |
CN105426926B (zh) * | 2016-01-04 | 2019-09-24 | 京东方科技集团股份有限公司 | 一种对amoled进行检测分类的方法及装置 |
US10366501B2 (en) * | 2016-11-07 | 2019-07-30 | The Boeing Company | Method and apparatus for performing background image registration |
US10503981B2 (en) * | 2017-06-27 | 2019-12-10 | Canon Kabushiki Kaisha | Method and apparatus for determining similarity of objects in images |
US11010888B2 (en) | 2018-10-29 | 2021-05-18 | International Business Machines Corporation | Precision defect detection based on image difference with respect to templates |
US10957032B2 (en) | 2018-11-09 | 2021-03-23 | International Business Machines Corporation | Flexible visual inspection model composition and model instance scheduling |
CN109671058B (zh) * | 2018-12-05 | 2021-04-20 | 武汉精立电子技术有限公司 | 一种大分辨率图像的缺陷检测方法及系统 |
US10922581B2 (en) * | 2018-12-10 | 2021-02-16 | Canon Kabushiki Kaisha | Method, system and apparatus for performing re-identification in images captured by at least two camera pairs operating with different environmental factors |
WO2021120179A1 (zh) * | 2019-12-20 | 2021-06-24 | 京东方科技集团股份有限公司 | 产品制造消息处理方法、设备和计算机存储介质 |
CN111060520B (zh) * | 2019-12-30 | 2021-10-29 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
CN111368789B (zh) * | 2020-03-18 | 2023-05-26 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
CN111563530B (zh) * | 2020-04-01 | 2023-05-09 | 中铁大桥科学研究院有限公司 | 一种智能化桥梁病害巡检方法和系统 |
CN111398293A (zh) * | 2020-04-08 | 2020-07-10 | 重庆引尖机电有限公司 | 一种零部件生产检测系统 |
US11727052B2 (en) | 2020-09-03 | 2023-08-15 | General Electric Company | Inspection systems and methods including image retrieval module |
US11507616B2 (en) | 2020-09-03 | 2022-11-22 | General Electric Company | Inspection systems and methods including image retrieval module |
WO2022070145A1 (en) * | 2020-10-02 | 2022-04-07 | Servicenow Canada Inc. | Systems and computer-implemented methods for identifying anomalies in an object and training methods therefor |
CN112926437A (zh) * | 2021-02-22 | 2021-06-08 | 深圳中科飞测科技股份有限公司 | 检测方法及装置、检测设备和存储介质 |
CN112926439A (zh) * | 2021-02-22 | 2021-06-08 | 深圳中科飞测科技股份有限公司 | 检测方法及装置、检测设备和存储介质 |
CN113237888B (zh) * | 2021-05-21 | 2022-06-14 | 哈尔滨工业大学 | 大口径光学元件损伤点在线与离线暗场图像匹配方法 |
CN113643276B (zh) * | 2021-08-29 | 2024-02-02 | 浙江工业大学 | 一种基于统计分析的纺织物纹理缺陷自动检测方法 |
JP2023042738A (ja) * | 2021-09-15 | 2023-03-28 | 株式会社日立ハイテク | 欠陥検査システム及び欠陥検査方法 |
CN114511570A (zh) * | 2022-04-20 | 2022-05-17 | 深圳市信润富联数字科技有限公司 | 伪缺陷库建立方法、缺陷检测方法、设备及存储介质 |
CN116912233B (zh) * | 2023-09-04 | 2024-02-13 | 深圳市明亚顺科技有限公司 | 基于液晶显示屏的缺陷检测方法、装置、设备及存储介质 |
CN116883417B (zh) * | 2023-09-08 | 2023-12-05 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件质检方法及装置 |
CN117291921B (zh) * | 2023-11-27 | 2024-03-12 | 哪吒港航智慧科技(上海)有限公司 | 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006284447A (ja) * | 2005-04-01 | 2006-10-19 | Sony Corp | 欠陥検査装置及び欠陥検査方法 |
JP2008262555A (ja) * | 2007-03-20 | 2008-10-30 | National Univ Corp Shizuoka Univ | 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4811409A (en) * | 1985-09-12 | 1989-03-07 | Insystems, Inc. | Method and apparatus for detecting defect information in a holographic image pattern |
US6546308B2 (en) | 1993-12-28 | 2003-04-08 | Hitachi, Ltd, | Method and system for manufacturing semiconductor devices, and method and system for inspecting semiconductor devices |
US6578188B1 (en) * | 1997-09-17 | 2003-06-10 | Numerical Technologies, Inc. | Method and apparatus for a network-based mask defect printability analysis system |
JP3120767B2 (ja) | 1998-01-16 | 2000-12-25 | 日本電気株式会社 | 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体 |
US6987873B1 (en) | 1998-07-08 | 2006-01-17 | Applied Materials, Inc. | Automatic defect classification with invariant core classes |
US6266437B1 (en) * | 1998-09-04 | 2001-07-24 | Sandia Corporation | Sequential detection of web defects |
US6922482B1 (en) | 1999-06-15 | 2005-07-26 | Applied Materials, Inc. | Hybrid invariant adaptive automatic defect classification |
US6456899B1 (en) | 1999-12-07 | 2002-09-24 | Ut-Battelle, Llc | Context-based automated defect classification system using multiple morphological masks |
DE10019955A1 (de) | 2000-04-20 | 2001-10-25 | Philips Corp Intellectual Pty | Röntgenuntersuchungsgerät und Verfahren zur Erzeugung eines Röntgenbildes |
US6753965B2 (en) * | 2001-01-09 | 2004-06-22 | The University Of Hong Kong | Defect detection system for quality assurance using automated visual inspection |
TWI230343B (en) | 2002-05-03 | 2005-04-01 | Chi Mei Optoelectronics Corp | A method for classifying a substrate |
JP4584531B2 (ja) | 2002-08-02 | 2010-11-24 | 株式会社日立製作所 | 異物モニタリングシステム |
JP3978098B2 (ja) | 2002-08-12 | 2007-09-19 | 株式会社日立製作所 | 欠陥分類方法及びその装置 |
JP3944439B2 (ja) | 2002-09-26 | 2007-07-11 | 株式会社日立ハイテクノロジーズ | 電子線を用いた検査方法および検査装置 |
JP4233397B2 (ja) | 2002-10-01 | 2009-03-04 | 株式会社東京精密 | 画像欠陥検査方法、画像欠陥検査装置及び外観検査装置 |
US7132652B1 (en) | 2003-03-25 | 2006-11-07 | Kla-Tencor Technologies Corporation | Automatic classification of defects using pattern recognition applied to X-ray spectra |
US7508973B2 (en) | 2003-03-28 | 2009-03-24 | Hitachi High-Technologies Corporation | Method of inspecting defects |
KR100558943B1 (ko) | 2004-01-14 | 2006-03-10 | 삼성전자주식회사 | 평판 디스플레이 검사방법 |
WO2006046236A1 (en) | 2004-10-26 | 2006-05-04 | May High-Tech Solutions, Ltd. | Method and apparatus for residue detection on a polished wafer |
US7761182B2 (en) | 2005-01-21 | 2010-07-20 | Photon Dynamics, Inc. | Automatic defect repair system |
JP4681356B2 (ja) | 2005-06-13 | 2011-05-11 | 株式会社日立ハイテクノロジーズ | 欠陥自動観察分類システム、欠陥自動観察分類システムにおける装置の選択方法、プログラム、及び観察装置 |
JP5260320B2 (ja) | 2006-02-15 | 2013-08-14 | ドウジン セミケム カンパニー リミテッド | 平板表示装置の検査システム及び検査方法 |
-
2010
- 2010-07-29 US US12/846,748 patent/US8331650B2/en not_active Expired - Fee Related
-
2011
- 2011-03-09 JP JP2011052176A patent/JP2012032370A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006284447A (ja) * | 2005-04-01 | 2006-10-19 | Sony Corp | 欠陥検査装置及び欠陥検査方法 |
JP2008262555A (ja) * | 2007-03-20 | 2008-10-30 | National Univ Corp Shizuoka Univ | 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014126445A (ja) * | 2012-12-26 | 2014-07-07 | Sharp Corp | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
WO2014103617A1 (ja) * | 2012-12-26 | 2014-07-03 | シャープ株式会社 | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
KR20160134740A (ko) * | 2014-03-17 | 2016-11-23 | 케이엘에이-텐코 코포레이션 | 결함 분류기들 및 뉴슨스 필터들의 생성 |
KR102220437B1 (ko) | 2014-03-17 | 2021-02-24 | 케이엘에이 코포레이션 | 결함 분류기들 및 뉴슨스 필터들의 생성 |
JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
US10452949B2 (en) | 2015-11-12 | 2019-10-22 | Cognex Corporation | System and method for scoring clutter for use in 3D point cloud matching in a vision system |
KR102281106B1 (ko) | 2017-04-18 | 2021-07-23 | 삼성디스플레이 주식회사 | 결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법 |
KR20180117532A (ko) * | 2017-04-18 | 2018-10-29 | 삼성디스플레이 주식회사 | 결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법 |
JPWO2019064599A1 (ja) * | 2017-09-29 | 2020-10-22 | 日本電気株式会社 | 異常検知装置、異常検知方法、及びプログラム |
US11151714B2 (en) | 2017-09-29 | 2021-10-19 | Nec Corporation | Anomaly detection apparatus, anomaly detection method, and computer-readable recording medium |
JP2021086208A (ja) * | 2019-11-25 | 2021-06-03 | オムロン株式会社 | 画像検査装置 |
WO2021106566A1 (ja) * | 2019-11-25 | 2021-06-03 | オムロン株式会社 | 画像検査装置 |
JP7354790B2 (ja) | 2019-11-25 | 2023-10-03 | オムロン株式会社 | 画像検査装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120027288A1 (en) | 2012-02-02 |
US8331650B2 (en) | 2012-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
TWI767108B (zh) | 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體 | |
CN111028213B (zh) | 图像缺陷检测方法、装置、电子设备及存储介质 | |
TWI797699B (zh) | 半導體試樣的基於深度學習之檢查的方法及其系統 | |
US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
JP6792842B2 (ja) | 外観検査装置、変換データ生成装置、及びプログラム | |
US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
TWI748242B (zh) | 掃描晶圓的系統及方法 | |
US11314989B2 (en) | Training a generative model and a discriminative model | |
US9536321B2 (en) | Apparatus and method for foreground object segmentation | |
US10628935B2 (en) | Method and system for identifying defects of integrated circuits | |
JP2012032369A (ja) | 欠陥識別方法、欠陥識別装置、プログラム、及び記録媒体 | |
CN105225222B (zh) | 对不同图像集的感知视觉质量的自动评估 | |
KR20140064908A (ko) | 국부화된 세그먼트화 이미지들의 네트워크 캡처 및 3d 디스플레이 | |
JP2016115331A (ja) | 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム | |
US8542912B2 (en) | Determining the uniqueness of a model for machine vision | |
US20130223751A1 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
JP2012073684A (ja) | 画像認識方法及び装置並びにプログラム | |
JP4728444B2 (ja) | 異常領域検出装置および異常領域検出方法 | |
JP2019204193A (ja) | 画像処理装置、画像処理方法及びプログラム | |
TW202221536A (zh) | 生成可用於檢查半導體樣本的訓練資料 | |
TWI743837B (zh) | 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體 | |
US20150235399A1 (en) | Variable Patch Shape Synthesis | |
US9824462B2 (en) | Method for detecting object and object detecting apparatus | |
JP2017511674A (ja) | Jpeg圧縮画像に関連付けられる写真カメラモデルを特定するためのシステム、ならびに関連付けられる方法、使用およびアプリケーション |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140701 |