JP2011515703A - 構造化光を用いる欠陥検出のための方法及び装置 - Google Patents
構造化光を用いる欠陥検出のための方法及び装置 Download PDFInfo
- Publication number
- JP2011515703A JP2011515703A JP2011501944A JP2011501944A JP2011515703A JP 2011515703 A JP2011515703 A JP 2011515703A JP 2011501944 A JP2011501944 A JP 2011501944A JP 2011501944 A JP2011501944 A JP 2011501944A JP 2011515703 A JP2011515703 A JP 2011515703A
- Authority
- JP
- Japan
- Prior art keywords
- image
- article
- pattern
- computer
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
- G01N2021/887—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing the measurements made in two or more directions, angles, positions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
構造化光を用いて、製造された物品(94)の合い具合及び仕上がりについての問題を検出する改善された方法及び装置。反対方向から取得される2つ以上構造化光画像(92、98)を用いて、継ぎ目の付近の小さい欠陥によって引き起こされる誤検出を回避しながら、接合面の合い具合を測定する。
【選択図】 図5
【選択図】 図5
Description
本発明は、マシンビジョンを用いて、製造された物品内の局部的な欠陥を検出することに関する。詳しくは、本発明は、物品に投影された構造化光(structured light)を用いて、検査される表面における僅かな乱れによって生じる欠陥の誤検出を低減しながら、接合された表面の不整合を検出することに関する。
製造される物品の多くは、2つ以上の部品から組み立てられた外側のパッケージを有することによって区別される。製造業者は、組み立てられた部品が継ぎ目のない外観を有することを望むことが多い。これは、部品が組み立てられたとき、部品間の継ぎ目が容易に見分けられないような公差で部品を製造することによって達成される。この組立の手法では、パーツ(部品)を製造する際の公差にもかかわらず、接合されるパーツに僅かなばらつきが生じた場合に問題が生じる。この問題の1つの解決策は、物品の組立後に物品を検査して、表面が許容できる精度で接合しているかを判定することである。
最も単純な解決策は、人間が目視で完成品を検査し、許容できるかを判定することである。人間を訓練し、交代させることは比較的簡単であるが、人間による検査の問題は、時間的な一貫性がなく、検査される物品に関する量的な判断が困難であることを含む。例えば、物品の検査の訓練のために、人間に良品及び不良品を見せてもよく、これによって、更なる物品が、先に見せられた実例にどれ程似ているかに応じて、その物品を合格又は不合格にすることが期待される。しかしながら、人間の検査者は、量的な判定ではなく、質的な判定を行うという点で、困難が生じる。このため、パーツを特定の数値的な公差で検査することは困難であり、これは、異なる検査者が同じパーツを別様に分類することがあることを意味する。このために、一様な外観を確実にするために物品を検査するという目的が達成されなくなる傾向がある。これは、パーツが異なる材料から形成される場合、例えば、プラスチックパーツをアルミニウムパーツと接合させる必要があるとき、特に困難である。
一様な外観を確実にし、品質のための量的な基準を強制するために、マシンビジョンシステムを用いて物品を検査することができる。カラー又はグレースケール画像に頼る2Dマシンビジョンシステムは、表面が接合するアプリケーションにおいて、異常を量的に測定する際に人間の場合と同じ困難性を有する。このため、表面を検査するために3Dビジョンが用いられることもある。表面から3D情報を抽出するには、多くの異なる手法があり、これらのそれぞれは、分解能、精度及びスピードが異なる。この表面検査問題を解決するのに最も適合する幾つかの3D測定方法は、表面に光のパターン(「構造化光(structured light)」)を投影し、パターンの局所的なずれを測定して、表面に関する3D情報を抽出することを伴う。
構造化光は、幾つかの異なる手法で、物品の表面に生成できる。注目される手法では、表面にインフォーカスパターン(in-focus pattern)を投影し、パターンの1又は複数の画像を取得し、パターンの一部の2D位置を測定し、その点の高さ(height)を幾何学的に計算することによって、表面に関する情報を抽出する。従来の構造化光システムの概略図を図1に示す。構造化光プロジェクタ2は、構造化光4を物品6に投影し、カメラ8は、物品6を撮像して、画像10を形成し、コンピュータ12は、この画像10を取得し、処理する。図2は、従来の構造化光システムが、物品上の不連続なエッジの画像をどのように形成するかの具体例を示している。この図では、構造化光プロジェクタ14は、上側の表面20及び下側の表面22を有する物品18にストライプ16を投影する。ストライプ16は、表面20、22に投影され、投影パターン24、26を形成する。これらのパターン24、26は、カメラ28によって撮像され、次に、コンピュータ30によって取得され、画像32が形成され、続いて、コンピュータ30によって処理される。画像32は、表面20、22の間の不連続性が、撮像されたラインのグループ34、36間のずれとして、どのように現れるかを図式的に示している。コンピュータ30は、通常、構造化光のずれを用いて、物品の一部の相対的な高度(altitude)を判定する。
図3は、従来の構造化光システムを用いて、表面上の点の相対的な高度を幾何学的にどのように算出するかを示す概略図である。図3では、構造化光プロジェクタ40は、複数のラインを投影し、そのうちの1つのライン42を示している。このラインは、図面の平面に入り、部面の平面から出るように延び、図2の物品のように2つの表面44、46を有する物品52に交わる。ライン42からの光は、物品52から反射し、カメラ/レンズシステム(図示せず)によって、画像センサ平面54に結像される。この場合、画像センサ平面54は、点56で、表面44から反射した光48と交わり、点58で、表面46から反射した光50と交わる。なお、図3では、「B」のマークが付されている表面44、46の間の高度の差分によって、画像平面内に「A」のマークが付されている画像センサ平面54上の点56、58の間の差分が生じる。実際には、よく知られているマシンビジョン技術を用いて、画像平面内の点56、58の位置を判定し、距離Aを測定することができる。この具体例では、距離Aは、以下の式によって距離Bに関係づけられる。
式1 A=B(1+tan(a)/tan(b))
ここで、a及びbは、それぞれ、照射角及び視野角として図3に示されている角度である。
ここで、a及びbは、それぞれ、照射角及び視野角として図3に示されている角度である。
この方法の1つの具体例については、B. Shawn Buckley他による米国特許番号第6,064,759号に開示されている。この具体例では、単一のカメラ位置を用いて、表面に投影された構造化光の画像を取得し、これに続いて、表面に幾何モデルがあてはめられる。表面画像の複数の点を用いて、単一の3D点を形成することによって、測定の精度が向上する。
「"Technique for Phase Measurement and Surface Reconstruction by Use of Colored Structured Light," by Oleksandr, et al, (Applied Optics vol. 41, Issue 29, pp. 6104-6117 (2002))」に開示されている同様の方法では、複数の着色されたパターンを投影し、投影光を識別して、3D測定の精度の向上を試みている。ここでは、微分方程式を用いて、構造化光画像から3D情報を抽出することによって、構造化光を使用して、自動車のフロントガラスのトポグラフィを判定する技術が説明されている。
これらの方法には、2つの問題がある。第1の問題は、速度である。表面全体の3Dマップを作成するのは時間がかかる。本願で検討する用途では、表面全体に関心があるわけではなく、部品間の継ぎ目の僅かな領域のみに関心がある。従来の方法は、2つの表面の接合に関する情報のみを抽出するのではなく、表面又は物品の全体を特徴付けることを目的としている。したがって、従来のシステムでは、本用途で望まれるより遙かに多くの演算が実行される。
第2の問題を図4に示す。図4では、構造化光プロジェクタ60は、複数のラインからなるパターンを物品68に投影し、そのうちの1つのライン62を示している。光のライン62は、2つの表面64、66において物品68に交わる。表面に交わる光は、カメラ/レンズシステム(図示せず)によって、センサ76の画像平面上に結像される。ストライプ62からの光は、上側の表面66から反射して、光線70を形成し、点78において、画像センサ平面76と交わる。この具体例では、下側の表面64から反射した光は、表面における小さい欠陥72の結果、予期された方向を逸れ、新たな方向74に進み、この結果、光線74が、点80において、画像センサ平面76と交わる。この結果、マシンビジョン技術を用いて、画像センサ平面上で点78及び点80との間の距離を測定すると、距離Cが測定される。距離Dが正確に推定されることを期待して、測定値Cに上述した式1を適用すると、エラーが生じる。本願では、表面における小さい欠陥を検出すること、及び表面の接合不良によって生じる、より系統的な差からこれらを弁別することの両方に注目する。上述の方法は、局部的な欠陥を無視するか、これらを演算に組み入れ、この結果、局部的な欠陥が、接合面の間の系統的な差分から弁別できなくなる。本用途では、これらの結果は、何れも、望ましくない。これらの理由のために、構造化光を用いて、局部的な欠陥によって生じる誤検出を抑制しながら、接合不良の表面を効率的に正確に検出する方法が必要とされている。
そこで、本発明の目的は、何れかの表面における小さい欠陥によって生じる異常を無視しながら、2つの表面の間の接合における変化を検出し、従来のシステムより少ない演算でこれらのタスクを実行する改善された能力を有する構造化光マシンビジョンシステムの形式で、方法及び装置を提供することである。上述及びこの他の本発明の目的に基づく課題を解決するために、ここに具体化して、包括的に説明するように、方法及び装置を開示する。
本発明の実施の形態では、2つの異なる方向から物品を視野に入れる2つのカメラを使用し、それぞれは、別々の構造化光プロジェクタによって照射された物品を視野に入れる。このシステムの概略図を図5に示す。この実施の形態では、第1の構造化光プロジェクタ90は、第1の構造化光パターン92を物品94に投影し、これに対し、第1のカメラ96は、構造化光パターン92の画像を生成し、これをコンピュータ95が取得及び処理する。次に、第2の構造化光プロジェクタ97は、物品94に第2の構造化光パターン98を投影し、これに対して、第2のカメラ99が画像を生成し、これをコンピュータ95が取得及び処理する。この実施の形態では、表面は、視点の方向にかかわらず、他の表面に対して同じ相対的な高度を有するように見え、一方、局部的な欠陥は、異なる角度から見ると、高度が変化するように見えるという事実に基づいて、局部的な欠陥から表面間の高度の実際の差分を分離できる。これを図6及び図7に示す。図6では、2つの構造化光プロジェクタ100、104が、互いに反対となる方向から物品108を照射している。画像センサ平面122、124において測定される表面110、112の間の高度の差は、実質的に同じである。図7では、局部的な欠陥158が存在する場合、画像センサは、148、154において、表面142に対する表面140の高度について、異なる値を測定することが示されている
局部的な傷(flaw)を検出するためのアルゴリズムは、2つの異なる方向から構造化光画像を取得することを伴う。2つの方向は、通常、180度離間しており、構造化光プロジェクタ及びカメラの両方は、物品に対して同じ角度にあるが、これは、必要条件ではない。カメラ及びプロジェクタを対称的にセットアップすることによって、演算が幾らか簡単になり、ここでは、この構成を用いて、一般性を損なうことなく、方法を説明する。各カメラ及び構造化光プロジェクタの対は、物品に投影される構造化光の反射の大部分を見ることができるように、整列する必要がある。具体的には、両方のカメラは、検査が望まれている物品の領域に投影された構造化光の部分を視野に入れる必要がある。
局部的な傷(flaw)を検出するためのアルゴリズムは、2つの異なる方向から構造化光画像を取得することを伴う。2つの方向は、通常、180度離間しており、構造化光プロジェクタ及びカメラの両方は、物品に対して同じ角度にあるが、これは、必要条件ではない。カメラ及びプロジェクタを対称的にセットアップすることによって、演算が幾らか簡単になり、ここでは、この構成を用いて、一般性を損なうことなく、方法を説明する。各カメラ及び構造化光プロジェクタの対は、物品に投影される構造化光の反射の大部分を見ることができるように、整列する必要がある。具体的には、両方のカメラは、検査が望まれている物品の領域に投影された構造化光の部分を視野に入れる必要がある。
本発明の一側面では、一旦取得されると、構造化光画像は、通常、処理されず、検査される物品に関する包括的な情報をもたらす。物品の位置及び検査すべき物品上の領域の位置に関する自明の情報(a priori information)を使用することによって、演算時間を短縮できる。検査される領域の位置に関する知識によって、方法は、物品を構成する2つ以上の部品間の1つ以上の継ぎ目に関する判定に必要なデータ点だけを計算すればよい。この方法は、視野内の物品の位置及び検査される継ぎ目の位置に関する情報が既知であることを前提とする。これは、カメラ及びプロジェクタに対して既知の位置に、検査される物品を取付台で保持することによって保証できる。更に、検査される物品上の位置に関する情報は、設計図又は物品に関する他の情報から事前にプログラミングしてもよく、物品上への構造化光パターンの検査画像から推定してもよい。上述した方法の代替例として、物品が固定されていない場合、又は検査の前に既知であった位置とは異なる位置に配置される場合、周知のマシンビジョン技術を用いて、物品の位置、したがって、検査される位置を特定してもよい。この位置特定ステップは、投影された構造化光を用いて実行してもよく、他の非構造化光源を用いて実行してもよい。
製品を販売する如何なる企業にとっても、製品の外観は、非常に重要である。製品の外観の1つの非常に重要な側面は、「合い具合及び仕上がり(fit and finish)」であり、これは、知覚される製品の総合的な品質を指している。高品質の合い具合及び仕上がりは、製品の知覚的な価値を高め、この結果、売上及び利益を伸ばし、したがって、当然、製造業者はこれを望んでいる。合い具合及び仕上がりの特に難しい側面は、部品を接合して、連続した表面を形成し、部品間の継ぎ目がユーザには殆ど見えないように設計することである。これは、通常の製造公差で達成することが困難であり、全ての製品が合い具合及び仕上がりについて、確立された基準を満たすことを確実にするために、製品は、検査されることが多い。
接合された表面についての合い具合及び仕上がりの検査では、表面の高さにおける微妙な差分を検出する必要がある。これらの差分は、容易に視認できず、例えば、継ぎ目を跨いで指を摺動させることによってのみ、感知できることもある。これは、通常の2Dマシンビジョン技術を使用しても、接合された表面における傷を有効に検出できないことを意味する。
様々な3Dビジョン技術が利用可能であるが、3Dビジョン技術には、このタイプの用途にとって望ましくない2つの問題がある。第1の問題は、速度である。3Dビジョン技術は、一般的に、表面又は物品の全体を特徴付けるために使用されている。本願では、物品の単一の側面の検査、すなわち、2つの部品が接合する継ぎ目に沿った2つの表面間の合い具合を定量化することのみに関心がある。典型的な3Dアプリケーションでは、本願において関心がある情報を得るために必要とされるよりも遙かに多くのデータ点について演算を行う。したがって、継ぎ目の付近のデータ点だけについて演算を行う本発明は、従来の3Dビジョン技術より高い性能を提供する。
他の問題は、検査される物品は、検査される継ぎ目の付近に小さい傷を示すことがあり、これが、部品の接合不良であると誤認識されることがある点である。通常、3D検査プログラムは、傷の値をより広い領域に平均化し、又はこれを完全に無視するステップを有する。本発明は、表面内の小さい瑕疵(imperfection)と、表面間の相対的な高度の実際の差分とを弁別することによってこれを改善する。
図5は、本発明の一実施の形態の概略図である。第1の構造化光プロジェクタ90は、第1のインフォーカス構造化光パターン(in-focus structured light pattern)92を物品94に投影する。この第1の構造化光パターンは、第1のカメラ96によって、撮像され、コンピュータ95によって、後の処理のために取得される。第2の構造化光プロジェクタ97は、第2のインフォーカス構造化光パターン98を物品94上の同じ領域に投影し、これは、カメラ99によって、撮像され、コンピュータ95によって取得され、処理される。この実施の形態では、プロジェクタ及びカメラの光軸は、検査される表面によって形成される平面に略々垂直な平面内に構成される。この構成は、本発明において必ずしも必要ではないが、この構成によって、計算が幾らか簡単になり、したがって、実行がより速くなる。実際には、プロジェクタは、光が物体の一部によって遮蔽されずに表面に到達できる限り、殆ど如何なる角度にあってもよい。システムの分解能は、検査される表面に対する構造化光プロジェクタの角度に依存し、プロジェクタ角度が、プロジェクタが表面を垂直に見下ろす大きな角度から、プロジェクタ角度が表面に対して殆ど平行なかすめ角(grazing angle)に至るまでの間、分解能と精度との間には、トレードオフの関係がある。この実施の形態では、プロジェクタ角度は、表面に対して30度〜60度であり、最も好ましくは、表面に対して45度である。そして、カメラは、プロジェクタの反対側に、プロジェクタの角度と同様な角度で配置される。なお、カメラは、構造化光を明確に視野に入れる如何なる角度に配置してもよいが、分解能対精度について、同じトレードオフが存在する。
この実施の形態では、第2のプロジェクタ及びカメラは、第1のプロジェクタ及びカメラと同じ垂直平面上に及び180度反対に、第1のプロジェクタ及びカメラと対称的に配置される。この構成は、計算がより簡単になり、便利であるが、第2のプロジェクタ及びカメラは、表面上の関心領域が両方のプロジェクタによって照射され、両方のカメラの視野に入る限り、如何なる角度に配置してもよい。
この実施の形態では、構造化光プロジェクタ及びカメラは、互いの妨げとならないように、交互に、それぞれのパターンを投影し、画像を取得する。パターンを個別に維持するための他のスキームも可能である。他の実施の形態では、異なる光の波長でパターンを投影し、カメラに配設された光フィルタを用いて、パターンを弁別してもよい。同様に、直交する偏光を用いてパターンを投影し、カメラ上の解析器によってパターンを分離してもよい。これらの実施の形態の共通点は、逐次的ではなく、同時にパターンを取得できる点である。更に、物品に構造化光パターンを投影するために用いられる光学素子及び/又は構造化光パターンを撮像するためにカメラによって用いられる光学素子は、パーツの表面仕上げ等の詳細を抑圧し、構造化光パターンの詳細を強調するように設計することができる。例えば、プロジェクタは、赤外光を用いてパターンを投影することができ、カメラは、画像から赤外光以外を排除するフィルタを有することができる。
本発明の一実施の形態において、データを処理するために使用されるアルゴリズムを図8に示す。画像データがコンピュータによって取得された後、処理は、処理すべき画像内の1つ以上の領域を特定することによって開始される。これにより、アルゴリズムは、所望の結果に貢献する領域だけを処理することができ、この結果、システムスループットが向上する。一旦、領域が選択されると、画像データは、通常、雑音を低減するためにフィルタリングされる。フィルタリングの後、画像内の構造化光特徴が高い精度で検出される。例えば、構造化光特徴がラインである場合、よく知られているマシンビジョンアルゴリズムを用いて、副画素(サブピクセル)の精度でラインの中心を検出することができる。高い精度の特徴の検出に続いて、特徴下の表面の高度を推定できる。これを行う一手法については、図3に示し、式1を用いて先に説明した通りである。高度測定のための原点として表面44が選択されたと仮定すると、ストライプ42の位置の測定値は、画像内で量Aだけオフセットされる。式1による計算の後に、ストライプ42の高度、したがって、物品52の表面46は、任意に選択された原点44から、−Bとして算出される。
このデータからの合い具合及び仕上がりの判定は、後続する2つの解析ステップに依存する。まず、画像データを併合する。多くの場合、2つのデータ集合は、同じになる。これらの場合では、出力データは、何れかの入力画素になる。入力された高度測定値が等しくない場合、出力画素にはフラグが立てられ、差分の大きさが示される。画素が同じである場合、継ぎ目の既知の位置の何れかの側の領域を検査し、これらが検査を通過するのに十分な程度にまで互いに密接しているかを判定する。これらが異なる場合、表面位置に差分が存在することを意味し、この差分が示され、この差分は、物品を検査に合格させるか否かに関する判断のために、プログラムの他の部分に渡される。値が異なる場合、位置は、表面が異なる高度にあることを意味せず、システムが有効な測定を行うことを妨げる瑕疵が表面にあることを意味する。そして、プログラムは、確実に不合格となる程瑕疵が十分大きいかを判定し、又は可能であれば、人間によって検査し、許容できるかを判断するかを判定しなくてはならない。
多くの異なるパターンの構造化光を用いて、物品を照射し、所望の情報を抽出することができる。一実施の形態では、検査される継ぎ目に垂直なストライプを表面に投影して、継ぎ目の何れかの側の高度の変化を検出する。他のパターンを用いてもよく、例えば、ドットのパターンを表面に投影してもよい。パターンを明確に撮像でき、パターンの要素の位置を副画素の精度で特定でき、及び画像内で要素を正しく識別できる限り、殆ど全てのパターンを用いることができる。
本発明の他の実施の形態は、相対して構成された一対の構造化光プロジェクタ及びカメラの対を使用する。この実施の形態では、プロジェクタ/カメラの対が物品の第1の画像を取得した後、プロジェクタ/カメラの対に関して物品を回転させ、他の画像を取得する。処理のために物品の反対のビューを取得するために、物品、プロジェクタ/カメラの対又はこれらの両方を回転させてもよい。一旦、画像が取得された後は、処理は、上述と同様に進められる。
更なる実施の形態では、より多くの角度から、より多くの画像を撮像し、表面の高度を余計に判定して、測定の精度を高める。また、表面に亘って構造化光パターンにインデクスを付し、複数の画像を取得して、表面測定のサンプル密度を高めてもよい。
本発明の基底にある原理から逸脱することなく、本発明の上述の実施の形態の詳細に多くの変更を加えてもよいことは当業者にとって明らかである。したがって、本発明の範囲は、以下の特許請求の範囲のみによって確定される。
Claims (8)
- 光のパターンを物品に投影し、前記投影されたパターンの画像を画像センサによって取得し、前記画像をコンピュータに送信し、前記コンピュータによって前記画像を処理して物品内の欠陥を分類する改善された方法において、
第1の方向から前記物品に第1のパターンを投影するステップと、
第1の画像センサによって、前記第1のパターンの第1の画像を取得するステップと、
前記第1の画像センサから前記コンピュータに前記第1の画像を送信するステップと、
第2の方向から前記物品に第2のパターンを投影するステップと、
第2の画像センサによって前記第2のパターンの第2の画像を取得するステップと、
前記第2の画像センサから前記コンピュータに前記第2の画像を送信するステップと、
前記コンピュータによって前記第1及び第2の画像を処理し、前記第1及び第2の間の差分を検出し、これによって、物品内の欠陥を分類するステップとを有する方法。 - 前記第1の方向及び前記第2の方向は、反対のビューである請求項1記載の方法。
- 前記第1及び第2のパターンは、同じである請求項1記載の方法。
- 前記第1及び第2の画像センサは、単一の画像センサである請求項1記載の方法。
- 光のパターンを物品に投影し、前記投影されたパターンの画像を画像センサによって取得し、前記画像をコンピュータに送信し、前記コンピュータによって前記画像を処理して物品内の欠陥を分類する改善された方法において、
ある方向から前記物品にパターンを投影するステップと、
前記画像センサによって、前記パターンの第1の画像を取得するステップと、
前記画像センサから前記コンピュータに前記第1の画像を送信するステップと、
前記物品を回転させるステップと、
ある方向から前記回転された物品にパターンを投影するステップと、
前記画像センサによって前記第2のパターンの第2の画像を取得するステップと、
前記画像センサから前記コンピュータに前記第2の画像を送信するステップと、
前記コンピュータによって前記第1及び第2の画像を処理し、前記第1及び第2の間の差分を検出し、これによって、物品内の欠陥を分類するステップとを有する方法。 - 前記物品は、180度回転される請求項5記載の方法。
- 投影光パターン、画像センサ及びコンピュータによって物品内の欠陥を分類するための改善されたシステムにおいて、
異なる方向から前記物品上の実質的に同じ位置にパターンを投影するように構成された第1及び第2のパターン化光プロジェクタと、
前記第1及び第2のパターン化光の第1及び第2の画像を取得するように構成された第1及び第2の画像センサと、
前記第1及び第2の画像センサと通信し、画像を取得し、前記画像を処理して、前記画像間の差分を検出して、これによって、欠陥を分類するコンピュータとを備えるシステム。 - 前記第1の方向及び前記第2の方向は、反対のビューである請求項7記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/055,052 | 2008-03-25 | ||
US12/055,052 US8285025B2 (en) | 2008-03-25 | 2008-03-25 | Method and apparatus for detecting defects using structured light |
PCT/US2009/037940 WO2009120623A2 (en) | 2008-03-25 | 2009-03-23 | Method and apparatus for detecting defects using structured light |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011515703A true JP2011515703A (ja) | 2011-05-19 |
Family
ID=41114615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011501944A Withdrawn JP2011515703A (ja) | 2008-03-25 | 2009-03-23 | 構造化光を用いる欠陥検出のための方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8285025B2 (ja) |
JP (1) | JP2011515703A (ja) |
KR (1) | KR20110000552A (ja) |
CN (1) | CN101983330B (ja) |
TW (1) | TW201000886A (ja) |
WO (1) | WO2009120623A2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016166747A (ja) * | 2015-03-09 | 2016-09-15 | テスト リサーチ, インク. | 光学検出システム |
JP2017072382A (ja) * | 2015-10-05 | 2017-04-13 | 富士通株式会社 | 検査基準光生成装置,検査基準光生成方法,検査装置,検査方法 |
US9781397B2 (en) | 2015-10-05 | 2017-10-03 | Panasonic Intellectual Property Management Co., Ltd. | Projector and projector system |
US9885561B2 (en) | 2014-12-15 | 2018-02-06 | Test Research, Inc. | Optical inspection system |
JP2018133093A (ja) * | 2014-12-18 | 2018-08-23 | フェイスブック,インク. | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 |
US11474245B2 (en) | 2018-06-06 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11474209B2 (en) | 2019-03-25 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11483503B2 (en) | 2019-01-20 | 2022-10-25 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2958751B1 (fr) * | 2010-04-13 | 2012-05-25 | Iris Inspection Machines | Procede de detection de defauts dans des articles verriers et installation pour la mise en oeuvre dudit procede |
US8855403B2 (en) * | 2010-04-16 | 2014-10-07 | Koh Young Technology Inc. | Method of discriminating between an object region and a ground region and method of measuring three dimensional shape by using the same |
SG11201400794QA (en) * | 2011-10-18 | 2014-06-27 | Univ Nanyang Tech | Apparatus and method for 3d surface measurement |
CN102749336B (zh) * | 2012-07-09 | 2015-01-07 | 南京航空航天大学 | 一种基于结构光的表面缺陷高速检测系统及其检测方法 |
US9582888B2 (en) * | 2014-06-19 | 2017-02-28 | Qualcomm Incorporated | Structured light three-dimensional (3D) depth map based on content filtering |
CN104296690A (zh) * | 2014-10-24 | 2015-01-21 | 四川大学 | 一种基于图像融合的多线结构光三维测量方法 |
US9983562B2 (en) | 2014-12-29 | 2018-05-29 | Electro Scientific Industries, Inc. | Adaptive part profile creation via independent side measurement with alignment features |
KR101659302B1 (ko) * | 2015-04-10 | 2016-09-23 | 주식회사 고영테크놀러지 | 3차원 형상 측정장치 |
EP3158502B1 (en) * | 2015-08-10 | 2018-07-25 | Koninklijke Philips N.V. | Furniture occupancy monitoring |
US9936151B2 (en) * | 2015-10-16 | 2018-04-03 | Capsovision Inc | Single image sensor for capturing mixed structured-light images and regular images |
CN106814072A (zh) * | 2017-03-10 | 2017-06-09 | 昆山华辰重机有限公司 | 轧辊磨削表面缺陷检测系统及其检测方法 |
DE102018111638A1 (de) * | 2018-05-15 | 2019-11-21 | Krones Ag | Verfahren zum Inspizieren von Behältnissen mit Petitionsbestimmung |
US10861726B2 (en) * | 2018-09-21 | 2020-12-08 | Advanced Semiconductor Engineering, Inc. | Apparatus and method for measuring warpage |
CN109470262A (zh) * | 2018-11-12 | 2019-03-15 | 成都精工华耀科技有限公司 | 一种轨道巡检车里程计数方法 |
WO2020121784A1 (ja) * | 2018-12-11 | 2020-06-18 | 本田技研工業株式会社 | ワーク検査装置及びワーク検査方法 |
KR102103560B1 (ko) * | 2019-02-01 | 2020-04-22 | 주식회사 에이치비테크놀러지 | 고 반사율 표면을 갖는 기판의 높이를 검사하는 장치 |
CN110044927B (zh) * | 2019-04-23 | 2020-02-21 | 华中科技大学 | 一种空间编码光场对曲面玻璃表面缺陷的检测方法 |
CN110031483A (zh) * | 2019-05-05 | 2019-07-19 | 苏州天准科技股份有限公司 | 一种基于透射式结构光照明的玻璃瑕疵检测方法 |
CN112782182B (zh) * | 2020-12-28 | 2024-05-24 | 武汉理工氢电科技有限公司 | 一种7 mea的外观检测方法 |
EP4269989A1 (en) * | 2022-04-25 | 2023-11-01 | Enscape Co., Ltd. | Apparatus for inspecting appearance of secondary battery |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE439036B (sv) * | 1984-06-21 | 1985-05-28 | Runo Nord | Anordning vid demonterbara vetskebehallare, i synnerhet oljefilter |
US4741621A (en) | 1986-08-18 | 1988-05-03 | Westinghouse Electric Corp. | Geometric surface inspection system with dual overlap light stripe generator |
US4946281A (en) | 1989-04-24 | 1990-08-07 | General Motors Corporation | Laser profiler for high precision surface dimensional grouping apparatus and method |
US5359416A (en) | 1992-10-19 | 1994-10-25 | Thiokol Corporation | System and process for detecting and monitoring surface defects |
JP3226712B2 (ja) | 1994-05-17 | 2001-11-05 | 株式会社東芝 | 半導体ペレット高さ計測装置およびその計測方法 |
US5515159A (en) * | 1995-02-10 | 1996-05-07 | Westinghouse Electric Corporation | Package seal inspection system |
US5535002A (en) | 1995-04-27 | 1996-07-09 | At&T Corp. | Band matching system and method for enabling accurate determination of a disparity between two surfaces using an interferometer |
US5636020A (en) | 1995-04-27 | 1997-06-03 | Lucent Technologies Inc. | Zone analysis system and method for optimizing the performance of an inspection system for determining disparity between two surfaces |
JP3855244B2 (ja) | 1996-08-09 | 2006-12-06 | 株式会社テクノホロン | 顕微鏡を用いた3次元画像認識装置 |
US6064759A (en) | 1996-11-08 | 2000-05-16 | Buckley; B. Shawn | Computer aided inspection machine |
JPH10300446A (ja) | 1997-04-30 | 1998-11-13 | Nissan Motor Co Ltd | 表面欠陥検査装置 |
US6608676B1 (en) * | 1997-08-01 | 2003-08-19 | Kla-Tencor Corporation | System for detecting anomalies and/or features of a surface |
US7688435B2 (en) * | 1997-09-22 | 2010-03-30 | Kla-Tencor Corporation | Detecting and classifying surface features or defects by controlling the angle of the illumination plane of incidence with respect to the feature or defect |
US6100990A (en) | 1999-06-14 | 2000-08-08 | Ford Motor Company | Method and apparatus for determining reflective optical quality using gray-scale patterns |
US6788210B1 (en) | 1999-09-16 | 2004-09-07 | The Research Foundation Of State University Of New York | Method and apparatus for three dimensional surface contouring and ranging using a digital video projection system |
WO2001051887A1 (en) | 2000-01-07 | 2001-07-19 | Cyberoptics Corporation | Phase profilometry system with telecentric projector |
US6630996B2 (en) * | 2000-11-15 | 2003-10-07 | Real Time Metrology, Inc. | Optical method and apparatus for inspecting large area planar objects |
SE522695C2 (sv) * | 2000-11-17 | 2004-03-02 | Foss Tecator Ab | Metod och anordning för bildupptagning av små partiklar för analys av partiklarnas kvalitet |
JP4230674B2 (ja) * | 2001-03-01 | 2009-02-25 | 株式会社日立製作所 | 欠陥検査装置およびその方法 |
JP3743319B2 (ja) * | 2001-07-18 | 2006-02-08 | 株式会社日立製作所 | 欠陥検出方法及びその装置 |
JP2003269928A (ja) | 2002-03-12 | 2003-09-25 | Nec Corp | 3次元形状計測方法および装置ならびにプログラム |
US6974964B1 (en) | 2002-06-17 | 2005-12-13 | Bu-Chin Wang | Method and apparatus for three-dimensional surface scanning and measurement of a moving object |
WO2004031741A2 (en) * | 2002-09-30 | 2004-04-15 | Applied Materials Israel, Ltd. | Illumination system for optical inspection |
US7379175B1 (en) * | 2002-10-15 | 2008-05-27 | Kla-Tencor Technologies Corp. | Methods and systems for reticle inspection and defect review using aerial imaging |
JP4183492B2 (ja) * | 2002-11-27 | 2008-11-19 | 株式会社日立製作所 | 欠陥検査装置および欠陥検査方法 |
KR100607410B1 (ko) * | 2004-07-15 | 2006-08-02 | 삼성전자주식회사 | 기판 정렬 방법 및 장치, 이를 이용한 기판의 결함 검사방법 및 장치 |
JP5006520B2 (ja) * | 2005-03-22 | 2012-08-22 | 株式会社日立ハイテクノロジーズ | 欠陥観察装置及び欠陥観察装置を用いた欠陥観察方法 |
KR100687090B1 (ko) * | 2005-05-31 | 2007-02-26 | 삼성전자주식회사 | 결함 분류 방법 |
JP4846295B2 (ja) | 2005-08-02 | 2011-12-28 | 株式会社テクノホロン | 3次元座標測定装置及び方法 |
US7336374B2 (en) * | 2005-10-24 | 2008-02-26 | General Electric Company | Methods and apparatus for generating a mask |
US7664608B2 (en) * | 2006-07-14 | 2010-02-16 | Hitachi High-Technologies Corporation | Defect inspection method and apparatus |
US8009900B2 (en) * | 2006-09-28 | 2011-08-30 | Siemens Medical Solutions Usa, Inc. | System and method for detecting an object in a high dimensional space |
US7714997B2 (en) * | 2006-11-07 | 2010-05-11 | Hitachi High-Technologies Corporation | Apparatus for inspecting defects |
-
2008
- 2008-03-25 US US12/055,052 patent/US8285025B2/en not_active Expired - Fee Related
-
2009
- 2009-03-23 CN CN2009801104908A patent/CN101983330B/zh not_active Expired - Fee Related
- 2009-03-23 KR KR1020107021134A patent/KR20110000552A/ko not_active Application Discontinuation
- 2009-03-23 WO PCT/US2009/037940 patent/WO2009120623A2/en active Application Filing
- 2009-03-23 JP JP2011501944A patent/JP2011515703A/ja not_active Withdrawn
- 2009-03-25 TW TW098109658A patent/TW201000886A/zh unknown
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9885561B2 (en) | 2014-12-15 | 2018-02-06 | Test Research, Inc. | Optical inspection system |
JP2018133093A (ja) * | 2014-12-18 | 2018-08-23 | フェイスブック,インク. | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 |
US10559113B2 (en) | 2014-12-18 | 2020-02-11 | Facebook Technologies, Llc | System, device and method for providing user interface for a virtual reality environment |
JP2016166747A (ja) * | 2015-03-09 | 2016-09-15 | テスト リサーチ, インク. | 光学検出システム |
JP2017072382A (ja) * | 2015-10-05 | 2017-04-13 | 富士通株式会社 | 検査基準光生成装置,検査基準光生成方法,検査装置,検査方法 |
US9781397B2 (en) | 2015-10-05 | 2017-10-03 | Panasonic Intellectual Property Management Co., Ltd. | Projector and projector system |
US11474245B2 (en) | 2018-06-06 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11483503B2 (en) | 2019-01-20 | 2022-10-25 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
US11474209B2 (en) | 2019-03-25 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
Also Published As
Publication number | Publication date |
---|---|
KR20110000552A (ko) | 2011-01-03 |
US20090245614A1 (en) | 2009-10-01 |
WO2009120623A2 (en) | 2009-10-01 |
CN101983330A (zh) | 2011-03-02 |
WO2009120623A3 (en) | 2009-11-26 |
TW201000886A (en) | 2010-01-01 |
US8285025B2 (en) | 2012-10-09 |
CN101983330B (zh) | 2012-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011515703A (ja) | 構造化光を用いる欠陥検出のための方法及び装置 | |
JP6447637B2 (ja) | 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法 | |
US8050486B2 (en) | System and method for identifying a feature of a workpiece | |
US9709390B2 (en) | Method and a device for the inspection of surfaces of an examined object | |
JP5825278B2 (ja) | 欠陥検査装置および欠陥検査方法 | |
JP6394514B2 (ja) | 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法 | |
US20080055591A1 (en) | Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece | |
US20090248323A1 (en) | System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part | |
US20080316476A1 (en) | System and Device for the Optical Inspection of Glass Panels | |
US9891168B2 (en) | Device and method for sensing at least one partially specular surface with column-by-column analysis of the global or local intensity maximum | |
WO2008146764A1 (ja) | 形状評価方法、形状評価装置および三次元検査装置 | |
JPH03267745A (ja) | 表面性状検出方法 | |
JP5837283B2 (ja) | タイヤの外観検査方法および外観検査装置 | |
CN111879789A (zh) | 金属表面缺陷检测方法及系统 | |
JPH0736004B2 (ja) | 検査方法及び装置 | |
TWI558999B (zh) | 瑕疵檢測方法及其裝置 | |
JP3977503B2 (ja) | フィルム検査方法およびそれを用いたフィルム検査装置 | |
JP7173319B2 (ja) | 表面検査装置、表面検査方法、鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備 | |
JP7207386B2 (ja) | 表面欠陥検査方法、表面欠陥検査装置、鋼板の製造方法、鋼板の品質管理方法及び鋼板の製造設備 | |
JP2009264882A (ja) | 外観検査装置 | |
KR20130039266A (ko) | 이물질을 판별하는 광학 장치 및 그 방법 | |
JPS63218847A (ja) | 表面欠陥検査方法 | |
JPH08313222A (ja) | 透明物体の検査方法 | |
US20220148145A1 (en) | Surface inspection system and method for differentiating particulate contamination from defects on a surface of a specimen | |
KR20190139604A (ko) | 표면검사 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120605 |