JP2010528318A - 2次元画像による3次元組立て検査 - Google Patents
2次元画像による3次元組立て検査 Download PDFInfo
- Publication number
- JP2010528318A JP2010528318A JP2010510268A JP2010510268A JP2010528318A JP 2010528318 A JP2010528318 A JP 2010528318A JP 2010510268 A JP2010510268 A JP 2010510268A JP 2010510268 A JP2010510268 A JP 2010510268A JP 2010528318 A JP2010528318 A JP 2010528318A
- Authority
- JP
- Japan
- Prior art keywords
- measured
- inspection method
- subcomponent
- subcomponents
- dimensional position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 103
- 238000005259 measurement Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 70
- 238000012360 testing method Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 8
- 239000000758 substrate Substances 0.000 claims description 7
- 230000000052 comparative effect Effects 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- YLJREFDVOIBQDA-UHFFFAOYSA-N tacrine Chemical compound C1=CC=C2C(N)=C(CCCC3)C3=NC2=C1 YLJREFDVOIBQDA-UHFFFAOYSA-N 0.000 description 5
- 229960001685 tacrine Drugs 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101000939676 Androctonus crassicauda Toxin a Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
3つのビューをしめしており、チップキャリアは上部に大きな"Z"を有している。
M=RD+T
又は各点に対し、
mi=Rdi+T
最小化によるRとTの最適推定値は、
Sum(mi−Rdi+t)2
又はより形式的に、
meanm=Sum mi/N
meand=Sum di/N
mi−meanmとdi−meandに対応した新しいセットM’とD’を構築する。
最適剛体回転行列Rについて解くために、マトリクス解析と四元法算法を用いる。
Sum m’i transpose(d’i)と等しい共分散行列Cを求める。
C−transpose(C)に等しい行列Aを生成する。
行列Aから、transpose([A23 A31 A12])に等しい列ベクトルDeltaを作成する。
[trace(C) transpose(Delta)]
[Delta C+transpose(C)−trace(C)*id(3)]
に等しい対称4×4行列Qを作成する。
ここで、traceは対角線要素の積に等しく、id(3)は3×3の恒等行列である。
最大の正の固有値Qに対応する固有ベクトルq=[q0 q1 q2 q3]を求める。
Claims (52)
- 複数のサブコンポーネントを有する部品の正確な組立てを検査する方法であって、
訓練時間において、
少なくとも1台のカメラの視野に、前記部品の少なくとも1つの前記サブコンポーネントが含まれるように、少なくとも2台の前記カメラを配置するステップと、
少なくとも画像の座標を物理座標と関連付けるように、少なくとも2台の前記カメラのそれぞれを較正するステップと、
少なくとも2つの前記サブコンポーネントのそれぞれに対し、少なくとも2台の前記カメラのそれぞれを用いて、正確に組立てられた位置における前記サブコンポーネントの画像を収集するステップと、
少なくとも2つの前記サブコンポーネントのそれぞれに対し、少なくとも2台の前記カメラのそれぞれを用いて、前記サブコンポーネントが含まれる訓練窓を選択し、各前記訓練窓における前記サブコンポーネント上の同一点を選択し、前記同一点を前記サブコンポーネントに関連した原点とするステップと、
少なくとも2つの前記サブコンポーネントのそれぞれに対し、三角測量によって予想される3次元位置を算出するステップと、
少なくとも2つの前記サブコンポーネントのそれぞれに対し、前記訓練窓とそれに対応した前記原点とを用いて、前記訓練窓内に前記サブコンポーネントの2次元サーチモデルを作成するステップと、
検査パラメータを選択するステップと、を有し、
実行時間において、
検査すべき組立てられた部品の少なくとも2つの前記サブコンポーネントのそれぞれに対し、少なくとも2台の前記カメラをそれぞれ用いて、候補組立て位置における前記サブコンポーネントの画像を収集するステップと、
少なくとも2つの前記サブコンポーネントのそれぞれに対し、前記サブコンポーネントの前記原点の測定された2次元位置を提供するために、前記サブコンポーネントの前記2次元サーチモデルを用いて、前記対象組立て位置における前記サブコンポーネントの前記画像を検出するステップと、
少なくとも2つの前記サブコンポーネントのそれぞれに対し、三角測量によって前記サブコンポーネントの測定された3次元位置を算出するステップと、
少なくとも2つの前記サブコンポーネントのそれぞれに対し、前記サブコンポーネントの前記測定された3次元位置と、前記サブコンポーネントのそれぞれの正確な3次元位置との間の3次元位置における差異を算出するステップと、
前記部品が正確に組立てられているかの判断に貢献するために、前記3次元位置における差異と、前記検査パラメータとを比較するステップと、
を有していることを特徴とする組立て検査方法。 - 前記訓練時間における前記画像が、同時に収集されていることを特徴とする請求項1に記載の組立て検査方法。
- 前記実行時間における前記画像が、同時に収集されていることを特徴とする請求項1に記載の組立て検査方法。
- 少なくとも1台の前記カメラの視野に、前記部品の少なくとも1つの前記サブコンポーネントが含まれるように、前記少なくとも2台の前記カメラを配置する前記ステップが、
少なくとも2台の予め調整したカメラを配置するステップを含み、
それによって、ユーザーにとって少なくとも前記画像の座標を前記物理座標と関連付けるための少なくとも2台の前記カメラのそれぞれを調整するステップを省略することができるということを特徴とする請求項1に記載の組立て検査方法。 - 前記比較するステップには、前記部品が正確に組立てられているかの判断に貢献するために、前記3次元位置における差異の単一成分と、前記検査パラメータの単一成分とを比較するステップが含まれていることを特徴とする請求項1に記載の組立て検査方法。
- 前記単一成分が、z軸方向の位置であることを特徴とする請求項5に記載の組立て検査方法。
- 少なくとも1台の前記カメラの視野に、前記部品の少なくとも1つの前記サブコンポーネントが含まれるように、前記少なくとも2台の前記カメラを配置する前記ステップが、
前記各カメラの視野に、前記部品の少なくとも1つの前記サブコンポーネントが含まれるように、3台の前記カメラを配置するステップを含んでいることを特徴とする請求項1に記載の組立て検査方法。 - 少なくとも2台の前記カメラをそれぞれ調整する前記ステップが、
少なくとも2台の前記カメラのそれぞれのカメラ原点の3次元位置を求めるステップを含んでいることを特徴とする請求項1に記載の組立て検査方法。 - 訓練時間において、三角測量には、
前記各カメラの視野内において前記サブコンポーネントの前記原点の2次元位置と、
前記各カメラの前記カメラ原点の3次元位置と、を用いるステップが含まれていることを特徴とする請求項8に記載の組立て検査方法。 - 訓練時間において、前記検査パラメータを選択する前記ステップには、
測定した3次元位置の正確な3次元位置からのずれ量が受け入れ可能である範囲を定義する距離許容範囲を選択するステップが含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 訓練時間において、前記訓練窓内に前記サブコンポーネントの2次元サーチモデルを作成する前記ステップには、
回転不変と大きさ不変のサーチモデルを作成するステップが含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 実行時間において、三角測量には、
前記各カメラの視野内において、前記サブコンポーネントの原点の測定された2次元位置と、
前記各カメラの前記カメラ原点の3次元位置と、を用いるステップが含まれていることを特徴とする請求項11に記載の組立て検査方法。 - 前記サブコンポーネントの前記測定された3次元位置と、前記サブコンポーネントのそれぞれの正確な3次元位置との間の3次元位置における差異を算出する前記ステップには、
測定された3次元位置と、それぞれの正確な3次元位置との間の高低差を算出するステップが含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 実行時間において、前記組立て検査方法には、
それぞれのサブコンポーネントの複数の3次元位置を用いて、前記部品の全体的な姿勢を算出するステップが、さらに含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 前記部品の全体的な姿勢を算出する前記ステップには、
全体的な姿勢エラーを算出するステップと、
前記全体的な姿勢エラーを最小化する姿勢を検出するステップと、が含まれていることを特徴とする請求項14に記載の組立て検査方法。 - 前記ステップには、
前記部品が正確に組立てられているかの判断に貢献するために、
前記全体的な姿勢エラーと前記検査パラメータとを比較するステップがさらに含まれていることを特徴とする請求項15に記載の組立て検査方法。 - 実行時間において、
三角測量によって前記サブコンポーネントの測定された3次元位置を算出する前記ステップには、
エラー測定を算出するステップと、
前記部品が正確に組立てられているかの判断に貢献するために、
前記エラー測定と前記検査パラメータとを比較するステップと、が含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 前記部品が少なくとも4つのサブコンポーネントを有し、
前記組立て検査方法には、実行時間において、
3つのサブコンポーネントからなるセットを選択し、少なくとも4番目のサブコンポーネントを除外するステップと、
前記3つのサブコンポーネントからなるセットを用いて、前記部品の全体的な姿勢を算出するステップと、
前記部品の全体的な姿勢を用いて、少なくとも4番目のサブコンポーネントに対応したサブコンポーネントの正確な3次元位置をマッピングして、マッピングされた正確な3次元位置を提供するステップと、
少なくとも4番目のサブコンポーネントの測定された位置と、マッピングされた正確な3次元位置とを比較して、一貫性エラーを提供するステップと、
前記部品が正確に組立てられているかの判断に貢献するために、前記一貫性エラーと前記検査パラメータとを比較するステップと、がさらに含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 少なくとも2つのセットが選択されて、それによって複数の一貫性エラーが提供され、そして、前記組立て検査方法には、
前記部品が正確に組立てられているかの判断に貢献するために、各一貫性エラーが前記検査パラメータと比較されるステップが、さらに含まれていることを特徴とする請求項18に記載の組立て検査方法。 - 少なくとも3つのセットが選択されることを特徴とする請求項19記載の組立て検査方法。
- 前記部品には、少なくとも3つのサブコンポーネントが含まれており、
実行時間における前記組立て検査方法には、
検出され選択された点の測定された3次元位置を、選択された点の正確な3次元位置に
最も接近してマッピングをする変換を求めるステップと、
前記部品の基準系において比較するために、前記検出され選択された点の測定された3次元位置のすべてに対して、前記変換の逆変換を適用するステップと、
前記部品の基準系における検出され選択された点の測定された3次元位置と、選択された点の正確な3次元位置とを比較して、部品比較測定基準を提供するステップと、
前記部品が正確に組立てられているかの判断に貢献するために、前記部品比較測定基準と前記検査パラメータとを比較するステップと、
がさらに含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 前記比較するステップには、
前記部品の基準系における検出され選択された点のマッピングされた測定された3次元位置の単一成分と、選択された点の正確な3次元位置のそれぞれの単一成分とを比較して、単一成分部品比較測定基準を提供するステップが含まれており、そして、
前記部品が正確に組立てられているかを判断するステップには、
前記単一成分比較測定基準が、単一成分許容閾値を超えているかを判断し、それによって、前記部品が正確に組立てられているかを少なくとも部分的に判断するステップが含まれていることを特徴とする請求項21に記載の組立て検査方法。 - 各前記訓練窓における前記サブコンポーネント上の同一点を選択する前記ステップには、
ユーザーが各前記訓練窓における前記サブコンポーネント上の同一点を選択する助けとなるように、ユニークな3次元位置として選択された多数の点の対応の測定に関する情報を提供するステップが含まれていることを特徴とする請求項1に記載の組立て検査方法。 - 前記対応の測定が、RMSエラーであることを特徴とする請求項23に記載の組立て検査方法。
- 請求項1ないし24のいずれかに従って動作する機械視覚装置。
- 少なくとも3つのサブコンポーネントを有する部品の正確な組立てを検査する方法であって、
訓練時間において、
前記各サブコンポーネントに対し、前記サブコンポーネント上の点を選択するステップと、
前記各サブコンポーネントに対し、物理座標系において、選択された点の正確な3次元位置を求めるステップと、
前記各サブコンポーネントに対し、前記サブコンポーネント上の前記選択された点をそれぞれ検出するステップと、
前記各サブコンポーネントに対し、物理座標系において、検出され選択された点の測定された3次元位置を求めるステップと、
前記検出され選択された点の測定された3次元位置と、前記選択された点の正確な3次元位置とを比較して、部品比較測定基準を提供するステップと、
前記部品比較測定基準が部品許容閾値を超えているかを判断して、それによって、前記部品が正確に組立てられているかを判断するステップと、
が含まれていることを特徴とする組立て検査方法。 - 前記比較するステップには、
前記検出され選択された点の測定された3次元位置の単一成分を、前記選択された点の正確な3次元位置の単一成分のそれぞれと比較して、単一成分部品比較測定基準を提供するステップが含まれており、
前記判断するステップには、
前記単一成分比較測定基準が、単一成分許容閾値を超えているかを判断し、それによって少なくとも部分的に前記部品が正確に組立てられているかを判断するステップが含まれていることを特徴とする請求項26に記載の組立て検査方法。 - 前記単一成分を比較するステップには、
検出され測定された点の測定された3次元位置の各x、y、z成分のそれぞれを、選択された点の正確な3次元位置の各x、y、z成分のそれぞれと独立して比較して、各x、y、z成分における成分部品比較測定基準を提供するステップが含まれており、
前記判断するステップには、
比較測定基準の各x、y、z成分のそれぞれが、対応するx、y、z成分の許容閾値を超えているかを判断して、それによって、少なくとも部分的に前記部品が正確に組立てられているかを判断するステップが含まれている
ことを特徴とする請求項27に記載の組立て検査方法。 - 前記各x、y、z成分許容閾値が、ユーザーが選択するものであることを特徴とする請求項28に記載の組立て検査方法。
- 前記比較するステップには、
各前記サブコンポーネントに対し、検出され選択された点の測定された3次元位置と、選択された点の正確な3次元位置とを比較して、3次元位置エラーを提供するステップと、
前記3次元位置エラーのそれぞれを組み合わせて、部品比較測定基準を提供するステップと、
が含まれていることを特徴とする請求項26に記載の組立て検査方法。 - 前記比較するステップには、
前記検出され選択された点の測定された3次元位置を、前記選択された点の正確な3次元位置に最も接近してマッピングをする変換を求めるステップと、
マッピングされた測定された3次元位置と正確な3次元位置とから、RMSエラーを算出するステップと、
前記RMSエラーを少なくとも前記部品比較測定基準の一部として提供するステップと、
が含まれていることを特徴とする請求項26に記載の組立て検査方法。 - 前記比較するステップには、
実行時間において、
前記検出され選択された点の測定された3次元位置を、前記選択された点の正確な3次元位置に最も接近してマッピングをする変換を求めるステップと、
前記部品の基準系において比較するために、前記検出され選択された点の測定された3次元位置のすべてに対して、前記変換の逆変換を適用するステップと、
前記部品の基準系における検出され選択された点の測定された3次元位置と、選択された点の正確な3次元位置とを比較して、部品比較測定基準を提供するステップと、
が含まれていることを特徴とする請求項26に記載の組立て検査方法。 - 前記比較するステップには、
前記部品の基準系における検出され選択された点のマッピングされた測定された3次元位置の単一成分と、選択された点の正確な3次元位置のそれぞれの単一成分とを比較して、単一成分部品比較測定基準を提供するステップが含まれており、そして、
前記判断するステップには、
前記単一成分比較測定基準が、単一成分許容閾値を超えているかを判断し、それによって、前記部品が正確に組立てられているかを少なくとも部分的に判断するステップが含まれていることを特徴とする請求項32に記載の組立て検査方法。 - 前記比較するステップには、
前記部品の基準系における検出され測定された点のマッピングされた測定された3次元位置と正確な3次元位置とから、RMSエラーを算出するステップと、
前記RMSエラーを少なくとも前記部品比較測定基準の一部として提供するステップと、
が含まれていることを特徴とする請求項32に記載の組立て検査方法。 - 前記比較するステップには、
検出され選択された点の3つの測定された3次元位置を選択するステップと、
対応する前記選択された点の正確な3次元位置を、前記検出され選択された点の3つの測定された3次元位置に最も接近してマッピングをする変換を求めるステップと、
前記変換を用いて、前記選択された点の正確な3次元位置から4番目の3次元位置を、前記検出され測定された点の予測された測定された3次元位置にマッピングするステップと、
前記検出され選択された点の予測され測定された3次元位置を、前記検出され測定された点の実際に測定された3次元位置と比較して、一貫性チェック3次元位置エラーを提供するステップと、
が含まれていることを特徴とする請求項26に記載の組立て検査方法。 - 前記比較するステップには、
検出され選択された点の3つの測定された3次元位置を選択するステップと、
対応する前記選択された点の正確な3次元位置を、前記検出され選択された点の3つの測定された3次元位置に最も接近してマッピングをする変換を求めるステップと、
前記変換を用いて、前記選択された点の正確な3次元位置から4番目の3次元位置を、前記検出され測定された点の予測された測定された3次元位置にマッピングするステップと、
前記検出され選択された点の予測され測定された3次元位置の単一成分を、前記検出され測定された点の実際に測定された3次元位置の単一成分と比較して、少なくとも部品比較検査基準に貢献を提供するステップと、
が含まれていることを特徴とする請求項26に記載の組立て検査方法。 - 請求項33に記載の組立て検査方法が、検出され選択された点の3つの測定された3次元位置の複数の異なるセットに対して繰り返されて、複数の一貫性チェック3次元位置エラーを提供するステップと、
一貫性チェック3次元位置エラーの総計を算出するステップと、
少なくとも前記部品比較測定基準の一部として、前記一貫性チェック3次元位置エラーの総計を提供するステップと、
がさらに含まれていることを特徴とする請求項35に記載の組立て検査方法。 - 請求項39に記載の組立て検査方法が、検出され選択された点の3つの測定された3次元位置の複数の異なるセットに対して繰り返されて、複数の一貫性チェック3次元位置エラーを提供するステップと、
一貫性チェック3次元位置エラーの総計を算出するステップと、
少なくとも前記部品比較測定基準の一部として、前記一貫性チェック3次元位置エラーの総計を提供するステップと、
がさらに含まれていることを特徴とする請求項35に記載の組立て検査方法。 - 実行時間において、
各前記サブコンポーネントに対し、前記サブコンポーネント上の点の選択が、オペレータによって手動で行なわれることを特徴とする請求項26に記載の組立て検査方法。 - 実行時間において、
各サブコンポーネントに対し、オペレータが複数の訓練窓のそれぞれから見ることのできる点を選択し、そして、各訓練窓は、3台のそれぞれ調整されたカメラの1台の視野の一部を表わしていることを特徴とする請求項26に記載の組立て検査方法。 - 前記訓練窓は、少なくとも3つ存在していることを特徴とする請求項40に記載の組立て検査方法。
- 実行時間において、
各前記サブコンポーネントに対し、誤差関数を最小にするために、オペレータが各訓練窓内の点をクリックすることによって、複数の訓練窓のそれぞれの点を選択することを特徴とする請求項40に記載の組立て検査方法。 - 各前記サブコンポーネントに対し、2次元サーチモデルが訓練されて、複数の訓練窓のそれぞれの中の前記サブコンポーネントを検出し、そして、選択された点が、前記2次元サーチモデルの原点として働くことを特徴とする請求項40に記載の組立て検査方法。
- 前記2次元サーチモデルが、正規化相関サーチ、回転不変かつ大きさ不変サーチ、PatMaxサーチのうちの1つに基づいていることを特徴とする請求項43に記載の組立て検査方法。
- 訓練時間において、
前記各サブコンポーネントに対し、前記サブコンポーネント上の点を選択する前記ステップには、
複数の他のサブコンポーネントを支持する基板の表面上の基準の中央にある点を選択するステップが含まれていることを特徴とする請求項26に記載の組立て検査方法。 - 訓練時間において、
選択された点の物理座標系における正確な3次元位置が、三角測量によって求められることを特徴とする請求項26に記載の組立て検査方法。 - 前記三角測量の1つの結果が、三角測量RMSエラーであることを特徴とする請求項46に記載の組立て検査方法。
- 前記三角測量RMSエラーが、許容閾値と比較されることを特徴とする請求項47に記載の組立て検査方法。
- 複数のサブコンポーネントを有する部品の正確な組立てを検査する方法であって、
訓練時間において、
2つの前記サブコンポーネントのそれぞれの上の点を選択するステップと、
両方の前記サブコンポーネントに対し、物理座標系における選択された点の正確な3次元位置を求めるステップと、
実行時間において、
両方の前記サブコンポーネントに対し、前記サブコンポーネント上の選択された点をそれぞれ検出するステップと、
両方の前記サブコンポーネントに対し、物理座標系における検出され選択された点の測定された3次元位置を求めるステップと、
前記検出され選択された点の測定された3次元位置を、選択された点の正確な3次元位置と比較して、部品の比較測定基準を提供するステップと、
前記部品の比較測定基準が、部品の許容閾値を超えているかを判断して、それによって前記部品が正確に組立てられているかを判断するステップと、
を有していることを特徴とする組立て検査方法。 - 前記比較するステップには、
両方の前記サブコンポーネントに対し、検出され選択された点の測定された3次元位置を、選択された点の正確な3次元位置と比較して、3次元位置エラーを提供するステップが含まれていることを特徴とする請求項49に記載の組立て検査方法。 - 前記比較するステップには、
訓練時間において、
2つの前記サブコンポーネントのそれぞれの上の点を選択し、少なくとも選択した2つの点のうち1つが、前回選択された点の対と異なっているステップと、
両方の前記サブコンポーネントに対し、物理座標系における選択された点の正確な3次元位置を求めるステップと、
実行時間において、
両方の前記サブコンポーネントに対し、前記サブコンポーネント上の前記選択された点をそれぞれ検出するステップと、
両方の前記サブコンポーネントに対し、物理座標系における検出され選択された点の測定された3次元位置を求めるステップと、
前記検出され選択された点の測定された3次元位置を、選択された点の正確な3次元位置と比較して、サブコンポーネント対のスパン検査測定基準を提供するステップと、
前記サブコンポーネント対スパン検査測定基準を、少なくとも第二のサブコンポーネント対スパン検査測定基準と組み合わせて、累積サブコンポーネント対スパン検査測定基準を提供するステップと、
前記累積サブコンポーネント対スパン検査測定基準が、部品の許容閾値を超えているかを判断して、それによって、前記部品が正確に組立てられているかを判断するステップと、
が含まれていることを特徴とする請求項49に記載の組立て検査方法。 - 請求項51に記載の組立て検査方法が、検出され選択された点の測定された3次元位置の複数の対に対して繰り返されて、複数のサブコンポーネント対スパン検査測定基準を提供するステップと、
サブコンポーネント対スパン検査測定基準の総計を算出するステップと、
少なくとも前記部品比較測定基準の一部として、前記サブコンポーネント対スパン検査測定基準の総計を提供するステップと、
がさらに含まれていることを特徴とする請求項51に記載の組立て検査方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2007/012637 WO2008147355A1 (en) | 2007-05-29 | 2007-05-29 | 3d assembly verification from 2d images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010528318A true JP2010528318A (ja) | 2010-08-19 |
JP5270670B2 JP5270670B2 (ja) | 2013-08-21 |
Family
ID=39323766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010510268A Active JP5270670B2 (ja) | 2007-05-29 | 2007-05-29 | 2次元画像による3次元組立て検査 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2153410B1 (ja) |
JP (1) | JP5270670B2 (ja) |
TW (1) | TWI518637B (ja) |
WO (1) | WO2008147355A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015114722A (ja) * | 2013-12-09 | 2015-06-22 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム |
JP2015178138A (ja) * | 2014-03-18 | 2015-10-08 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2016001181A (ja) * | 2009-12-24 | 2016-01-07 | コグネックス・コーポレイション | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 |
JP2016133347A (ja) * | 2015-01-16 | 2016-07-25 | スズキ株式会社 | 形状検査装置、形状検査方法およびプログラム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
US8126260B2 (en) | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
US9533418B2 (en) | 2009-05-29 | 2017-01-03 | Cognex Corporation | Methods and apparatus for practical 3D vision system |
US9393694B2 (en) | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
US20120062725A1 (en) * | 2010-09-10 | 2012-03-15 | Gm Global Technology Operations, Inc. | System for error-proofing manual assembly operations using machine vision |
US9124873B2 (en) | 2010-12-08 | 2015-09-01 | Cognex Corporation | System and method for finding correspondence between cameras in a three-dimensional vision system |
CN102095373B (zh) * | 2011-01-10 | 2012-11-07 | 上海理工大学 | 密封件尺寸检测系统 |
EP2538388B1 (en) | 2011-06-20 | 2015-04-01 | Alcatel Lucent | Method and arrangement for image model construction |
US10223589B2 (en) * | 2015-03-03 | 2019-03-05 | Cognex Corporation | Vision system for training an assembly system through virtual assembly of objects |
CN110068308B (zh) * | 2019-05-16 | 2021-03-23 | 合刃科技(深圳)有限公司 | 一种基于多目相机的测距方法及测距系统 |
CN111964606B (zh) * | 2020-08-18 | 2021-12-07 | 广州小鹏汽车科技有限公司 | 一种三维信息的处理方法和装置 |
TWI790738B (zh) | 2020-11-20 | 2023-01-21 | 財團法人工業技術研究院 | 用於防止動暈之圖像顯示系統及圖像顯示方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0496184A (ja) * | 1990-08-08 | 1992-03-27 | Mitsubishi Heavy Ind Ltd | 自動検査装置 |
JPH04208803A (ja) * | 1990-11-30 | 1992-07-30 | Yaskawa Electric Corp | プリント基板実装検査装置 |
JPH04310851A (ja) * | 1991-04-10 | 1992-11-02 | Nec Corp | はんだ付け外観検査装置 |
JPH04314400A (ja) * | 1991-04-12 | 1992-11-05 | Matsushita Electric Ind Co Ltd | 連続検査装置 |
JPH085334A (ja) * | 1994-06-22 | 1996-01-12 | Fuji Photo Film Co Ltd | 組立体の検査方法及び装置 |
JPH0953914A (ja) * | 1995-08-14 | 1997-02-25 | Nec Corp | 三次元座標計測装置 |
JPH09133519A (ja) * | 1995-11-10 | 1997-05-20 | Ishikawajima Harima Heavy Ind Co Ltd | 3次元形状構造物の検査方法 |
JP2003504607A (ja) * | 1999-07-13 | 2003-02-04 | ビーティ エルウィン エム | 電子部品の三次元検査装置及び方法 |
WO2007044629A2 (en) * | 2005-10-07 | 2007-04-19 | Cognex Corporation | Methods and apparatus for practical 3d vision system |
-
2007
- 2007-05-29 JP JP2010510268A patent/JP5270670B2/ja active Active
- 2007-05-29 WO PCT/US2007/012637 patent/WO2008147355A1/en active Application Filing
- 2007-05-29 EP EP07777300.0A patent/EP2153410B1/en active Active
-
2008
- 2008-05-22 TW TW097118862A patent/TWI518637B/zh active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0496184A (ja) * | 1990-08-08 | 1992-03-27 | Mitsubishi Heavy Ind Ltd | 自動検査装置 |
JPH04208803A (ja) * | 1990-11-30 | 1992-07-30 | Yaskawa Electric Corp | プリント基板実装検査装置 |
JPH04310851A (ja) * | 1991-04-10 | 1992-11-02 | Nec Corp | はんだ付け外観検査装置 |
JPH04314400A (ja) * | 1991-04-12 | 1992-11-05 | Matsushita Electric Ind Co Ltd | 連続検査装置 |
JPH085334A (ja) * | 1994-06-22 | 1996-01-12 | Fuji Photo Film Co Ltd | 組立体の検査方法及び装置 |
JPH0953914A (ja) * | 1995-08-14 | 1997-02-25 | Nec Corp | 三次元座標計測装置 |
JPH09133519A (ja) * | 1995-11-10 | 1997-05-20 | Ishikawajima Harima Heavy Ind Co Ltd | 3次元形状構造物の検査方法 |
JP2003504607A (ja) * | 1999-07-13 | 2003-02-04 | ビーティ エルウィン エム | 電子部品の三次元検査装置及び方法 |
WO2007044629A2 (en) * | 2005-10-07 | 2007-04-19 | Cognex Corporation | Methods and apparatus for practical 3d vision system |
JP2009511881A (ja) * | 2005-10-07 | 2009-03-19 | コグネックス・コーポレイション | 実用的な3dビジョンシステムの方法および装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016001181A (ja) * | 2009-12-24 | 2016-01-07 | コグネックス・コーポレイション | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 |
US11699247B2 (en) | 2009-12-24 | 2023-07-11 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
JP2015114722A (ja) * | 2013-12-09 | 2015-06-22 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム |
US10234844B2 (en) | 2013-12-09 | 2019-03-19 | Canon Kabushiki Kaisha | Information processing apparatus, control method thereof, information processing system, and non-transitory computer-readable storage medium |
JP2015178138A (ja) * | 2014-03-18 | 2015-10-08 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2016133347A (ja) * | 2015-01-16 | 2016-07-25 | スズキ株式会社 | 形状検査装置、形状検査方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2008147355A1 (en) | 2008-12-04 |
TWI518637B (zh) | 2016-01-21 |
EP2153410B1 (en) | 2016-11-16 |
TW200910263A (en) | 2009-03-01 |
EP2153410A1 (en) | 2010-02-17 |
JP5270670B2 (ja) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5270670B2 (ja) | 2次元画像による3次元組立て検査 | |
JP5922572B2 (ja) | 実用型3dビジョンシステム装置およびその方法 | |
JP4976402B2 (ja) | 実用的な3dビジョンシステムの方法および装置 | |
US7015473B2 (en) | Method and apparatus for internal feature reconstruction | |
US20080243416A1 (en) | Global calibration for stereo vision probe | |
Luna et al. | Calibration of line-scan cameras | |
KR102314092B1 (ko) | 로봇의 캘리브레이션 장치 및 그 방법 | |
US20140100694A1 (en) | System and method for camera-based auto-alignment | |
JP2016001181A (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
Albarelli et al. | Robust camera calibration using inaccurate targets | |
US20210291376A1 (en) | System and method for three-dimensional calibration of a vision system | |
US10670390B2 (en) | System and method for verifying projection accuracy | |
JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
US11499817B2 (en) | Coordinate measuring machine with vision probe for performing points-from-focus type measurement operations | |
CN109773589B (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
JP2017198470A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
JP6043974B2 (ja) | 三次元位置測定装置、三次元測定装置及び三次元位置測定プログラム | |
Romero et al. | A validation strategy for a target-based vision tracking system with an industrial robot | |
JP2018087715A (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020229793A1 (en) | Virtual reality head mounted display system calibration methods and apparatus | |
JP2012013593A (ja) | 3次元形状測定機の校正方法及び3次元形状測定機 | |
JP2018044863A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
JP5564065B2 (ja) | フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120305 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120312 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120405 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120412 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120502 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5270670 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |