JP2009531784A - マシンビジョンツールパラメータの自動決定 - Google Patents

マシンビジョンツールパラメータの自動決定 Download PDF

Info

Publication number
JP2009531784A
JP2009531784A JP2009502992A JP2009502992A JP2009531784A JP 2009531784 A JP2009531784 A JP 2009531784A JP 2009502992 A JP2009502992 A JP 2009502992A JP 2009502992 A JP2009502992 A JP 2009502992A JP 2009531784 A JP2009531784 A JP 2009531784A
Authority
JP
Japan
Prior art keywords
result
image
combination
vision tool
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009502992A
Other languages
English (en)
Other versions
JP4886844B2 (ja
Inventor
ウォラック アーロン
マイケル ディヴィッド
Original Assignee
コグネックス・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグネックス・コーポレイション filed Critical コグネックス・コーポレイション
Publication of JP2009531784A publication Critical patent/JP2009531784A/ja
Application granted granted Critical
Publication of JP4886844B2 publication Critical patent/JP4886844B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

マシンビジョンツールパラメータを自動的に決定する方法が提示されており、この方法は、複数のイメージのそれぞれのイメージに対する所望のイメージ結果を示すようにマーキングすることと、マシンビジョンツールパラメータの組合せを選択することと、パラメータの組合せを使用して複数のイメージ上でマシンビジョンツールを実行し、複数のイメージのそれぞれのイメージに対する計算されたイメージ結果を形成し、それぞれの計算されたイメージ結果は複数の計算された尺度を含むようにすることと、それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較して、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルを形成し、次いで、結果比較発見的方法を使用してマシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算されている比較結果ベクトルと比較し、マシンビジョンツールパラメータのどの組合せが全体として最良かを判定することとを含む。

Description

本出願は、参照により本明細書に組み込まれている、「Automatically Determining Machine Vision Tool Parameters」という表題の2005年11月12日に出願された仮特許出願の利益を受けるべきである。
本発明は、マシンビジョンに関するものであり、特に、マシンビジョンツールの動作パラメータを決定することに関する。
プローブマーク検査(PMI)などの多くのマシンビジョンアプリケーションにおいて、満足のゆくパフォーマンスおよび結果が確実に得られるようにマシンビジョンツールのパラメータを調節する必要がある。
しかし、位置合わせおよび検査パラメータなどのパラメータを手動で調節するには、多くの場合、経験を積んだビジョン技術者の専門技術知識を必要とし、そのように経験があったとしても、適切なパラメータ集合を見つけることは、非常に時間のかかるプロセスといってよい。
適切なパラメータ集合を見つけることは、時間のかかる作業であり、多くの場合やっかいであるが、それというのも、このパラメータ集合は大きな多次元空間を定義し、条件にかなったパラメータ集合を見つけるために、この空間をくまなく探索しなければならない場合があるからである。適切なパラメータ集合を見つける手作業による方法は、パラメータ空間が、連続変数、または次元毎に多数の離散値を含むと、特に困難であり時間がかかる。
ユーザーは、手作業でパラメータ集合を選択するのではなく、特定され、および/または検査されるべき物体の1つまたは複数のマークされたイメージを単純に形成する。ただし、それぞれのイメージはマシンビジョンツールにより特定され、および/または検査されるべきイメージ内のそれぞれの物体(または複数の物体)の配置および広がりを示すユーザーによって作られるマーキングを有する。
物体は、1つまたは複数の部分で構成することができ、またマーキングは、最小の囲む矩形などのすべての部分を含むバウンディングボックス(bounding box)としてもよく、あるいはマーキングは、例えば、単一の物体の境界にそってトレースされた線としてもよい。この方法で、ユーザーは、実際に、人間のパターン認識およびパターン特定を使用しており、イメージ上のマーキングは、人間のパターン認識および人間のパターン特定による人間の探索結果を表す。次いで、この人間の探索結果は、同じイメージ内の同じ物体の配置および/または他の尺度を決定するために特定のパラメータ集合を使用する(その集合によってもたらされる)マシンビジョンツールの対応する計算された探索結果と比較される。人間の探索結果とパラメータ集合によりもたらされる対応する計算された探索結果の組合せは、本明細書では「イメージ結果対」と呼ばれる。
第1のイメージ結果対が、本発明に与えられると、それぞれのイメージ結果対はマシンビジョンツールの固有のパラメータ集合に対応しており、人間のイメージ結果とパラメータ集合によりもたらされる対応する計算されたイメージ結果との差を表す比較結果ベクトルが計算される。イメージ結果は、ゼロ個またはそれ以上の見つかった物体を記述する尺度の集合である。比較結果ベクトルは、人間のイメージ結果と計算されたイメージ結果との差を特徴付けるものであり、例えば、人間のイメージ結果内に見つかる物体が、計算されたイメージ結果内で類似の尺度とともに見つかった、人間のイメージ結果内に見つかる物体が、対応する計算されたイメージ結果内に見つからなかった、人間のイメージ結果内になかった物体が、対応する計算されたイメージ結果内に見つかった、人間のイメージ結果内に見つかる物体が、計算されたイメージ結果内に異なる尺度とともに見つかった、などのタイプの1つまたは複数の差である。比較結果ベクトルは、計算されたイメージ結果が完全に一致し、正しい結果とみなされるために、人間のイメージ結果と計算されたイメージ結果との間の完全な呼応を記述していなければならないことに留意されたい。人間のイメージ結果内に見つかる物体のどれかが、計算されたイメージ結果内の対応する類似の物体を持たない場合、または計算されたイメージ結果内に余分な物体がある場合、または人間のイメージ結果内に見つかる物体が、指定された許容差の範囲内で計算されたイメージ結果内に見つかる物体と一致していない場合、計算されたイメージ結果は、不正であるといわれる(また、比較結果ベクトルは、人間のイメージ結果と計算されたイメージ結果が一致しないことを示す)。本発明では、多数の可能なパラメータ集合から選択された優れているパラメータ集合を求めるので、そこで、第2のパラメータ集合が生成され、第2のイメージ結果対をもたらし、第2の比較結果ベクトルを生成するために使用される。
次に、第2の比較結果ベクトルが、第1の比較結果ベクトル尺度と比較され、これによりどの関連するパラメータ集合が「よりよい」かを判定する。この比較は、さらに以下で説明される、結果比較発見的方法を使用して実行される。比較結果ベクトルは、ただ単なる1個の数ではなく、2つの比較結果ベクトルの比較は、どちらが大きいかを判定するために2つの数を比較すること以上に複雑である。
1つのイメージ結果対のみについて言及されているが、本発明の方法は、典型的には、イメージの複数の対を使用して実行される(それぞれの対は計算されたイメージ結果と人間のイメージ結果とである)。全体的な比較結果は、それぞれのイメージ対に対する比較結果を組み込んだものである。
本発明は、多くの異なる一般的なマシンビジョンツールおよび専用マシンビジョンツールに対する優れたマシンビジョンツールパラメータ集合を自動的に選択する場合に有用である。探索および検査マシンビジョンツールのパラメータは、例えば、本発明を使用して決定されうる。さらに、「プローブマーク検査」(PMI)などの専用マシンビジョンツールに対する優れたパラメータを見つけることができる。
例えば、PMIの場合、作業に、イメージ集合およびユーザー側で与えるパッドモデルが付与され、プローブマークの広がりにより、ユーザー側で与えるプローブマークの広がりにほぼ等しいプローブマークを測定することを引き起こす最適なPMIパラメータが決定される。
基本的な方法は、「生成してテストする」であり、候補PMIパラメータが生成され、顧客側でマークしたイメージ集合を使用して得点が付けられる。
計算に関するパフォーマンスを改善するために、「粗から密へ」の戦略が採用され、本発明では、最初に、顧客側でマークしたイメージの部分集合を使用してPMIパラメータの近似的集合を決定し、次いで、本発明は、マシンビジョンツールパラメータの集合を精密化する。
本発明の方法では、真の「最適な」マシンビジョンツールパラメータ集合は見つからない。典型的には、顧客は、主に使いやすさと、マシンビジョンツールパラメータを決定する作業を簡素化することに関心がある。そこで、本発明は、マシンビジョンツールパラメータを決定するための自動化され、したがって使いやすく単純な手段を実現する。例えば、PMIの場合、本発明のユーザーは、時間の約99%において、PMI自動パラメータセットアップが−特に単純で、きれいなイメージに対し−きちんと働くことを期待できる。うまく働かない場合、つまり、その結果のPMI機能で、プローブマークが見つからないか、または異質なマークが見つかった場合、これは、たぶん、複数の複雑なイメージに対する適切なパラメータ集合を見つけようとするせいであり、またどのような自動化されたパラメータ選択方法であっても、そのような複数の複雑なイメージに対する望ましい結果をもたらすパラメータ集合結果を見つけることは可能でない場合がある。
さらに、本発明の方法で優れたパラメータ集合を得るために比較的長い計算時間を念頭に置くのが道理にかなっている。例えば、本発明の方法が使用される場合のフェーズは、典型的には「セットアップ」または「学習」の一部であり、その結果のパラメータ集合は、典型的には実行時に繰り返し使用されるため、比較的高速なコンピュータでは、最大60秒までが、妥当な遅延時間である。
したがって、例えば、PMIが不正な結果(ユーザーが期待する結果と一致しない計算されたイメージ結果)を返した場合、ユーザーは、不正な結果を与えたイメージを学習集合の中に入れ、次いで、本発明の方法を使用してパラメータ集合を再計算する。その結果、本発明の方法は、より適切なマシンビジョンツールパラメータ集合を決定するのに、十分妥当と考えられる時間、例えば、5〜10分間あればよい。
本発明の方法は、イメージデータにアクセスできる任意の場所で、適切なパラメータ集合を決定するために使用できることに留意されたい。そのため、PMIの場合に、「プローバー」上などで、イメージが取得される配置で使用することに制限されない。
さらに、いくつかのイメージは、完全にブランクである場合があり、対応する望ましいイメージ結果は、「No object found」となる(この場合、「no object found」は1つの尺度なる)ことに留意されたい。ブランクイメージ、またはネガティブな実施例は、「No object found」結果が望ましい場合であることに留意されたい。このような場合は、物体を含むイメージに比べて、より重要ではないとしても、少なくとも重要である。全体的なロバスト性のパフォーマンスを改善するために、この方法で使用されるイメージデータセットにいくつかのネガティブな実施例(ブランクイメージ、またはマークがいっさいないシーンなど)を含めることを推奨した。これにより、マシンビジョンツールは、ブランクイメージでテストされているであろうし、またこれらのブランクイメージに対するそのパフォーマンスは、最適なパラメータ構成を決定するときに含まれているであろう。
したがって、本発明の一般的な一態様は、マシンビジョンツールパラメータを自動的に決定するための方法である。この実行される方法は、少なくとも1つのイメージを形成することと、その少なくとも1つのイメージのそれぞれのイメージに対する所望のイメージ結果を形成することと、それぞれの所望のイメージ結果がその少なくとも1つのイメージのそれぞれのイメージ内の物体の少なくとも1つの所望の尺度を含むこととを含む。この方法は、次いで、マシンビジョンツールパラメータの組合せを選択することと、少なくとも1つのイメージのそれぞれのイメージに対する計算されたイメージ結果を形成するためにマシンビジョンツールパラメータの組合せを使用して少なくとも1つのイメージについてマシンビジョンツールを実行することと、それぞれの計算されたイメージ結果が複数の計算された尺度を含むこととを含む。この方法は、次に、それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較して、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルを形成し、次いで、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算されている比較結果ベクトルと比較してマシンビジョンツールパラメータのどの組合せがより適しているかを判定し、これによりビジョンツールパラメータの現在の最良の組合せを構成することを含む。
好ましい一実施形態では、本発明は、さらに、マシンビジョンツールパラメータの現在の最良の組合せを保存することと、評価すべきパラメータの組合せがそれ以上ない場合に、最良の全体的なマシンビジョンツールパラメータの組合せとしてマシンビジョンツールパラメータの現在の最良の組合せを構成することとを含む。
好ましい一実施形態では、少なくとも1つのイメージのそれぞれのイメージに対する所望のイメージ結果を形成することは、ユーザー側で、少なくとも1つのイメージをマークして、マークされたイメージを構成し、それぞれのマークされたイメージがイメージ内のそれぞれの物体の配置および広がりを示すマーキングを持つようにすることを可能にすることと、マーキングを抽出して、所望のイメージ結果を形成し、イメージ内の少なくとも1つの物体の少なくとも所望の尺度を形成することとを含む。他の好ましい一実施形態では、マーキングは、バウンディングボックスである。さらに他の好ましい実施形態では、バウンディングボックスは、軸を揃えたバウンディングボックスであり、4つの尺度により指定される。さらに他の実施形態では、4つの尺度は、左上側X、左上側Y、右下側X、右下側Yである。代替えの好ましい実施形態では、バウンディングボックスは、回転されたバウンディングボックスであり、5つの尺度により指定される。さらに好ましい実施形態では、5つの尺度は、左上側X、左上側Y、右下側X、右下側Y、およびバウンディングボックスの左上側コーナーを中心とするバウンディングボックスの回転を表す回転尺度である。
好ましい一実施形態では、バウンディングボックスは、最小の囲む矩形である。
他の好ましい実施形態では、マーキングは、物体境界にそってトレースされる線である。
さらに他の好ましい実施形態では、少なくとも1つのイメージのそれぞれの中の物体の所望の尺度は、少なくとも1つのイメージ内の特徴の姿勢を含む。他の好ましい実施形態では、姿勢は、6つの尺度により特徴付けられる。
他の好ましい実施形態では、この方法は、多数の利用可能なマシンビジョンツールパラメータの組合せの数だけ繰り返される。
いくつかの好ましい実施形態では、この方法は、イメージの集合に対し実行され、少なくとも1つのイメージが、その集合の一要素である。
好ましいいくつかの実施形態では、この方法は、イメージ対の集合を生成し、それぞれのイメージ対は計算されたイメージ結果とマークされたイメージを含む。
好ましいいくつかの実施形態では、マシンビジョンツールパラメータの組合せを選択することは、複数の所望のイメージ結果を使用してマシンビジョンツールパラメータの組合せを推定することを含む。
好ましいいくつかの実施形態では、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算された比較結果ベクトルと比較することは、結果比較発見的方法を使用して比較結果ベクトルを前に計算された比較結果ベクトルと比較することを含む。他の好ましい実施形態では、結果比較発見的方法は、最初に大きな差を見つけ、次いで中程度の差を見つけ、最後に小さな差を見つけることを含む。他のさらなる好ましい実施形態では、結果比較発見的方法は、重要度の下がる順に、比較結果ベクトルの態様を比較することを含む。
さらに他の好ましい実施形態では、大きな差がある場合には、大きな差に関してよりよい比較結果ベクトルを選好し、さもなければ大きな差がない場合には、中程度の差を見つける。他の好ましい実施形態では、中程度の差がある場合には、中程度の差に関してよりよい比較結果ベクトルを選好し、さもなければ中程度の差がない場合には、小さな差を見つける。さらに他の好ましい実施形態では、小さな差がある場合、小さな差に関してよりよい比較結果ベクトルを選好する。
いくつかの好ましい実施形態では、大きな差は、位置合わせが前提条件である場合、検査のため物体の位置を合わせること、正しく検査されたイメージの数の有意差のあることのうちの少なくとも1つを含む。他の好ましい実施形態では、有意差が少なくとも2.5パーセントの差である場合に、1つの比較結果ベクトル内の正しく検査されたイメージの数は、他の比較結果ベクトル内の正しく検査されたイメージの数を、特に望ましくない故障モードの実施例の数、余分な物の数、および欠損している物の数のうちの大きい数の2.5%だけ超えていなければならない。いくつかの好ましい実施形態では、中程度の差は、余分な物の総面積が他の比較結果ベクトル内の余分な物の総面積を大きい方の数の25%だけ超えていなければならない余分な物の総面積、および1つの比較結果ベクトル内の欠損している物の総面積が他の比較結果ベクトル内の欠損している物の総面積を大きい方の数の25%だけ超えていなければならない欠損している中程度の物の総面積のうちの少なくとも1つを含む。いくつかの好ましい実施形態では、小さな差は、一致する境界について人間のイメージ結果境界と計算されたイメージ結果境界との間の平均距離、余分な小さな物の数、欠損している小さな物の数、および幾何学的不一致の総数のうちの少なくとも1つを含む。好ましい実施形態では、「欠損」という用語は、特定の許容差の範囲内で一致しないことを示す−大きな物の一部を測定するだけの結果は、「欠損」であると定義されることに留意されたい。いくつかの他の好ましい実施形態では、部分的一致は、不一致の量に応じて考えられる、つまり、計算されたイメージ結果がほとんど所望のイメージ結果と一致しており、わずかな部分のみが所望のイメージ結果に含まれていないが、計算されたイメージ結果には含まれない場合、これは小さな差であると定義される。
好ましい一実施形態では、余分な見つかった物は、欠損しているものよりも有意であると考えられる。中程度の差は、余分な見つかった物を含むより多くのイメージ、またはより多くの余分な見つかった物、または余分な見つかった物のより大きな総面積(大きな総面積が小さな総面積を大きな総面積の少なくとも25%だけ超えている場合)を含み、より小さな差は、欠損しているものを含むより多くのイメージ、またはより多くの欠損している物、または欠損している物のより大きな総面積(より大きな総面積がより小さな総面積をより大きな総面積の少なくとも25%だけ超えている場合)を含む。
好ましい一実施形態では、マシンビジョンツールパラメータの組合せを使用して少なくとも1つのイメージ上でマシンビジョンツールを実行することは、複数のイメージ上でマシンビジョンツールを実行することを含む。
好ましい実施形態では、それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルを形成することは、所望のイメージ結果内の境界を対応する計算されたイメージ結果内の対応する境界と比較することを含む。さらに好ましい実施形態では、所望のイメージ結果内の境界を対応する計算されたイメージ結果内の対応する境界と比較することは、所望のイメージ結果から第1の境界リストを、対応する計算されたイメージ結果から第2の境界リストを作成することと、第1の境界リストと第2の境界リストのそれぞれからの境界1つずつからなる境界の最も近い対を決定することと、境界の最も近い対が、閾値距離尺度よりも距離的に近いかどうかを判定することと、境界の最も近い対が、閾値距離尺度よりも近い場合、境界の最も近い対を一致するリストに追加することを含むが、ただし、距離は、複数の境界のうちの1つの境界における1つの点からの他の境界の内側の最も近い点までの最大距離に関して測定される。他の好ましい実施形態では、境界の最も近い対が、閾値距離尺度よりも近くない場合、境界の最も近い対をそれぞれの「見あたらない」リストに追加する。さらに他の好ましい実施形態では、第1の境界リストと第2の境界リストのそれぞれからの境界1つずつからなる境界の最も近い対を再び決定する前に閾値距離尺度よりも近くない境界の最も近い対を考察対象から外す。さらに他の好ましい実施形態では、閾値距離尺度よりも近くない境界の最も近い対を考察対象から外した結果、空の第1の境界リスト、または空の第2の境界リストが得られる場合、空ではない第1の境界リストおよび第2の境界リストの任意の境界リストをそれぞれの「見あたらない」リストに含める。2つの「見あたらない」リスト、1つは第1の境界リストからの境界に対するもの、およびもう1つは第2の境界リストからの境界に対するものがあることに留意されたい。2つの異なる境界リストは、余分な結果(人間のイメージ結果には見つからないが、コンピュータのイメージ結果には見つかる)と欠損する結果(人間のイメージ結果には見つかるが、コンピュータのイメージ結果には見つからない)とを区別するために使用される。
好ましいいくつかの実施形態では、2つの尺度が十分に類似しているかどうかをチェックするために使用される閾値は、尺度固有である。マーク境界が比較される場合、閾値許容差は、境界が3ピクセルまでの最大距離だけ異なる可能性があり、それでも一致している(見つかった)と考えられるように3ピクセルに設定される。例えば、パッド姿勢測定結果を比較した場合、すべての姿勢の差が受け入れられる−唯一の基準は、人間のイメージ結果内に見つかるパッドすべてが、計算されたイメージ結果内に見つかることだけである。
好ましい実施形態では、それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルを形成することは、所望のイメージ結果内のバウンディングボックスを対応する計算されたイメージ結果内の対応するバウンディングボックスと比較することを含む。他の好ましい実施形態では、所望のイメージ結果内のバウンディングボックスを対応する計算されたイメージ結果内の対応するバウンディングボックスと比較することは、所望のイメージ結果から第1のバウンディングボックスリストを、対応する計算されたイメージ結果から第2のバウンディングボックスリストを作成することと、第1のバウンディングボックスリストと第2のバウンディングボックスリストのそれぞれからのバウンディングボックス1つずつからなるバウンディングボックスの最も近い対を決定することと、バウンディングボックスの最も近い対が、閾値距離尺度よりも近いかどうかを判定することと、バウンディングボックスの最も近い対が、閾値距離尺度よりも近い場合、バウンディングボックスの最も近い対が、一致リストに追加されることを含む。距離は、複数の境界のうちの1つ境界上の点から他の境界の内側にある最も近い点までの最大距離に関して測定されることに留意されたい。他の好ましい実施形態では、バウンディングボックスの最も近い対が、閾値距離尺度よりも近くない場合、バウンディングボックスの最も近い対が、それぞれの「見あたらない」リストに追加される。他の好ましい実施形態では、第1のバウンディングボックスリストと第2のバウンディングボックスリストのそれぞれからのバウンディングボックス1つずつからなるバウンディングボックスの最も近い対を再び決定する前に閾値距離尺度よりも近くないバウンディングボックスの最も近い対を考察対象から外す。さらに他の好ましい実施形態では、閾値距離尺度よりも近くないバウンディングボックスの最も近い対を考察対象から外した結果、空の第1のバウンディングボックスリスト、または空の第2のバウンディングボックスリストが得られる場合、空ではない第1のバウンディングボックスリストおよび第2のバウンディングボックスリストの任意のバウンディングボックスリストをそれぞれの「見あたらない」リストに含める。2つの「見あたらない」リスト、1つは第1の境界リストからの境界に対するもの、およびもう1つは第2の境界リストからの境界に対するものがあることに留意されたい。
所望のイメージ結果は、1つまたは複数の尺度を含むことに留意されたい。例えば、所望のイメージ結果は、複数のバウンディングボックスを含むことができる。計算されたイメージ結果は、1つまたは複数の尺度を含むことに留意されたい。例えば、計算されたイメージ結果は、複数のバウンディングボックスを含むことができる。
好ましい実施形態では、計算されたイメージ結果は、所望のイメージ結果と一致すると言われる。尺度のすべてが一致する場合、例えば、所望のイメージ結果が、コーナーが(10,20)および(30,40)にあるボックスにより囲まれている1つの見つかった欠陥を含み、計算されたイメージ結果が、コーナーが(10,20)および(30,40)にあるボックスにより囲まれている1つの見つかった欠陥を含む場合に、所望のイメージ結果は、計算されたイメージ結果と一致すると言われる。他の実施例は、所望のイメージ結果が、ボックスにより囲まれている2つの見つかった欠陥、1つはコーナーが(5,15)および(25、25)にあるもの、もう1つはコーナーが(45,45)および(50,55)にあるもの、を含み、計算されたイメージ結果が、コーナーが(45,45)および(50,55)にあるボックスにより囲まれている1つの見つかった欠陥を含む場合に、これらの2つの結果は、一致しないと言われる(計算されたイメージ結果は、所望のイメージ結果のうちの1つを欠損しているからである)。さらに、計算されたイメージ結果は、一組の尺度を欠損していると言われる−コーナーが(5,15)および(25,25)にあるボックスである。
好ましい実施形態では、それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルを形成することは、比較結果ベクトルの一態様として、正しい一致イメージの数がビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果がそれぞれ尺度特有の一致閾値の集合に関して対応する所望のイメージ結果と一致するイメージの個数である、正しい一致イメージの数を組み込むことと、比較結果ベクトルの一態様として、欠損している結果イメージの数がビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果の一部が尺度特有の一致閾値の集合に関して所望のイメージ結果と一致しないイメージの個数である、欠損している結果イメージの数を組み込むことと、比較結果ベクトルの一態様として、余分な結果イメージの数がビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果の数が一致閾値の範囲内で所望のイメージ結果のどれとも一致しないイメージの個数である、余分な結果イメージの数を組み込むことと、比較結果ベクトルの一態様として、正しい一致インスタンスの数がビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果が尺度特有の一致閾値の範囲内で対応する所望のイメージ結果と一致するインスタンスの個数である、正しい一致インスタンスの数を組み込むことと、比較結果ベクトルの一態様として、欠損している結果インスタンスの数が尺度特有の一致閾値の範囲内で対応する所望のイメージ結果と一致するビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果がないインスタンスの個数である、欠損している結果インスタンスの数を組み込むことと、比較結果ベクトルの一態様として、余分な結果インスタンスの数が一致閾値の範囲内で所望のイメージ結果のどれとも一致しないビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果のインスタンスの数である、余分な結果インスタンスの数を組み込むこと、のうちの少なくとも1つを含む。結果が一致しているとみなされるのは、それぞれの尺度特有の一致閾値の範囲内で尺度のすべてが一致している(つまり、計算されたイメージ結果内のバウンディングボックスのすべてが、所望のイメージ結果内のバウンディングボックスのすべてと一致している)場合であること、比較結果ベクトルの一態様として、欠損している結果インスタンスの総面積がビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果内の尺度の少なくとも1つが、尺度特有の一致閾値の範囲内で対応する所望のイメージ結果内の尺度の1つと一致しないインスタンスの総面積である、欠損している結果インスタンスの総面積を組み込むこと、比較結果ベクトルの一態様として、欠損している結果インスタンスの最大面積が尺度特有の一致閾値の範囲内で対応する所望のイメージ結果と一致するビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果がないすべてのインスタンスの間の最大面積である、欠損している結果インスタンスの最大面積を組み込むこと、比較結果ベクトルの一態様として、余分な結果インスタンスの総面積が、尺度特有の一致閾値の範囲内で所望のイメージ結果のどれとも一致しないビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果のインスタンスの総面積である余分な結果インスタンスの総面積を組み込むこと、比較結果ベクトルの一態様として、余分な結果インスタンスの最大面積が、尺度特有の一致閾値の範囲内で所望のイメージ結果のどれとも一致しないビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果のすべてのインスタンスの間の最大面積である余分な結果インスタンスの最大面積を組み込むこと、比較結果ベクトルの一態様として、正しい一致インスタンスの総面積が、ビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果が尺度特有の一致閾値の範囲内で対応する所望のイメージ結果と一致するインスタンスの総面積である正しい一致インスタンスの総面積を組み込むこと、比較結果ベクトルの一態様として、正しい一致インスタンスの最大面積が、ビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果が尺度特有の一致閾値の範囲内で対応する所望のイメージ結果と一致するすべてのインスタンスの間の最大面積である正しい一致インスタンスの最大面積を組み込むこと、比較結果ベクトルの一態様として、正しい位置合わせイメージの数がビジョンツールパラメータの組合せによりもたらされる計算されたイメージ結果がすべて一緒に尺度特有の位置合わせ閾値の範囲内で対応する所望のイメージ結果と一致するイメージの個数である正しい位置合わせイメージの数を組み込むこと、および比較結果ベクトルの一態様として、これら前記の態様のうちの少なくとも1つに基づく導出量を組み込むことに留意されたい。
本発明の他の一般的な態様では、マシンビジョンツールパラメータを自動的に決定する方法は、少なくとも1つのイメージを、そしてその少なくとも1つのイメージのそれぞれのイメージに対する所望のイメージ結果を形成し、所望のイメージ結果がその少なくとも1つのイメージのそれぞれのイメージ内の物体の少なくとも1つの所望の尺度を含むようにすることと、その少なくとも1つのイメージを、そしてその少なくとも1つのイメージのそれぞれのイメージに対する所望のイメージ結果を使用し、コンピュータにマシンビジョンツールパラメータの最適な集合を自動的に決定させることとを含む。
好ましい一実施形態では、本発明は、さらに、第1のステップで、パラメータの「十分によい」選択を決定するために可能なパラメータの集合が広範囲にわたってサンプリングされ、第2のステップで、パラメータの「局所最大限によい」選択を行えるようにパラメータの「十分によい」選択がさらに精密化される、2段階プロセスを実行することを含む。
本発明の方法は、真の「最適な」マシンビジョンパラメータ集合を見つけるためにパラメータ集合を網羅的に探索することをしない。−連続パラメータには無限に多くの可能な選択があるためパラメータが連続値であれば可能でない場合がある。
好ましい実施形態では、第1のステップは、十分によいパラメータ集合を見つけるためにパラメータ空間を広範囲にわたってサンプリングすることを伴う。これは、マシンビジョンツールのパフォーマンスがパラメータに極めて強く依存するため必要なことであり、したがって、ランダムパラメータ集合では、精密化を進めるのに十分によい結果が得られない場合がある。
好ましい実施形態では、「十分によい」パラメータ集合を得るためにパラメータ空間を広範囲にわたってサンプリングする第1のステップは、第1のステップの実行時間を短縮するのに「イメージ結果対」の部分集合をランダムに選択することを伴う。部分集合のサイズは、「イメージ結果対」の元の個数の最小値であり、64という数である。したがって、「イメージ結果対」の元の数が、64よりも大きい場合、パラメータ空間を広範囲にわたってサンプリングし「十分によい」パラメータ集合を得るために、64個の「イメージ結果対」のみが使用され、「イメージ結果対」の元の数が、64以下である場合、元の「イメージ結果対」のすべてが、「十分によい」パラメータ集合を計算するために第1のステップで使用される。64という数は、比較的大きな数値であるため選択されたことに留意されたい。他の好ましい実施形態では、64以外のサイズは、「十分によい」パラメータ集合を決定するために第1のステップのランダム部分集合に使用される。
好ましい実施形態では、テストするパラメータの広範囲にわたる集合の刈り込みを行うために、発見的方法が使用される。例えば、PMIでは、検査アプリケーションは、接着パッドの位置合わせ、次いで行われる、位置合わせされたパッドの検査の2つのステップに分けられる。そのようなものとして、最初に、位置合わせパラメータの「十分によい」集合を決定し、次いで、第2のステップで検査パラメータを列挙しながらそれらの位置合わせパラメータのみを考えることができる。ここで、位置合わせパラメータの選択結果を列挙し(例えば、useFinestCoarseGranularity、doPreprocessingBeforeRegistration、およびuseCompositeModel)、位置合わせパラメータの集合のうちどちらが正しい位置合わせ結果の最大数をもたらすかを判定する。次いで、「最適な」位置合わせパラメータのみを考え、また検査パラメータの広範にわたる集合のみを列挙する。
好ましい実施形態では、われわれは、発見的方法を使用して、最初に検査パラメータ選択結果の大まかなサンプリングを行う、「粗」から「密」への戦略を用いることにより広範囲の検査パラメータの集合を刈り取る。好ましい実施形態では、偶数値と奇数値の両方が有効であっても、randomTextureParameterの偶数値のみが試される。好ましい実施形態では、lowAccuracyTextureRemovalのみが試される。これらのパラメータ集合はそれぞれ、もたらされたそれぞれの比較結果ベクトルに関連付けられる。これらの比較結果ベクトルは、上述の比較発見的方法によりソートされる。次いで、パフォーマンスのよくないパラメータは、破棄される(パラメータの上位25%のみが保持される)。次いで、さらに細かくサンプリングするために、これら上位25%のパラメータから初めて、これら「上位」パラメータのそれぞれについてすべての近傍を網羅的に試す(粗パラメータの偶数randomTextureParamsよりも上、および下の奇数のrandomTextureParamsなど、および同時にIowAccuracyTextureRemovalとhighAccuracyTextureRemovalの両方も試す)。上位25%に近いすべてのパラメータを試した後、比較結果を再び比較し、単一の最良のパラメータのみを残す。
好ましい実施形態では、広範囲にわたるパラメータサンプリングは、発見的方法を使用して、サンプリングされたパラメータの集合を刈り取る。これは、総実行時間を短縮するために行われる(タイミングよく結果を与えるため)。例えば、PMIでは、発見的方法の1つは、PMIパラメータをPMI位置合わせパラメータとPMI検査パラメータとに分ける。第1に、PMI位置合わせパラメータの十分によい集合を決定し、次いで、第2に、PMI位置合わせパラメータのその集合を使用して、PMI検査パラメータの十分によい集合を決定する。構成の数は、パラメータの個数について指数関数的であるため、この発見的方法では、分析された組合せの数をnum(registrationParams)×num(inspectionParams)からnum(「よい」registrationParams)×num(inspectionParams)に刈り込む。
他の好ましい実施形態では、ユーザーは、「十分によい」パラメータの初期選択を与え、本発明では、パラメータのその選択された集合を精密化する。次のステップでは、本発明は、ランダムに選択されたパラメータのその最良の選択を精密化する。
他の好ましい実施形態では、本発明は、マシンビジョンツールパラメータの1つまたは複数の集合をランダムに選択し、次いで、それらのパラメータを使用してマシンビジョンツールを実行し、ランダムに選択された集合からパフォーマンスが最良のマシンビジョンツールパラメータを見つける。次のステップでは、本発明は、ランダムに選択されたパラメータのその最良の選択を精密化する。
本発明のさらに他の一般的な態様では、マシンビジョンツールパラメータを自動的に決定する方法は、複数のイメージを形成し、複数のイメージのそれぞれのイメージに対する所望のイメージ結果を形成し、それぞれの所望のイメージ結果が複数のイメージのそれぞれのイメージ内の物体の少なくとも1つの所望の尺度を含むことと、マシンビジョンツールパラメータの組合せを選択することと、マシンビジョンツールパラメータの組合せを使用して複数のイメージ上でマシンビジョンツールを実行し、複数のイメージのそれぞれのイメージに対する計算されたイメージ結果を形成し、それぞれの計算されたイメージ結果は複数の計算された尺度を含むことと、それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルを形成することと、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算された比較結果ベクトルと比較し、マシンビジョンツールパラメータのどの組合せがよりよいものかを判定し、それによりビジョンツールパラメータの現在最良の組合せを構成することと、マシンビジョンツールパラメータの現在の最良の組合せを保存することと、評価すべきパラメータの組合せがそれ以上ない場合に、最良の全体的なマシンビジョンツールパラメータの組合せとしてマシンビジョンツールパラメータの現在の最良の組合せを構成することとを含む。
好ましいいくつかの実施形態では、マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算された比較結果ベクトルと比較することは、結果比較発見的方法を使用して比較結果ベクトルを前に計算された比較結果ベクトルと比較することを含む。
本発明は、詳細な説明を付属の図面とともに参照することで、より完全に理解されるであろう。
「生成してテストする」戦略を使用することで、複数のマシンビジョンツールパラメータ集合候補を生成し、次いで、発見的方法を使用して、これらのビジョンツールパラメータ集合候補のそれぞれに得点を付け、比較する。ユーザーは、ほとんどの場合、よい「正常に機能する」ビジョンツールパラメータ集合を自動的に決定することに関心があるため、可能なすべてのビジョンツールパラメータ集合候補を生成する必要はないことに留意されたい。
一般的な戦略は、図1に示されている。ユーザーは、最初に、イメージの集合と対応する所望の結果の集合を供給する。次いで、本発明により、マシンビジョンツールパラメータの集合を大まかに推定する(100)。複数のイメージのイメージ前処理を使用すると有益な場合があるが、この作業は、必要というわけではない。特定のマシンビジョンのアプリケーションによっては、イメージ前処理は、優位周波数を決定する周波数解析、優位濃淡値を決定するヒストグラム解析、または優位配向を決定するエッジ検出結果のヒストグラム解析を含めることが可能である。前処理は、マシンビジョンツールパラメータの一部を制限および/または決定するのに役立ちうる。それとは別に、特定のアプリケーションおよび使用されるマシンビジョンツールの経験を有するユーザーは、可能なパラメータおよび/またはパラメータ範囲に関して経験に基づく推測を行うことができる。
一般に、本発明の方法では、広範囲の探索と「近傍探索」の探索の組合せを使用し、「現在の最良のマシンビジョンツールパラメータ集合」が与えられた場合に、単一のパラメータだけ異なる隣接パラメータ集合が試みられる(102)。いくつかのアプリケーションでは、粗から密への戦略を使用して広範囲の探索と近傍探索の組合せを適用することができる。近傍探索という用語は、現在の最良のパラメータ集合から1つのパラメータ値の分だけ異なるパラメータ集合(隣接パラメータ集合)のみを考えることを意味する。隣接パラメータ集合がよりよいものである場合、それは今までに最もよいパラメータ集合となり、新しい異なる隣接パラメータ集合が生成され、次いで、以下でさらに詳しく説明するように、最良のマシンビジョンツールパフォーマンスをもたらすマシンビジョンパラメータの集合が識別されるまで(104)、現在のものと突き合わせてテストされる。PMIなどのいくつかのマシンビジョンツールアプリケーションでは、マシンビジョンツールパラメータの「良さ」または「最良」を表す単一の「得点」がない。その代わりに、以下でさらに説明するように、発見的方法を使用して、マシンビジョンツールパラメータのそれぞれの組合せに関連付けられる比較結果ベクトルを比較する。比較結果ベクトルBよりもよい比較結果ベクトルAが1つあり、比較結果ベクトルCよりもよい比較結果ベクトルBがもう1つありうるが、比較結果ベクトルCは比較結果ベクトルAよりもよい場合もある。このような理由から、マシンビジョンツールパラメータの現在の「最良の」組合せに問題がある場合もあるが(3つのパラメータ設定の間の切り換えを際限なく続ける可能性があるという点で)、通常、パラメータ設定はビジョンツールパラメータの他のすべての組合せよりもよいので、このような状況は実際にはめったに起こらない。最良の設定の選択が循環ループする可能性がある場合を取り扱うために、この方法は、2つのパラメータ構成間の切り換えを一度だけ行うというルールを強制することにより循環を回避する。
図1Aを参照すると、例えば、PMIでは、本発明の広範囲の探索戦略は、イメージ結果対の集合を入力として受け取る(110)。最初に、本発明の戦略では、イメージ結果対に対しイメージ処理を実行し、最小の予想プローブマークサイズ、それぞれのゾーン内でどの極性が検査される必要があるか、およびテクスチャ除去イメージ前処理が実行されるべきかどうかを決定する。広範囲の探索戦略では、イメージ処理結果に基づきPMI検査パラメータを設定するが、後続の精密化ステップでは、これらのPMI検査パラメータを更新することができることに留意されたい。
最小予想プローブマークサイズは、予想プローブマークを指定する人間のイメージ結果を単純に調べることにより決定される(112)。ここで、イメージ結果対で指定されたプローブマークのバウンディングボックスの最小の矩形の面積を記録する。minProbeMarkAreaパラメータを探索する際の範囲を決定することに留意されたい−この範囲は、0.064×minimumExpectedProbeMarkRectangularAreaから10×minimumExpectedProbeMarkRectangularAreaまでとなるように定義される。
広範囲の探索戦略では、イメージ内の濃淡レベルを解析することにより、異なる検査ゾーンのそれぞれにおいてどの極性を検査するかを決定する(114)。この戦略では、それぞれのゾーン内の濃淡レベルのヒストグラムおよびそれぞれのゾーン内のそれぞれの人間により計算された結果の部分の濃淡レベルのヒストグラムを計算する(ここでは、プローブマークであると指定されたピクセルを除外することに留意されたい)。一番内側のゾーンについて、ゾーン背景ヒストグラムの極値とプローブマークヒストグラムの極値とを比較することによりプローブマークの極性を判定し、プローブマーク内の最小濃淡レベルが、背景の最小濃淡レベルよりも低い場合には、そのゾーン内の暗マークの検査を有効にし、逆に、プローブマークの最大濃淡レベルが、背景の最大濃淡レベルを超える場合には、そのゾーン内の明プローブマークの検査を有効にする。リングゾーン(一番内側の領域ではないゾーン)については、マークの最小および最大濃淡レベルを領域内のn番目に低いまたはn番目に大きい濃淡レベルと比較する−この場合、それぞれ25パーセンタイルの最も暗い濃淡レベルおよび25パーセンタイルの最も明るい濃淡レベルである。ここでは、PMI位置合わせを用いて、パッドゾーンの広がりを見つけることに留意されたい。また、この時点では、最適なPMI位置合わせパラメータは知られていないことに留意されたい。そこで、PMI位置合わせパラメータのすべての組合せ(useCompositeModelとuseFinestCoarseGranularityの4つの組合せすべて)を試みて、zonePolarityビットが最も少なくなる組合せを使用する。
本発明の戦略では、テクスチャ除去イメージ処理を実行するかどうかを自動的に決定する技術を使用する。この技術は、シーンの「テクスチャリネス(texturiness)」の尺度を計算することを伴う−この場合、これは、ソーベルマグニチュード(Sobel magnitude)イメージの平均である(上位25パーセンタイルの大きさのマグニチュード値を間引いた後)。この技術は、プローブマークの知られている位置を一意に使用する。プローブマークは、テクスチャ測定に影響すると予想されるため、ここでは、この計算を実行している間、プローブマークのまわりの領域を無視する。図1Bに示されているように、ストライプテクスチャのパッドについては、これは、ピクセルを、予想されるプローブマークと同じサイズの領域内にコピーし、また予想されるプローブマークと同じ線上でプローブマークの近傍内のイメージのピクセル上にコピーすることにより実行される。
次いで、この戦略では、これらのイメージ結果対(イメージが少ないほど処理にかかる時間が短いため)116のうち高々64個をランダムにサンプリングする。次いで、この戦略では、位置合わせパラメータ118のすべての組合せ(useFinestCoarseGranularity、doPreprocessingBeforeRegistration、およびuseCompositeModelからなる)を網羅的に試し、PMI位置合わせをイメージに対し実行し−この戦略は、位置合わせパラメータのそれぞれの選択について見つかったパッドの数を数える−次いで、位置合わせパラメータのすべての選択について見つかったパッドの最大数を決定する。次に、本発明の戦略は、最良の結果を与える位置合わせパラメータを決定するために、最大数よりも少ない見つかったパッドをもたらす(120)位置合わせパラメータの選択を間引く。次いで、この戦略は、検査パラメータ122の部分集合を網羅的に列挙する(この部分集合はすべて、zonePolarities−イメージ対を処理することにより決定された−の同じ選択を使用し、randomTextureParamsおよびlowAccuracyTextureRemovalの偶数値のみを使用することに留意されたい)。次いで、この戦略は、検査パラメータの選択のすべてを使用してすべてのイメージに対しPMIイメージ処理を実行し、検査パラメータ選択のそれぞれに対する比較結果ベクトルを計算する(124)。次に、この戦略は、比較発見的方法に従って比較結果ベクトルをソートする(126)。次に、この戦略は、検査パラメータ選択の「上位」25%を決定する(そして、「下位」75%を間引く)128。次に、この戦略は、結果の上位25%に隣接するパラメータ選択を網羅的に列挙する。最後に、最良の結果が見つかり、対応する最良のパラメータが返される(132)。
さらに、マシンビジョンツール処理を実行しないとどのような結果になるかを予測できるので、ある種のPMI処理を回避できる。例えば、PMI関数は、「minProbeMarkArea」という変数を持つ。小さな「minProbeMarkArea」に対応するPMI結果が、大きな「minProbeMarkArea」に対応するPMI結果にちょうど等しい場合、間にある「minProbeMarkAreas」のすべてが、同じ結果をもたらすと仮定することができる(小さな値と大きな値との間の領域内にプローブマークがないので)。変数のほとんどすべてに対する空間を網羅的に探索できるように、PMIパラメータのすべてが、離散的である(minProbeMarkAreaを除き)ことに留意されたい。minProbeMarkAreaについて、二分探索戦略が使用される−最初に、minProbeMarkAreaパラメータ値が、1.089、1.185921、0.918273、および0.843226×現在のminProbeMarkAreaである他の4つのminProbeMarkArea値を考えることにより探索される。
速度に関するパフォーマンスの理由から、マシンビジョンツールパラメータの候補組合せの広範囲にわたる集合が、イメージの部分集合に対し最初に実行されるサブサンプリングイメージ探索戦略を使用することができる。次いで、マシンビジョンツールパラメータの最良の候補組合せが選択され、イメージの集合全体を使用してビジョンツールパラメータの「最良の」組合せが精密化される(近傍探索を介して)。
図2を参照すると、イメージは、カメラなどのイメージ収集システムを使用して取得される(200)。イメージは、さらに、イメージの既存のデータベースから取得することもできる。イメージは、ユーザーが、パラメータの組合せを使用している間に、異常な結果、例えば、不正に検査された結果、または不正に特定された結果に気づいた場合に、本発明の方法により最初に考察されたイメージに加えられうる。このような場合、ユーザーは、イメージにマークを付け、イメージを異常な結果とともに、本発明の方法により考察されているイメージに追加し、対応するマークされたイメージをイメージの学習集合に追加し、次いで、パラメータの新しい組合せを再計算することができる。
取得されたイメージはマークされ(202)、これによりマシンビジョンツールによいパラメータ組合せが供給された場合にマシンビジョンツールにより得られる所望のイメージ結果を示す。これらの所望の結果は、例えば、1つまたは複数のイメージ特徴のサイズ、形状、および配置のユーザー側の認知を表す。これらは、所望の検査結果も表しうる。このようなマーキングは、最小の囲む矩形などのバウンディングボックスであってよい。このようなマーキングは、さらに、ユーザーによりトレースされるような物体の境界であってもよい。それとは別に、このようなマーキングは、接着パッドなどの物体の姿勢であってもよい。
次に、パラメータ組合せは、候補パラメータ組合せの集合から選択され、そのパラメータ組合せが、取得されたイメージとともに、マシンビジョンツールを実行する(204)ために入力として使用される(200)。この結果、複数の計算されたイメージ結果が得られる。
次いで、計算されたイメージ結果が、対応する所望のイメージ結果と比較され(206)、これにより、計算されたイメージ結果を形成するために使用されるパラメータ組合せに関連付けられている比較結果ベクトルを形成する(208)。
特定のパラメータ組合せに対応する比較結果ベクトルは、この方法の実行時に同じパラメータ組合せが複数回解析される場合に処理時間を短縮するためにキャッシュされることに留意されたい。
次に、現在のパラメータ組合せの結果として得られた現在の比較結果ベクトルは、現在の最良のパラメータ組合せの結果として得られた現在の最良の比較結果ベクトルと比較される(210)。
発見的比較により決定されるように(212)、現在の比較結果ベクトルが、現在の最良の比較結果ベクトルに比べて「よりよい」ものでない場合、現在の比較結果ベクトルに関連付けられている現在のパラメータ組合せは、保存されず、他のパラメータ組合せが選択される(214)。
発見的比較により決定されるように(216)、現在の比較結果ベクトルが、現在の最良の比較結果ベクトルに比べて「よりよい」ものである場合、現在の比較結果ベクトルに関連付けられている現在のパラメータ組合せは、新しい現在の最良のパラメータ組合せとして保存される(218)。次いで(214)、試すべきパラメータ組合せがほかにもある場合(220)、そのパラメータ組合せを使用して、さらに多くの計算されたイメージ結果を形成する(204)。試すべきパラメータ組合せがほかにない場合(222)、現在の最良のパラメータ組合せが、全体的な最良のパラメータ組合せとして与えられる(224)。
計算されたイメージ結果を所望のイメージ結果と比較する場合(206)、また所望のイメージ結果のマーキングが物体境界マーキングを含む場合に、図3の方法を使用することができる。
図3を参照すると、まず最初に、計算されたイメージ結果から境界が抽出され、マークされた所望のイメージ結果から候補の対応する境界が抽出され、これにより、境界毎に境界リスト1つずつ、2つの境界リストを形成する(300)。簡単のため、計算されたイメージ結果から抽出された境界リストは、list1と呼ばれ、所望のイメージ結果から抽出された境界リストは、list2と呼ばれる。
次に、それぞれのリストから1つ(list1から1つ、list2から1つ)とった、対応する境界の最も近い対が見つけられる(302)。次いで、最も近い対の間の距離が閾値距離と比較される(304)。最も近い対の間の距離が、閾値距離よりも小さい場合、その最も近い対を一致する対応する境界の「一致する」リストに追加する(306)。最も近い対の間の距離が、閾値距離よりも小さくない場合、「最も近い対」のそれぞれの境界をそれぞれの「見あたらない」リストに置く(308)。次いで、list1およびlist2から「最も近い対」を取り除き、ステップ300に戻る。list1またはlist2のいずれかに要素がない場合、尽きていないリストから要素を取り出して対応する「見あたらない」リスト上に置く(312)。2つの境界の間の距離は、一方の境界により囲まれている領域内の任意の点から他の境界により囲まれている最も近い点までの最大距離であると定義されることに留意されたい。
候補比較結果ベクトルは、以下の比較発見的方法を使用して比較される。どの比較結果ベクトルが「よりよい」かを決定するときに、最初に大きな差を見つけ、次いで中程度の差を見つけ、最後に小さな差を見つける。候補パラメータ集合によりもたらされる一方の比較結果ベクトルが、現在のパラメータ集合によりもたらされる他方の比較結果ベクトルに比べて「よりよい」場合、候補パラメータ集合を現在のパラメータ集合として保存する。
例えば、大きな差は、いくつかの重要な尺度の差および他の重要な尺度「位置合わせが前提条件である場合に、検査のため物体の位置合わせをする」、「正しく検査された物体の数」、「特に望ましくない故障モードの例の数」、余分な大きな物の数、欠損している大きな物の数の有意な差を含む。
好ましい実施形態では、余分な結果は、欠損している結果よりも重要であると考えられることに留意されたい。例えば、一方の比較結果ベクトルが、他方の比較結果ベクトルに比べて少ないイメージを余分な結果とともに有する場合、前者のほうがよいと考えられる。両方の比較結果ベクトルが、余分な結果とともに同じ数のイメージを有する場合、次いで、一方の比較結果ベクトルが、他方の比較結果ベクトルに比べて少ない個別の余分な結果を有する場合、前者のほうがよいと考えられる。両方の比較結果ベクトルが、同じ数の余分な結果イメージおよび余分な個別の結果を有する場合、次いで、一方の比較結果ベクトルが、他方の比較結果ベクトルにおいて閾値化定数×余分な結果の総面積よりも小さい余分な結果の総面積を有する場合、前者のほうがよいと考えられる。余分な結果イメージの数が同じであり、また個別の余分な結果の数が同じであり、また余分な結果の総面積が、2つの比較結果ベクトルの間でほぼ同じである場合、2つの比較結果ベクトル内の欠損している結果を調べる。
例えば、中程度の差は、余分な中程度の物の数、欠損している中程度の物の数を含む。
例えば、小さな差は、余分な小さな物の数、欠損している小さな物の数、幾何学的不一致の総数を含む。
例えば、プローブマーク検査の特定の場合において、図4に示されているように、大きな差は、パッドの境界上に余分なプローブマークがあるイメージの数を含む。
(検査パラメータの第1の現在の集合によりもたらされる)パッドの境界上に余分なプローブマークがあるイメージ数が、(検査パラメータの第2の候補集合によりもたらされる)パッドの境界上に余分なプローブマークがあるイメージの数に比べて著しく多い場合(400)、パラメータの第2の候補集合を現在の「最良の」パラメータ集合として保存する(402)。「著しく多い」というのは、例えば、ある場合における数が、1.025×他の数を超えることを意味する。
さもなければ(403)、第1のパラメータ集合によりもたらされる位置合わせ済みイメージの数が、第2のパラメータ集合404によりもたらされる位置合わせ済みイメージの数よりも少ない場合、第1のパラメータ集合は、「より悪い」ものであり、第2のパラメータ集合が、最良のものとして保存される(406)。そうでなければ、いずれのパラメータ集合も「よりよい」ものとして確定できない場合、比較結果ベクトルの次の異なる態様が考察される(408)。
図5を参照すると、第1の検査パラメータによりもたらされるコンピュータが見つけたプローブマークが所望の(マークされた)プローブマークと一致するイメージの数が、第2の検査パラメータによりもたされるコンピュータが見つけたプローブマークが所望のプローブマークと一致するイメージの数×閾値化定数よりも著しく小さい(例えば、第1の値が0.975×第2の値よりも小さい)場合(500)、第1の検査パラメータは「よりよい」ものであり、したがって、現在の「最良の」パラメータ集合として保存される(502)。
さもなければ(503)、第1の検査パラメータによりもたらされるコンピュータが見つけたプローブマークが所望の(マークされた)プローブマークと一致するイメージの数が、第2の検査パラメータによりもたされるコンピュータが見つけたプローブマークが所望のプローブマークと一致するイメージの数×閾値化定数よりも著しく大きい(例えば、第1の値が1/0.975×第2の値よりも大きい)場合(504)、第1の検査パラメータは「より悪い」ものであり、第2の検査パラメータは、現在の「最良の」パラメータ集合として保存される(506)。そうでなければ、いずれのパラメータ集合も「よりよい」ものとして確定できない場合、比較結果ベクトルの次の異なる態様が考察される(508)。
どの比較結果ベクトルがよりよいものであるかを決定する基準を使用することで、最良の比較結果ベクトルを決定するだけでなく、比較結果ベクトルをソートすることもできることに留意されたい。
PMI分野における平均的技術のうちの1つは、さらに、PMIアプリケーションに特有の比較結果ベクトルの態様を比較する装置方法を促進することができ、図4および5に示されているような前記の比較は、方法で大きな差を最初に調べ、次いで中程度の差を調べ、そして小さな差を調べる本発明による比較結果ベクトルを比較するための発見的方法を開発するより一般的なプロセスの具体例として掲載されている。例えば、図4および5は、大きな差であると考えることが可能である。
当業者であれば、請求項に記載されている本発明の精神および範囲から逸脱することなく、他の修正および実装を思い付くであろう。したがって、上記の説明は、請求項において示されている場合を除き本発明を制限することを意図していない。
本発明の方法の一般的アプローチを示す流れ図である。 PMIに適用されるような広範囲の探索戦略を示す流れ図である。 プローブマークの周りの領域を無視するために予想されるプローブマークと同じサイズの領域内にピクセルをコピーする方法を示す図である。 本発明の方法のさらなる詳細を示す流れ図である。 「一致する」リストと「見あたらない」リストの作成を示す流れ図である。 比較結果ベクトルを比較するため発見的プロセスに含める比較の対の言葉で説明した実施例である。 比較結果ベクトルを比較するため発見的プロセスに含める比較の対の言葉で説明した他の実施例である。

Claims (40)

  1. マシンビジョンツールパラメータを自動的に決定する方法であって、
    少なくとも1つのイメージを形成し、前記少なくとも1つのイメージのそれぞれのイメージに対する所望のイメージ結果を形成し、それぞれの所望のイメージ結果が前記少なくとも1つのイメージのそれぞれのイメージ内の物体の少なくとも1つの所望の尺度を含むことと、
    マシンビジョンツールパラメータの組合せを選択することと、
    マシンビジョンツールパラメータの前記組合せを使用して前記少なくとも1つのイメージ上で前記マシンビジョンツールを実行し、前記少なくとも1つのイメージのそれぞれのイメージに対する計算されたイメージ結果を形成し、それぞれの計算されたイメージ結果が複数の計算された尺度を含むことと、
    それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの前記組合せに関連付けられている比較結果ベクトルを形成することと、
    マシンビジョンツールパラメータの前記組合せに関連付けられている前記比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算された比較結果ベクトルと比較し、マシンビジョンツールパラメータのどの組合せがよりよいものかを判定し、それによりビジョンツールパラメータの現在最良の組合せを構成することとを含むことを特徴とする方法。
  2. マシンビジョンツールパラメータの前記現在の最良の組合せを保存することと、
    評価すべきパラメータの組合せがそれ以上ない場合に、最良の全体的なマシンビジョンツールパラメータの組合せとしてマシンビジョンツールパラメータの前記現在の最良の組合せを構成することとをさらに含むことを特徴とする請求項1に記載の方法。
  3. 前記少なくとも1つのイメージのそれぞれのイメージに対する所望のイメージ結果を形成することは、
    ユーザー側で、前記少なくとも1つのイメージをマークして、マークされたイメージを構成し、それぞれのマークされたイメージは前記イメージ内のそれぞれの物体の配置および広がりを示すマーキングを持つようにすることを可能にすることと、
    前記マーキングを抽出して、前記所望のイメージ結果を形成し、前記イメージ内の前記少なくとも1つの物体の少なくとも所望の尺度を形成することとを含むことを特徴とする請求項1に記載の方法。
  4. 前記マーキングは、バウンディングボックスであることを特徴とする請求項3に記載の方法。
  5. 前記バウンディングボックスは、軸を揃えたバウンディングボックスであり、4つの尺度により指定されることを特徴とする請求項4に記載の方法。
  6. 前記4つの尺度は、
    左上側X、左上側Y、右下側X、右下側Yであることを特徴とする請求項5に記載の方法。
  7. 前記バウンディングボックスは、回転されたバウンディングボックスであり、5つの尺度により指定されることを特徴とする請求項4に記載の方法。
  8. 前記5つの尺度は、
    左上側X、左上側Y、右下側X、右下側Y、および前記バウンディングボックスの左上側コーナーを中心とする前記バウンディングボックスの回転を表す回転尺度であることを特徴とする請求項7に記載の方法。
  9. 前記バウンディングボックスは、最小の囲む矩形であることを特徴とする請求項4に記載の方法。
  10. 前記マーキングは、物体境界にそってトレースされた線であることを特徴とする請求項3に記載の方法。
  11. 前記少なくとも1つのイメージのそれぞれのイメージの中の物体の前記所望の尺度は、前記少なくとも1つのイメージ内の特徴の姿勢を含むことを特徴とする請求項1に記載の方法。
  12. 前記姿勢は、6つの尺度により特徴付けられることを特徴とする請求項11に記載の方法。
  13. 多数の利用可能なマシンビジョンツールパラメータの組合せの数だけ繰り返されることを特徴とする請求項1に記載の方法。
  14. イメージの集合に対し実行される方法であって、前記少なくとも1つのイメージが前記集合の一要素であることを特徴とする請求項1に記載の方法。
  15. イメージ対の集合を生成する方法であって、それぞれのイメージ対は計算されたイメージ結果とマークされたイメージを含むことを特徴とする請求項3に記載の方法。
  16. 前記マシンビジョンツールパラメータの組合せを選択することは、
    複数の所望のイメージ結果を使用してマシンビジョンツールパラメータの組合せを推定することを含むことを特徴とする請求項1に記載の方法。
  17. 前記マシンビジョンツールパラメータの前記組合せに関連付けられている前記比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算された比較結果ベクトルと比較することは、
    結果比較発見的方法を使用して前記比較結果ベクトルを前に計算されている比較結果ベクトルと比較することを含むことを特徴とする請求項1に記載の方法。
  18. 前記結果比較発見的方法は、
    最初に大きな差を見つけ、次いで中程度の差を見つけ、次いで小さな差を見つけることを含むことを特徴とする請求項17に記載の方法。
  19. 前記結果比較発見的方法は、
    前記比較結果ベクトルの態様を重要度の下がる順に比較することを含むことを特徴とする請求項17に記載の方法。
  20. 大きな差がある場合には、前記大きな差に関してよりよい比較結果ベクトルを選好し、大きな差がない場合には、前記中程度の差を見つけることを特徴とする請求項18に記載の方法。
  21. 中程度の差がある場合には、前記中程度の差に関してよりよい比較結果ベクトルを選好し、中程度の差がない場合には、前記小さな差を見つけることを特徴とする請求項20に記載の方法。
  22. 小さな差がある場合には、前記小さな差に関してよりよい比較結果ベクトルを選好することを特徴とする請求項21に記載の方法。
  23. 前記大きな差は、
    位置合わせが前提条件である場合に検査のため物体の位置を合わせること、正しく検査された物体の数、特に望ましくない故障モードの例の数、余分な大きな物の数、および欠損している大きな物の数のうちの少なくとも1つを含むことを特徴とする請求項18に記載の方法。
  24. 前記中程度の差は、
    余分な中程度の物の数、および欠損している中程度の物の数のうちの少なくとも1つを含むことを特徴とする請求項18に記載の方法。
  25. 前記小さな差は、
    余分な小さな物の数、欠損している小さな物の数、および幾何学的不一致の総数のうちの少なくとも1つを含むことを特徴とする請求項18に記載の方法。
  26. 前記マシンビジョンツールパラメータの前記組合せを使用して少なくとも1つのイメージ上で前記マシンビジョンツールを実行することは、
    前記マシンビジョンツールを複数のイメージ上で実行することを含むことを特徴とする請求項1に記載の方法。
  27. 前記それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの前記組合せに関連付けられている比較結果ベクトルを形成することは、
    前記所望のイメージ結果内の境界を対応する計算されたイメージ結果内の対応する境界と比較することを含むことを特徴とする請求項1に記載の方法。
  28. 前記所望のイメージ結果内の境界を対応する計算されたイメージ結果内の対応する境界と比較することは、
    前記所望のイメージ結果から第1の境界リストを、前記対応する計算されたイメージ結果から第2の境界リストを作成することと、
    前記第1の境界リストと前記第2の境界リストのそれぞれからの境界1つずつからなる、境界の最も近い対を決定することと、
    前記境界の最も近い対が、閾値距離尺度よりも近いかどうかを判定することと、
    前記境界の最も近い対が前記閾値距離尺度よりも近い場合、前記境界の最も近い対を一致リストに追加することとを含むことを特徴とする請求項27に記載の方法。
  29. 前記境界の最も近い対が前記閾値距離尺度よりも近くない場合、前記境界の最も近い対を「見あたらない」リストに追加することをさらに含むことを特徴とする請求項28に記載の方法。
  30. 前記第1の境界リストと前記第2の境界リストのそれぞれからの境界1つずつからなる境界の最も近い対を再び決定する前に前記閾値距離尺度よりも近くない前記境界の最も近い対を考察対象から外すことをさらに含むことを特徴とする請求項29に記載の方法。
  31. 前記閾値距離尺度よりも近くない前記境界の最も近い対を考察対象から外した結果、空の第1の境界リストまたは空の第2の境界リストが得られる場合、空ではない前記第1の境界リストおよび空ではない前記第2の境界リストの任意の境界リストを前記「見あたらない」リストに含めることをさらに含むことを特徴とする請求項30に記載の方法。
  32. 前記それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの前記組合せに関連付けられている比較結果ベクトルを形成することは、
    前記所望のイメージ結果内のバウンディングボックスを対応する計算されたイメージ結果内の対応するバウンディングボックスと比較することを含むことを特徴とする請求項1に記載の方法。
  33. 前記所望のイメージ結果内のバウンディングボックスを対応する計算されたイメージ結果内の対応するバウンディングボックスと比較することは、
    前記所望のイメージ結果から第1のバウンディングボックスリストを、前記対応する計算されたイメージ結果から第2のバウンディングボックスリストを作成することと、
    前記第1のバウンディングボックスリストと前記第2のバウンディングボックスリストのそれぞれからのバウンディングボックス1つずつからなる、バウンディングボックスの最も近い対を決定することと、
    前記バウンディングボックスの最も近い対が、閾値距離尺度よりも近いかどうかを判定することと、
    前記バウンディングボックスの最も近い対が、前記閾値距離尺度よりも近い場合、前記バウンディングボックスの最も近い対を一致リストに追加することとを含むことを特徴とする請求項32に記載の方法。
  34. さらに、
    前記バウンディングボックスの最も近い対が前記閾値距離尺度よりも近くない場合、前記バウンディングボックスの最も近い対を「見あたらない」リストに追加することを含むことを特徴とする請求項33に記載の方法。
  35. 前記第1のバウンディングボックスリストと前記第2のバウンディングボックスリストのそれぞれからのバウンディングボックス1つずつからなるバウンディングボックスの最も近い対を再び決定する前に前記閾値距離尺度よりも近くない前記バウンディングボックスの最も近い対を考察対象から外すことをさらに含むことを特徴とする請求項34に記載の方法。
  36. 前記閾値距離尺度よりも近くない前記バウンディングボックスの最も近い対を考察対象から外した結果、空の第1のバウンディングボックスリストまたは空の第2のバウンディングボックスリストが得られる場合、空ではない前記第1のバウンディングボックスリストおよび空ではない前記第2のバウンディングボックスリストの任意のバウンディングボックスリストを前記「見あたらない」リストに含めることをさらに含むことを特徴とする請求項35に記載の方法。
  37. 前記それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、マシンビジョンツールパラメータの前記組合せに関連付けられている比較結果ベクトルを形成することは、
    前記比較結果ベクトルの一態様として、正しい一致イメージの数がビジョンツールパラメータの前記組合せによりもたらされる前記計算されたイメージ結果がそれぞれ一致閾値の範囲内で前記対応する所望のイメージ結果と一致するイメージの個数である、正しい一致イメージの数を組み込むことと、
    前記比較結果ベクトルの一態様として、欠損している結果イメージの数がビジョンツールパラメータの前記組合せによりもたらされる前記計算されたイメージ結果のいくつかが一致閾値の範囲内で前記所望のイメージ結果と一致しないイメージの個数である、欠損している結果イメージの数を組み込むことと、
    前記比較結果ベクトルの一態様として、余分な結果イメージの数がビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果の数が所望のイメージ結果の数を超えるイメージの個数である、余分な結果イメージの数を組み込むことと、
    前記比較結果ベクトルの一態様として、正しい一致インスタンスの数がビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果が一致閾値の範囲内で対応する所望のイメージ結果と一致するインスタンスの個数である、正しい一致インスタンスの数を組み込むことと、
    前記比較結果ベクトルの一態様として、欠損している結果インスタンスの数が一致閾値の範囲内で対応する所望のイメージ結果と一致するビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果がないインスタンスの個数である、欠損している結果インスタンスの数を組み込むことと、
    前記比較結果ベクトルの一態様として、余分な結果インスタンスの数が所望のイメージ結果のどれとも対応しないビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果のインスタンスの数である、余分な結果インスタンスの数を組み込むことと、
    前記比較結果ベクトルの一態様として、欠損している結果インスタンスの総面積が一致閾値の範囲内で対応する所望のイメージ結果と一致するビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果がないインスタンスの総面積である、欠損している結果インスタンスの総面積を組み込むことと、
    前記比較結果ベクトルの一態様として、欠損している結果インスタンスの最大面積が一致閾値の範囲内で対応する所望のイメージ結果と一致するビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果がないすべてのインスタンスの間の最大面積である、欠損している結果インスタンスの最大面積を組み込むこと、
    前記比較結果ベクトルの一態様として、余分な結果インスタンスの総面積が所望のイメージ結果のどれとも対応しないビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果のインスタンスの総面積である、余分な結果インスタンスの総面積を組み込むことと、
    前記比較結果ベクトルの一態様として、余分な結果インスタンスの最大面積が所望のイメージ結果のどれとも対応しないビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果のすべてのインスタンスの間の最大面積である、余分な結果インスタンスの最大面積を組み込むことと、
    前記比較結果ベクトルの一態様として、正しい一致インスタンスの総面積がビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果が一致閾値の範囲内で対応する所望のイメージ結果と一致するインスタンスの総面積である、正しい一致インスタンスの総面積を組み込むことと、
    前記比較結果ベクトルの一態様として、正しい一致インスタンスの最大面積がビジョンツールパラメータの前記組合せによりもたらされる計算されたイメージ結果が一致閾値の範囲内で対応する所望のイメージ結果と一致するすべてのインスタンスの間の最大面積である、正しい一致インスタンスの最大面積を組み込むことと、
    前記比較結果ベクトルの一態様として、正しい位置合わせイメージの数がビジョンツールパラメータの前記組合せによりもたらされる前記計算されたイメージ結果がすべて一緒に位置合わせ閾値の範囲内で前記対応する所望のイメージ結果と一致するイメージの個数である、正しい位置合わせイメージの数を組み込むことと、
    前記比較結果ベクトルの一態様として、前記の態様のうちの少なくとも1つに基づく導出量を組み込むことと、
    のうちの少なくとも1つを含むことを特徴とする請求項1に記載の方法。
  38. マシンビジョンツールパラメータを自動的に決定する方法であって、
    少なくとも1つのイメージ、および前記少なくとも1つのイメージのそれぞれのイメージに対する所望のイメージ結果を形成し、前記所望のイメージ結果は前記少なくとも1つのイメージのそれぞれのイメージ内の物体の少なくとも1つの所望の尺度を含むようにすることと、
    前記少なくとも1つのイメージ、および前記少なくとも1つのイメージのそれぞれのイメージに対する前記所望のイメージ結果を使用し、コンピュータにマシンビジョンツールパラメータの最適な集合を自動的に決定させることとを含むことを特徴とする方法。
  39. マシンビジョンツールパラメータを自動的に決定する方法であって、
    複数のイメージを形成し、前記複数のイメージのそれぞれのイメージに対する所望のイメージ結果を形成し、それぞれの所望のイメージ結果は前記複数のイメージのそれぞれのイメージ内の物体の少なくとも1つの所望の尺度を含むことと、
    マシンビジョンツールパラメータの組合せを選択することと、
    前記マシンビジョンツールパラメータの組合せを使用して前記複数のイメージ上で前記マシンビジョンツールを実行し、前記複数のイメージのそれぞれのイメージに対する計算されたイメージ結果を形成し、それぞれの計算されたイメージ結果は複数の計算された尺度を含むことと、
    それぞれの所望のイメージ結果を対応する計算されたイメージ結果と比較し、前記マシンビジョンツールパラメータの組合せに関連付けられている比較結果ベクトルを形成することと、
    前記マシンビジョンツールパラメータの組合せに関連付けられている前記比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算された比較結果ベクトルと比較し、どのマシンビジョンツールパラメータの組合せがよりよいものかを判定し、それによりビジョンツールパラメータの現在最良の組合せを構成することと、
    前記マシンビジョンツールパラメータの現在の最良の組合せを保存することと、
    評価すべきパラメータの組合せがそれ以上ない場合に、最良の全体的なマシンビジョンツールパラメータの組合せとして前記マシンビジョンツールパラメータの現在の最良の組合せを構成することとを含むことを特徴とする方法。
  40. 前記マシンビジョンツールパラメータの組合せに関連付けられている前記比較結果ベクトルをマシンビジョンツールパラメータの前の組合せに関連付けられている前に計算された比較結果ベクトルと比較することは、
    結果比較発見的方法を使用して前記比較結果ベクトルを前に計算されている比較結果ベクトルと比較することを含むことを特徴とする請求項39に記載の方法。
JP2009502992A 2006-03-29 2007-03-28 マシンビジョンツールパラメータの自動決定 Active JP4886844B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/392,115 US8126253B2 (en) 2005-11-12 2006-03-29 Automatically determining machine vision tool parameters
US11/392,115 2006-03-29
PCT/US2007/007759 WO2007126947A2 (en) 2006-03-29 2007-03-28 Automatically determining machine vision tool parameters

Publications (2)

Publication Number Publication Date
JP2009531784A true JP2009531784A (ja) 2009-09-03
JP4886844B2 JP4886844B2 (ja) 2012-02-29

Family

ID=38656061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009502992A Active JP4886844B2 (ja) 2006-03-29 2007-03-28 マシンビジョンツールパラメータの自動決定

Country Status (4)

Country Link
US (1) US8126253B2 (ja)
EP (1) EP1999686A4 (ja)
JP (1) JP4886844B2 (ja)
WO (1) WO2007126947A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016128810A (ja) * 2014-12-29 2016-07-14 ダッソー システムズDassault Systemes 奥行きカメラを校正する方法
US9665803B2 (en) 2013-01-17 2017-05-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2017096939A (ja) * 2015-11-12 2017-06-01 コグネックス・コーポレイション ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0809037D0 (en) 2008-05-19 2008-06-25 Renishaw Plc Video Probe
JP5509773B2 (ja) * 2009-01-21 2014-06-04 オムロン株式会社 パラメータ決定支援装置およびパラメータ決定支援プログラム
JP5472976B2 (ja) * 2009-08-18 2014-04-16 Necソフト株式会社 対象物検出装置、対象物検出方法、プログラムおよび記録媒体
US9177222B2 (en) 2012-11-05 2015-11-03 Mitutoyo Corporation Edge measurement video tool and interface including automatic parameter set alternatives
DE102013209800A1 (de) * 2013-05-27 2014-11-27 Dr. Johannes Heidenhain Gmbh Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array
BR112017001592A2 (pt) 2014-07-25 2017-11-21 Avery Dennison Corp sistemas e métodos de autenticação para consumidores
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
DE102017000856A1 (de) * 2017-01-31 2018-08-02 Seidenader Maschinenbau Gmbh Verfahren zur computergestützten Konfiguration eines Inspektionssystems
CN111091022A (zh) * 2018-10-23 2020-05-01 宏碁股份有限公司 机器视觉的效能评估方法与系统
US11568567B2 (en) * 2020-07-31 2023-01-31 Zebra Technologies Corporation Systems and methods to optimize performance of a machine vision system
DE112022002428T5 (de) * 2021-04-30 2024-02-15 Zebra Technologies Corporation Systeme und verfahren zum interagieren mit überlappenden bereichen von interesse in maschinellen bildverarbeitungsanwendungen
US11966569B2 (en) * 2021-04-30 2024-04-23 Zebra Technologies Corporation Systems and methods for interacting with overlapping regions of interest in machine vision applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305743A (ja) * 1996-05-20 1997-11-28 Toshiba Corp 人物顔動作検出方式
JP2005258609A (ja) * 2004-03-10 2005-09-22 Yokogawa Electric Corp 画像処理手順探索方法
JP2006011270A (ja) * 2004-06-29 2006-01-12 Nec Corp 画像パターン補正方法、及びそれを適用した模擬画像生成方法、並びにパターン外観検査方法
JP2006258516A (ja) * 2005-03-16 2006-09-28 Hitachi High-Technologies Corp 形状測定装置および形状測定方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119431A (ja) * 1992-10-03 1994-04-28 Ricoh Co Ltd ワイヤボンダー等におけるパターン認識方法及び装置
US6424734B1 (en) 1998-04-03 2002-07-23 Cognex Corporation Fiducial mark search using sub-models
US6240208B1 (en) 1998-07-23 2001-05-29 Cognex Corporation Method for automatic visual identification of a reference site in an image
US6327393B1 (en) 1998-08-17 2001-12-04 Cognex Corporation Method and apparatus to transform a region within a digital image using a deformable window
JP2001022926A (ja) * 1999-07-06 2001-01-26 Mitsubishi Electric Corp 画像認識方法および画像認識装置
US6577758B1 (en) 1999-09-24 2003-06-10 Cognex Technology And Investment Corporation Image position detection technique in which input parameters can be easily determined
US6323776B1 (en) * 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
US6829371B1 (en) 2000-04-29 2004-12-07 Cognex Corporation Auto-setup of a video safety curtain system
US7062093B2 (en) 2000-09-27 2006-06-13 Mvtech Software Gmbh System and method for object recognition
US6748110B1 (en) * 2000-11-09 2004-06-08 Cognex Technology And Investment Object and object feature detector system and method
EP1425729B1 (en) * 2001-08-23 2014-06-11 Fei Company Graphical automated machine control and metrology
US6993177B1 (en) * 2001-11-02 2006-01-31 Cognex Technology And Investment Corporation Gauging based on global alignment and sub-models
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US7545949B2 (en) 2004-06-09 2009-06-09 Cognex Technology And Investment Corporation Method for setting parameters of a vision detector using production line information
JP2004126774A (ja) * 2002-09-30 2004-04-22 Toshiba Corp パターン認識装置
JP4206723B2 (ja) * 2002-10-11 2009-01-14 オムロン株式会社 画像処理方法および画像処理装置
US7522762B2 (en) * 2003-04-16 2009-04-21 Inverness Medical-Biostar, Inc. Detection, resolution, and identification of arrayed elements
US20050031191A1 (en) 2003-08-04 2005-02-10 Mitutoyo Corporation Methods and apparatus for inspection of lines embedded in highly textured material
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7636449B2 (en) 2004-11-12 2009-12-22 Cognex Technology And Investment Corporation System and method for assigning analysis parameters to vision detector using a graphical interface
EP1914666A3 (en) 2006-03-24 2008-05-07 MVTec Software GmbH System and methods for automatic parameter determination in machine vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305743A (ja) * 1996-05-20 1997-11-28 Toshiba Corp 人物顔動作検出方式
JP2005258609A (ja) * 2004-03-10 2005-09-22 Yokogawa Electric Corp 画像処理手順探索方法
JP2006011270A (ja) * 2004-06-29 2006-01-12 Nec Corp 画像パターン補正方法、及びそれを適用した模擬画像生成方法、並びにパターン外観検査方法
JP2006258516A (ja) * 2005-03-16 2006-09-28 Hitachi High-Technologies Corp 形状測定装置および形状測定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665803B2 (en) 2013-01-17 2017-05-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2016128810A (ja) * 2014-12-29 2016-07-14 ダッソー システムズDassault Systemes 奥行きカメラを校正する方法
JP2017096939A (ja) * 2015-11-12 2017-06-01 コグネックス・コーポレイション ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法
US10452949B2 (en) 2015-11-12 2019-10-22 Cognex Corporation System and method for scoring clutter for use in 3D point cloud matching in a vision system

Also Published As

Publication number Publication date
WO2007126947A3 (en) 2008-07-10
US8126253B2 (en) 2012-02-28
EP1999686A4 (en) 2015-07-01
EP1999686A2 (en) 2008-12-10
JP4886844B2 (ja) 2012-02-29
WO2007126947A2 (en) 2007-11-08
US20110317906A1 (en) 2011-12-29

Similar Documents

Publication Publication Date Title
JP4886844B2 (ja) マシンビジョンツールパラメータの自動決定
JP6632193B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP4933771B2 (ja) 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法
JP3549725B2 (ja) 画像処理装置
CN111539908B (zh) 对样本的缺陷检测的方法及其系统
US7340089B2 (en) Geometric pattern matching using dynamic feature combinations
TW201830006A (zh) 用於在具有深堆疊層之晶圓中訓練及施加缺陷分類器之系統及方法
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN101454798A (zh) 红眼检测仪器、红眼检测方法和红眼检测程序
US6993177B1 (en) Gauging based on global alignment and sub-models
KR20220117328A (ko) 금속 조직의 상의 분류 방법, 금속 조직의 상의 분류 장치, 금속 조직의 상의 학습 방법, 금속 조직의 상의 학습 장치, 금속 재료의 재료 특성 예측 방법 및 금속 재료의 재료 특성 예측 장치
CN108320799B (zh) 一种用于侧向流纸条疾病诊断的图像分析与识别方法
US20090116731A1 (en) Method and system for detection of concha and intertragal notch point in 3D undetailed ear impressions
JP2001188906A (ja) 画像自動分類方法及び画像自動分類装置
CN111126300A (zh) 一种人体图像检测方法、装置和电子设备及可读存储介质
JP2006292615A (ja) 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
CN112233161B (zh) 手部图像深度确定方法、装置、电子设备及存储介质
CN114913112A (zh) 晶圆双边缘检测方法和装置及设备
JP2008116206A (ja) パターン寸法測定装置、方法及びプログラム
JP2007198968A (ja) 画像分類方法及び画像分類装置
JP2009157555A (ja) 画像解析プログラム、画像解析装置、および画像解析方法
JP2018005505A (ja) 画像認識パラメータ設定装置、画像認識パラメータ設定方法、および画像認識パラメータ設定プログラム
JP4550398B2 (ja) 一連の画像に現れる物体の動きを表現する方法、一連の画像中の画像における物体の選択を識別する方法、画像に対応する信号を処理することによって一連の画像を探索する方法、及び装置
JP2009059047A (ja) 対象物検出装置、対象物検出方法、および対象物検出プログラム
JPWO2014178241A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110407

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110414

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110509

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110607

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4886844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250