JP2005283577A - フィードバックを提供するための検査システム及び方法 - Google Patents

フィードバックを提供するための検査システム及び方法 Download PDF

Info

Publication number
JP2005283577A
JP2005283577A JP2005078437A JP2005078437A JP2005283577A JP 2005283577 A JP2005283577 A JP 2005283577A JP 2005078437 A JP2005078437 A JP 2005078437A JP 2005078437 A JP2005078437 A JP 2005078437A JP 2005283577 A JP2005283577 A JP 2005283577A
Authority
JP
Japan
Prior art keywords
image
parameter
image data
inspection system
change information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005078437A
Other languages
English (en)
Inventor
Nasreen Chopra
ナスリーン・チョプラ
Jonathan Qiang Li
ジョナサン・キアン・リ
Izhak Baharav
イツァク・バハラヴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agilent Technologies Inc
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Publication of JP2005283577A publication Critical patent/JP2005283577A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Input (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】画像収集検査システムに自動的に調節を加えること
【解決手段】検査システム(100)はフィードバック機構を用いて対象物(130)の特徴を検査する。検査システム(100)は、対象物(130)を表す画像データ(145又は165)を受信するプロセッサ(150)を含む。プロセッサ(150)は、画像データ(145又は165)からパラメータ変更情報(450)を求めて、パラメータ変更情報(450)でもって画像データ(145又は165)の生成中に使用される画像パラメータ(400又は600)を変更する。変更された画像パラメータ(400又は600)は、対象物(130)を表す次の画像データ(145又は165)の生成中に使用される。
【選択図】図4

Description

本発明は概して、画像収集検査システムの分野に関する。より具体的には、本発明はフィードバック機構を使用した調整可能な画像収集検査システムに関する。
検査システムは、多くの異なるタイプの産業において広範囲の様々な目的に使用されている。例えば、製造業では一般に自動検査システムを使用して、品質管理目的のためにプリント回路基板(PCB)上の半田接合部および他のコンポーネントなどの対象物を検査する。多くの自動検査システムにおいて、検査された対象物を数個のカテゴリのうちの1つに分類した結果が出力される。一例として、PCB(プリント回路基板)製造業では、コンポーネントは存在するか又はしないかとして分類され、半田接合部は良好または不良として分類され得る。対象物の最終分類は、対象物の画像を取得して処理した後に作成される。
従来、検査システムにおける情報の流れは、画像収集システムから画像処理システムを経て分類装置までという1方向である。検査システム全体の性能は、分類装置の出力によって測定される。しかしながら、分類装置の性能は、画像収集システムと画像処理システムの性能によって直接的に影響を受ける。したがって、システム全体の性能を改善するために、一般に、画像収集システムと画像処理システムに調節が加えられる。例えば、検査システム間の照明強度の変動、PCBの設計とレイアウトにおける変動、異なるPCB間の厚さの変動、異なる対象物間の材質の変動、及び顧客特定の要件を補償するために、調節を加えることができる。
米国特許出願第10/392,758号
現在、検査システムのオペレータはこのような調節を手動で行っている。手動の調整プロセスは、労働集約的であり、時間を浪費し、エラーを起こしやすい。したがって、分類段階などの検査の後半段階からの情報に基づいて、画像収集システムと画像処理システムに自動的に調節を加えることができる検査システムが必要とされている。
本発明の実施形態は、対象物の検査の間にフィードバックを提供するための検査システムと方法を提供する。検査システムは、画像をキャプチャするための装置と、対象物を表わす画像データを受信するプロセッサとを含む。プロセッサは、画像データからパラメータ変更情報を求めて、画像データを生成する間に使用される画像パラメータをパラメータ変更情報で変更するように動作可能である。変更された画像パラメータは、対象物を表わす次の画像データを生成する間に使用される。
一実施形態では、画像パラメータは画像収集パラメータである。画像収集パラメータの例には、照明の強度、照明の角度、又は照明の持続時間などの照明パラメータ、対象物と対象物の画像をキャプチャするように動作可能なセンサとの間の位置関係などの画像ビューパラメータ、及びセンサの露光継続時間またはセンサの解像度などのセンサパラメータが含まれる。フィードバックの一実施形態では、プロセッサは、画像データを処理し、処理された画像データに基づいて画像収集パラメータに関するパラメータ変更情報を計算するように動作可能な画像プロセッサである。別のフィードバック実施形態では、プロセッサは、分類を出力し、分類に基づいて画像収集パラメータに関するパラメータ変更情報を計算するように動作可能な分類プロセッサである。例えば、画像収集パラメータの元の設定の結果として分類が正しくない場合、分類プロセッサは、パラメータ変更情報を計算し、パラメータ変更情報に基づいて、正しくない分類を訂正し、画像収集パラメータの元の設定を変更された設定に変更するように動作可能である。
別の実施形態では、画像パラメータは画像処理パラメータである。画像処理パラメータの例には、画像データを処理するために使用されるアルゴリズムのタイプなどの処理タイプパラメータ、及び画像データを処理するために使用されるアルゴリズムの複雑さなどの処理複雑性パラメータが含まれる。この実施形態では、プロセッサは、分類を出力し、画像処理パラメータに関するパラメータ変更情報を計算するように動作可能な分類プロセッサである。
検査システムの異なる部分間でフィードバックを提供することにより、リアルタイムで自動的に調節を加えることができ、信頼性が改善して速度が向上する。さらに、本発明は上述の特徴および利点に加えて、又はこれらの特徴および利点の代わりに、他の特徴および利点も実施形態に提供する。これらの特徴と利点の多くは、添付図面に関連した以下の説明から明らかになる。
本発明によれば、画像収集検査システムの異なる部分間でフィードバックを提供することにより、リアルタイムで自動的に調節を加えることができ、画像収集検査システムの信頼性が改善して速度が向上する。
添付図面を参照しながら、開示される本発明について説明する。添付図面は本発明の実施形態の例を示し、参照により本明細書に組み込まれる。
図1は、リアルタイムで内部フィードバックを提供して自動調節を加えることができる検査システム100の略図である。検査システム100は、例えば、自動プリント回路基板検査システム、他の製造検査システム、空港警備で使用される手荷物検査システム、又は他のタイプの検査システムとすることができる。検査システム100は、対象物130を照明するための照明源110と、対象物130の画像をキャプチャし、対象物130の画像を表す生の画像データ145を生成するための複数のピクセルを含むセンサ140とを有する画像収集システム120を含む。一実施形態では、照明源110は、X線ビームを生成し、対象物130を介してセンサ140にX線ビームを投射するX線源である。別の実施形態では、照明源110は、対象物130へ向けて光を放射する光源である。光は対象物130の表面から反射され、センサ140によって受光される。他の実施形態では、他の照明源110又は照明源110の組み合わせを用いて、対象物130を照明することもでき、種々のタイプのセンサ140を用いて、対象物130の画像(単数または複数)をキャプチャすることができる。
さらに検査システム100は、対象物130の画像を表わす生の画像データ145を受信するためのプロセッサ150を含む。プロセッサ150は、マイクロプロセッサ、マイクロコントローラ、プログラマブル論理回路、又は本明細書に説明される機能を実行できる他のタイプの処理装置とすることができる。さらに、プロセッサ150は多数のプロセッサを含んでもよいし、或いは1つ又は複数の処理要素を有する単一のプロセッサであってもよい(本明細書では別個のプロセッサを基準とする)。例えば、図1に示されるように、プロセッサ150は、画像プロセッサ160と分類プロセッサ170を含む。
画像プロセッサ160は、センサ140から生の画像データ145を入力として受信するように接続され、生の画像データ145を処理して、処理された画像データ165を出力するように動作する。例えば、センサ140がカラーフィルタアレイを組み込んだカラーセンサである場合、画像プロセッサ160は画像のデモザイク処理(demosaic)を行うことができる。デモザイク処理は、各ピクセル位置に関して欠落した色値を、隣接するピクセルから補間するプロセスである。今日、当該技術分野において、いくつかのデモザイク処理方法が知られている。制限ではなく一例として、種々のデモザイク処理方法は、ピクセル複製、双一次補間、及び中央値補間を含む。画像プロセッサ160が行なうことができる他のタイプの処理には、ノイズのフィルタリング、画像強調、三次元画像またはX線画像に関する画像の再構成、及び関心のある対象物130の特徴の抽出が含まれる。本明細書で使用される場合、「対象物の特徴」という語句には、対象物130の測定、対象物130の表面上または対象物130の中のコンポーネント、又は対象物130の他の印が含まれることを理解されたい。3次元画像の画像再構成プロセスの例は、同時継続中であり、同一の譲受人に譲渡された特許文献1(代理人整理番号10021084)に説明されている。その特許文献は、参照により本明細書に組み込まれる。
分類プロセッサ170は、画像プロセッサ160から処理された画像データ165を入力として受信するように接続され、処理された画像データ165から対象物130の1つ又は複数の特徴を分類し、対象物の特徴(単数または複数)の分類175を出力するように動作する。例えば、抽出される特徴がプリント回路基板上の半田接合部である場合、分類プロセッサ170は処理された画像データ165を分析し、半田接合部が良好か又は不良かを示す分類175を出力することができる。別の例として、抽出される特徴がプリント回路基板上の別のコンポーネントである場合、分類プロセッサ170は処理された画像データ165を分析し、コンポーネントがあるか又はないかを示す分類175を出力することができる。分類プロセッサ170が出力することができる他のタイプの分類175は、半田接合部または別のコンポーネントのサイズ、半田接合部または別のコンポーネントの量、対象物130のコンポーネント又はサイズの場所または位置などの、対象物130の1つ又は複数の特徴に関する特定の態様の測定を含む。
また、分類175は、後に処理または表示するためにコンピュータ読み取り可能媒体180に格納される。コンピュータ読み取り可能媒体180は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、フラッシュメモリ、EEPROM、ディスクドライブ、コンパクトディスク、フロッピディスク、又はテープドライブなどの記憶装置、或いは任意の他のタイプの記憶装置とすることができる。また、さらなる処理情報もコンピュータ読み取り可能媒体180に格納することができ、画像プロセッサ160と分類プロセッサ170によりアクセスされ得る。例えば、このような処理情報は、生の画像データ145又は処理された画像データ165をそれぞれ処理するために使用され得るアルゴリズム、及び生の画像データ145又は処理された画像データ165をそれぞれ処理するために使用される種々のアルゴリズムの複雑さなどの種々の処理パラメータを含むことができる。別の例として、このような処理情報は、処理された画像データ165を測定して分類175を決定する特徴の仕様または他の測定基準を含むことができる。
従来の検査システムでは、データの流れは、画像収集システム120から画像プロセッサ160を経て分類プロセッサ170までという1方向であった。検査システムの性能は分類プロセッサ170の出力によって測定され、画像収集システム120又は画像プロセッサ160に対して行う必要のある任意の調節は従来、オフラインで手動で行われていた。手動の調節プロセスは、労働集約的であり、時間を浪費し、エラーを起こしやすい。
したがって、本発明の実施形態によれば、データの流れを変え、検査システム100の種々の部分の間でフィードバックを提供することによって、調節を自動的に加え、信頼性を改善して速度を向上させる。例えば、図2に示されるように、画像プロセッサ160と分類プロセッサ170からのフィードバックが画像収集システム120に提供され、照明源またはセンサの設定などの、画像収集システム120の1つ又は複数のパラメータが変更される。さらに、分類プロセッサ170からのフィードバックが画像プロセッサ160に提供され、生の画像データを処理するために使用されるアルゴリズムのタイプ又はアルゴリズムの複雑さなどの、画像プロセッサ160の1つ又は複数のパラメータが変更される。
一具現化形態では、フィードバックは、検査システム100のランタイム中ではなく「チューニング」モードの時だけに提供され、インラインランタイムに対する任意の影響を防止する。別の具現化形態では、検査システム100の動作中にリアルタイムでフィードバックが提供され、種々のパラメータのドリフトが補償される。さらなる具現化形態では、プリント回路基板などの対象物のバッチに関する「学習」モード中にフィードバックが提供される。例えば、「学習」モードの間、検査システム100は対象物の多数の画像を取得する。各画像は異なる照明設定および/またはビューを使用して取得される。画像プロセッサ160と分類プロセッサ170は、対象物の最適な分類を生成するために必要な、最適な画像とアルゴリズムを決定する。検査システム100は、完全な生成速度で動作するときに最適な画像を取得し、最適なアルゴリズムを使用する。
図3は、本発明の実施形態によって検査システム内でフィードバックを提供するための例示的なプロセス300を示すフローチャートである。フィードバックプロセスはブロック310から開始する。ブロック320では、対象物を表わす第1の画像データが受信される。第1の画像データは少なくとも1つの画像パラメータを使用して生成される。例えば、第1の画像データは、対象物の画像を表す生の画像データ又は処理された画像データとすることができる。画像パラメータは、画像を取得するときに使用される照明、ビュー、又はセンサの設定に関する画像収集パラメータ、或いは画像データを処理するときに使用されるアルゴリズム(単数または複数)に関する画像処理パラメータとすることができる。ブロック330において、受信された画像データからパラメータ変更情報を求める。ブロック340において、パラメータ変更情報を使用して画像パラメータを変更し、検査システムの性能を改善する。
一実施形態において、受信された画像データが特定の画像パラメータについて所定の公差の範囲外のデータを含む場合、パラメータ変更情報を計算してその特定の画像パラメータを変更し、その特定のパラメータに関して公差の範囲内の画像データを生成する。例えば、画像または画像の一部にわたって平均の反射照明強度が所定の閾値未満である場合、照明源の照明強度を十分な量だけ増加して、閾値を上回る平均の反射照明強度を有する画像データを生成する。他の例については、図4に関連して以下に説明する。
別の実施形態では、例えば、検査システムのオペレータが決定するように、対象物の分類が不正確であるか、又は検査システムが対象物を分類できない場合、パラメータ変更情報を計算して、第1の画像データをキャプチャするために使用される画像パラメータのうち1つ又は複数を変更し、対象物の分類を訂正するか、或いは検査システムが対象物を分類できるようにする。例えば、正しくない分類の原因が画像データを処理するために使用されるアルゴリズムのタイプであると判定された場合、パラメータ変更情報は、画像データを処理して正しい分類を生成するために使用されるべき別のアルゴリズムを識別する。正しくない分類の原因は、オペレータが求めるか、又は画像データを分析して画像データを各画像パラメータに対して所定の基準(例えば、閾値)と比較する診断アルゴリズムを使用してシステムが自動的に求める。
ブロック350において、対象物を表わす第2の画像データが受信される。第2の画像データは、変更された画像パラメータを用いて生成される。フィードバックプロセスはブロック360で終了する。他の実施形態では、必要に応じて、フィードバックプロセスが連続的にフィードバックを提供し、1つ又は複数の画像パラメータに調節を加えることができることを理解されたい。
図4は、本発明の一実施形態により、検査システム100の画像プロセッサ160から画像収集システム120にフィードバックを提供し、画像収集システム120の画像収集パラメータ400を変更する検査システム100の略図である。画像収集パラメータ400は、画像収集システム120の1つ又は複数の要素を制御する。画像収集パラメータ400の例には、以下に限定されないが、照明の強度、照明の角度、又は照明の持続時間などの照明パラメータ、対象物とセンサとの間の位置関係などの画像ビューパラメータ、及びセンサの露光継続時間またはセンサの解像度などのセンサパラメータが含まれる。
画像収集システム120は、画像収集パラメータ400の元の設定を使用して対象物の画像をキャプチャし、対象物の画像を表わす生の画像データ145を画像プロセッサ160に提供する。画像プロセッサ160は、生の画像データ145を処理し、生の画像データ及び/又は処理された画像データに基づいてパラメータ変更情報450を求める。パラメータ変更情報450は画像収集システム120にフィードバックされ、対象物の次の画像をキャプチャするために画像収集パラメータ400を変更する。パラメータ変更情報450の例には、以下に限定されないが、X線のパワーの変更、対象物上で焦点を合わせる特定の領域の変更、X線の積分時間の変更、対象物のビューの変更、照明の変更が含まれる。
例えば、画像プロセッサ160は、生の画像データ145から、画像が暗すぎる、明るすぎる、又はダイナミックレンジが不十分であることを検出し、パラメータ変更情報450を画像収集システム120に提供して照明のパワーと持続時間、及びセンサの動作モードを調節することができる。別の例として、画像プロセッサ160は、画像が画像の所定部分に過剰な解像度またはダイナミックレンジを有することを検出し、パラメータ変更情報450を画像収集システム120に提供して解像度またはダイナミックレンジを低減することができる。この場合、取得された解像度またはダイナミックレンジを低減することにより、画像収集システム120の速度が増加する。さらなる例として、画像プロセッサ160は、生の画像データ及び/又は処理された画像データから、信頼性の高いX線再構成のために、より広角の画像が必要であると決定することができる。この場合、パラメータ変更情報450を画像収集システム120にフィードバックして、異なるZ高さを使用してより多くの画像を得る。同様に、画像の三次元の再構成については、画像プロセッサ160は、陰影または急角度により特定の領域で情報が欠落していることを検出することができる。この場合、パラメータ変更情報450を画像収集システム120にフィードバックして、対象物を照明するために使用される照明の角度または照明リングのタイプを変更する。
図5は、検査システム内でフィードバックを提供し、生の画像データ及び/又は処理された画像データに基づいて画像収集パラメータを変更するための例示的なプロセス500を示すフローチャートである。フィードバックプロセスはブロック510から開始する。ブロック520において、画像収集パラメータは、対象物の第1の画像をキャプチャするように設定される。ブロック530において、第1の画像からパラメータ変更情報を求める。ブロック540において、パラメータ変更情報を用いて画像収集パラメータを変更し、対象物の第2の画像をキャプチャする。フィードバックプロセスはブロック550で終了する。他の実施形態では、フィードバックプロセスは、必要に応じて連続的にフィードバックを提供し、1つ又は複数の画像収集パラメータに調節を加えることができることを理解されたい。
図6は、本発明の別の実施形態による、検査システム100の分類プロセッサ170から画像プロセッサ160又は画像収集システム120にフィードバックを提供し、画像処理パラメータ600又は画像収集パラメータ400を変更する検査システム100の略図である。上述したように、画像収集パラメータ400は、画像収集システム120の1つ又は複数の要素を制御する。同様に、画像処理パラメータ600は、画像プロセッサ160の1つ又は複数の態様を制御する。画像処理パラメータ600の例には、画像データを処理するために使用されるアルゴリズムのタイプなどの処理タイプパラメータ、及び画像データを処理するために使用されるアルゴリズムの複雑さなどの処理の複雑性パラメータが含まれる。
画像収集システム120は、画像収集パラメータ400の元の設定を使用して対象物の画像をキャプチャし、対象物の画像を表わす生の画像データ145を画像プロセッサ160に提供する。画像プロセッサ160は、画像処理パラメータ600の元の設定を使用して生の画像データ145を処理し、処理された画像データ165を分類プロセッサ170に出力する。分類プロセッサ170は、処理された画像データ165を使用して対象物を分類し、対象物の分類および/または処理された画像データ165に基づいてパラメータ変更情報450を求める。パラメータ変更情報450は、画像収集システム120と画像プロセッサ160のいずれか又は両方にフィードバックされる。画像収集システム120は画像収集パラメータ400を変更して対象物の次の画像をキャプチャし、画像プロセッサ160は画像処理パラメータ600を変更して現在の画像を表す生の画像データ145を処理するか、及び/又は対象物の次の画像を表す生の画像データ145を処理する。
図7は、検査システム内でフィードバックを提供し、分類に基づいて画像収集パラメータを変更するための例示的なプロセス700を示すフローチャートである。フィードバックプロセスはブロック710から開始する。ブロック720において対象物の画像をキャプチャするように画像収集パラメータが設定され、ブロック730において対象物の画像を表わす生の画像データが生成される。ブロック740において生の画像データが処理されて処理された画像データが生成され、ブロック750において、処理された画像データに基づいて、対象物の1つ又は複数の特徴が分類される。ブロック760において、1つ又は複数の特徴の分類が正しくないことに起因して、1つ又は複数の画像収集パラメータを変更すべきかどうかの判定が行われる。
変更が必要な場合、ブロック770において、パラメータ変更情報が求められ、ブロック780において、パラメータ変更情報を用いて画像収集パラメータを変更する。ブロック730において、変更された画像収集パラメータを使用して、対象物の次の画像を表わす次の生の画像データを生成する。画像収集パラメータを変更する必要がない場合、フィードバックプロセスはブロック790で終了する。他の実施形態では必要に応じて、フィードバックプロセスが連続的にフィードバックを提供し、1つ又は複数の画像収集パラメータに調節を加えることができることを理解されたい。
図8は、検査システム内でフィードバックを提供し、分類に基づいて画像処理パラメータを変更するための例示的なプロセス800を示すフローチャートである。フィードバックプロセスはブロック810から開始する。ブロック820において、画像処理パラメータが設定される。ブロック830において対象物の画像を表わす生の画像データが受信され、ブロック840において、生の画像データが処理されて、処理された画像データが生成される。ブロック850において、処理された画像データに基づいて、対象物の1つ又は複数の特徴が分類される。ブロック860において、1つ又は複数の特徴の分類が正しくないことに起因して、1つ又は複数の画像処理パラメータを変更すべきかどうかの決定が行われる。
変更が必要な場合、ブロック870においてパラメータ変更情報が求められ、ブロック880においてパラメータ変更情報を用いて画像処理パラメータを変更する。ブロック840において、変更された画像処理パラメータを使用して、対象物の現在の画像、及び/又は対象物の次の画像を表す生の画像データを処理する。画像処理パラメータを変更する必要がない場合、フィードバックプロセスはブロック890で終了する。他の実施形態では必要に応じて、フィードバックプロセスが連続的にフィードバックを提供し、1つ又は複数の画像処理パラメータに調節を加えることができることを理解されたい。
図9は、閉ループ検査システム内でフィードバックを提供して、画像収集パラメータ及び/又は画像処理パラメータを変更するための例示的なプロセス900を示すフローチャートである。フィードバックプロセスはブロック905から開始する。ブロック910において、画像収集パラメータ及び画像処理パラメータを含むすべての画像パラメータが設定される。ブロック915において、対象物の画像をキャプチャし、ブロック920において対象物の画像を表わす生の画像データが生成される。ブロック925において、生の画像データが処理されて、処理された画像データが生成される。ブロック930において、処理された画像データ及び/又は生の画像データに基づいて、1つ又は複数の画像収集パラメータを変更すべきかどうかの決定が行われる。変更が必要な場合、ブロック935において、パラメータ変更情報が求められ、パラメータ変更情報を用いて画像収集パラメータを変更する。ブロック915において、変更された画像収集パラメータを用いて対象物の次の画像をキャプチャする。
画像収集パラメータを変更する必要がない場合、ブロック940において、処理された画像データに基づいて、対象物の1つ又は複数の特徴が分類される。ブロック945において、1つ又は複数の特徴の分類が正しくないことに起因して、1つ又は複数の画像収集パラメータを変更すべきかどうかの決定が行われる。変更が必要な場合、ブロック935において、パラメータ変更情報が求められ、パラメータ変更情報を用いて画像収集パラメータを変更する。ブロック915において、変更された画像収集パラメータを使用して、対象物の次の画像をキャプチャする。画像収集パラメータを変更する必要がない場合、ブロック950において、1つ又は複数の特徴の分類が正しくないことに起因して、1つ又は複数の画像処理パラメータを変更すべきかどうかの判定が行われる。
変更が必要な場合、ブロック955においてパラメータ変更情報が求められ、パラメータ変更情報を用いて画像処理パラメータを変更する。ブロック925において、変更された画像処理パラメータを使用して、対象物の現在の画像および/または対象物の次の画像を表わす生の画像データを処理する。画像処理パラメータを変更する必要がない場合、フィードバックプロセスはブロック960で終了する。他の実施形態では必要に応じて、フィードバックプロセスが連続的にフィードバックを提供し、1つ又は複数の画像パラメータに調節を加えることができることを理解されたい。
図10は、例示的な検査システム100の絵画図である。検査システム100は、対象物130(例えば、プリント回路基板)を撮像し、対象物130の特徴1000(例えば、半田接合部および他のコンポーネント)を検査する装置1050を含む。装置1050は、図1の画像収集システム120の少なくとも一部を含む。例えば、一実施形態では、装置1050は図1の照明源110とセンサ140を含む。対象物130は、コンベヤベルト1010によって装置1050へ送られる。対象物130の画像を表わす画像データが、コンピュータ1040に送信される。コンピュータ1040は、画像プロセッサ160と分類プロセッサ170(どちらも図1に示される)を具現化し、画像データを処理して、対象物130の特徴1000を分類する。コンピュータ1040は、画像プロセッサ160及び/又は分類プロセッサ170により生成されたパラメータ変更情報を装置1050に提供し、1つ又は複数の画像収集パラメータを変更する。さらに、分類プロセッサ170は画像収集パラメータを画像プロセッサ160に提供し、1つ又は複数の画像処理パラメータを変更する。
対象物130の特徴1000の数が多いので、通常はオペレータがすべての特徴1000を検査することはできない。したがって、一般にシステム100により自動的に欠陥として、又は問題を示すものとして分類された特徴1000の画像だけが、ディスプレイ1020に提示されてオペレータに提供される。画像自体、画像および/または分類を表す処理された画像データが、ディスプレイ1020上に表示される。ユーザインタフェース1030(例えば、キーボード、マウス、タッチスクリーン、ライトペン又は他のインタフェース)により、オペレータが、ディスプレイ1020上に表示された情報を制御することが可能になる。さらに、オペレータが、表示された分類が正しくないと判断する場合には、ユーザインタフェース1030により、オペレータが分類プロセッサにパラメータ変更情報を画像プロセッサ及び/又は画像収集システムに提供させることを可能にする。本発明にしたがってパラメータ変更情報を自動的に提供することにより、ユーザに表示される情報の品質を改善し、かくしてユーザが手動調節するために必要な時間を低減または除去する。この結果、処理能力が増大し、エラーが最小化される。
図11は、簡略化された例示的なX線自動検査システム1150の絵画図である。図11に示されるX線自動検査システム1150は、図1の画像収集システム120の実施形態の少なくとも一部を形成する。X線自動検査システム1150は、高電圧を生成しX線管1110に印加するための電源1100を含み、X線管1110はX線を生成する。X線は扇形ビーム1120で放射され、コンベヤベルト1010上でビーム1120を通過する対象物130又は対象物130の一部を介して投影される。例えば、図11に示されるように、ビーム1120は、関心のある特徴1000を含む対象物130の一部を通過する。
ビーム1120はセンサ140に入射し、特徴1000を含む対象物130の横断面の密度に基づいて画像を生成する。一実施形態では、センサ140は、線形アレイを形成する検出器素子の行を含む。一般に、300個から700個の個別の検出器素子が線形アレイに配列されている。対象物130がコンベヤベルト1010によってセンサの上を移動する際に、線形アレイが連続的に走査される。生成された画像は、二次元の「グレースケール」のラスタ画像である。ラスタ画像を表す生の画像データは、図10に関連して上述されたように、特徴および/または対象物を分析および分類するために、本発明にしたがってプロセッサ(図示せず)に送信される。さらに、プロセッサは、電源1100とセンサ140のいずれか又は両方にパラメータ変更情報を提供し、1つ又は複数の画像収集パラメータを変更することができる。
図12は、光学自動検査システム1250の絵画図である。図12に示される光学検査システム1250は、図1の画像収集システム120の実施形態の少なくとも一部を形成する。光学自動検査システム1250は、カメラ1200の開口の光軸の回りに同心円上に配置された発光素子1220(例えば、発光ダイオード)の円形アレイ1240を包含する光リング1210を含む。発光素子1220から放射された光1230は、コンベヤベルト1010によって光リング1210の下に配置された対象物130の表面を照明する。対象物130の表面から反射された光は、カメラ1200中の画像センサ140により受光される。画像センサ140は、対象物130の画像、又は対象物130の表面上の1つ又は複数の特徴1000の画像をキャプチャする。例えば、画像センサ140は、画像を表わす生の画像データを生成できるCCD画像センサ又はCMOS画像センサとすることができる。図10に関連して上述したように、特徴および/または対象物の分析と分類を行うために生の画像データが本発明にしたがってプロセッサ(図示せず)に送信される。さらに、プロセッサは、光リング1210とセンサ140のいずれか又は両方にパラメータ変更情報を提供し、1つ又は複数の画像収集パラメータを変更することができる。
当業者であれば理解されるように、本明細書で説明された本発明の概念は、広範囲の様々な用途にわたって修正および変更され得る。従って、本発明の範囲は、説明された任意の特定の例示的な教示に制限されるべきでなく、代わりに添付の特許請求の範囲によって定義される。
本発明の実施形態による検査システムを示すブロック図である。 本発明の実施形態による、フィードバックを提供する検査システムの略図である。 本発明の実施形態による、検査システム内でフィードバックを提供するための例示的なプロセスを示すフローチャートである。 本発明の一実施形態による、検査システムの画像プロセッサから画像収集システムにフィードバックを提供し、画像収集システムの画像収集パラメータを変更する検査システムの略図である。 生の画像データ及び/又は処理された画像データに基づいて、検査システム内でフィードバックを提供し、画像収集パラメータを変更するための例示的なプロセスを示すフローチャートである。 本発明の別の実施形態による、検査システムの分類プロセッサから画像プロセッサ又は画像収集システムにフィードバックを提供し、画像処理パラメータ又は画像収集パラメータを変更する検査システムの略図である。 検査システム内でフィードバックを提供し、分類に基づいて画像収集パラメータを変更するための例示的なプロセスを示すフローチャートである。 検査システム内でフィードバックを提供し、分類に基づいて画像処理パラメータを変更するための例示的なプロセスを示すフローチャートである。 検査システム内でフィードバックを提供し、画像収集パラメータ又は画像処理パラメータを変更するための例示的なプロセスを示すフローチャートである。 検査システムの絵画図である。 X線自動検査システムの絵画図である。 光学自動検査システムの絵画図である。
符号の説明
100 検査システム
110 照明源
120 画像収集システム
130 対象物
140 センサ
150 プロセッサ
160 画像プロセッサ
170 分類プロセッサ
400 画像収集パラメータ
450 パラメータ変更情報
600 画像処理パラメータ

Claims (10)

  1. 対象物(130)の検査の間にフィードバックを提供するための方法であって、その方法が、
    前記対象物(130)を表し、画像パラメータ(400又は600)を使用して生成される第1の画像データ(145又は165)を受信するステップ(320)と、
    前記第1の画像データから画像パラメータに関するパラメータ変更情報(450)を求めるステップ(330)と、
    前記画像パラメータ(400又は600)を、前記パラメータ変更情報(450)でもって、変更された画像パラメータ(400又は600)に変更するステップ(340)と、
    前記対象物(130)を表し、前記変更された画像パラメータ(400又は600)を使用して生成される第2の画像データ(145又は165)を受信するステップ(350)とによって特徴付けられる、方法。
  2. 前記画像パラメータが画像収集パラメータ(400)であり、
    前記求めるステップが、前記第1の画像データ(145)を処理して(740)、前記画像収集パラメータ(400)に関するパラメータ変更情報(450)を計算すること(770)を含む、請求項1に記載の方法。
  3. 前記画像パラメータが画像収集パラメータ(400)であり、
    前記第1の画像データ(145)を生成することが、前記対象物(130)の第1の画像をキャプチャすること(520)を含み、
    前記第2の画像データ(145)を生成することが、前記対象物(130)の第2の画像をキャプチャすること(540)を含む、請求項1に記載の方法。
  4. 前記画像パラメータが画像収集パラメータ(400)であり、
    前記求めるステップが、前記画像収集パラメータ(400)の元の設定の結果として、第1の画像データ(145)に基づいた前記対象物(130)の少なくとも1つの特徴の分類が正しくないことを判定すること(945)と、前記パラメータ変更情報(450)を計算して、前記正しくない分類を訂正することと、及び前記パラメータ変更情報(450)に基づいて前記画像収集パラメータ(400)の元の設定を変更された設定に変更すること(935)とをさらに含む、請求項1に記載の方法。
  5. 前記少なくとも1つのパラメータが画像処理パラメータ(600)であり、
    前記求めるステップが、前記画像処理パラメータ(600)の元の設定の結果として、第1の画像データ(165)に基づいた前記対象物(130)の少なくとも1つの特徴の分類が正しくないことを判定すること(860)と、前記パラメータ変更情報(450)を計算して(870)、前記正しくない分類を訂正することと、及び前記パラメータ変更情報(450)に基づいて前記画像処理パラメータ(600)の元の設定を変更された設定に変更すること(880)とを含む、請求項1に記載の方法。
  6. 前記第1の画像データを生成することが、前記画像処理パラメータ(600)の元の設定を使用して前記対象物(130)の少なくとも1つの特徴の画像を表す生の画像データ(145)を処理して(840)、前記第1の画像データ(165)を生成することを含み、
    前記第2の画像データを生成することが、前記画像処理パラメータの変更された設定を使用して前記生の画像データを処理して(840)、前記第2の画像データ(165)を生成することを含む、請求項5に記載の方法。
  7. 対象物(130)の検査の間にフィードバックを提供するための検査システム(100)であって、
    前記対象物(130)を表す第1の画像データ(145又は165)を受信するように接続されたプロセッサ(150)であって、前記第1の画像データ(145又は165)が、画像パラメータ(400又は600)を使用して生成され、前記プロセッサ(150)が、前記対象物を表す第2の画像データ(145又は165)を生成する際に使用するために、前記第1の画像データ(145又は165)から前記画像パラメータ(400又は600)に関するパラメータ変更情報を求めるように動作可能である、プロセッサによって特徴付けられる、検査システム(100)。
  8. 前記対象物(130)に対して、前記対象物(130)から投影された照明を受光し、前記対象物(130)の第1の画像をキャプチャし、前記第1の画像を表す第1の生の画像データ(145)を生成するように配置されたセンサ(140)であって、前記センサ(140)が、前記第1の生の画像データ(145)を前記プロセッサ(150)に提供するように接続されている、センサ(140)をさらに含む、請求項7に記載の検査システム(100)。
  9. 前記センサ(140)が、前記対象物(130)の第2の画像をキャプチャし、前記画像パラメータ(400)に関するパラメータ変更情報(450)を使用して前記第2の画像を表す第2の生の画像データ(145)を生成するようにさらに構成されている、請求項8に記載の検査システム(100)。
  10. 前記画像パラメータが、画像収集パラメータ(400)又は画像処理パラメータ(600)のうちの少なくとも1つである、請求項7に記載の検査システム(100)。
JP2005078437A 2004-03-22 2005-03-18 フィードバックを提供するための検査システム及び方法 Pending JP2005283577A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/805,748 US20050207655A1 (en) 2004-03-22 2004-03-22 Inspection system and method for providing feedback

Publications (1)

Publication Number Publication Date
JP2005283577A true JP2005283577A (ja) 2005-10-13

Family

ID=34862020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005078437A Pending JP2005283577A (ja) 2004-03-22 2005-03-18 フィードバックを提供するための検査システム及び方法

Country Status (5)

Country Link
US (1) US20050207655A1 (ja)
EP (1) EP1580691A3 (ja)
JP (1) JP2005283577A (ja)
KR (1) KR20060044521A (ja)
TW (1) TW200532162A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021011336A1 (en) * 2019-07-12 2021-01-21 SVXR, Inc. Methods and systems for detecting defects in devices using x-rays

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003902319A0 (en) 2003-05-14 2003-05-29 Garrett Thermal Systems Limited Laser video detector
IL162921A0 (en) * 2004-07-08 2005-11-20 Hi Tech Solutions Ltd Character recognition system and method
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
EP2595130B1 (en) 2004-11-12 2016-11-02 Xtralis Technologies Ltd Particle detector, system and method
EP1886257A1 (en) 2005-05-11 2008-02-13 Optosecurity Inc. Method and system for screening luggage items, cargo containers or persons
US7991242B2 (en) 2005-05-11 2011-08-02 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality
GB0520829D0 (en) * 2005-10-13 2005-11-23 Univ Cambridge Tech Image processing methods and apparatus
US7899232B2 (en) 2006-05-11 2011-03-01 Optosecurity Inc. Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same
US8494210B2 (en) 2007-03-30 2013-07-23 Optosecurity Inc. User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same
DE102007045277A1 (de) * 2007-09-18 2009-04-02 Technische Universität Ilmenau Verfahren zur Bestimmung des Kantenortes bei Antastung im Auflicht in der optischen Längenmesstechnik
TWI583937B (zh) * 2007-11-15 2017-05-21 愛克斯崔里斯科技有限公司 在主動視頻煙霧檢測(avsd)系統中測定光束對準之技術
GB0809037D0 (en) 2008-05-19 2008-06-25 Renishaw Plc Video Probe
US8336778B2 (en) * 2008-08-19 2012-12-25 The Code Corporation Graphical code readers that provide sequenced illumination for glare reduction
US8011584B2 (en) * 2008-12-12 2011-09-06 The Code Corporation Graphical code readers that are configured for glare reduction
US9639727B2 (en) * 2008-12-12 2017-05-02 The Code Corporation Graphical barcode readers that are configured for glare reduction
EP2256069A1 (en) * 2009-05-29 2010-12-01 Mettler-Toledo Safeline X-Ray Limited Conveyor chain for a radiographic inspection system and radiographic inspection system
JP5615076B2 (ja) * 2010-07-21 2014-10-29 富士機械製造株式会社 部品有無判定装置及び部品有無判定方法
KR101692277B1 (ko) 2010-11-23 2017-01-04 주식회사 고영테크놀러지 검사방법
CA3069211C (en) 2011-09-07 2022-06-21 Rapiscan Systems, Inc. X-ray inspection system that integrates manifest data with imaging/detection processing
US20150051860A1 (en) * 2013-08-19 2015-02-19 Taiwan Semiconductor Manufacturing Co., Ltd. Automatic optical appearance inspection by line scan apparatus
US9841387B2 (en) * 2015-07-22 2017-12-12 Test Research, Inc. Inspection method and device
GB2564038B (en) 2016-02-22 2021-11-10 Rapiscan Systems Inc Systems and methods for detecting threats and contraband in cargo
CN107662868B (zh) * 2016-07-29 2022-01-04 奥的斯电梯公司 乘客运输装置的监测系统、乘客运输装置及其监测方法
CA3140559A1 (en) * 2019-06-05 2020-12-10 Luc Perron Automated inspection method for a manufactured article and system for performing same
US11430118B2 (en) * 2019-07-12 2022-08-30 Bruker Nano, Inc. Methods and systems for process control based on X-ray inspection
EP4150474A4 (en) * 2020-05-12 2024-04-24 Bayestree Intelligence Pvt Ltd METHOD FOR IDENTIFYING UNCERTAIN CLASSIFICATIONS

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208692A (ja) * 2000-01-26 2001-08-03 Matsushita Electric Works Ltd 照明制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL82037A0 (en) * 1987-03-29 1987-10-20 Kalman Peleg Method and apparatus for automatically inspecting and classifying different objects
US5249259A (en) * 1990-01-23 1993-09-28 Massachusetts Institute Of Technology Genetic algorithm technique for designing neural networks
US5311568A (en) * 1992-05-01 1994-05-10 Picker International, Inc. Optical alignment means utilizing inverse projection of a test pattern/target
DE69330010T2 (de) * 1992-05-29 2001-09-13 Eastman Kodak Co Vorrichtung und Verfahren zur Beschichtungsdichteanalyse mittels Bildverarbeitung
JP3376179B2 (ja) * 1995-08-03 2003-02-10 キヤノン株式会社 面位置検出方法
EP0814344A3 (en) * 1996-06-19 1998-12-30 Matsushita Electric Works, Ltd. Automatic tracking lighting equipment
DE19727471C1 (de) * 1997-06-27 1998-12-17 Siemens Ag Verfahren zur automatischen Intensitätseinstellung einer Beleuchtung für Einrichtungen zur Lageerkennung und/oder Qualitätskontrolle bei der automatischen Bestückung von Bauelementen
JP2000131598A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 自動焦点調節装置
US6834117B1 (en) * 1999-11-30 2004-12-21 Texas Instruments Incorporated X-ray defect detection in integrated circuit metallization
US6782143B1 (en) * 1999-12-30 2004-08-24 Stmicroelectronics, Inc. Method and apparatus for processing an image
JP3513136B2 (ja) * 2000-04-06 2004-03-31 浜松ホトニクス株式会社 X線検査システム
JP2002100660A (ja) * 2000-07-18 2002-04-05 Hitachi Ltd 欠陥検出方法と欠陥観察方法及び欠陥検出装置
US6985616B2 (en) * 2001-10-18 2006-01-10 Robodesign International, Inc. Automated verification and inspection device for sequentially inspecting microscopic crystals
US6954262B2 (en) * 2002-03-18 2005-10-11 Mike Buzzetti Automated fiber optic inspection system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208692A (ja) * 2000-01-26 2001-08-03 Matsushita Electric Works Ltd 照明制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021011336A1 (en) * 2019-07-12 2021-01-21 SVXR, Inc. Methods and systems for detecting defects in devices using x-rays
US11688067B2 (en) 2019-07-12 2023-06-27 Bruker Nano, Inc. Methods and systems for detecting defects in devices using X-rays

Also Published As

Publication number Publication date
TW200532162A (en) 2005-10-01
EP1580691A3 (en) 2007-05-30
KR20060044521A (ko) 2006-05-16
US20050207655A1 (en) 2005-09-22
EP1580691A2 (en) 2005-09-28

Similar Documents

Publication Publication Date Title
JP2005283577A (ja) フィードバックを提供するための検査システム及び方法
US10489900B2 (en) Inspection apparatus, inspection method, and program
US6879392B2 (en) Method and apparatus for inspecting defects
US9536295B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
JP5014003B2 (ja) 検査装置および方法
JP2021177186A (ja) 三次元画像処理装置及び三次元画像処理方法
JP2009294087A (ja) 樹脂材料検査装置およびプログラム
US20080239289A1 (en) Method and apparatus for inspecting a semiconductor device
JP5068731B2 (ja) 表面疵検査装置、表面疵検査方法及びプログラム
JP6303352B2 (ja) 外観検査システム
JP2009250844A (ja) 三次元形状計測方法および三次元形状計測装置
JP4680640B2 (ja) 画像入力装置および画像入力方法
US10853935B2 (en) Image processing system, computer readable recording medium, and image processing method
JP6459026B2 (ja) 欠陥検査装置および欠陥検査方法
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2011075325A (ja) 表面検査装置
JP2009192358A (ja) 欠陥検査装置
KR20180087090A (ko) 검사 기준 화상을 통한 자동 조명 설정 방식의 머신 비전 시스템 및 동작 방법
CN112710662A (zh) 生成方法及装置、生成系统和存储介质
JP4563183B2 (ja) スジ状ムラ欠陥の検査方法および装置
CN114450579A (zh) 图像处理系统、设定方法和程序
JP2009222611A (ja) 検査装置及び検査方法
JP2004286708A (ja) 欠陥検出装置、方法及びプログラム
JP2006189294A (ja) ムラ欠陥の検査方法および装置
JP2019158711A (ja) 画像処理システム、画像処理装置、画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101214