JP2004536300A

JP2004536300A - 画像装置の位置の迅速な判断を可能にする基準のしるしの選択

Info

Publication number: JP2004536300A
Application number: JP2003511609A
Authority: JP
Inventors: ヴィラン，ニコラ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-07-04
Filing date: 2002-07-04
Publication date: 2004-12-02
Also published as: WO2003005793A2; US20040151363A1; EP1407647A2; US7477774B2; DE60238407D1; WO2003005793A3; EP1407647B1

Abstract

基準として指定した基板のしるしを含み、カメラの視野において周知の位置に比較して前記基準のしるしの移動を検出する基板に対するカメラのような画像装置の視野の位置を判断する方法である。前記基準のしるしが選択されることにより、その検出は、前記画像装置によって生成される画像の一部のみの分析を有する。基準としての役割をする１つ以上のしるしのグループの選択は、前記画像装置の最大の位置誤差が与えられると、前記基準のしるし（群）が現れ得る画像領域（エラーウィンドウ）の決定を含む。全エラーウィンドウが、前記画像装置の使用可能な視野内であるかが調査され（ステップＴ４）、前記エラーウィンドウ内に、選択されたしるしのグループと混同し得る他のしるしのグループが現れるかが調査される（ステップＴ５）。しるしの基準グループの検出は、前記エラーウィンドウの中心を横切る線に沿ったイメージの外形の生成と、前記外形に沿ったしるしと前記基準グループのしるしと間の最適な合致を見つけることとを含む。

Description

【０００１】
本発明は位置判断の分野に関し、特に、装置によって形成された画像において、基板の基準パターンの位置測定に基づいて、基板又はそれと同様のものに対するカメラのような画像装置の視野の位置を判断する方法に関する。本方法を実現する装置もまた述べられる。
【０００２】
F. de JongとP.P Jonkerによる“Visual servoing in PCB manufacture”（Delftで2000年にL.J. van VilietとJ.W.J. HeijnsdijkとT. KielmanとP.M.W. Knijnenburgにより編集されたProc. ASCI2000, 6th Annual Conference of the Advanced School for Computing and Imaging, ASCIの59−63ページ）において、基板、この場合は、電子部部品が配置された回路基板に対するカメラの視野の位置を判断する方法が提案された。前記カメラは回路基板に電子部品を配置するために使用されるロボットにより運ばれる。前記回路基板は直線のセグメントからなる幾何学的模様を形成する導体を有する。提案された方法は、ビデオ画像における前記セグメントのいくつかの位置測定に基づいて、カメラの視野の正確な位置を決定することを含む。カメラの位置を判断する方法で用いられるセグメントは、“基準セグメント”として呼ばれ得る。
【０００３】
この周知の方法によると、当然ながら、基準セグメントとビデオ画像に表れる他のセグメントとを区別ができることが必要である。de Jong他の論文は、明白な基準セグメントを選択し、セグメント間の距離を利用して明白なセグメントのグループを形成することにより、又は基板の他の明白な要素（例えばビア（via）又は基準）を利用することにより、このことが行われ得ることを保証することを提案する。しかし、ビア（via）は円形であるため、位置測定される基準要素としてビア（via）を用いた位置判断方法では、適切に位置測定するためには二次元の画像データを処理する必要がある。基板に場所を取るため、位置測定される基準要素として基準を用いることもまた不利である。従って、線形の導体に対応する基準要素に位置判断を基づかせることが好ましい。de Jong他の論文によると、選択された導体の基準グループを見つけるために、全ビデオ画像が取得され、分析される。各基準グループの位置の補正値がそれぞれの一次元で決定される。二次元における基板に関するカメラの視野の位置の補正値についての完全な情報が、（x及び／又はy方向にそう平行移動、及び／又は回転角に続いて）一次元の補正データを結合することにより獲得される。
【０００４】
説明した方法は、カメラの視野の位置を判断する有望な技術であるが、いくつかの問題が存在する。特に、時間が重視される用途において、全ビデオ画像の取得と分析は非常に長い時間がかかる。
【０００５】
画像装置の視野の位置を判断する場合に用いる１つ以上のしるしの基準グループが、画像装置によって映された基板に表示されたしるしの中から選択され、基板の画像の小さな一部のみを用いて、前記基準グループが迅速に及び明白に検出される方法を提供することが、本発明の目的である。
【０００６】
本発明は、しるしを有する基板に対する画像装置の視野の位置を判断する方法を提供し、本方法は、選択された一式のしるしの基準グループの位置の変化に基づいて、前記画像装置の視野の位置を判断するステップを有し、それぞれの選択されたしるしの基準グループについて、位置の変化が前記基板の対応する一部の画像データの取得と分析により決定されることを特徴とする。
【０００７】
本発明の位置判断方法は、前記基板で各基準グループとしての役割をする１つ以上のしるしのグループを選択するステップであって、前記選択された基準グループが視野の公称位置にある場合に、前記画像装置の視野が前記基板に関して第１の位置にあるステップと；それぞれの基準グループの公称位置に対応する前記基板の一部の画像を生成する画像装置を使用するステップであって、前記一部の画像の少なくとも１つの大きさが、前記画像装置の最大の位置誤差の実質的に２倍以上であるステップと；それぞれの一部の画像で、前記対応する基準グループの画像を検出し、前記画像装置の視野における前記基準グループの公称位置と、それから検出された位置との間の補正値を決定するステップと；決定された補正値に基づき、及び、前記画像装置の前記第１の位置と前記基準グループの公称位置との間の周知の関係に基づき、前記画像装置の視野の位置を決定するステップとを有し得る。
【０００８】
本発明の位置判断方法を用いることにより、画像の一部における所定の基準グループの位置を決定するために、画像の一部のみが取得され、分析される。従って、全画像を取得し分析することはもはや必要なく、その結果、処理時間が減少する。
【０００９】
前記の方法をうまく行うために、前記基準グループが必ず現れる画像の領域（“関心領域”と呼ばれる）を定義できなければならない。従って、前記画像装置の位置が、測ることができる不正確さを備えることが知られ得る必要がある。概して、何らかの所定の用途において、カメラの最大の位置誤差は知られている。一般的に、これは“位置が±1mmの正確さである”というような言葉で表現され、直交（x,y）座標のシステムについて考えると、各x及びy座標について1mmまでの誤差が存在し得ることを意味する。前記の例において、1mmは、本願で“最大の位置誤差”として称されるものを構成する。本発明による方法の好ましい実施例において、前記基板の一部の画像の少なくとも１つの大きさが、前記画像装置の最大の位置誤差の２倍以上である事実からみて、前記対応する基準グループが、前記分析された一部の画像に現れることが確実になり得る。
【００１０】
この点について、前記基準グループに用いられるしるしが幾何学的要素であることが有利である。本発明の好ましい実施例において、前記しるしは、直線のセグメントである。選択された直線のセグメントが、前記最大の位置誤差の少なくとも２倍の長さを有する場合、前記選択されたセグメントが、次の特性を有する一部の画像に現れることが確実である。
ａ）前記選択されたセグメントの公称位置に中心が置かれる。
ｂ）前記選択されたセグメントの公称方向に対して実質的に垂直に伸びる方向に、前記位置誤差の距離の実質的に２倍以上の大きさを有する。
従って、前記一部のイメージは、前記選択されたセグメントの基準方向に平行な方向に比較的小さいサイズを有する帯状である場合がある。
【００１１】
本発明の好ましい実施例において、基準としての役割をするグループを選択するステップは、前記最大の位置誤差の距離の２倍より小さい直線のセグメントからなる基準グループの候補を却下するステップを有する。
【００１２】
正確な結果を得る本発明による方法のために、各基準グループと、関心領域に現れ得る他のしるしのグループの全てとを区別できなければならない。前記基準グループは、前記条件を満たすために複数の異なる方法で選択され得る。
【００１３】
好ましくは、基準としての役割をするグループ又はグループ群は、次のステップを用いて選択される：候補グループとして、前記基板で１つ以上のしるしのグループを指定するステップと；前記画像装置の最大の位置誤差に基づいて、前記候補グループの画像が現れ得る画像領域の境界を決定するステップと；前記決定された画像領域が前記画像装置の使用可能な視野に完全には含まれない場合に、前記候補グループを却下するステップ。
【００１４】
基準としての役割をするグループ又はグループ群の選択が、前記画像領域に対応する前記基板の一部を分析することを含み、前記候補グループが明白に識別され得るかどうかを決定し；前記分析ステップが、前記基板の前記一部に前記候補グループが明白に識別され得ることを決定した場合にのみ、基準グループとしての役割をする前記候補グループを選択することが、更に好ましい。
【００１５】
本発明の好ましい実施例による方法は、前記画像の選択された一部のみの分析を含み、前記カメラの最大の位置誤差に関する演繹的知識を使用し、分析された画像の一部がセグメントのそれぞれの基準グループが必ず現れる領域に対応することを確実にする。このことは、前記基準グループを構成するセグメント又はセグメントのグループからなる特定の選択と組み合わせて、保持された基準グループが明白に検出され得ることを確実にする。従って、本発明の好ましい実施例による方法は、基板に関してカメラの位置の高速で確固とした計算を可能にする。
【００１６】
本発明の好ましい実施例において、候補グループが明白であるかどうかについての判断が、前記画像の一部において、前記基準グループのそれぞれのしるし（群）と同じ方向（及び、前記候補グループに１つ以上のしるしが存在する場合には間隔）を有する何らかの他のしるしのグループが存在するかどうかの検討を含む場合に有利である。
【００１７】
ある場合においては、前記画像の一部が特定の方向に走査されると、基準グループが明白である可能性がある。例えば、前記基準グループは、前記画像の一部が左から右に走査される場合に見つけられる２つのセグメントのうちの最初のグループである。従って、基準グループを前記画像の対応する一部が走査される方向に関連付けることが有利である可能性がある。
【００１８】
本発明は、前述の方法を実施する手段を有する装置を更に提供する。好ましくは、本発明は、前述の方法に従って画像データを処理するように構成された、適切にプログラムされたコンピュータ又は専用プロセッサを有する。本システムは、画像データを取得する手段を有する装置において提供され得る。
【００１９】
本発明は、前述の方法を実施する一式の命令を有するコンピュータプログラム製品を更に提供する。
【００２０】
本発明を有利に実現するためにオプションで使用され得る本発明と追加の特徴は、本願で説明される図の参照から明白であり、明らかになる。
【００２１】
本発明の好ましい実施例が、前記基板に電子部品を性格に配置することを確実にために、カメラの視野の位置が回路基板に関して判断される用途に照らして以下に説明される。本出願において、前記カメラは、同じ配置の導体を有する新しい回路基板と、各基板の異なる導体の場所に繰り返し調整される。しかし、本発明は前記用途に限定されない。逆に、カメラの視野の位置が、直線のセグメント又はその他のしるしを表す基板に関して判断される場合に概して適用できる。
【００２２】
以下において、“水平な”及び“垂直な”線について言及が行われるが、前記表現は絶対的ではなく、それぞれ基板の上部と下部に平行な方向又は側面に水平な方向を参照する。
【００２３】
図１は、カメラの視野の位置を判断する本発明による手順における主要なステップを表すフロー図であり、前記判断に基づく位置に電子部品が回路基板に配置される用途におけるものである。
【００２４】
前記手順の最初のステップ（ステップ１）において、基板に現れるどのセグメント又はパターンが、その後にセグメントの基準グループとして用いられるかを選択するために、基板のデザインが分析される。概して、回路基板はコンピュータ援用設計（CAD）を用いて設計されており、配置の詳細は既にコンピュータの分析に利用可能である。前記基板のデザインを表すCADデータに直接に、前記基準グループ又はセグメントの選択を実行することが好ましい。その他、CADデータが利用可能でない場合、前記基板の見本の画像が、画像装置を用いて生成され、前記選択が前記画像データの分析に基づく。本発明の好ましい実施例による選択手順の更なる詳細は、図２から４を参照して後述する。
【００２５】
セグメントの基準グループ（群）が選択されると、前記カメラが、ある程度の正確性で当該回路基板の見本に調整される（ステップ２）。一般的に、前記調整は、カメラの移動又は静止カメラに関する（回路基板を運ぶ）コンベヤベルトの移動を含む。次に、最初の電子部品が前記回路基板に配置される場所にカメラが調整される（ステップ３）。概して、前記カメラは、前記電子部品を回路基板に物理的に配置するロボットによって運ばれ、カメラの視野とロボットアームの配置装置との間の位置関係は知られている。位置誤差は、基板に関するカメラの平行移動又は回転における誤差を含む場合があり、逆も同様である。
【００２６】
カメラは基板の選択された一部のみの画像を生成し、前記基板において、セグメントの各基準グループが必ず現れ、それぞれの一部の画像を分析する。前記分析（ステップ４）は、セグメントの基準グループの位置測定を決定するのに役立つ。前記カメラの視野が、前記基板に関して所定の基準位置にある場合に、前記基準グループ（群）の所定の位置が、前記グループが画像において占める位置と比較される（ステップ５）。現在説明する用途において、前述の通り、回路基板に電子部品を配置するロボットによってカメラが運ばれる。前記ロボットは、前記カメラの視野の画像に関して、前記回路基板の所定の位置に電子部品を配置するようにプログラムされる。カメラの視野の実際の位置が判断されると、ロボットの位置（従ってカメラの位置）が調整され（ステップ６）、それによって、最初の電子部品が望ましい位置に配置される（ステップ７）。最初の電子部品が回路基板に配置されると、それが配置される最後の部品かどうか調べられる（ステップ８）。前記基板に設置される更なる部品が存在する場合には、処理は図２のステップ３に戻り、前記カメラが次の部品が前記回路基板に配置される場所に調整される。
【００２７】
現在の基板に必要な全ての部品が配置されると、それが処理を必要とする最後の基板であるかどうかについて調査が行われる。“そうでない（no）”の場合には、前記処理のステップ２から８が繰り返される。“そうである（yes）”の場合には、前記処理が終了する。
【００２８】
前記カメラを前記回路基板と部品の場所に調整するのに必要な処理（ステップ２と３）は、周知であり、ここでは更に説明しない。同様に、前に引用したde Jongの論文に説明されているため、基準セグメントの位置の変化が、カメラの視野の位置の計算を可能にする方法（ステップ５）、又はロボットが位置を調整し、前記計算された位置に基づいて回路基板に電子部品を配置する方法（ステップ６と７）についての更なる説明は、熟練した人には必要ない。さらに、前記基板に配置された部品が最後の部品であるかどうか、又は現在の基板が処理を必要とする最後の基板であるかどうか（ステップ８と９）についての決定は、些細なことである。
【００２９】
しかし、本発明の好ましい実施例は、基準グループとしての役割をする１つ以上のセグメントのグループを選択する特有の方法（ステップ１）と、前記選択された基準グループの位置測定を行う特有の方法（ステップ２）を提供する。したがって、これらのステップが更に詳細に説明される。
【００３０】
画像に映された基板に関するカメラの配置の誤差のため、前記カメラの視野のしるし又はセグメントのそれぞれが、前記画像において予定された位置と異なる位置に現れる場合がある。しかし、前記カメラの最大の位置誤差は知られているため、前記基板の所定の点が現れるべき画像内の限定された領域を定義することが可能である。前記限定された領域は、図３の“エラーウィンドウ”と称される。例えば、カメラの最大の位置誤差が±1mm（直交（x,y）座標のシステムについて考えると、各x方向とy方向の双方）である場合、前記エラーウィンドウは2mm掛ける2mmである。前述の用途において、検討中のセグメントは、好ましくは、直線の導体部分である。検討中の直線のセグメントの中心の公称位置に、エラーウィンドウの中心が置かれる。隣接するセグメントのグループを映すことを望む場合は、前記エラーウィンドウの大きさが少し増加する。例えば、距離Ｄだけ離れて間隔が開いた中心を有する一対の隣接する垂直の直線のセグメントの画像を位置測定することを望む場合、前記エラーウィンドウは、（横方向の最大の位置誤差の２倍）＋Ｄと等しい幅を有する。
【００３１】
カメラの視野の場所を判断するときに、基準グループとしての役割をする１つ以上のセグメントのグループを選択する場合、セグメントの選択されたグループは、以下の２つの条件を満たす必要がある。
１）前記選択されたグループに当てはまるエラーウィンドウは、前記カメラの使用可能な視野に完全に含まれなければならない。
２）前記選択されたグループが、前記カメラの視野に現れ得る他のどんなセグメントとも混同するものであってはならない。つまり、前記選択されたグループが明白でなければならない。
【００３２】
前記カメラと前記基板のそれぞれの位置の誤差が、前記セグメントが前記カメラの視野の外に部分的に出るエラーウィンドウを結果として導くため、前記第１の条件は、前記カメラの視野の縁の近くに位置するセグメントを除くことに結果的につながる。前記カメラの視野から全体的に又は一部分覆われた導体もまた除かれる。例えば、前記ロボットアームがカメラと基板の一部にある場合、又は、前記基板の一部がロボットアームによって保持される部品によって、又は前記基板に既に配置された部品によって覆われる場合に、覆われることが生じ得る。
【００３３】
また、短いセグメントを検討から除くことが望ましい。ここで、“短いセグメント”とは、（最大の位置誤差が異なる方向で違う事実を考慮して）前記セグメントが伸びる方向のカメラの最大の位置誤差の２倍未満の長さの直線のセグメントを言う。セグメントが伸びる方向のカメラの最大の位置誤差の少なくとも２倍の長さのセグメントのとき、外形がセグメントに実質的に垂直な方向の線に沿い、前記外形が沿う方向のカメラの最大の位置誤差の２倍であり、前記外形の中心が前記セグメントの中心の基準に位置する場合に、前記セグメントは、必ず検出される。従って、基板の相当な部分ではなく、前記の外形に沿った画像データを取得しさえすればよい。
【００３４】
前記第２の条件に関して、２つ以上のセグメントが同じ幅と方向を有する場合、それらは混同され得る。実際に、単一の回路基板の導体の幅はほとんど一定であるが、生産工程において１つの基板と他の基板との変動が生じ得る。従って、幅は、１つの導体と他の導体を区別する有益なパラメータではない。セグメントと他のセグメントとを方向に基づいて区別することを望む場合、方向の小さい差異（例えば１０°）を検出する必要があるため、処理時間は相対的に長くなる。実際に、回路基板の導体は、水平（基板の上部と下部に平行）又は垂直（基板の側面に平行）又は斜めである。前記３つの基本方向の間を区別するのに有する処理はほとんどない。
【００３５】
前述の検知から見て、基準グループとして単一のセグメントが選択されると、前記選択されたセグメントのエラーウィンドウに、前記選択されたセグメントと同じ方向を有する他のセグメントが存在しない場合に、前記第２の条件が満たされるとみなされる。複数のセグメントが基準グループとして選択されると、前記選択されたグループのセグメントのエラーウィンドウに、同じ方向と間隔（セグメントの中心間で測定された間隔）を有する他のグループのセグメントが存在しない場合に、前記第２の条件が満たされるとみなされる。
【００３６】
所定のセグメントが明白でないかどうかを決定する場合、前記エラーウィンドウの内容が特定の方向、例えば左から右又は右から左に（又は、水平に伸びる基準セグメントに対しては、上から下又は下から上に）走査される場合に有利である可能性がある。例えば、前記エラーウィンドウに１つ以上の垂直なセグメントが存在しても、（右から左に走査するときに見つけられる最初のセグメントと同様に）前記エラーウィンドウを左から右に走査するときに見つけられる最初のセグメントは明白である。所定の候補グループが明白であるかどうかを評価する間、前記エラーウィンドウは双方向から（垂直なセグメントに対しては左から右と右から左に、水平なセグメントに対しては上から下と下から上に）走査され、走査方向が明白なグループを生じることに関するデータが蓄積され得る。
【００３７】
図２から４を参照して、セグメントを有する基板に対するカメラの視野の位置を判断する場合に、それぞれの基準グループとしての役割をする個々のセグメント又はセグメントのグループを選択する好ましい処理が説明される。実際には、カメラの視野の位置を判断する基準として用いられる何らかのグループのセグメントに、セグメントの数の制限（n）が存在することが好ましい。前記の制限が存在しない場合、位置判断処理の間の基準セグメントの選択と基準セグメントの検出は、画像の小さな一部の分析ではなく、相当な大きさの領域の分析を含み得る。さらに、各基準グループは、その基準グループの大きさに関わらず、１つの位置情報を生じる。従って、基準グループの大きさが増加すると、処理時間が増加され、利点が少なくなる。理想的には、各基準グループは単一のセグメントからなる。しかし、一般的に回路基板に部品を配置することを有する用途において、nはおよそ３に設定される。
【００３８】
図２は基準グループの選択の好ましい処理の主要なステップを示したものであり、図３と４は、基準グループとして適した評価を受けるセグメントの候補グループを含む画像部分の見本を示したものである。図３と４において、基準としての役割をするのに適した評価を受けるセグメントの候補グループが実線で示され、同じ画像部分に現れるが、前記の評価を受けない他のセグメントが破線で示されている。
【００３９】
図２に示す通り、第１のステップ（Ｔ１）として、それぞれのセグメントが伸びる方向のカメラの最大の位置誤差の２倍であるセグメントのみを、基準セグメントの候補としてみなす。前記候補セグメントが基準グループとして用いられるのに適しているかについて、前述の条件１）と２）に関して、順番に評価される。特に、最初のセグメント（Ｓ_１）が評価に選ばれ（図２のステップＴ２とＴ３）、前記セグメントについて前述の条件１）が満たされているかどうか決定される（図２のステップＴ４）。“そうでない（no）”場合、つまり、前記セグメントのエラーウィンドウがカメラの使用可能な視野に含まれない場合は、前記セグメントは、基準グループとして用いるのに適さず、処理が進み、図２のステップＴ９とＴ１０を介して次の候補セグメント（Ｓ_２）を分析する。
【００４０】
ステップＴ４の評価結果が“そうである（yes）”の場合、（図２のステップＴ５において）前記候補セグメントと混同し得る何らかの他のセグメントがエラーウィンドウに存在するかどうかが、次に決定される。特に、単一のセグメントからなる候補グループについては、前記セグメントが、その方向を有する唯一のセグメントであるかどうか、又は特定の方向にエラーウィンドウを走査する場合に見つけられる最初／最後のセグメントであるかどうかが調査される。いくつかのセグメントからなる候補グループについては、前記グループが、エラーウィンドウでその方向と間隔を有する唯一のグループであるかどうか、及び／又はそれがエラーウィンドウの最初／最後のグループであるかどうかが調査される。
【００４１】
候補基準グループと混同し得る他のグループが存在しない場合は、このことは、検討中の候補セグメントが明白であり、カメラの視野の位置を判断する場合の基準グループとして用いるのに適していることを意味する。図２のステップＴ８において、前記セグメントは、“基準グループ”として指定され、次の候補セグメント（Ｓ_２、又はより一般的にはＳ_ｉ＋１）のためにステップＴ３からＴ５が繰り返される。図３は、基準グループとして指定されるのに適した個々の候補セグメントを含む画像部分の見本を示したものである。すなわち、示されたセグメントでは、条件１）と２）が満たされる。ところで、図３と４において、エラーウィンドウを水平に横切る線は、基準グループを検出するために画像の外形が取得された線である（以下参照）。
【００４２】
ステップＴ５において、前記候補セグメントと混同し得る他のセグメントが存在するという評価を示す場合、このことは、検討中の候補セグメントが明白でないことを意味する。図４Ａは明白でない個々の候補セグメントを有する画像部分の見本を示したものである。その理由は、前記エラーウィンドウが同じ方向を有する他のセグメントを含み、特定の方向に走査される時に、前記候補セグメントが前記エラーウィンドウの最初／最後でないからである。前記の場合、検討中のグループがｎ未満である場合は、最も近い平行に隣接するものを候補グループに加えることにより、検討中のセグメントのグループを拡大することが好ましい（図２のステップＴ６とＴ７）。前記追加された最も近くの隣接するものは、前記エラーウィンドウが前述の特定の方向に走査される場合に最初に見つけられる側に存在することが好ましい。そして、前記拡大されたセグメントのグループが前述の条件１）と２）を満たすかどうかが（拡大されたセグメントのグループに関してステップＴ４とＴ５を繰り返すことにより）評価される。グループにおけるセグメントの数が増加するため、前記エラーウィンドウの大きさも同様に増加しなければならない。ステップＴ４とＴ５を繰り返す結果が、拡大されたグループが未だ明白でないという決定である場合には、更なるセグメントが候補グループに加えられ、ステップＴ４とＴ５がもう一度繰り返され、候補グループのセグメント数が制限ｎに達するまで、以下同様である。
【００４３】
図４Ｂは、図４Ａの候補セグメントからなる“グループ”に第２のセグメントが加えられた場合を示す。その結果の拡大された候補グループは未だ明白でなく、図４Ｃに示す通り、更なるセグメントをグループに加える必要がある。前記更に拡大された候補グループは明白になり、基準として用いるのに適して指定され得る。
【００４４】
前記エラーウィンドウが特定の方向に走査され、走査方向において最初又は最後であるために特定の基準グループが明白になる場合は、前記エラーウィンドウが走査される方向にあるものを識別するデータを蓄積する必要がある。一般的に、いくつかの基準グループは水平方向に、他は垂直方向に（場合によっては、他は斜めに）向くため、それぞれの基準グループに関連付けられて、前記走査方向のデータが蓄積される。
【００４５】
全ての可能性のある候補セグメントが分析されたと決定されると（図２のステップＴ９）、処理は終了する。処理の結果は、グループ毎に、前記グループの中心の公称位置を示すデータと、前記グループのセグメント間の間隔と、前記セグメントの方向と、適切な場合は選択的な走査方向と共に、“基準グループ”として指定されるセグメントのグループ（“グループ”は個々のセグメントから構成され得る）の一覧である。
【００４６】
実際に、前記セグメントのグループは、カメラの位置を判断する場合に基準としての役割をするのに全て適しているが、その全てが使用されることは必須ではない。カメラ位置の判断の間の処理時間を減少するために、前記適切なセグメントのグループの一部の選択が行われ得る。用いられる基準グループが多いほど、位置判断の正確性が向上するが、処理時間が長くなる。明らかに達するべき妥協点が存在する。しかし、好ましい実施例においては、各基準グループが一方向の位置補正情報を生じるため、少なくとも２又は３の基準グループを使用する必要がある。基準グループの異なる選択が、基板に配置されるそれぞれの電子部品の場所の位置の判断に使用され得ることがわかる。
【００４７】
カメラの視野の位置を判断する処理の間に、セグメントのグループが基準グループとしての役割をすることに関する選択が行われたことを仮定する。位置判断処理の間に、カメラが生成する基板のビデオ画像において、選択されたセグメントの基準グループ（群）を検出し、位置測定する必要がある。図５は、セグメントの基準グループを検出し、位置測定する好ましい処理の主要なステップを示したものである（“グループ”は単一のセグメントからなる場合があることを思い出すべきである）。前記処理が、カメラの位置を判断する場合に用いられる各基準グループについて繰り返される。
【００４８】
セグメントの選択された基準グループについて、基準グループが必ず現れる基板の一部の画像が取得される（図５のステップＷ１）。本発明の好ましい実施例において、前記一部の画像は、エラーウィンドウの中央を横切る線に沿って、好ましくは、基準グループのセグメントの方向に実質的に垂直に、取得された外形である。取得された画像の外形の長さは、取得された外形に沿った方向のカメラの最大の位置誤差の２倍に対応する。前記外形の中心点は、前記基準グループの中心の公称位置である。好ましくは、画像の外形は、線に沿って５ピクセルの幅のように数ピクセルの幅で取得され、５ピクセルを超える画像データは平均化される。特に、このことは、画像処理の不具合によって生じた画像データの途切れが、誤ってセグメントの縁として判断されないことを確実にする。
【００４９】
標準的な境界検出技術を用いて、セグメントの縁に対応する明るさの変化を検出するために、前記取得された外形が次に分析される（図５のステップＷ２）。
【００５０】
次に（図５のステップＷ３）、検出された縁と基準グループのセグメントの縁との間の最適な合致を見つける試みが行われる。前記合致する処理は、基準グループのセグメント又はセグメント群の予定された方向を判断し、基準グループがいくつかのセグメントを含む場合には、セグメント間の予定された間隔もまた判断する。走査方向が基準グループに関連付けられる場合、前記合致する処理は、特定の走査方向に沿った画像の外形の縁の走査を含む。前記合致する処理は、標準的な数学的三角法技術を用いるため、詳細には説明する必要がない。
【００５１】
取得された外形において一式の縁が識別され、基準グループとの最適な合致が評価されると、前記一式の縁の実際の位置とその喜寿に地との間の補正値が決定される（図５のステップＷ４）。前記補正値は、基準グループの公称位置に対応する所定の位置と比較されるカメラの視野の一次元の補正値の測定である。
【００５２】
実際に、１つの基準グループの位置測定から生じる一次元の補正値情報は、望ましい正確性でカメラの視野の位置を判断するのに不十分である。好ましくは、回路基板の縁に平行と垂直との双方向に伸びるセグメントを含む一式の基準グループについて計算された補正値に基づいて、判断を生成することが望ましい。一式の基準グループについて計算された一式の補正値は、基板に関する所定の位置に対するカメラの視野が平行移動又は回転又はその２つの組み合わせを受けたかどうかを示す。計算された補正値の所定のパターンに基づいて、カメラの視野の位置の変化を計算するのに必要な計算は複雑でなく、ここで詳細に説明しない（例えば、前に引用したde Jong他の論文を参照）。
【００５３】
本発明は、図６に図式的に表す通り、前述の方法を実現する装置を提供する。
【００５４】
図６を参照すると、本発明による装置は、デジタル画像データを取得する手段１５０と、前記データを前述の処理方法に従って処理するデジタル処理システム１２０とを組み込む。前記画像データ取得手段１５０は、前述のカメラを組み込む場合がある、又はカメラから画像データを受信する（物理的又はソフトウェア実装の）インタフェースである場合がある。前記デジタル処理システム１２０は、しるしの基準グループの最初の選択を実行することと、前記基準グループを検出し、位置測定し、カメラの視野の位置判断を計算することを含む処理を実行することの双方に適合し得る。その他、しるしの基準グループの最初の選択は、離れた処理装置によって行われ得る。後者の場合、デジタル処理システム１２０は、少なくとも選択された基準グループを識別し、その公称位置を示すデータを備える。
【００５５】
前記画像データ取得手段１５０は、少なくとも１つの出力を有する処理システム１２０（この例において、処理システムは２つの出力１０５、１０６を有する）に画像データを供給する。前記処理システム１２０は、第１の出力１０６を介して、位置判断データを出力及び／又は蓄積手段１３０、１４０に出力し得る。一般的に前記位置判断データは、数値データの形式であるが、何らかの便宜的な表現（例えば、基板の表示に関するカメラの視野の予定された位置を示すグラフ表示）も用いられ得る。前記表示及び蓄積手段は、それぞれ、スクリーン１４０とワークステーション１１０のメモリ１３０である場合がある。前記蓄積手段は、その他に、外部の蓄積手段である場合がある。
【００５６】
前述のような用途において、前記位置の評価はロボットアームの位置のサーボ制御に用いられ、前記処理手段１２０はまた、ロボットの位置を調整するために必要な計算を実行し得る。前記の場合、前記処理手段１２０は、出力１０５を介して位置制御データをロボットに出力し得る。
【００５７】
前記データ処理システムは、ワークステーション１１０のコンピュータに、又は参照テーブル（LUT）や、メモリや、フィルタや、論理演算手段のような回路手段を有する特定目的プロセッサに適切にプログラムされ、本発明による方法のステップの機能を実行するように構成され得る。前記ワークステーション１１０はまた、キーボード１３１とマウス１３２を有し得る。前記処理システム１２０は、前述の方法を実行するために、前記処理システムの計算手段により実行されるプログラム命令を有するコンピュータプログラム製品を使用し得る。
【００５８】
前述の図面とその説明は、本発明を限定するものではなく、例証するものである。特許請求の範囲内に含まれる多数の代替方法が存在することが明白である。この点について、次の終わりの注釈が行われる。
【００５９】
回路部品が正確に導体経路に配置可能にすることを目的として、本発明は、導体経路により構成されるセグメントを有する回路基板に対するカメラの視野の位置を判断することに照らして説明された。前述の通り、本発明はこの用途に限定されず、特に、本願で“基板”の言及は、画像に映り得るしるしを有する何からの媒体を参照する。さらに、“カメラ”の言及は、多様な種類の映像装置を対象とすることがわかり、従来の静止カメラ又はビデオカメラに限定されない。さらに、検討中のしるしの色と基板の色は、前記しるしと前記基板の間の識別し得るコントラストが存在する限り、本発明には重要でない。
【００６０】
同様に、本発明の好ましい実施例は、画像装置の最大の位置誤差の少なくとも２倍の長さの直線セグメントの基準グループを使用する。このように、一部の画像が薄い外形に沿ってのみ取得される必要がある。短いセグメントが用いられ得るが、このことは、取得されなければならない一部の画像の大きさを増加することがわかる。
【００６１】
特許請求の範囲の何らかの引用符号は、特許請求の範囲を限定するものとして解釈されるべきではない。
【図面の簡単な説明】
【００６２】
【図１】電子部品が回路基板に配置される用途において、カメラの視野の位置を判断する本発明による手順における主要なステップを表すフロー図である。
【図２】基準セグメントとしての役割をするセグメントを選択する好ましい処理における主要なステップのフロー図である。
【図３】画像部分の第１の見本の配置図である。
【図４Ａ】図４は、画像部分の第２の見本の配置図であり、図４Ａは、単一のセグメントがセグメントの候補基準グループとしてみなされる場合を示したものである。
【図４Ｂ】一対の隣接するセグメントが、セグメントの候補基準グループとしてみなされる場合を示したものである。
【図４Ｃ】３つの隣接するセグメントのグループが、セグメントの候補基準グループとしてみなされる場合を示したものである。
【図５】セグメントの基準グループを検出する好ましい処理における主要なステップを示すフロー図である。
【図６】本発明による方法を実現するのに適した装置の配置図である。

Claims

可視的なしるしを有する基板に対する画像装置の視野の位置を判断する方法であって、
前記方法は、選択された一式のしるしの基準グループの位置の変化に基づいて、前記画像装置の前記視野の前記位置を判断するステップを有し、
それぞれの選択されたしるしの基準グループについて、前記位置の変化が前記基板の対応する一部の画像データの取得と分析により決定されることを特徴とする方法。
請求項１に記載の位置判断方法であって、
前記基板で各基準グループとしての役割をする１つ以上のしるしのグループを選択するステップであって、前記選択された基準グループが前記視野の公称位置にある場合に、前記画像装置の前記視野が前記基板に関して第１の位置にあるステップと、
それぞれの基準グループの前記公称位置に対応する前記基板の一部の画像を生成する前記画像装置を使用するステップであって、前記一部の画像の少なくとも１つの大きさが、前記画像装置の最大の位置誤差の実質的に等しい又はそれ以上であるステップと、
それぞれの一部の画像で、前記対応する基準グループの前記画像を検出し、前記画像装置の前記視野における前記基準グループの前記公称位置と、それから検出された位置との間の補正値を決定するステップと、
前記決定された補正値に基づき、及び、前記画像装置の前記第１の位置と前記基準グループ（群）の前記公称位置との間の周知の関係に基づき、前記画像装置の前記視野の前記位置を決定するステップと
を有する位置判断方法。
請求項２に記載の位置判断方法であって、
前記グループを選択するステップが、
候補グループとして、前記基板で１つ以上のしるしのグループを指定し、
前記画像装置の最大の位置誤差に基づいて、前記候補グループの前記画像が現れ得る画像領域の境界を決定し、
前記決定された画像領域が前記画像装置の使用可能な視野に完全には含まれない場合に、前記候補グループを却下することを有する位置判断方法。
請求項３に記載の位置判断方法であって、
前記グループを選択するステップが、
前記画像領域に対応する前記基板の一部を分析し、前記候補グループが明白に識別され得るかどうかを決定し、
前記分析ステップが、前記基板の前記一部に前記候補グループが明白に識別され得ることを決定した場合にのみ、基準グループとしての役割をする前記候補グループを選択することを有する位置判断方法。
請求項４に記載の位置判断方法であって、
前記分析ステップが、
前記基板の決定された一部に、前記候補グループを構成するしるし（群）として、同じ間隔又は同じ間隔と方向を有する１つ以上のしるしのグループが他に存在するかどうかを判断するステップと、
何らかの前記他のグループが、前記基板の前記一部に見つかった場合に、前記候補グループを明白でないと指定するステップと
を有する位置判断方法。
請求項４に記載の位置判断方法であって、
前記分析ステップが、
特定の方向に前記画像領域を走査し、それによって前記候補グループが走査される最初又は最後のグループであるかどうか判断するステップと、
前記候補グループが走査される最初又は最後のグループである場合に、前記候補グループを明白であると指定し、それに前記特定の走査方向を識別するデータを関連付けるステップと
を有する位置判断方法。
請求項５又は６に記載の位置判断方法であって、
前記候補グループが明白でないと指定された場合、
前記候補グループの隣接を構成する１つ以上のしるしを加えることによって、前記候補グループを拡大するステップと、
前記生成された画像の前記決定された一部において、前記拡大された候補グループを構成するしるしと同じ間隔と方向を有するしるしのグループが他に存在するかどうかを判断するステップと、
何らかの前記他のグループが前記基板の前記一部に見つかった場合に、前記拡大された候補グループを明白でないと指定するステップと、
明白でない拡大されたグループについて、前記拡大するステップと判断するステップとを繰り返すステップと
を有する位置判断方法。
請求項７に記載の位置判断方法であって、
拡大後の前記候補グループのしるしの数が、しきい値を超える場合に、前記拡大するステップが実行されない、又は繰り返されない位置判断方法。
請求項３ないし８のうちいずれか１項に記載の位置判断方法であって、
前記グループを選択するステップが、
前記画像装置の前記視野の拒否されないしるしが、候補グループとしてみなされるまで、候補グループとして１つ以上のしるしを指定するステップを繰り返し適用することを有するステップを有する位置判断方法。
請求項１ないし９のうちいずれか１項に記載の位置判断方法であって、
基準グループの前記画像を検出するステップが、
前記画像装置の最大の位置誤差に基づいて、前記基準グループの前記画像が現れ得るエラーウィンドウの境界を決定するステップと、
前記エラーウィンドウの前記しるしを検出するステップと、
前記基準グループの前記１つ以上のしるしに最適に合致する、前記エラーウィンドウの１つ以上の前記一式のしるしを見つけるステップと
を有する位置判断方法。
請求項１０に記載の位置判断方法であって、
前記エラーウィンドウの前記しるしを検出するステップが、前記エラーウィンドウのしるしの境界を検出することを有し、
前記エラーウィンドウの一式のしるしの最適な合致を見つけるステップが、前記基準グループの前記しるし（群）の前記境界（群）に最適に合致する、前記一式の境界を見つけることを有する位置判断方法。
請求項１ないし１１のうちいずれか１項に記載の位置判断方法であって、
候補グループとしての判断のために、前記基板の直線のセグメントのみを選択するステップと、
それぞれのセグメントが伸びる方向の前記画像装置の前記最大の位置誤差の２倍より短いセグメントを拒否するステップと、
を有し、
前記基板の一部の画像を生成するステップが、前記エラーウィンドウの中心を横切る線に沿って外形を取得することを有し、
前記線が、前記それぞれの基準グループの前記セグメントの基準方向に実質的に垂直に向き、前記外形が取得される方向の前記装置の前記最大の位置誤差の少なくとも２倍の長さを有する位置判断方法。
請求項１０ないし１２のうちいずれか１項に記載の位置判断方法であって、
前記最適に合致する一式のしるしを見つけるステップが、前記しるしの前記方向と間隔のうちの少なくとも１つを評価することを有する位置判断方法。
請求項１ないし１３のうちいずれか１項に記載の方法の、少なくとも前記画像データ分析ステップと位置判断ステップとを実現するのに適した手段を有する装置。
請求項１ないし１３のうちいずれか１項に記載の方法の、少なくとも前記画像データ分析ステップと位置判断ステップとを実行するように構成された回路手段を有する、適当にプログラムされたコンピュータ、又は特定目的プロセッサを有するシステム。
請求項１４又は１５に記載の装置又はシステムであって、
前記装置／システムがデータへのアクセスを有するデジタル画像データを取得する手段に関連付けられた装置又はシステム。
請求項１ないし１３のうちいずれか１項に記載の方法の、少なくとも前記画像データ分析ステップと位置判断ステップとを実行する一式の命令を有するコンピュータプログラム製品。
請求項１４ないし１７のうちいずれか１項に記載の装置又はシステム又はコンピュータプログラム製品であって、
前記位置判断方法で使用される前記一式の基準グループを選択するのに適した装置又はシステム又はコンピュータプログラム製品。