JP2017036974A - 画像処理装置、校正方法および校正プログラム - Google Patents

画像処理装置、校正方法および校正プログラム Download PDF

Info

Publication number
JP2017036974A
JP2017036974A JP2015157666A JP2015157666A JP2017036974A JP 2017036974 A JP2017036974 A JP 2017036974A JP 2015157666 A JP2015157666 A JP 2015157666A JP 2015157666 A JP2015157666 A JP 2015157666A JP 2017036974 A JP2017036974 A JP 2017036974A
Authority
JP
Japan
Prior art keywords
stage
image
mark
coordinate space
reference position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015157666A
Other languages
English (en)
Other versions
JP6421722B2 (ja
Inventor
和志 吉岡
Kazushi Yoshioka
和志 吉岡
研吾 市村
Kengo Ichimura
研吾 市村
博幸 枦山
Hiroyuki Hazeyama
博幸 枦山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2015157666A priority Critical patent/JP6421722B2/ja
Priority to CN201610564801.XA priority patent/CN106444852B/zh
Priority to EP16180845.6A priority patent/EP3128483B1/en
Priority to US15/219,412 priority patent/US10334239B2/en
Publication of JP2017036974A publication Critical patent/JP2017036974A/ja
Application granted granted Critical
Publication of JP6421722B2 publication Critical patent/JP6421722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position Or Direction (AREA)
  • Image Processing (AREA)

Abstract

【課題】XステージとYステージが連動していないステージであっても撮像装置とステージの位置校正を可能にする。
【解決手段】本実施形態の画像処理装置100は、Xステージ300が基準位置にある時の画像上の目印の位置を示す第1画像座標空間内基準位置と、Xステージ300が第1基準位置からX方向に移動して第1移動位置にある時の画像上の目印の位置を示す第1画像座標内移動位置と、Yステージ400の特性値から計算される画像上の目印の位置を示す第1画像座標空間内仮想位置とを用いて撮像装置102のカメラ座標系をステージ座標系に前記位置校正を行う。
【選択図】図1

Description

本発明は、画像処理を用いて対象物を位置決めするための位置決め装置、校正方法および校正プログラムに関する。
製造現場では様々な自動化技術が開発されており、このような自動化技術の1つとして画像処理装置を用いて対象物を位置決めする技術が知られている。
そのような技術として、例えば、特許文献1には、平行移動と回転移動を行うXYθステージに搭載される対象物上の基準目印をカメラにより撮像した画像により計測しながら対象物の位置アライメントを行うXYθステージによる位置アライメントシステムが開示されている。
この位置アライメントシステムは、位置アライメントの前にキャリブレーションを行っている。キャリブレーションは、XYθ方向の移動量とXYθステージに対向して配置されるカメラの撮像画像上の移動量との関係を計測し、カメラでのXYθステージの動きを見ながらXYθステージに所望の移動を行わせるためのXYθステージの移動方向と移動量に対するカメラの撮像画像上の移動方向と移動量の関係を見つけ出し諸条件を整える処理である。
また、特許文献2には、ディスプレイパネルの表面に各種機能を有するフィルムを貼り合せる技術が開示されている。
特開2007−17424号公報 特開2013−208827号公報
2つの対象物を位置決めする場合に、それぞれをXYθステージ(3軸)に載置するとステージの軸数が多くなり(全部で6軸)、コスト高となる。これを回避するには、例えば、2つの対象物の一方をXθステージに載置し、他方をYステージに載置することが考えられるが、この場合は、XθステージとYステージとが分離することになり、特許文献1のキャリブレーション手法が適用できない。
本発明の目的は、XステージとYステージが分離したステージであっても撮像装置とステージの位置校正を可能にすることにある。
上記の課題を解決するために、本発明の画像処理装置は、第1方向に移動する第1ステージと前記第1ステージから独立して第2方向に移動する第2ステージとから構成されるステージ座標系と、前記第1ステージ上の目印または前記第1ステージに載置された対象物上の目印を第1目印の画像として得ることが可能な第1撮像装置のカメラ座標系との位置校正を行う処理部を有する画像処理装置であって、ステージの機械的な特性値と位置校正パラメータを記憶するメモリと、前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置と前記特性値とから前記位置校正パラメータを計算する処理部とを備え、前記処理部は、前記第1ステージが第1基準位置にある時に前記第1撮像装置を用いて撮像した画像上の第1目印の位置を示す第1画像座標空間内基準位置を取得し、前記第1ステージが前記第1基準位置から第1方向に移動して第1移動位置にある時に前記第1撮像装置を用いて撮像した画像上の第1目印の位置を示す第1画像座標空間内移動位置を取得し、前記第1目印を前記ステージ座標系の第1仮想位置に移動したと仮定した場合、前記メモリ内の前記第2ステージの特性値を用いて、前記第1仮想位置の前記第1目印を仮想的に撮像したら得られる第1画像座標空間内仮想位置を計算し、前記第1基準位置と前記移動位置と前記第1仮想位置と前記第1画像座標空間内基準位置と前記第1画像座標空間内移動位置と前記第1画像座標空間内仮想位置とから第1位置校正パラメータを計算し、前記第1位置校正パラメータを前記メモリに記憶する。
なお、第1基準位置とは、第1撮像装置を用いて目印が画像上にある任意の位置でよい。また第1ステージが原点の位置であってもよい。
また、本発明の位置校正方法は、第1方向に移動する第1ステージと前記第1ステージから独立して第2方向に移動する第2ステージとから構成されるステージ座標系と、前記第1ステージ上の目印または前記第1ステージに載置された対象物上の第1目印を画像として得ることが可能な第1撮像装置のカメラ座標系との位置校正を、画像処理装置の処理部が実行する位置校正方法であって、前記処理部が処理するステップは、前記第1ステージが第1基準位置にある時に前記第1撮像装置を用いて撮像した画像上の第1目印の位置を示す第1画像座標空間内基準位置を取得するステップと、前記第1ステージが前記第1基準位置から前記第1方向に移動して第1移動位置にある時に前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置を示す第1画像座標空間内移動位置を取得するステップと、前記第2ステージの特性値から計算される第1仮想位置に移動した場合の画像上の前記第1目印の位置を示す第1画像座標空間内仮想位置を計算するステップと、前記第1基準位置と前記第1移動位置と前記第1仮想位置と前記第1画像座標空間内基準位置と前記第1画像座標空間内移動位置と前記第1画像座標空間内仮想位置とから第1位置校正パラメータを計算するステップとを含む。
また、本発明における工業装置は、第1方向に移動する第1ステージと前記第1ステージから独立して第2方向に移動する第2ステージと、前記第1ステージおよび前記第2ステージの動作制御を行う動作制御装置と、第1ステージ上の目印または前記第1ステージに載置された対象物上の目印を画像として得ることが可能な第1撮像装置と、前記画像を処理する画像処理装置とを備えた工業装置であって、前記画像処理装置は、前記第1ステージが第1基準位置にある時の画像上の目印の位置を示す第1画像座標空間内基準位置と、前記第1ステージが前記第1基準位置から前記第1方向に移動して第1移動位置にある時の画像上の目印の位置を示す第1画像座標空間内移動位置と、第1仮想位置に移動した場合に前記第2ステージの特性値から算出される画像上の目印の位置を示す第1画像座標空間内仮想位置とを用いて前記第1ステージおよび前記第2ステージのステージ座標系と前記第1撮像装置のカメラ座標系との位置校正を行い、この位置校正の結果のステージ座標系の座標を前記動作制御装置に出力する。
上記構成によれば、第2方向について第1仮想位置を算出するとともに、第1画像座標空間内仮想位置を仮想的に算出することができるので、第1ステージと第2ステージとが分離され、撮像装置の視野内において、第1ステージと第2ステージとの両方を動かしたときに撮像視野内で座標の変化を読み取ることができないようなステージの構成においても、キャリブレーションすることができる。
また、一般的に第1ステージおよび第2ステージは、それらの軸が90度に設定された第1方向がX軸方向、第2方向がY軸方向となるが、その方向の相対角度は90度に限られない。また、第1ステージおよび第2ステージは同一平面上にあってもよいし、ねじれの位置にあってもよい。ねじれの位置にある場合、第1の方向と第2の方向の相対角度は、第2の方向の軸を撮像装置の光軸の方向に平行移動させ、第2の方向の軸が第1の方向の軸と交わる状態における第1の方向と第2の方向のなす角度である。
また、一般的に撮像装置はCCDカメラ、CMOSカメラを使用することができる。
ここで、目印は、撮像装置により撮像した画像内で場所を特定できるものであればよく、一般的には十字形状を用いるが、十字形状でなくてもよい。また、ステージの角や対象物の角を目印として用いてもよい。
また、載置とは、対象物がステージとともに移動状態する状態を意味し、一般的には対象物がステージに置かれている状態である。また、下方に向いたステージであれば、対象物がステージに吸着された状態も載置に含む。下方に向いたステージの場合、撮像装置は上方を向いた状態で設置される。
また、本発明の画像処理装置および位置校正方法において、前記特性値には、前記第1方向に対する前記第2方向の相対角度と、前記第1ステージに対する前記第2ステージの移動量の相対倍率との少なくとも1つが含まれる。また前記第1ステージと前記第2ステージの右手系、左手系の値を含んでもよい。前記特性値とは、ステージの機械的特性を意味する。
上記構成によれば、第1ステージと第2ステージとの位置関係および移動量を考慮して、正確に第1仮想位置および第1画像座標空間内仮想位置を特定することができる。
また、本発明の画像処理装置において、前記処理部は、前記第1画像座標空間内基準位置を、前記第1画像座標空間内移動位置の方向に、前記第1画像座標空間内移動位置および前記第1画像座標空間内基準位置間の距離に前記相対倍率を乗算して得られる値だけ進めた位置を画像座標空間内補正位置とし、前記画像座標空間内補正位置を、前記第1画像座標空間内基準位置を中心として、前記相対角度だけ回転させた位置が、前記第1画像座標空間内仮想位置として計算する。
また、本発明の画像処理装置は、入力情報を受付ける入力部をさらに有し、前記入力部は、前記特性値をユーザから受け付け、本発明の位置校正方法は、前記相対角度および相対倍率の少なくとも一方をユーザから受け付けるステップをさらに含む。一般的に入力部はキーボードやマウスであるが、画像処理装置に接続された、パーソナルコンピュータや無線接続されたタブレット型コンピュータであってもよい。
上記構成によれば、ステージ間の設計誤差にも対応することが可能である。
また、本発明の画像処理装置は、前記第2ステージ上の目印または前記第2ステージに載置された対象物上の目印を第2目印の画像として得ることが可能な第2撮像装置をさらに含み、前記処理部は、前記第2ステージが第2基準位置にある時に前記第2撮像装置を用いて撮像した画像上の前記第2目印の位置を示す第2画像座標空間内基準位置を取得し、前記第2ステージが前記第2基準位置から前記第2の方向に移動して第2移動位置にある時に前記第2撮像装置を用いて撮像した画像上の第2目印の位置を示す第2画像座標空間内移動位置を取得し、前記メモリ内の前記第1ステージの特性値から計算される第2仮想位置に移動した場合の画像上の目印の位置を示す第2画像座標空間内仮想位置を計算し、前記第2基準位置と前記第2移動位置と前記第2仮想位置と前記第2画像座標空間内基準位置と前記第2画像座標空間内移動位置と前記第2画像座標空間内仮想位置とから第2位置校正パラメータを計算し、前記第2位置校正パラメータを前記メモリに記憶する。
また、本発明の画像処理装置は、値を出力する出力部をさらに有し、前記処理部は、前記第1撮像装置用いて撮像した画像上の前記第1目印の位置と前記第1位置校正パラメータとを用いて、前記第1目印のステージ座標系の位置を計算し、前記第2撮像装置を用いて撮像した画像上の前記第2目印の位置と前記第2位置校正パラメータをと用いて前記第2目印のステージ座標系の位置を計算し、前記第1目印と前記第2目印とのステージ座標系の差分を計算し、前記出力部は、当該差分を出力する。
また、本発明の画像処理装置は、値を出力する出力部をさらに有し、前記処理部は、前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置と前記第1位置校正パラメータとを用いて、前記第1目印のステージ座標系の位置を計算し、前記第2撮像装置を用いて撮像した画像上の前記第2目印の位置と前記第2位置校正パラメータとを用いて前記第2目印のステージ座標系の位置を計算し、前記出力部は、前記第1目印の位置および前記第2目印の位置を出力する。
また、本発明の画像処理装置は、前記第1ステージと連動し、かつ回転可能な第3ステージをさらに含み、前記処理部は、前記第1ステージ上の目印または前記第1ステージに載置された対象物上の目印または前記第3ステージ上の目印または前記第3ステージに載置された対象物上の目印のいずれかの目印を、前記第3ステージが第3基準位置にある時に前記第1撮像装置を用いて撮像した画像上の目印の位置を示す第3画像座標空間内基準位置を取得し、前記第3ステージが前記第3基準位置から所定角だけ回転した時の画像上の目印の位置を示す第3画像座標空間内移動位置を取得し、前記第3画像座標空間内基準位置、前記第3画像座標空間内移動位置、および前記所定角を用いて前記第3ステージの回転中心位置を計算し、前記回転中心位置を前記メモリに記憶する。
一般的に、回転可能な第3ステージは、第1ステージの上方、つまりカメラ側に配置された状態である。この場合、校正に用いる目印は第3ステージ上の目印または第3ステージに載置された対象物上の目印となる。また、第3ステージが、第1ステージの下方に配置された状態、つまり第3ステージが回転すると第1ステージ全体が回転する構造である。この場合、校正に用いる目印は第1ステージ上の目印または第1ステージに載置された対象物上の目印となる。第1ステージの所定位置で回転中心位置を決定し、この回転中心をステージ座標系の原点として用いることができる。
また、本発明の画像処理装置において、前記処理部は、値を出力する出力部をさらに有し、前記第1撮像装置用いて撮像した画像上の目印の位置から所定の目標位置に移動させるために必要な前記第3ステージの回転角を計算し、前記出力部は、当該回転角を出力する。
また、本発明の位置校正方法は、前記第1基準位置、前記第1移動位置、前記第1仮想位置、前記第1画像座標空間内基準位置、前記第1画像座標空間内移動位置、および第1画像座標空間内仮想位置からアフィン変換パラメータを計算することで第1位置校正を行う。
また、本発明の位置校正方法は、前記第2ステージ上の目印または前記第2ステージに載置された対象物上の目印を画像として得ることが可能な第2撮像装置との第2位置校正に切り替えるステップと、前記第2ステージが第2基準位置にある時の画像上の目印の位置を示す第2画像座標空間内基準位置を取得するステップと、前記第2ステージが前記第2基準位置から前記第2方向に移動して第2移動位置にある時の画像上の目印の位置を示す第2画像座標空間内移動位置を取得するステップと、第1ステージの特性値から計算される第2仮想位置に移動した場合の画像上の目印の位置を示す第2画像座標空間内仮想位置を計算するステップと、前記第2基準位置、前記第2移動位置、前記第2仮想位置、前記第2画像座標空間内基準位置、前記第2画像座標空間内移動位置、および前記第2画像座標空間内仮想位置を用いて第2位置校正パラメータを計算するステップとを含む。
上記の構成によれば、仮想軸を第1ステージから第2ステージに切り替えた場合であっても、第2ステージを仮想軸とした場合と同様に位置校正を行うことが可能である。
また、本発明の位置校正方法は、前記第1ステージと連動し、かつ回転可能な第3ステージを含むステージ座標系と前記第1撮像装置のカメラ座標系との第3位置校正に切り替えるステップと、前記第3ステージが第3基準位置にある時に、前記第1ステージ上の目印、または前記第1ステージに載置された対象物上の目印、または前記第3ステージ上の目印、または前記第3ステージに載置された対象物上の目印のいずれかの目印を前記第1撮像装置を用いて撮像し、画像上の目印の位置を示す第3画像座標空間内基準位置を取得するステップと、前記第3ステージが第3基準位置から所定角だけ回転した時の画像上の目印の位置を示す第3画像座標空間内移動位置を取得するステップと、前記第3画像座標空間内基準位置、前記第3画像座標空間内移動位置、および前記所定角を用いて前記第3ステージの回転中心を計算する第3位置校正を行うステップとを含む。
上記構成によれば、第1ステージの移動および第3ステージの回転移動を合わせた位置決めを行うことができる。
なお、本発明の画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は、XステージとYステージが連動していないステージであっても撮像装置とステージの位置校正を可能にすることができる効果を奏する。
本発明の実施形態における位置決めシステムの一例を示す図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 アライメント処理の流れの一例を示すフローチャートである。 目標座標の決定方法を説明するための図である。 目標座標の決定方法を説明するための図である。 本発明の実施形態におけるキャリブレーション処理を説明するための図である。 本発明の実施形態におけるキャリブレーション処理の流れの一例を示すフローチャートである。 左手系の座標系と右手系のステージ座標系を示す図である。 左手系の座標系と右手系のカメラ座標系を示す図である。 アフィン変換の行列式を示す図である。 ユーザインターフェース(UI)の一例を示す図である。 変形例における位置決めシステムの一例を示す図である。
図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
図1は、本発明の実施形態における位置決めシステムの一例を示す図である。位置決めシステム(工業装置)は、画像処理を用いて、工業製品の製造過程において、対象物(以下、「ワーク」という)を生産ラインでの必要な位置に、ズレがないように配置するものである(アライメント)。本実施形態における位置決めシステムは、液晶パネルの生産ラインにおいて、ワークであるガラス基板にフィルムを貼り付ける際のワークの位置合わせを制御するものである。他にも、位置決めシステムは、回路基板への部品実装や、部品同士の組み立てなどにも用いられる。
図1に示されるように、位置決めシステム1は、画像処理装置100と、1以上の第1,2カメラ102,104(それぞれが第1撮像装置に相当)、第3、4カメラ105、106(それぞれが第2撮像装置に相当)と、モーションコントローラ200と、ステージ(第1〜3ステージ)300,400,500とを含む。画像処理装置100は、第1,2カメラ102,104により撮影された画像データを取得し、その画像データに基づいてワークの位置を特定する。具体的には、ワーク10には、予め決められた位置に、位置決めのための特徴的な位置決め目印Mが設けられているので、画像処理装置100は、取得した画像データに含まれる位置決め目印Mの位置に基づいてワーク10の位置を特定する。なお、位置決め目印の無いワークもあり、この場合ワークの角部分を検出し、ワークの位置を特定する。
モーションコントローラ200は、画像処理装置100からの指示に従って、図示しないサーボモータードライバを駆動することによりステージ300,400,500を移動させ、ワーク10の位置を位置決めする。具体的に、ワーク10に設けられた位置決め目印Mの位置に基づいて決定される位置と目標位置を比べて、その差分がなくなるようにステージ300,400,500を移動する。液晶パネルの生産ラインにおいてワーク10であるガラス基板とフィルムを張り付ける場合、フィルムに印字された位置決め目印Mを目標位置として、ガラス基板を移動させる。
ステージ300,500は、ワーク10であるガラス基板をフィルムの貼り合せに必要な位置に配置可能な構成であればよく、具体的には水平方向の一方向の変位と回転方向の変位をワーク10に与えることができる。すなわち、本実施形態におけるステージ300は、X方向に変位するXステージ300上に、所定の回転軸を中心に回転するθステージ500が配置される構成である。以下、ステージ座標系の原点は、Xステージ300の可動範囲の中点(所定位置)におけるθステージ500の回転中心を原点とし、原点からX方向をX軸、Y方向に変位するYステージ400をY軸として説明する。なおステージ座標系の原点は、これに限らずXステージ300の端点やXステージ300とYステージ400の交点とすることもできる。
ワーク10であるガラス基板にフィルム(ワーク11)を貼り合わせる場合には、本実施形態におけるXθステージ300,500によってXθステージに載置されたガラス基板のX方向と回転方向のズレを補正し、Xθステージ300,500とは独立して配置されたYステージ400によってYステージ400上に載置されたフィルムのY方向のズレを補正する。この2つの補正を合わせることにより、ガラス基板とフィルムの位置を一致させることができる。なお、ガラス基板とフィルムの貼り合わせの応用例は1例であるため、ガラス基板やフィルムをステージに保持したり、吸着したりする機構および、それらをステージ載置するための機構は図示していない。
図2は、画像処理装置のハードウェア構成の一例を示すブロック図である。図2に示されるように、画像処理装置100は、処理部(プロセッサ)101と、データを記憶したり、処理部101の作業領域として使用されるメモリ111と、操作部(入力部と表示部を含む)113と、カメラI/F117と、モーションコントローラI/F119とそれぞれ接続され、画像処理装置100全体を制御する。
カメラI/F117は、Xθステージ300,500に対向して配置された第1,2カメラ102,104、第3,4カメラ105,106がワーク10を撮影することで生成される画像データを受け付ける。カメラI/F117は、第1,2カメラ102,104、第3,4カメラ105,106からの画像データを一時的に蓄積するための図示しないバッファを含む。
操作部113は、複数のキーを備え、キーに対応するユーザの操作による各種の指示、文字、数字などのデータの入力を受付ける。操作部113は、表示部114を含み、表示部114は、液晶表示装置(LCD)、有機ELD等の表示装置であり、ユーザに対する指示メニューや取得した画像データに関する情報等を表示する。表示部114と操作部113とで、操作パネルを構成してもよい。
モーションコントローラI/F119は、モーションコントローラ200と接続され、処理部101は、モーションコントローラI/F119を介して、モーションコントローラ200との間でデータを送受信する。
次に、後述するキャリブレーション処理の後に実行されるアライメント処理の流れについて説明する。図3は、アライメント処理の流れの一例を示すフローチャートである。図3に示す各ステップは、基本的には画像処理装置100およびモーションコントローラ200が協働して実行する処理である。
ステップS1(Xステージ上のワーク撮影)において画像処理装置100は、第1、2カメラ102,104によりワーク10上の第1目印、第2目印を検出し、それぞれのカメラ座標系を計算する。
ステップS2(Yステージ上のワーク撮影)において、画像処理装置100は、第3、4カメラ105,106によりワーク11上の第3目印、第4目印を検出し、それぞれのカメラ座標系を計算する。
ステップS3(カメラ座標系をステージ座標系に変換)において、各目印の画像座標位置から各カメラに対応するキャリブレーションパラメータを用いて第1〜第4目印のステージ座標系での位置を求める。
ステップS4(目標位置の算出)において、ステージ座標系における第3、第4目印の中点(以下ワーク11中点)を(Xt、Yt)とした場合、(Xt、0)を目標位置とする。
ステップS5(Yステージの移動量算出)ワーク11中点を目標位置に合わせるためには、Yステージの移動量はYtとなる。
ステップS6(Xステージの移動量算出)において、ステージ座標系における第1、第2目印の中点(以下ワーク10中点)とした場合、ワーク10中点を目標位置に合わせるためには、Xステージの移動量はXtとなる。
ステップS7(θステージの移動量算出)において、ワーク10中点とワーク11中点を重ねたときに、ワーク10とワーク11の重ねるべき目印の位置ずれ量から回転角θtを算出する。
ステップS8(ステージ移動)において、画像処理装置100は、ステップS5〜S7で算出した移動量をモーションコントローラ200に出力し、モーションコントローラ200は移動量に従って、ステージ300,400、500を移動させ、アライメント処理を終了する。
ワーク11とワーク12を張り合わせる場合には、アライメント処理終了後、図示しないZ軸方向に動作する機構によって張り合わせを完了する。
なお、ここでは、ステップS1〜S8は画像処理装置100が実行する処理として説明したが、画像処理装置100は、ステップS3で求められた第1〜第4目印のステージ座標をモーションコントローラ200に出力し、ステップS4〜S8はモーションコントローラ200で実行可能であってもよい。
また、画像処理装置100は、第1カメラ102、104で撮影した目印と、第2カメラ105、106で撮影した目印とのステージ座標系の座標の差分(ベクトル)をモーションコントローラ200に出力してもよい。このような出力を行うと、第1カメラ102で撮影した目印と第2カメラ105で撮影した目印、および第1カメラ104で撮影した目印と第2カメラ106で撮影した目印をそれぞれ重ねるアライメントを行う場合に、モーションコントローラ200での計算を高速で行うことができる。
また、画像処理装置100は、第1カメラ102、104で撮影した目印、第2カメラ105、106で撮影した目印それぞれのステージ座標系の座標を出力してもよい。この場合、アライメントのための位置計算は、モーションコントローラ200が行う。
次に、図3で説明したアライメント処理の前に実行される本発明の実施形態であるキャリブレーション処理について説明する。キャリブレーション処理は、第1,2カメラ102,104がワーク10を撮影することにより得られる位置情報と、実際のワーク10の位置情報との関係性を決定する処理である。
図1に示されるように、ワーク10上の位置決め目印Mを第1,2カメラ102,104で撮影すると、実際のステージ座標系と、第1,2カメラ102,104が認識するカメラ座標系とは一致しない。このため、キャリブレーション処理において、これら座標系の間で整合させる必要がある。具体的に、位置決め目印Mが設けられているワーク10を移動させ、ステージ座標系に生じる移動量とカメラ座標系に生じる移動量とを比較することにより、後述するキャリブレーションパラメータを計算する。なお、キャリブレーション処理はカメラ個別に行い、カメラ個別にキャリブレーションパラメータを有することとなる。
図6は、本発明の実施形態におけるキャリブレーション処理を説明するための図である。図6に示すワーク10上の十字を目印Mとして、カメラ102,104を用いて撮像した画像の状態を模式的に表している。カメラ102,104の視野内に複数の目印Mが写り込む場合もあるが、特定の目印Mを用いてキャリブレーションを行えばよい。なお、画像空間内仮想位置は、理解するために示すものであり、カメラで撮影した画像に示さなくてもキャリブレーション処理は実行可能である。
図7は、本発明の実施形態におけるキャリブレーション処理の流れの一例を示すフローチャートである。キャリブレーション処理は、アライメント処理に先だって実行される処理である。この処理においては、事前にXθステージ300,500が、その基準位置、例えば原点に位置し、位置決め目印Mが第1,2カメラ102,104に写るようにワーク10がXθステージ300,500に配置される。キャリブレーションパラメータを求めるためには、Xステージ200およびYステージ300のステージ座標系の移動に伴うカメラ102,104の画像内(カメラ座標系)の目印Mの3点の座標が必要となる。図1に示すようなステージにおいてカメラ102、104は、Xステージ200の移動に伴う目印Mの画像内の座標2点を得ることができるが、Yステージ300の移動に伴う目印Mの画像内の異なる座標を得ることができない。そのためYステージ300の特性値を用いカメラ102,104の画像内におけるYステージの移動(仮想位置)に伴う目印Mの3点目として画像座標空間内仮想位置を算出することによってキャリブレーションパラメータを求めることができる。
図7に示されるように、画像処理装置100は、ワーク10上の位置決め目印Mを撮影し(ステップS11)、画像における位置決め目印Mの位置を画像座標空間内基準位置として計測する(ステップS12)。
次のステップS13において、モーションコントローラ200により、そのワーク10をXステージ300のX方向に沿って所定距離移動させる。所定距離は、画像内から目印Mがはみ出ない距離とする。そして、その位置で再度撮影し(ステップS14)、その画像における位置決め目印Mの位置を画像座標空間内移動位置として再度計測する(ステップS15)サンプリング処理を実行し、処理をステップS16に進める。
ステップS16において、画像処理装置100は、ステップS11〜S15のサンプリング処理が規定回数繰り返されたか否かを判断する。ステップS11〜S15のサンプリング処理が規定回数繰り返された場合、処理をステップ17に進めるが、そうでなければXθステージ300,500を元の基準位置に移動させ、処理をステップS11に戻す。サンプリング処理を繰り返すことにより、サンプリング処理時のノイズに対して平均効果が生じ、X軸の推定の精度を高めることができる。なお、サンプリング処理は、θステージ500の回転を利用して、画像内での上下(Y方向)の変位をさせて、位置決め目印Mが画像内の左上、右上、左下、右下というような順序で移動させてもよい。
ステップS17において、画像処理装置100は、図11(a)または(b)に示されるユーザインターフェース(UI)において、相対角度αおよび相対倍率βの入力を受け付ける。相対角度αは、Xステージ300の軸(X軸)の正方向に対して、Xθステージ300,500とは別に配置されるYステージ400の軸(仮想のY軸)の正方向が成すと想定する角度である。ここで、相対角度αは、図8(a),(b)に示されるような左手系の座標系と右手系の座標系の場合があるので、その入力もUIにおいて受付可能である。また、図11(a)は図12に示すθステージ500を含まないステージのためのUIであり、図11(b)は図1に示すθステージ500を含むステージのためのUIである。
相対倍率βは、ステージ座標系におけるXステージ300(X軸)に対するY軸(仮想のY軸)の倍率である。相対倍率とは、モーションコントローラ200がXステージ300に出力した所定の移動量の命令に応じて移動する量に対して、モーションコントローラ200がYステージ400に出力した所定の移動量の命令に応じて移動する量の比である。図11(a)および(b)には、1.000000が入力されており、モーションコントローラ200の所定量の移動命令に応じて、Xステージ200とYステージ300とは同じだけ移動するステージであることが示されている。なお、一般的なステージの設計において、相対角度αは90°、相対倍率βは1であるが、Xθステージ300,500およびYステージ400を製造したときに誤差が生じる可能性によりユーザが入力可能となっている。また、相対角度αは90°、相対倍率1でない特殊なステージにも対応可能である。これらのステージの特性値の入力は、キャリブレーションのスタート時に行ってもよい。また入力された値はメモリ111に保存される。
次のステップS18において、画像処理装置100は、ステージ座標系における仮想位置を算出する。具体的に、ステージ座標系を表すために大文字を用い(X,Y)と表記する。ステップS11において撮影された基準位置(第1基準位置)(X,0)と、ステップS13において基準位置からX方向にXステージ300が移動した後の位置(第1移動位置)(X,0)と、ステップS17において受け付けられた相対倍率βおよび左手系または右手系の座標系に基づいて、仮想位置(第1仮想位置)(X,Y)を算出する(図8参照)。相対角度αが90°、相対倍率が1の場合、Yは(X−X)である。なお、この座標変換を一般式で表すと、Y=sinα×β(X−X)となる。
次のステップS19において、画像処理装置100は、ステージ座標系における仮想位置に対応するカメラ座標系における画像空間内仮想位置を算出する。具体的に、カメラ座標系を表すために小文字を用い(x,y)と表記する。画像処理装置100は、基準位置(X,0)で撮影された画像上の位置決め目印Mの画像座標空間内基準位置(第1画像座標空間内基準位置)が(x,y)と計測され、基準位置(X,0)からX方向にXステージ300が移動した後の位置(X,0)で撮影された画像上の位置決め目印Mの位置(第1画像座標空間内移動位置)が(x,y)と計測され、ステップS17において左手系の座標系が設定されている場合、カメラ座標系の画像空間内仮想位置(第1画像座標空間内仮想位置)(x,y)は、図10の式1により算出される(図8(a),図9(a)参照)。図10の式1を説明すると、カメラ座標系における位置決め目印Mの画像座標空間内基準位置からの移動量を、ステップS17で入力を受け付けた、ステージ座標系におけるX軸とY軸との相対角度α、相対倍率βを、カメラ座標系での対応する仮想位置の算出に対しても同様に用いて、相対倍率βを掛けて相対角度α右回りに回転させた座標を計算する。一方、ステップS17において右手系の座標系が設定されている場合、カメラ座標系の画像空間内仮想位置(x,y)は、図10の式2により算出される(図8(b),図9(b)参照)。図10の式2を説明すると、カメラ座標系における位置決め目印Mの画像座標空間内基準位置からの移動量を相対倍率βを掛けて相対角度α左回りに回転させた座標を計算する。
次のステップS20において、画像処理装置100は、上述したキャリブレーションパラメータとしてアフィン変換パラメータを算出する。具体的に、画像座標空間内基準位置(x,y)と、それに対応するステージ座標系の基準位置(X,0)に基づく図10の式3と、カメラ座標系の位置(x,y)と、それに対応するステージ座標系の位置(X,0)に基づく図10の式4と、ステップS19において算出された画像空間内仮想位置(x,y)と、それに対応するステージ座標系の仮想位置(X,Y)に基づく図10の式5とからアフィン変換パラメータ(A,B,C,D,E,F)を算出する。なお、上述したようにステージ座標系の仮想位置(X,Y)のYは、図10の式6である。
次のステップS21において、カメラ座標系におけるθステージ500の回転軸を求める。具体的に、図4,5を参照して、カメラ座標系におけるθステージ500の回転軸の求め方を説明する。図4,5は、θステージ500の回転軸の決定方法を説明するための図である。回転軸の決定は、図4に示されるように、画像処理装置100は、ワーク10上の位置決め目印Mをそれぞれカメラ102,104で撮影し、ワーク10の回転中心と回転角度を計測する。
回転中心は、図5に示されるように、カメラ102,104の視野から位置決め目印Mが外れないようθステージ500を角度θだけ回転させて、その前後での位置決め目印Mの位置の変化に基づいて推定される。より具体的には、図5(a)に示されるように、位置決め目印Mが設けられているワーク10をθステージ500によって角度θだけ回転させる。この回転前後における位置決め目印Mをそれぞれ「サンプリング1点目」(第3画像座標空間内基準位置)および「サンプリング2点目」(第3画像座標空間内移動位置)として示す。
そして、図5(b)に示されるように、角度θの回転前後における位置決め目印Mの座標点を通る直線を定義するとともに、図5(c)に示されるように、その直線の垂直二等分線上で、2つの位置決め目印Mとの間の成す角度が角度θになる座標を算出する。この算出した座標をXθステージ300,500の回転中心として決定する。
なお、θステージ500をXステージ300の可動範囲の中点に配置したときのθステージ500の回転中心をステージ座標系の原点とすることができる。θステージ500の回転中心を原点に設定した状態において、図5に示すサンプリングを行うことにより、サンプリングされた目印Mのステージ座標系での座標を算出でき、カメラ座標系をステージ座標系に合わせることができる。
上述したように、本実施形態における画像処理装置100は、Xθステージ300,500を含む位置決めシステム1を用いてキャリブレーションを行う場合を例に説明したが、図12に示されるように、θステージ500が含まれない構成であっても本明細書の開示内容によって実現可能である。このようなステージは、例えばワーク11をステージ300に載置する治具によって回転方向にずれが生じない場合や、回転方向に関係のない円形のワーク11を扱うときに用いられる。
また、この実施形態では、キャリブレーションに用いる仮想位置の座標は、
ステージ座標系でのY座標を Y=sinα×β(X−X0)、
カメラ座標系でのy座標を y=sinα×β(x−x)+cosα×β(y−y)+y
としたが、これに限らず、ステージ座標系におけるYを、Xに代えてステージ座標系の任意のX軸の値Xとし、そのXに対して前述の相対角度α、相対倍率βの関係を当てはめたY座標の値とし、そのときのカメラ座標系におけるyを、上記ステージ座標系の値Xに対応するカメラ座標系のx軸の値xとし、xに対して前述の相対角度α、相対倍率βの関係を当てはめたy座標の値を用いてもよい。
また、画像処理装置100は、Xθステージ300,500に対し、Yステージを仮想軸として、カメラ102,104についてのキャリブレーションを行うようにしたが、図1のカメラ105,106についてはYステージに対しXステージを仮想軸として、キャリブレーションを実行することができる。どちらを仮想軸とするかの切り替えは、上述したUIによって可能である。
すなわち、Xステージ300およびYステージ400と、Yステージ400またはその上の対象物上の目印を画像として得ることが可能なカメラ105,106に切り替え、Yステージ400が基準位置(第2基準位置)にある時の画像上の目印の位置を示す画像座標空間内基準位置(第2画像座標空間内基準位置)を取得し、Yステージ400が第2基準位置からY方向に移動した位置(第2移動位置)にある時の画像上の目印の位置(第2画像座標空間内移動位置)を取得し、Yステージ400が所定位置から仮想的にX方向に所定距離移動して仮想位置(第2仮想位置)にあるとした時の、Xステージの特性値から想定される画像上の目印の位置(第2画像座標空間内仮想位置)を取得し、第2基準位置、第2移動位置、第2仮想位置、第2画像座標空間内基準位置、第2画像座標空間内移動位置、および第2画像空間内仮想位置を用いてキャリブレーションを行う。
〔ソフトウェアによる実現例〕
画像処理装置100の制御ブロック(特に処理部101)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、画像処理装置100は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 位置決めシステム(工業装置)
10 ワーク
100 画像処理装置
102,104 カメラ(撮像装置)
113 操作部(UI)
114 表示部(UI)
200 モーションコントローラ
300 Xステージ(第1ステージ)
400 Yステージ(第2ステージ)
500 θステージ(第3ステージ)
α 相対角度
β 相対倍率

Claims (14)

  1. 第1方向に移動する第1ステージと前記第1ステージから独立して第2方向に移動する第2ステージとから構成されるステージ座標系と、前記第1ステージ上の目印または前記第1ステージに載置された対象物上の目印を第1目印の画像として得ることが可能な第1撮像装置のカメラ座標系との位置校正を行う画像処理装置であって、
    ステージの機械的な特性値と位置校正パラメータを記憶するメモリと、
    前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置と前記特性値とから前記位置校正パラメータを計算する処理部とを備え、
    前記処理部は、
    前記第1ステージが第1基準位置にある時に前記第1撮像装置を用いて撮像した画像上の第1目印の位置を示す第1画像座標空間内基準位置を取得し、
    前記第1ステージが前記第1基準位置から前記第1方向に移動して第1移動位置にある時に前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置を示す第1画像座標空間内移動位置を取得し、
    前記第1目印を前記ステージ座標系の第1仮想位置に移動したと仮定した場合、前記メモリ内の前記第2ステージの特性値を用いて、前記第1仮想位置の前記第1目印を仮想的に撮像したら得られる第1画像座標空間内仮想位置を計算し、
    前記第1基準位置と前記第1移動位置と前記第1仮想位置と前記第1画像座標空間内基準位置と前記第1画像座標空間内移動位置と前記第1画像座標空間内仮想位置とから第1位置校正パラメータを計算し、
    前記第1位置校正パラメータを前記メモリに記憶する画像処理装置。
  2. 前記特性値には、前記第1方向に対する前記第2方向の相対角度と、前記第1ステージに対する前記第2ステージの移動量の相対倍率との少なくとも1つが含まれる請求項1に記載の画像処理装置。
  3. 前記処理部は、前記第1画像座標空間内基準位置を、前記第1画像座標空間内移動位置の方向に、前記第1画像座標空間内移動位置および前記第1画像座標空間内基準位置間の距離に前記相対倍率を乗算して得られる値だけ進めた位置を画像座標空間内補正位置とし、
    前記画像座標空間内補正位置を、前記第1画像座標空間内基準位置を中心として、前記相対角度だけ回転させた位置が、前記第1画像座標空間内仮想位置として計算することを特徴とする請求項2に記載の画像処理装置。
  4. 入力情報を受付ける入力部をさらに有し、
    前記入力部は、前記特性値をユーザから受け付けることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記第2ステージ上の目印または前記第2ステージに載置された対象物上の目印を第2目印の画像として得ることが可能な第2撮像装置をさらに含み、
    前記処理部は、
    前記第2ステージが第2基準位置にある時に前記第2撮像装置を用いて撮像した画像上の前記第2目印の位置を示す第2画像座標空間内基準位置を取得し、
    前記第2ステージが前記第2基準位置から前記第2方向に移動して第2移動位置にある時に前記第2撮像装置を用いて撮像した画像上の第2目印の位置を示す第2画像座標空間内移動位置を取得し、
    前記メモリ内の前記第1ステージの特性値から計算される第2仮想位置に移動した場合の画像上の前記第2目印の位置を示す第2画像座標空間内仮想位置を計算し、
    前記第2基準位置と前記第2移動位置と前記第2仮想位置と前記第2画像座標空間内基準位置と前記第2画像座標空間内移動位置と前記第2画像座標空間内仮想位置とから第2位置校正パラメータを計算し、
    前記第2位置校正パラメータを前記メモリに記憶する請求項1から4のいずれか1項に記載の画像処理装置。
  6. 値を出力する出力部をさらに有し、
    前記処理部は、
    前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置と前記第1位置校正パラメータとを用いて、前記第1目印のステージ座標系の位置を計算し、
    前記第2撮像装置を用いて撮像した画像上の前記第2目印の位置と前記第2位置校正パラメータとを用いて前記第2目印のステージ座標系の位置を計算し、
    前記第1目印と前記第2目印とのステージ座標系の差分を計算し、
    前記出力部は、当該差分を出力する請求項5に記載の画像処理装置。
  7. 値を出力する出力部をさらに有し、
    前記処理部は、
    前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置と前記第1位置校正パラメータとを用いて、前記第1目印のステージ座標系の位置を計算し、
    前記第2撮像装置を用いて撮像した画像上の前記第2目印の位置と前記第2位置校正パラメータとを用いて前記第2目印のステージ座標系の位置を計算し、
    前記出力部は、前記第1目印の位置および前記第2目印の位置を出力する請求項5に記載の画像処理装置。
  8. 前記第1ステージと連動し、かつ回転可能な第3ステージをさらに含み、
    前記処理部は、
    前記第1ステージ上の目印または前記第1ステージに載置された対象物上の目印または前記第3ステージ上の目印または前記第3ステージに載置された対象物上の目印のいずれかの目印を、前記第3ステージが第3基準位置にある時に前記第1撮像装置を用いて撮像した画像上の目印の位置を示す第3画像座標空間内基準位置を取得し、
    前記第3ステージが前記第3基準位置から所定角だけ回転した時の画像上の目印の位置を示す第3画像座標空間内移動位置を取得し、
    前記第3画像座標空間内基準位置、前記第3画像座標空間内移動位置、および前記所定角を用いて前記第3ステージの回転中心位置を計算し、
    前記回転中心位置を前記メモリに記憶する請求項1から7のいずれか1項に記載の画像処理装置。
  9. 値を出力する出力部をさらに有し、
    前記処理部は、前記第1撮像装置を用いて撮像した画像上の目印の位置から所定の目標位置に移動させるために必要な前記第3ステージの回転角を計算し、
    前記出力部は、当該回転角を出力する請求項8に記載の画像処理装置。
  10. 第1方向に移動する第1ステージと前記第1ステージから独立して第2方向に移動する第2ステージとから構成されるステージ座標系と、前記第1ステージ上の目印または前記第1ステージに載置された対象物上の第1目印を画像として得ることが可能な第1撮像装置のカメラ座標系との位置校正を、画像処理装置の処理部が実行する位置校正方法であって、
    前記処理部が処理するステップは、
    前記第1ステージが第1基準位置にある時に前記第1撮像装置を用いて撮像した画像上の第1目印の位置を示す第1画像座標空間内基準位置を取得するステップと、
    前記第1ステージが前記第1基準位置から前記第1方向に移動して第1移動位置にある時に前記第1撮像装置を用いて撮像した画像上の前記第1目印の位置を示す第1画像座標空間内移動位置を取得するステップと、
    前記第2ステージの特性値から計算される第1仮想位置に移動した場合の画像上の前記第1目印の位置を示す第1画像座標空間内仮想位置を計算するステップと、
    前記第1基準位置と前記第1移動位置と前記第1仮想位置と前記第1画像座標空間内基準位置と前記第1画像座標空間内移動位置と前記第1画像座標空間内仮想位置とから第1位置校正パラメータを計算するステップとを含む位置校正方法。
  11. 前記第2ステージ上の目印または前記第2ステージに載置された対象物上の目印を画像として得ることが可能な第2撮像装置との第2位置校正に切り替えるステップと、
    前記第2ステージが第2基準位置にある時の画像上の目印の位置を示す第2画像座標空間内基準位置を取得するステップと、
    前記第2ステージが前記第2基準位置から前記第2方向に移動して第2移動位置にある時の画像上の目印の位置を示す第2画像座標空間内移動位置を取得するステップと、
    前記第1ステージの特性値から計算される第2仮想位置に移動した場合の画像上の目印の位置を示す第2画像座標空間内仮想位置を計算するステップと、
    前記第2基準位置、前記第2移動位置、前記第2仮想位置、前記第2画像座標空間内基準位置、前記第2画像座標空間内移動位置、および前記第2画像座標空間内仮想位置を用いて第2位置校正パラメータを計算するステップとを含む請求項10に記載の位置校正方法。
  12. 前記第1ステージと連動し、かつ回転可能な第3ステージを含むステージ座標系と前記第1撮像装置のカメラ座標系との第3位置校正に切り替えるステップと、
    前記第3ステージが第3基準位置にある時に、前記第1ステージ上の目印、または前記第1ステージに載置された対象物上の目印、または前記第3ステージ上の目印、または前記第3ステージに載置された対象物上の目印のいずれかの目印を前記第1撮像装置を用いて撮像し、画像上の目印の位置を示す第3画像座標空間内基準位置を取得するステップと、
    前記第3ステージが第3基準位置から所定角だけ回転した時の画像上の目印の位置を示す第3画像座標空間内移動位置を取得するステップと、
    前記第3画像座標空間内基準位置、前記第3画像座標空間内移動位置、および前記所定角を用いて前記第3ステージの回転中心を計算する第3位置校正を行うステップとを含む請求項10または11に記載の位置校正方法。
  13. 請求項10から12のいずれか1項に記載の各ステップを処理部に実行させるプログラム。
  14. 第1方向に移動する第1ステージと前記第1ステージから独立して第2方向に移動する第2ステージと、前記第1ステージおよび前記第2ステージの動作制御を行う動作制御装置と、第1ステージ上の目印または前記第1ステージに載置された対象物上の目印を画像として得ることが可能な第1撮像装置と、前記画像を処理する画像処理装置とを備えた工業装置であって、
    前記画像処理装置は、前記第1ステージが第1基準位置にある時の画像上の目印の位置を示す第1画像座標空間内基準位置と、前記第1ステージが前記第1基準位置から前記第1方向に移動して第1移動位置にある時の画像上の目印の位置を示す第1画像座標空間内移動位置と、第1仮想位置に移動した場合に前記第2ステージの特性値から算出される画像上の目印の位置を示す第1画像座標空間内仮想位置とを用いて前記第1ステージおよび前記第2ステージのステージ座標系と前記第1撮像装置のカメラ座標系との位置校正を行い、この位置校正の結果のステージ座標系の座標を前記動作制御装置に出力する工業装置。
JP2015157666A 2015-08-07 2015-08-07 画像処理装置、校正方法および校正プログラム Active JP6421722B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015157666A JP6421722B2 (ja) 2015-08-07 2015-08-07 画像処理装置、校正方法および校正プログラム
CN201610564801.XA CN106444852B (zh) 2015-08-07 2016-07-18 图像处理装置、位置校正方法及工业装置
EP16180845.6A EP3128483B1 (en) 2015-08-07 2016-07-22 Image processing apparatus, calibration method, and calibration program
US15/219,412 US10334239B2 (en) 2015-08-07 2016-07-26 Image processing apparatus, calibration method, and calibration program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015157666A JP6421722B2 (ja) 2015-08-07 2015-08-07 画像処理装置、校正方法および校正プログラム

Publications (2)

Publication Number Publication Date
JP2017036974A true JP2017036974A (ja) 2017-02-16
JP6421722B2 JP6421722B2 (ja) 2018-11-14

Family

ID=56883507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015157666A Active JP6421722B2 (ja) 2015-08-07 2015-08-07 画像処理装置、校正方法および校正プログラム

Country Status (4)

Country Link
US (1) US10334239B2 (ja)
EP (1) EP3128483B1 (ja)
JP (1) JP6421722B2 (ja)
CN (1) CN106444852B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003945A1 (ja) * 2018-06-26 2020-01-02 オムロン株式会社 位置決めシステム、制御方法およびプログラム
US20210323145A1 (en) * 2018-11-09 2021-10-21 Omron Corporation Robot control device, robot control method, and non-transitory computer readable storage medium

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6881188B2 (ja) * 2017-09-27 2021-06-02 オムロン株式会社 位置検出装置およびプログラム
US10984524B2 (en) * 2017-12-21 2021-04-20 Advanced Ion Beam Technology, Inc. Calibration system with at least one camera and method thereof
AT520426B1 (de) * 2018-01-23 2019-04-15 Ait Austrian Inst Tech Gmbh Verfahren zur Kalibrierung einer Bildaufnahmeeinheit
KR20200005332A (ko) * 2018-07-06 2020-01-15 삼성전자주식회사 캘리브레이션 장치 및 그것의 동작 방법
CN110857924A (zh) * 2018-08-22 2020-03-03 皓琪科技股份有限公司 协助阵列排版的电路板辨识且记录缺陷位置的系统
JP7154069B2 (ja) * 2018-08-31 2022-10-17 株式会社キーエンス 画像検査装置
CN109674211B (zh) * 2018-12-27 2021-03-30 成都新红鹰家具有限公司 一种智能办公桌
CN111147748B (zh) * 2019-12-31 2022-03-15 中融飞腾(北京)科技有限公司 一种用于模切机上ccd系统的信号触发系统
CN113310406B (zh) * 2021-05-27 2023-03-28 深圳中科飞测科技股份有限公司 位置校正方法及位置校正设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999015854A1 (en) * 1997-09-25 1999-04-01 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
JPH11204622A (ja) * 1998-01-07 1999-07-30 Canon Inc 位置合わせ装置及び方法
JP2001349848A (ja) * 2000-06-12 2001-12-21 Sony Corp 検査装置及び検査方法
JP2005277271A (ja) * 2004-03-26 2005-10-06 Matsushita Electric Ind Co Ltd 電子部品搭載装置および電子部品搭載方法
JP2012015253A (ja) * 2010-06-30 2012-01-19 Yamaha Motor Co Ltd 部品搬送方法、部品搬送装置及び部品実装装置
JP2014175330A (ja) * 2013-03-06 2014-09-22 Seiwa Optical Co Ltd 基板のアライメント方法
JP2014203365A (ja) * 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003254714A (ja) * 2002-02-28 2003-09-10 Uht Corp 位置検出方法及び位置検出装置並びにプリント基板の位置決め方法
JP3977398B2 (ja) 2005-06-10 2007-09-19 株式会社ファースト XYθステージによる位置アライメントシステム
US8139219B2 (en) * 2008-04-02 2012-03-20 Suss Microtec Lithography, Gmbh Apparatus and method for semiconductor wafer alignment
KR101172147B1 (ko) * 2009-02-23 2012-08-07 시너스 테크놀리지, 인코포레이티드 플라즈마에 의한 라디칼을 이용한 박막 형성 방법
JP4878385B2 (ja) * 2009-12-07 2012-02-15 コグネックス・コーポレイション オブジェクト制御システム、オブジェクト制御方法、プログラム、及び回転中心位置特定装置
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP5561214B2 (ja) * 2011-03-15 2014-07-30 オムロン株式会社 画像処理装置および画像処理プログラム
JP5810562B2 (ja) * 2011-03-15 2015-11-11 オムロン株式会社 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置
JP2013208827A (ja) 2012-03-30 2013-10-10 Toppan Printing Co Ltd 貼合方法および装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999015854A1 (en) * 1997-09-25 1999-04-01 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
JPH11204622A (ja) * 1998-01-07 1999-07-30 Canon Inc 位置合わせ装置及び方法
JP2001349848A (ja) * 2000-06-12 2001-12-21 Sony Corp 検査装置及び検査方法
JP2005277271A (ja) * 2004-03-26 2005-10-06 Matsushita Electric Ind Co Ltd 電子部品搭載装置および電子部品搭載方法
JP2012015253A (ja) * 2010-06-30 2012-01-19 Yamaha Motor Co Ltd 部品搬送方法、部品搬送装置及び部品実装装置
JP2014175330A (ja) * 2013-03-06 2014-09-22 Seiwa Optical Co Ltd 基板のアライメント方法
JP2014203365A (ja) * 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NING TAN: ""Calibration of micro and nanorobotic systems: Contribution of influential parameters to the geometr", UNIVERSITE DE FRANCHE-COMTE, (20131216), vol. URL: https://tel.archives-ouvertes.fr, JPN7018003190, 29 November 2016 (2016-11-29), FR, ISSN: 0003879147 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003945A1 (ja) * 2018-06-26 2020-01-02 オムロン株式会社 位置決めシステム、制御方法およびプログラム
JP2020003560A (ja) * 2018-06-26 2020-01-09 オムロン株式会社 位置決めシステム、制御方法およびプログラム
US20210323145A1 (en) * 2018-11-09 2021-10-21 Omron Corporation Robot control device, robot control method, and non-transitory computer readable storage medium

Also Published As

Publication number Publication date
EP3128483B1 (en) 2018-12-12
US10334239B2 (en) 2019-06-25
US20170039715A1 (en) 2017-02-09
CN106444852B (zh) 2019-07-26
EP3128483A1 (en) 2017-02-08
CN106444852A (zh) 2017-02-22
JP6421722B2 (ja) 2018-11-14

Similar Documents

Publication Publication Date Title
JP6421722B2 (ja) 画像処理装置、校正方法および校正プログラム
US11207781B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
JP4878385B2 (ja) オブジェクト制御システム、オブジェクト制御方法、プログラム、及び回転中心位置特定装置
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
KR101636605B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
KR20200093464A (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
JP2011251365A (ja) ロボットの位置情報復元装置および位置情報復元方法
JP4794011B2 (ja) 画像処理装置、およびロボット制御システム
US11340576B2 (en) Method and apparatus for estimating system error of commissioning tool of industrial robot
TW201203173A (en) Three dimensional distance measuring device and method
JP4613955B2 (ja) 回転軸線算出方法、プログラムの作成方法、動作方法およびロボット装置
JP6199000B2 (ja) 情報処理装置
KR20190099122A (ko) 로봇의 위치 정보 복원 방법
JP2006049755A (ja) 回転中心算出方法およびこの方法を用いたワーク位置決め装置
US20210185230A1 (en) Image capturing method and image capturing apparatus
JP2007064698A (ja) 画像処理装置および画像処理装置のキャリブレーション方法
JP2013170829A (ja) ひずみ計測装置及びひずみ計測方法
JP2004205530A (ja) パネルアライメント装置及び方法
CN104793654A (zh) 一种操作速度获取方法及装置
KR100784734B1 (ko) 산업용 로봇 시스템의 타원 보간방법
WO2024047808A1 (ja) ロボット座標系に搬送装置座標系を設定する装置、及び方法
TW201310985A (zh) 被拍攝物體之影像定位系統及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181001

R150 Certificate of patent or registration of utility model

Ref document number: 6421722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150