JP2008124293A - Imaging device with image processing function, and inspection system - Google Patents
Imaging device with image processing function, and inspection system Download PDFInfo
- Publication number
- JP2008124293A JP2008124293A JP2006307507A JP2006307507A JP2008124293A JP 2008124293 A JP2008124293 A JP 2008124293A JP 2006307507 A JP2006307507 A JP 2006307507A JP 2006307507 A JP2006307507 A JP 2006307507A JP 2008124293 A JP2008124293 A JP 2008124293A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- suction
- mounting machine
- electronic component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像処理後のデータを出力する機能を備えた画像処理機能付き撮像装置及び検査システムに関する発明である。 The present invention relates to an imaging apparatus with an image processing function and an inspection system having a function of outputting data after image processing.
例えば、電子部品実装機においては、電子部品実装機の吸着ノズルに吸着された電子部品(以下「吸着部品」という)をその下方からカメラで撮像し、このカメラから出力される画像データを電子部品実装機の制御コンピュータに転送し、この制御コンピュータで画像処理して吸着部品の吸着状態の良否を検査するようにしたものがある。 For example, in an electronic component mounting machine, an electronic component sucked by a suction nozzle of the electronic component mounting machine (hereinafter referred to as “suction component”) is imaged from below by a camera, and image data output from the camera is electronic component Some of them are transferred to a control computer of a mounting machine, and image processing is performed by the control computer to check whether the suction state of the suction component is good.
また、特許文献1(特開2002−232193号公報)に記載されているように、吸着ノズルの下端部を水平方向からカメラで撮像して吸着ノズルの下端位置を検出し、この吸着ノズルの下端位置が予め設定した所定値以内であるか否かで吸着ノズルの良否を検査するようにしたものがある。
上述したカメラを用いた検査システムでは、カメラから出力される画像データを電子部品実装機の制御コンピュータに転送し、この制御コンピュータで画像処理して吸着部品の吸着状態の良否や吸着ノズルの良否を検査するようにしているが、カメラから出力される画像データは、データ容量が大きいため、電子部品実装機の制御コンピュータに画像データを転送する処理にかなりの時間がかかってしまう。このため、画像データの転送時間(通信処理時間)が電子部品実装機の高速化を妨げる要因となっていた。 In the inspection system using the camera described above, image data output from the camera is transferred to a control computer of the electronic component mounting machine, and image processing is performed by the control computer to determine whether the suction state of the suction component and the suction nozzle are good. Although the inspection is performed, the image data output from the camera has a large data capacity, and therefore it takes a considerable time to transfer the image data to the control computer of the electronic component mounting machine. For this reason, the transfer time (communication processing time) of the image data has been a factor that hinders the speeding up of the electronic component mounting machine.
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、カメラ側(撮像装置側)と電子部品実装機等の生産装置の制御コンピュータ側との間のデータの通信処理に要する時間を大幅に短縮することができ、高速処理化の要求を満たすことができる画像処理機能付き撮像装置及び検査システムを提供することにある。 The present invention has been made in consideration of such circumstances. Therefore, the object of the present invention is to perform data communication processing between the camera side (imaging device side) and the control computer side of a production apparatus such as an electronic component mounting machine. It is an object of the present invention to provide an imaging apparatus with an image processing function and an inspection system that can significantly reduce the time required for the above processing and can satisfy the demand for high-speed processing.
上記目的を達成するために、請求項1に係る発明は、電子部品実装機等の生産装置に取り付けて使用する画像処理機能付き撮像装置であって、被撮像物を撮像するカメラと、基準画像の計測基準位置のデータを記憶する記憶手段と、前記カメラの撮像動作を制御すると共に前記カメラから出力される前記被撮像物の画像データを取り込んで前記被撮像物の計測対象位置と前記基準画像の計測基準位置との差分データを出力する画像処理手段とを備えた構成となっている。
In order to achieve the above object, an invention according to
この構成では、画像処理機能付き撮像装置から生産装置の制御コンピュータに送信するデータは、大容量の画像データではなく、画像処理手段で処理された少数の差分データであるため、撮像装置側と生産装置の制御コンピュータ側との間のデータの通信処理に要する時間を大幅に短縮することができ、高速処理化の要求を満たすことができる。しかも、撮像装置側や生産装置の制御コンピュータ側に高価な高速通信機能を搭載する必要がなく、通信機能を低コスト化できるという利点もある。 In this configuration, the data to be transmitted from the imaging apparatus with an image processing function to the control computer of the production apparatus is not large-capacity image data but a small number of difference data processed by the image processing means. The time required for data communication processing with the control computer side of the apparatus can be greatly reduced, and the demand for high-speed processing can be satisfied. In addition, it is not necessary to mount an expensive high-speed communication function on the imaging apparatus side or the control computer side of the production apparatus, and there is an advantage that the communication function can be reduced in cost.
この場合、請求項2のように、被撮像物の計測対象位置は、当該被撮像物の最下点の高さ位置とすると良い。例えば、被撮像物が吸着ノズルの場合は、吸着ノズルの最下点の高さ位置が計測対象位置となる。 In this case, the measurement target position of the object to be imaged is preferably the height position of the lowest point of the object to be imaged. For example, when the object to be imaged is a suction nozzle, the height position of the lowest point of the suction nozzle is the measurement target position.
また、請求項3のように、カメラは、走査方向が被撮像物の長手方向となるように設置すると良い。例えば、被撮像物が吸着ノズルの場合は、被撮像物の長手方向が上下方向となるため、カメラは、走査方向が上下方向となるように設置すれば良い。このようにすれば、吸着ノズル等の縦長の被撮像物に対しては、カメラの撮像エリア全体を走査しなくても、被撮像物が存在する一部のエリアのみに限定して走査するだけで被撮像物の計測に必要な画像データを得ることができ、撮像装置側の画像処理時間を短くすることができる。 Further, as in claim 3, the camera is preferably installed so that the scanning direction is the longitudinal direction of the object to be imaged. For example, when the object to be imaged is a suction nozzle, the longitudinal direction of the object to be imaged is the vertical direction, so the camera may be installed so that the scanning direction is the vertical direction. In this way, for a vertically long object to be picked up, such as a suction nozzle, only a part of the area where the object to be picked exists is scanned without scanning the entire image pickup area of the camera. Thus, image data necessary for measurement of the object to be imaged can be obtained, and the image processing time on the imaging device side can be shortened.
また、請求項4のように、基準治具をカメラで撮像して取り込んだ画像を基準画像として用いるようにすると良い。このようにすれば、被撮像物の種類に応じて基準治具を取り替えることで、実際の被撮像物に合った基準画像を用いて計測基準位置のデータを記憶手段に記憶させることができる。 Further, as described in claim 4, it is preferable to use an image captured by capturing the reference jig with a camera as the reference image. In this way, by replacing the reference jig according to the type of the object to be imaged, the data of the measurement reference position can be stored in the storage unit using the reference image that matches the actual object to be imaged.
また、請求項5のように、本発明の画像処理機能付き撮像装置を電子部品実装機に取り付け、この電子部品実装機の吸着ノズルに吸着された電子部品(以下「吸着部品」という)を被撮像物とし、前記吸着部品を水平方向からカメラで撮像し、前記画像処理機能付き撮像装置から出力される差分データを前記電子部品実装機の制御コンピュータに取り込み、この制御コンピュータで前記差分データに基づいて前記吸着部品の吸着状態の良否又は吸着部品の有無を検査し若しくは吸着部品の厚みを検出するようにしても良い。このようにすれば、撮像装置側と電子部品実装機の制御コンピュータ側との間のデータの通信処理に要する時間を大幅に短縮することができ、電子部品実装機の高速化の要求を満たすことができる。 Further, as in claim 5, the imaging apparatus with an image processing function of the present invention is attached to an electronic component mounting machine, and an electronic component (hereinafter referred to as "suction component") sucked by a suction nozzle of the electronic component mounting machine is covered. The picked-up object is picked up by a camera from the horizontal direction, and difference data output from the image pickup device with an image processing function is taken into a control computer of the electronic component mounting machine, and the control computer uses the difference data based on the difference data. Then, it may be possible to inspect whether the suction part is in the suction state or not, or to detect the thickness of the suction part. In this way, the time required for data communication processing between the imaging device side and the control computer side of the electronic component mounting machine can be greatly shortened, and the speed of the electronic component mounting machine must be met. Can do.
更に、請求項6のように、電子部品実装機の吸着ノズルを被撮像物とし、前記吸着ノズルを水平方向から前記カメラで撮像し、前記撮像装置から出力される差分データを前記電子部品実装機の制御コンピュータに取り込み、この制御コンピュータで前記差分データに基づいて前記吸着ノズルの良否を検査するようにしても良い。この場合も、上記請求項5と同様の効果を得ることができる。 Further, as in claim 6, the suction nozzle of the electronic component mounting machine is an object to be imaged, the suction nozzle is imaged by the camera from the horizontal direction, and the difference data output from the imaging device is used as the electronic component mounting machine. The control computer may check the quality of the suction nozzle based on the difference data. In this case, the same effect as that of the fifth aspect can be obtained.
この場合、請求項7のように、撮像装置の画像処理手段は、吸着ノズルを吸着保持する吸着ホルダに、当該吸着ノズルに代えて基準治具を吸着した状態で、当該基準治具を水平方向からカメラで撮像して取り込んだ画像を基準画像として記憶手段に記憶するようにすれば良い。このようにすれば、吸着ノズルに吸着した電子部品を撮像する場合と同じ条件で基準治具を撮像して基準画像を取り込むことができ、実際の吸着ノズルに合った基準画像を記憶手段に記憶させることができる。 In this case, as in claim 7, the image processing means of the image pickup device moves the reference jig in the horizontal direction in a state where the reference jig is adsorbed to the adsorption holder that adsorbs and holds the adsorption nozzle instead of the adsorption nozzle. The image captured by the camera and captured by the camera may be stored in the storage means as a reference image. By doing this, it is possible to capture the reference image by capturing the reference jig under the same conditions as when imaging the electronic component sucked by the suction nozzle, and store the reference image that matches the actual suction nozzle in the storage means. Can be made.
また、請求項8のように、基準治具の最下点の高さ位置を計測基準位置として記憶手段に記憶し、撮像装置の画像処理手段は、カメラで撮像した吸着ノズルの最下点の高さ位置と基準治具の計測基準位置との高低差を差分データとして出力し、電子部品実装機の制御コンピュータは、吸着ホルダに基準治具を吸着した状態で該基準治具を基板実装面に当接させるまでの下降量を基準ストロークとして検出し、この基準ストロークを前記差分データで補正して実装作業時の吸着ノズルのストロークを決定するようにしても良い。このようにすれば、撮像装置から出力される差分データを利用して実装作業時の吸着ノズルのストロークを算出することができ、実装作業開始前の吸着ノズルのストロークの確認作業が容易となる。 Further, as in claim 8, the height position of the lowest point of the reference jig is stored in the storage means as the measurement reference position, and the image processing means of the imaging device is configured to store the lowest point of the suction nozzle imaged by the camera. The difference in height between the height position and the measurement reference position of the reference jig is output as difference data, and the control computer of the electronic component mounting machine places the reference jig on the board mounting surface while the reference jig is sucked into the suction holder. It is also possible to detect the amount of descent until contact is made as a reference stroke, and correct the reference stroke with the difference data to determine the suction nozzle stroke during the mounting operation. In this way, the suction nozzle stroke at the time of the mounting operation can be calculated using the difference data output from the imaging apparatus, and the confirmation operation of the suction nozzle stroke before the start of the mounting operation is facilitated.
以下、本発明を実施するための最良の形態を具体化した一実施例を説明する。
本実施例では、電子部品実装機に画像処理機能付き撮像装置11を取り付けて使用する例を説明するが、本発明の画像処理機能付き撮像装置11は、電子部品実装機以外の様々な生産装置に取り付けて使用可能である。
Hereinafter, an embodiment embodying the best mode for carrying out the present invention will be described.
In this embodiment, an example in which the
電子部品実装機は、図1に示すように、レボルバー型(ロータリ型)の装着ヘッド12を備え、この装着ヘッド12の下面側に複数本の吸着ノズル13が円周方向に所定間隔で配列されている。各吸着ノズル13は、装着ヘッド12に昇降可能に設けられた吸着ホルダ14に下向きに吸着保持され、各吸着ホルダ14には、後述する基準治具41(図3、図4参照)を吸着ノズル13と取り替えて吸着保持できるようになっている。尚、装着ヘッド12は、図示はしないが、XYスライド機構のうちのY方向に移動するYスライドに支持され、Yスライドは、X方向に移動するXスライド上に搭載されている。
As shown in FIG. 1, the electronic component mounting machine includes a revolver type (rotary type) mounting
一方、画像処理機能付き撮像装置11は、Yスライドに着脱可能に支持された装着ヘッド12に取り付けられ、装着ヘッド12と一体的に移動するようになっている。この画像処理機能付き撮像装置11は、CCDカメラ等のカメラ15、液晶表示器(LCD)等の表示器16、被撮像物(吸着ノズル13や吸着部品20)を照明するLED等の照明光源17、これらの動作を制御するメインコントロール基板18、カメラ15の光軸を被撮像物に合わせるプリズム19を備えている。本実施例では、照明光源17は、UV光を照射するUV照明用LEDであり、装着ヘッド12の中心部下方には、照明光源17からのUV光により蛍光を発生して被撮像物(吸着ノズル13や吸着部品20)を裏側から照明する円筒型の蛍光反射板21が設けられている。
On the other hand, the
図2に示すように、メインコントロール基板18には、CPU22(画像処理手段)、ROM23、RAM24(記憶手段)、制御用ネットワークIC25、照明光源17(UV照明用LED)を駆動するLEDドライバ26、カメラ15から出力される画像データを二値化する二値化回路27、表示器16(LCD)を駆動するLCDドライバ28等が搭載されている。
As shown in FIG. 2, the
表示器16(LCD)は、中継基板29とフレキシブルフラットケーブル(FFC)等のケーブル30を介してメインコントロール基板18に接続されている。中継基板29には、操作用の押し釦スイッチ31,32が設けられ、この押し釦スイッチ31,32を操作することで、表示器16の表示モードを切り替えるようになっている。その他、表示器16の表示モードは、電子部品実装機の制御コンピュータ(図示せず)から送信されてくる表示モード切替信号によっても切り換えられるようになっている。また、カメラ15と照明光源17(UV照明用LED)も、それぞれフレキシブルフラットケーブル(FFC)等のケーブル33,34を介してメインコントロール基板18に接続されている。
The display 16 (LCD) is connected to the
このメインコントロール基板18は、ハーネス35を介して電子部品実装機の制御コンピュータ(図示せず)に接続され、メインコントロール基板18と電子部品実装機の制御コンピュータとの間で信号を送受信すると共に、電子部品実装機の制御コンピュータから撮像装置11に直流電源が供給されるようになっている。
The
次に、上記構成の画像処理機能付き撮像装置11の動作を説明する。
画像処理機能付き撮像装置11のCPU22は、電子部品実装機の制御コンピュータから送信されてくる閾値データ、各種パラメータ、動作コマンド(撮像トリガ)等の情報を受信する。そして、動作コマンド(撮像トリガ)を受信した時点で、カメラ15の撮像動作を開始し、カメラ15から出力される被撮像物(吸着ノズル13や吸着部品20)の画像データを取り込んで画像処理を行い、その処理結果である差分データを電子部品実装機の制御コンピュータに送信する。
Next, the operation of the
The
この際、撮像装置11のCPU22は、次のようにして画像処理を実行する。
電子部品実装機の稼働前に、吸着ノズル13を吸着保持する吸着ホルダ14に、当該吸着ノズル13に代えて基準治具41[図3(a)、図4(a)参照]を吸着した状態で、当該基準治具41を水平方向からカメラ15で撮像して取り込んだ画像を基準画像とし、その基準画像の計測基準位置のデータをRAM24に記憶する。
At this time, the
Prior to the operation of the electronic component mounting machine, a
本実施例のように、装着ヘッド12に複数本の吸着ノズル13を吸着させる場合は、各吸着ホルダ14を吸着保持する各吸着ホルダ14にそれぞれ基準治具41を吸着させてカメラ15で撮像して、吸着ノズル13の本数と同じ数の基準画像の計測基準位置のデータをRAM24に記憶する。この基準画像に表される基準治具41の最下点の高さ位置(Z座標データ)が計測基準位置となる[図3(a)、図4(a)参照]。
When a plurality of
尚、撮像装置11の電源オフ中でも基準画像の計測基準位置のデータを記憶保持するために、EEPROM等の書き換え可能な不揮発性メモリに基準画像の計測基準位置のデータを記憶するようにしても良い。或は、電子部品実装機の制御コンピュータからのコマンドによって、基準画像の計測基準位置のデータを記憶するメモリをRAM24と不揮発性メモリとの間で切り換えるようにしても良い。また、撮像装置11を製造するメーカー側で作成した標準的な基準画像の計測基準位置のデータをROM23等の不揮発性メモリに記憶しておくようにしても良い。
Note that the measurement reference position data of the reference image may be stored in a rewritable non-volatile memory such as an EEPROM in order to store and hold the reference image measurement reference position data even when the
電子部品実装機の稼働中に、吸着ノズル13の良否を検査する場合、撮像装置11のCPU22は、装着ヘッド12の吸着ホルダ14に吸着ノズル13を吸着した状態(吸着部品無し)で当該吸着ノズル13を水平方向からカメラ15で撮像して吸着ノズル13の撮像画像[図3(b)参照]を取り込む。そして、この撮像画像に表される吸着ノズル13の最下点の高さ位置(Z座標データ)が計測対象位置となる。そして、この計測対象位置(吸着ノズル13の最下点の高さ位置)と基準画像の計測基準位置(基準治具41の最下点の高さ位置)との高低差(Z座標データ)を算出して、これを差分データとして電子部品実装機の制御コンピュータに送信する。
When inspecting the quality of the
電子部品実装機の制御コンピュータは、受信した差分データに基づいて吸着ノズル13の良否を検査する。例えば、差分データが予め製造公差を考慮して設定した許容誤差範囲内にあるか否かで吸着ノズル13の良否を検査すれば良い。
The control computer of the electronic component mounting machine inspects the quality of the
また、この差分データを用いて電子部品実装機の吸着ノズル13のストローク(昇降量)を決定する場合、電子部品実装機の稼働前に、電子部品実装機の制御コンピュータは、装着ヘッド12の吸着ホルダ14に基準治具41を吸着した状態で、該基準治具41を基板実装面との相対高さが予め規定されたタッチセンサ(図示せず)に当接させるまで下降させることで、基準治具41を基板実装面に当接させるまでの下降量を基準ストロークとして検出する。そして、検出した基準ストロークを上記差分データで補正して実装作業時の吸着ノズル13のストロークを決定する。例えば、計測対象位置(吸着ノズル13の最下点の高さ位置)が基準画像の計測基準位置(基準治具41の最下点の高さ位置)よりも下方に位置する場合は、基準ストロークを差分データ分だけ減算した値を実装作業時の吸着ノズル13のストロークと決定する。このようにすれば、撮像装置11から出力される差分データを利用して実装作業時の吸着ノズル13のストロークを算出することができ、実装作業開始前の吸着ノズル13のストロークの確認作業が容易となる。
In addition, when determining the stroke (lifting amount) of the
一方、電子部品実装機の稼働中に、吸着部品20の吸着状態の良否や吸着部品20の有無を検査したり、吸着部品20の厚みを検出する場合、撮像装置11のCPU22は、吸着ノズル13に電子部品20を吸着した状態で、当該吸着ノズル13と吸着部品20を水平方向からカメラ15で撮像して吸着ノズル13と吸着部品20の撮像画像[図4(b),(c)参照]を取り込む。そして、この撮像画像に表される吸着部品20の最下点の高さ位置(Z座標データ)が計測対象位置となる。そして、この計測対象位置(吸着部品20の最下点の高さ位置)と基準画像の計測基準位置(基準治具41の最下点の高さ位置)との高低差を算出して、これを差分データ(Z座標データ)として電子部品実装機の制御コンピュータに送信する。
On the other hand, when the electronic component mounting machine is in operation, when the suction state of the
電子部品実装機の制御コンピュータは、受信した差分データに基づいて吸着部品20の吸着状態の良否や吸着部品20の有無を検査したり、吸着部品20の厚みを検出する。例えば、差分データが予め製造公差を考慮して設定した許容誤差範囲内にあるか否かで吸着部品20の吸着状態の良否を判定すれば良い。この際、差分データが標準値(中央値)よりも最大許容誤差以上大きければ、斜め吸着[図4(c)参照]と判定するようにしても良い。
Based on the received difference data, the control computer of the electronic component mounting machine inspects the suction state of the
また、受信した差分データが吸着部品無しの吸着ノズル13のみの差分データ[図3(b)参照]とほぼ同じであるか否かで、吸着部品無し/有りを判定するようにしても良い。
The presence / absence of the suction component may be determined based on whether or not the received difference data is substantially the same as the difference data of only the
或は、吸着部品有りの差分データ[図4(b)参照]と吸着部品無しの差分データ[図3(b)参照]との差分を算出して、この差分を吸着部品20の厚みとして検出するようにしても良い。
Alternatively, the difference between the difference data with the suction component [see FIG. 4B] and the difference data without the suction component [see FIG. 3B] is calculated, and this difference is detected as the thickness of the
本実施例では、カメラ15の画像サイズは、例えば640×480(VGA)であり、被撮像物(吸着ノズル13)が上下方向に長い形状で、且つ、計測対象位置が最下点の高さ位置であることを考慮して、カメラ15を90°反時計回りに回転させて走査方向が被撮像物の長手方向(上下方向)となるように設置している。更に、カメラ15には、パーシャル機能(撮像エリアの任意の一部分の画像データのみを出力する機能)が搭載され、図5に示すように、撮像エリアのうちの吸着ノズル13の下端部や吸着部品20が存在する部分のみをパーシャル機能で走査範囲として設定して、下方から上方に走査して画像データをメインコントロール基板18の二値化回路27に順次出力する。そして、二値化回路27は、入力された画像データをパイプライン処理で所定の閾値で二値化処理して、二値化処理後のデータをRAM24に記憶する。このように、パーシャル機能で走査範囲を限定することで、画像処理時間を短縮することができる。上記各差分データは、RAM24に記憶された二値化処理後のデータを用いて算出される。なお、カメラ15を90°回転させて搭載することで、画像データの読み出し方向と吸着ノズル13(吸着部品20)の最下点の走査方向(下から上方向)が一致させられているので、二値化処理時に同時に吸着ノズル13(吸着部品20)の最下点の探索処理も行うようにすれば、さらに画像処理時間を短縮することができる。
In the present embodiment, the image size of the
また、本実施例では、撮像装置11のCPU22は、次のようにしてカメラ15の分解能を測定する分解能測定機能を実現する。電子部品実装機の吸着ホルダ14に、吸着ノズル13に代えて、所定寸法X[mm]×Z[mm]の分解能測定治具42(図6参照)を吸着した状態で、当該分解能測定治具42を水平方向からカメラ15で撮像して取り込む。そして、この撮像画像に表される分解能測定治具42のX座標方向の幅の画素数NxとZ座標方向の幅の画素数Nzをカウントして、X座標方向とZ座標方向の分解能をそれぞれ次式により算出する。
In this embodiment, the
X座標方向の分解能=X/Nx
Z座標方向の分解能=Z/Nz
この分解能のデータは、EEPROM等の書き換え可能な不揮発性メモリに記憶され、撮像装置11の電源オフ中でもその記憶データが保持される。
X coordinate direction resolution = X / Nx
Resolution in the Z coordinate direction = Z / Nz
The resolution data is stored in a rewritable nonvolatile memory such as an EEPROM, and the stored data is retained even when the
また、本実施例では、撮像装置11のCPU22は、次のようにして、吸着ノズル13に付着したごみ等の異物の有無又は吸着ノズル13の変形等を検査する形状比較機能を実現する。電子部品実装機の稼働前に、装着ヘッド12の吸着ホルダ14に、通常使用する吸着ノズル13と同一の形状で且つ異物の付着していない基準ノズル43[図7(a)参照]を吸着した状態で、当該基準ノズル43を水平方向からカメラ15で撮像して取り込んだ画像を基準ノズル画像とし、この基準ノズル画像を二値化処理した後、基準ノズル画像のZ座標毎のX座標方向の画素数をカウントして、それを形状基準データ[図7(b)参照]としてRAM24(又は書き換え可能な不揮発性メモリ)に記憶する。
In the present embodiment, the
そして、電子部品実装機の稼働中に、撮像装置11のCPU22は、装着ヘッド12の吸着ホルダ14に吸着ノズル13を吸着した状態(吸着部品無し)で当該吸着ノズル13を水平方向からカメラ15で撮像して吸着ノズル13の撮像画像[図8(a)参照]を取り込み、この吸着ノズル13の撮像画像を二値化処理した後、この吸着ノズル13の撮像画像のZ座標毎のX座標方向の画素数をカウントして、それを形状計測データ[図8(b)参照]としてRAM24に記憶する。そして、吸着ノズル13の形状計測データと形状基準データとをZ座標毎に比較して、Z座標毎に両者の画素数の差(又はその絶対値)を算出し、両者の画素数の差(又はその絶対値)が所定の閾値以上であるか否かで、吸着ノズル13に付着する異物の有無又は吸着ノズル13の変形の有無を検査する。この際、両者の画素数の差(又はその絶対値)が閾値以上となるZ座標の数が所定数以上であるか否かで、異物付着の有無又は吸着ノズル13の変形の有無を検査するようにしても良い。
Then, during operation of the electronic component mounting machine, the
ところで、基準ノズル画像の面積と吸着ノズル13の撮像画像の面積とを比較して異物付着の有無又は吸着ノズル13の変形の有無を検査する面積比較法を採用することが考えられるが、吸着ノズル13の画像の面積に対して異物付着や吸着ノズル13の変形による面積変化の割合が非常に小さいため、面積比較法では、小さな異物の付着や吸着ノズル13の小さな変形を検出することは困難である。
By the way, it is conceivable to adopt an area comparison method in which the area of the reference nozzle image and the area of the picked-up image of the
これに対して、本実施例のように、Z座標毎にX座標方向の画素数を比較する形状比較法では、小さな異物の付着や吸着ノズル13の小さな変形でも、X座標方向の画素数の差が大きくなるZ座標が存在するため、小さな異物の付着や吸着ノズル13の小さな変形を容易に検出することができ、異物付着の有無や吸着ノズル13の変形の有無を精度良く検査することができる。
On the other hand, in the shape comparison method in which the number of pixels in the X coordinate direction is compared for each Z coordinate as in the present embodiment, the number of pixels in the X coordinate direction can be reduced even if a small foreign object is attached or the
以上説明した画像処理を行うために、撮像装置11のCPU22は、ROM23に記憶された図9、図10の各プログラム等を実行する。以下、図9、図10の各プログラムの処理内容を説明する。
In order to perform the image processing described above, the
図9の分解能測定プログラムが起動されると、まずステップ101で、前述したように所定寸法X[mm]×Z[mm]の分解能測定治具42をカメラ15で撮像して、そのX座標方向の幅の画素数NxとZ座標方向の幅の画素数Nzをカウントして、X座標方向とZ座標方向の分解能をそれぞれ次式により算出する。
X座標方向の分解能=X/Nx
Z座標方向の分解能=Z/Nz
When the resolution measurement program of FIG. 9 is started, first, in
X coordinate direction resolution = X / Nx
Resolution in the Z coordinate direction = Z / Nz
この後、ステップ102に進み、X座標方向とZ座標方向の分解能が正常範囲内であるか否かを判定し、正常範囲内でなければ、上記ステップ101に戻り、再度、X座標方向とZ座標方向の分解能を算出して、分解能が正常範囲内であるか否かを判定する処理を繰り返す。 Thereafter, the process proceeds to step 102, where it is determined whether or not the resolution in the X coordinate direction and the Z coordinate direction is within the normal range. If the resolution is not within the normal range, the process returns to step 101, and again the X coordinate direction and the Z coordinate direction. The process of calculating the resolution in the coordinate direction and determining whether the resolution is within the normal range is repeated.
そして、このステップ102で、分解能が正常範囲内であると判定されれば、ステップ103に進み、分解能のデータをEEPROM等の書き換え可能な不揮発性メモリに書き込んで本プログラムを終了する。
If it is determined in
一方、図10の差分計測プログラムが起動されると、まずステップ201で、電子部品実装機の制御コンピュータから送信されてくる基準画像撮像指示を受信したか否かを判定し、基準画像撮像指示を受信するまで待機する。その後、基準画像撮像指示を受信した時点で、ステップ202に進み、基準画像撮像回数カウンタiを初期値“1”にセットする。
On the other hand, when the difference measurement program of FIG. 10 is started, first, at
この後、ステップ203に進み、装着ヘッド12のi番目のノズル位置に吸着された基準治具41(以下「i番目の基準治具41」という)をカメラ15で撮像した後、ステップ204に進み、i番目の基準治具41の最下点の高さ位置(計測基準位置)をRAM24又は書き換え可能な不揮発性メモリに記憶し、次のステップ205で、i番目の基準治具41の最下点の高さ位置(計測基準位置)のデータを電子部品実装機の制御コンピュータに送信する。
Thereafter, the process proceeds to step 203, and after the image of the reference jig 41 (hereinafter referred to as “i-
この後、ステップ206に進み、基準画像撮像回数カウンタiを1つインクリメントして、次のステップ207で、基準画像撮像回数カウンタiのカウント値(基準画像の撮像回数)が装着ヘッド12のノズル吸着本数nを越えたか否かを判定し、基準画像撮像回数カウンタiのカウント値がノズル吸着本数n以下であれば、上述したステップ203〜206の処理を繰り返して、次のノズル位置に吸着された基準治具41の最下点の高さ位置を記憶し且つ送信する。
Thereafter, the process proceeds to step 206, where the reference image imaging number counter i is incremented by 1. In the
そして、全てのノズル位置の基準治具41について、最下点の高さ位置の記憶・送信を終了すると、ステップ207で「Yes」と判定されてステップ208に進み、電子部品実装機の制御コンピュータから送信されてくる差分計測指示を受信したか否かを判定し、差分計測指示を受信するまで待機する。その後、差分計測指示を受信した時点で、ステップ209に進み、被撮像物(吸着ノズル13や吸着部品20)をカメラ15で撮像して、被撮像物の最下点の高さ位置(計測対象位置)を検出する。
When the storage and transmission of the lowest height position is completed for the reference jigs 41 at all nozzle positions, “Yes” is determined in
そして、次のステップ210で、当該被撮像物と同じノズル位置の基準治具41の最下点の高さ位置(計測基準位置)と当該被撮像物の最下点の高さ位置(計測対象位置)との差分データ(高低差)を算出した後、ステップ211に進み、差分データを電子部品実装機の制御コンピュータに送信する。
Then, in the
以上説明した本実施例によれば、撮像装置11のCPU22は、電子部品実装機の稼働前に、基準治具41を水平方向からカメラ15で撮像して、基準治具41の計測基準位置(最下点の高さ位置)を検出してそのデータをRAM24等に記憶し、電子部品実装機の稼働中に、被撮像物(吸着ノズル13や吸着部品20)を水平方向からカメラ15で撮像して当該被撮像物の計測対象位置(最下点の高さ位置)を検出して、この計測対象位置と計測基準位置との差分データを算出して電子部品実装機の制御コンピュータに送信し、この電子部品実装機の制御コンピュータにて、受信した差分データに基づいて吸着部品20の吸着状態の良否や吸着部品20の有無を検査したり、吸着部品20の厚みを検出するようにしたので、画像処理機能付き撮像装置11から電子部品実装機の制御コンピュータに送信するデータは、大容量の画像データではなく、撮像装置11側で画像処理された少数の差分データとなる。このため、撮像装置11側と電子部品実装機の制御コンピュータ側との間のデータの通信処理に要する時間を大幅に短縮することができ、高速処理化の要求を満たすことができる。しかも、撮像装置11側や電子部品実装機の制御コンピュータ側に高価な高速通信機能を搭載する必要がなく、通信機能を低コスト化できるという利点もある。
According to the present embodiment described above, the
11…画像処理機能付き撮像装置、12…装着ヘッド、13…吸着ノズル、14…吸着ホルダ、15…カメラ、16…表示器、17…照明光源、18…メインコントロール基板、19…プリズム、20…吸着部品、21…蛍光反射板、22…CPU(画像処理手段)、23…ROM、24…RAM24(記憶手段)、25…制御用ネットワークIC、41…基準治具、42…分解能測定治具、43…基準ノズル
DESCRIPTION OF
Claims (8)
被撮像物を撮像するカメラと、
基準画像の計測基準位置のデータを記憶する記憶手段と、
前記カメラの撮像動作を制御すると共に前記カメラから出力される前記被撮像物の画像データを取り込んで前記被撮像物の計測対象位置と前記基準画像の計測基準位置との差分データを出力する画像処理手段と
を備えていることを特徴とする画像処理機能付き撮像装置。 An imaging device with an image processing function used by being attached to a production device,
A camera for imaging an object to be imaged;
Storage means for storing data of the measurement reference position of the reference image;
Image processing for controlling the imaging operation of the camera and capturing image data of the imaged object output from the camera and outputting difference data between the measurement target position of the imaged object and the measurement reference position of the reference image And an image processing function-equipped imaging device.
前記撮像装置の画像処理手段は、前記吸着ノズルを吸着保持する吸着ホルダに、当該吸着ノズルに代えて前記基準治具を吸着した状態で、当該基準治具を水平方向から前記カメラで撮像して取り込んだ画像を前記基準画像として用いることを特徴とする検査システム。 The inspection system according to claim 5 or 6,
The image processing means of the imaging apparatus picks up the reference jig from the horizontal direction with the camera in a state where the reference jig is adsorbed to the adsorption holder that adsorbs and holds the adsorption nozzle instead of the adsorption nozzle. An inspection system using an acquired image as the reference image.
前記記憶手段は、前記基準治具の最下点の高さ位置を前記計測基準位置として記憶し、 前記撮像装置の画像処理手段は、前記カメラで撮像した前記吸着ノズルの最下点の高さ位置と前記基準治具の計測基準位置との高低差を差分データとして出力し、
前記電子部品実装機の制御コンピュータは、前記吸着ホルダに前記基準治具を吸着した状態で該基準治具を基板実装面に当接させるまでの下降量を基準ストロークとして検出し、この基準ストロークを前記差分データで補正して実装作業時の前記吸着ノズルのストロークを決定することを特徴とする検査システム。 The inspection system according to claim 7,
The storage means stores the height position of the lowest point of the reference jig as the measurement reference position, and the image processing means of the imaging device is the height of the lowest point of the suction nozzle imaged by the camera. The difference in height between the position and the measurement reference position of the reference jig is output as difference data,
The control computer of the electronic component mounting machine detects a lowering amount until the reference jig is brought into contact with the board mounting surface in a state where the reference jig is sucked into the suction holder, and this reference stroke is detected. An inspection system for correcting the difference data to determine a stroke of the suction nozzle during mounting work.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307507A JP4845032B2 (en) | 2006-11-14 | 2006-11-14 | Imaging apparatus with image processing function and inspection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307507A JP4845032B2 (en) | 2006-11-14 | 2006-11-14 | Imaging apparatus with image processing function and inspection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008124293A true JP2008124293A (en) | 2008-05-29 |
JP4845032B2 JP4845032B2 (en) | 2011-12-28 |
Family
ID=39508717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006307507A Active JP4845032B2 (en) | 2006-11-14 | 2006-11-14 | Imaging apparatus with image processing function and inspection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4845032B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010177310A (en) * | 2009-01-28 | 2010-08-12 | Panasonic Corp | Component mounting apparatus |
JP2016115754A (en) * | 2014-12-12 | 2016-06-23 | ヤマハ発動機株式会社 | Component mounting device, surface mounting machine and component thickness detection method |
JP2016162900A (en) * | 2015-03-02 | 2016-09-05 | 富士機械製造株式会社 | Component mounting machine |
JP2017143181A (en) * | 2016-02-10 | 2017-08-17 | 富士機械製造株式会社 | Work head unit, mounting device and method for controlling work head unit |
JP2017157766A (en) * | 2016-03-04 | 2017-09-07 | パナソニックIpマネジメント株式会社 | Component mounting apparatus |
JP2017188520A (en) * | 2016-04-04 | 2017-10-12 | ヤマハ発動機株式会社 | Component mounting device and method of acquiring height of object to be measured of component mounting device |
JP2018006417A (en) * | 2016-06-28 | 2018-01-11 | 富士機械製造株式会社 | Determination device |
WO2018127977A1 (en) * | 2017-01-06 | 2018-07-12 | 株式会社Fuji | Component mounter |
WO2018179365A1 (en) | 2017-03-31 | 2018-10-04 | 株式会社Fuji | Component mounter |
JP2019114818A (en) * | 2019-04-18 | 2019-07-11 | パナソニックIpマネジメント株式会社 | Component mounting device and component existence determination method |
US10448551B2 (en) | 2015-05-25 | 2019-10-15 | Fuji Corporation | Component mounter |
JP2020102653A (en) * | 2020-04-01 | 2020-07-02 | パナソニックIpマネジメント株式会社 | Component mounting device and component presence/absence determination method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001102799A (en) * | 1999-09-29 | 2001-04-13 | Sanyo Electric Co Ltd | Method and apparatus for detecting electronic component |
JP2001168600A (en) * | 1999-12-07 | 2001-06-22 | Yamaha Motor Co Ltd | Method and apparatus for confirmation of mounting of component |
JP2006310816A (en) * | 2005-03-30 | 2006-11-09 | Yamaha Motor Co Ltd | Part transporting device, surface-mounting machine and part inspecting device |
JP2007198889A (en) * | 2006-01-26 | 2007-08-09 | Juki Corp | Dispenser and inspection system therefor |
JP2007273519A (en) * | 2006-03-30 | 2007-10-18 | Matsushita Electric Ind Co Ltd | Method and device of recognizing center of object to be recognized |
-
2006
- 2006-11-14 JP JP2006307507A patent/JP4845032B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001102799A (en) * | 1999-09-29 | 2001-04-13 | Sanyo Electric Co Ltd | Method and apparatus for detecting electronic component |
JP2001168600A (en) * | 1999-12-07 | 2001-06-22 | Yamaha Motor Co Ltd | Method and apparatus for confirmation of mounting of component |
JP2006310816A (en) * | 2005-03-30 | 2006-11-09 | Yamaha Motor Co Ltd | Part transporting device, surface-mounting machine and part inspecting device |
JP2007198889A (en) * | 2006-01-26 | 2007-08-09 | Juki Corp | Dispenser and inspection system therefor |
JP2007273519A (en) * | 2006-03-30 | 2007-10-18 | Matsushita Electric Ind Co Ltd | Method and device of recognizing center of object to be recognized |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010177310A (en) * | 2009-01-28 | 2010-08-12 | Panasonic Corp | Component mounting apparatus |
JP2016115754A (en) * | 2014-12-12 | 2016-06-23 | ヤマハ発動機株式会社 | Component mounting device, surface mounting machine and component thickness detection method |
JP2016162900A (en) * | 2015-03-02 | 2016-09-05 | 富士機械製造株式会社 | Component mounting machine |
US10448551B2 (en) | 2015-05-25 | 2019-10-15 | Fuji Corporation | Component mounter |
JP2017143181A (en) * | 2016-02-10 | 2017-08-17 | 富士機械製造株式会社 | Work head unit, mounting device and method for controlling work head unit |
JP2017157766A (en) * | 2016-03-04 | 2017-09-07 | パナソニックIpマネジメント株式会社 | Component mounting apparatus |
US10319089B2 (en) | 2016-03-04 | 2019-06-11 | Panasonic intellectual property Management co., Ltd | Component mounter |
CN107155289A (en) * | 2016-03-04 | 2017-09-12 | 松下知识产权经营株式会社 | Apparatus for mounting component |
CN112105254A (en) * | 2016-03-04 | 2020-12-18 | 松下知识产权经营株式会社 | Component thickness calculation method, component mounting device, and component presence determination method |
CN112105254B (en) * | 2016-03-04 | 2021-11-16 | 松下知识产权经营株式会社 | Component thickness calculation method, component mounting device, and component presence determination method |
JP2017188520A (en) * | 2016-04-04 | 2017-10-12 | ヤマハ発動機株式会社 | Component mounting device and method of acquiring height of object to be measured of component mounting device |
JP2018006417A (en) * | 2016-06-28 | 2018-01-11 | 富士機械製造株式会社 | Determination device |
WO2018127977A1 (en) * | 2017-01-06 | 2018-07-12 | 株式会社Fuji | Component mounter |
WO2018179365A1 (en) | 2017-03-31 | 2018-10-04 | 株式会社Fuji | Component mounter |
US11172601B2 (en) | 2017-03-31 | 2021-11-09 | Fuji Corporation | Component mounter |
JP2019114818A (en) * | 2019-04-18 | 2019-07-11 | パナソニックIpマネジメント株式会社 | Component mounting device and component existence determination method |
JP2020102653A (en) * | 2020-04-01 | 2020-07-02 | パナソニックIpマネジメント株式会社 | Component mounting device and component presence/absence determination method |
Also Published As
Publication number | Publication date |
---|---|
JP4845032B2 (en) | 2011-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4845032B2 (en) | Imaging apparatus with image processing function and inspection system | |
KR102114718B1 (en) | Electronic part mounting apparatus and mounted part inspection method | |
JP7002831B2 (en) | Parts mounting machine | |
KR102207774B1 (en) | Device and method for detecting position, and method of manufacturing substrate | |
CN108142000B (en) | Substrate working system and component mounting apparatus | |
CN109524320B (en) | Semiconductor manufacturing apparatus and method for manufacturing semiconductor device | |
JP2005308636A (en) | Optical visual examination method and optical visual examination device | |
JP5158686B2 (en) | Adsorption part front / back determination device and adsorption part front / back determination method | |
US10869421B2 (en) | Mounting device and imaging processing method | |
JP2005072046A (en) | Apparatus for packaging electronic component | |
JP2011082506A (en) | Device for inspecting or mounting component | |
JP2015166722A (en) | Defect image imaging device and defect image imaging method | |
JP4999502B2 (en) | Component transfer device and surface mounter | |
JP2012199321A (en) | Chip sorter and chip transfer method | |
JP6348832B2 (en) | Component mounting apparatus, surface mounter, and component thickness detection method | |
JP2006210705A (en) | Electronic component mounting device | |
KR101146323B1 (en) | Apparatus for recognizing parts of chip mounter and method for mounting parts using the same | |
KR101754598B1 (en) | System for testing panel using focus mapping scheme and method thereof | |
CN111725086B (en) | Semiconductor manufacturing apparatus and method for manufacturing semiconductor device | |
JP2005140597A (en) | Article recognition method and its system, surface mounting machine equipped with the system, component-testing arrangement, dispenser, mounted substrate inspection device and printed board inspection device | |
JP2012160525A (en) | Electronic component mounting device and electronic component mounting method | |
JP4618203B2 (en) | Electronic component mounting apparatus and electronic component mounting method | |
JP5003610B2 (en) | Board inspection method | |
JP2005322802A (en) | Component mounting device | |
JP2008139260A (en) | Image display unit and method, appearance inspection device, cream solder printer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111005 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4845032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |