JP2010021417A

JP2010021417A - 基板外観検査装置および基板外観検査用の画像生成方法

Info

Publication number: JP2010021417A
Application number: JP2008181459A
Authority: JP
Inventors: Atsushi Kuriyama; 淳栗山; Aya Sawa; 彩澤
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2008-07-11
Filing date: 2008-07-11
Publication date: 2010-01-28

Abstract

【課題】装置内で基板を搬送する間に、検査に適した２次元カラー画像を生成する。
【解決手段】検査対象の基板を、一対のコンベア部３Ａ，３Ｂにより下面の長さ方向に沿う両端縁で支持しながら搬送するとともに、この搬送路の上方に３ライン方式のラインセンサカメラ１を固定配備して撮像を行う。また、毎時の撮像に合わせて、生成された１次元画像のうちのＲの１次元画像を一段階前のＧの１次元画像と照合することによって、画像の位置ずれ量を検出し、その検出結果に基づき基準の撮像時の１次元画像に位置合わせするのに必要なシフト量を求める。さらに、撮像毎に、最新のＲの１次元画像、１段階前のＧの１次元画像および２段階前のＢの１次元画像を、それぞれ対応するシフト量により補正し、三者の組み合わせによるカラー画像を設定する。
【選択図】図２

Description

この発明は、部品実装基板の製作に関するいずれかの工程が実行された後の基板を対象に、カラー撮像用のラインセンサカメラにより生成された２次元カラー画像を用いた外観検査を実行する装置、およびこの外観検査に用いられる画像を生成する方法に関する。

ラインセンサカメラを撮像手段として使用するタイプの基板外観検査装置の従来例として、以下の特許文献１〜３に記載されたものがある。

特許第３７２５９９３号公報特開２００１−１２７４９９号公報特許３８０７００１号公報

特許文献１には、検査対象の基板をステージ上に固定配置して、その上方でラインセンサカメラを走査しながら撮像を行うことが記載されている。また、この特許文献１には、走査に先立ち、ラインセンサカメラを走査の終端位置側に移動させて、終端位置側の補正用マーク（基準マーク）の座標を検出した後に、ラインセンサカメラを走査の始端位置側に移動させて走査を開始するとともに、その開始直後に始端位置側の補正用マークの座標を検出し、以後、画像を生成する都度、各マークの座標により求めた位置ずれ量により生成された画像の座標を補正することが記載されている（段落００２０〜００２６、図１，２参照。）。

特許文献２には、基板搬送用の一対のレールの間に基板を挟んで保持し、その状態で基板を搬送方向に直交する方向に移動させながらラインセンサカメラによる撮像を繰り返すことや、レールまたは基板に設けられた複数の補正マークの座標を用いて、移動軸の回転駆動量や画像の補正を行うことが記載されている（段落００２２〜００３３参照。）。

特許文献３には、基板の搬送路の上方に、撮像素子の並び方向が基板の搬送方向に直交するようにしてラインセンサカメラを固定配置し、基板を搬送しながらラインセンサカメラによる撮像を繰り返すことによって、検査用の２次元画像を生成することが記載されている。さらにこの特許文献３には、検査対象の基板に相当数の補正マークを設け、これらのマークを基板の中央を境に２つのグループに分割し、撮像に合わせて各マークを順次検出しつつ、各グループの直近のマークの座標を用いて画像データの位置ずれ補正を行うことが記載されている（段落０００６〜００１１参照）。

この種の検査装置を含む基板生産ラインでは、両面実装基板の処理に支障が生じないように、一対のコンベア部により基板を下面の搬送方向に沿う両端縁で支持しながら、ライン内の各装置に順に基板を搬送するようにしている。特許文献１，２に記載された発明では、いずれも基板の姿勢を固定して撮像を行うようにしているので、上記の基板の流れを装置内で停止させなければならず、処理を十分に高速化できない。

撮像処理の効率を高めるには、基板を装置内で停止させずに、基板が装置内を通過する間に撮像が終了するようにするのが望ましいと思われる。しかし、コンベア部の壁部と基板との間には微小な間隙があり、コンベア部の振動などによって上記の微小間隙における基板の位置が変化するため、基板は搬送方向に直交する方向に位置ずれしながら移動し、その影響により、毎時の撮像により生成される画像間にも位置ずれが生じる可能性がある。

特許文献３に記載の発明は、上記の問題を解決することを課題とするものであるが、この文献の発明では、基板の中央部に補正用マークを設ける必要があり（図３参照。）、実用的な方法であるとは言い難い。

この発明は、上記の問題点に着目し、装置内で基板を停止することなく搬送し、その搬送の間に検査に適した２次元カラー画像を生成する処理を、基板の構成を問わずに実行できるようにすることを課題とする。

この発明による基板外観検査装置は、検査対象の基板を、下面の対向関係にある両端縁で支持しながら当該基板を搬送する一対のコンベア部と、各コンベア部による基板搬送路の上方または下方に、基板の搬送方向に直交する方向に撮像素子が並ぶようにして固定配置された３ライン方式のカラー撮像用のラインセンサカメラと、基板が搬送方向に沿って複数の領域に分割され、各領域がそれぞれラインセンサカメラの３つのラインセンサの撮像エリアに順に入って撮像されるように、各コンベア部の搬送速度およびラインセンサカメラの撮像タイミングを制御する制御手段と、毎時の撮像で各ラインセンサから出力されるＲ，Ｇ，Ｂの１次元画像を用いて基板の２次元カラー画像を生成する画像生成手段と、生成された２次元カラー画像を用いて基板上の被検査部位に対する外観検査を実行する検査実行手段を備える。

上記の画像生成手段は、所定の時点での撮像を基準として、撮像が行われる都度、直近の撮像と一段階前の撮像との間で同じ領域を表す画像を照合することによってこれらの画像間の位置ずれ量を検出し、この検出結果に基づき直近の撮像により生成された１次元画像を基準の撮像により生成された１次元画像に位置合わせするのに必要なシフト量を求めるシフト量取得手段；毎時の撮像により生成されたＲ，Ｇ，Ｂの各１次元画像を、それぞれ当該撮像につきシフト量取得手段が求めたシフト量を用いて補正する画像補正手段；基準の撮像より１段階または２段階後の撮像およびその後の複数回の撮像の都度、基板搬送方向の最前方の撮像エリアに対応するラインセンサによる１次元画像を、１段階前および２段階前の対応する１次元画像と組み合わせる処理を、これらの１次元画像が画像補正手段による補正により位置合わせされていることを条件に実行する画像組み合わせ手段；の各手段を具備する。

３ライン方式のカラー撮像用のラインセンサカメラは、Ｒ，Ｇ，Ｂの各光をそれぞれ受光する３つのラインセンサを平行に配置した構成のものである。各ラインセンサは、それぞれ異なる位置を撮像するが、上記の検査装置では、基板の搬送に応じて、撮像対象の各領域が各ラインセンサに順送りされて撮像されるように制御し、撮像が行われる都度、最前方の撮像エリアに対応するラインセンサによる１次元画像を、１段階前および２段階前の対応する１次元画像と組み合わせることによって、２次元カラー画像を構築する。

ただし、先に説明したように、基板を搬送しながら撮像を行う場合には、基板が幅方向（搬送方向に直交する方向）にずれて、毎時の１次元画像の座標が整合しない状態になる可能性がある。この点につき、本発明では、ある時点での撮像を基準に、撮像が行われる都度、その撮像により生成された１次元画像を基準の撮像により生成された１次元画像に位置合わせするのに必要なシフト量を求め、組み合わせの対象となる各１次元画像を、それぞれ対応するシフト量により補正してから組み合わせる。すなわち、各撮像により生成された１次元画像を過去に生成された１次元画像に整合させながら、同じ領域に対応するＲ，Ｇ，Ｂの１次元画像を組み合わせるので、基板の幅方向に沿うずれの影響を受けずに、基板上の各部位の位置関係を精度良く表した２次元カラー画像を生成することが可能になる。また、シフト量を求める処理、画像の補正、画像を組み合わせる処理を、いずれも毎時の撮像に応じて実行するので、基板が各ラインセンサの撮像エリアを通過し終えるのとほぼ同時に、２次元カラー画像の構築を終了することができる。

上記の基板外観検査装置の好ましい一態様では、画像生成手段は、ラインセンサカメラの中央位置に配置されたラインセンサにより生成された１次元画像に基板の画像が含まれるか否かを認識する基板認識手段をさらに具備する。また、シフト量取得手段は、基板認識手段が初めて基板の画像を認識したときの撮像を基準の撮像として、この基準の撮像で中央のラインセンサにより生成された１次元画像を当該画像に対応する一段階前の画像と照合して、一段階前の撮像により生成された画像のシフト量を求める。また基準の撮像より後の各撮像につき、それぞれ直近の撮像で基板搬送方向の最前方の撮像エリアに対応するラインセンサにより生成される１次元画像とこの画像に対応する一段階前の１次元画像とを照合することにより、直近の撮像により生成された画像のシフト量を求める。

上記の態様によれば、基板が撮像される状態になったときを起点に、画像の照合処理が開始され、これに伴い画像の補正や画像を組み合わせる処理も実行されるので、基板が撮像される状態になる前に無駄な画像処理が行われることがない。よって、基板の２次元カラー画像を効率よく生成することが可能になる。

他の好ましい態様による基板外観検査装置では、シフト量取得手段は、基準の撮像より後の各撮像が行われる都度、基準の撮像から現在の撮像までに検出された位置ずれ量に基づいてシフト量を設定する。また画像補正手段は、画像組み合わせ手段が３つの１次元画像を組み合わせる直前に、組み合わせ対象の各画像をそれぞれ対応するシフト量に基づき補正する。

他の好ましい態様による基板外観検査装置では、シフト量取得手段は、基準の撮像より後の各撮像が行われる都度、照合処理の結果に基づき、直近の撮像により生成された１次元画像を一段階前の１次元画像に位置合わせするためのシフト量を求める。また、画像補正手段は、シフト量取得手段がシフト量を取得する都度、そのシフト量により直近の撮像により生成されたＲ，Ｇ，Ｂの各１次元画像を補正する。

この発明による基板外観検査用の画像生成方法は、検査対象の基板を、下面の対向関係にある両端縁で支持しながら当該基板を搬送するとともに、この基板搬送路の上方または下方に、３ライン方式のカラー撮像用のラインセンサカメラを、基板の搬送方向に直交する方向に撮像素子が並ぶように固定配置し、基板が搬送方向に沿って複数の領域に分割され、各領域がそれぞれラインセンサカメラの３つのラインセンサの撮像エリアに順に入って撮像されるように、基板の搬送速度およびラインセンサカメラの撮像タイミングを制御しながら、毎時の撮像で各ラインセンサから出力されるＲ，Ｇ，Ｂの１次元画像を用いて基板の外観検査に用いる２次元のカラー画像を生成するものである。この方法では、所定の時点での撮像を基準として、撮像が行われる都度、直近の撮像と一段階前の撮像との間で同じ領域を表す画像を照合することによってこれらの画像間の位置ずれ量を検出し、この検出結果に基づき直近の撮像により生成された１次元画像を基準の撮像により生成された１次元画像に位置合わせするのに必要なシフト量を求める。そして、毎時の撮像により生成されたＲ，Ｇ，Ｂの各１次元画像を、それぞれ当該撮像につき求められたシフト量を用いて補正するとともに、基準の撮像より１段階または２段階後の撮像およびその後の複数回の撮像の都度、基板搬送方向の最前方の撮像エリアに対応するラインセンサによる１次元画像を、この画像に対応する１段階前および２段階前の１次元画像に組み合わせる処理を、これらの１次元画像が補正により位置合わせされていることを条件として実行する。

上記の基板外観検査装置および画像生成方法によれば、基板を搬送しながら撮像を行う間に、毎時の撮像による１次元画像を位置合わせしながら、同じ領域を表すＲ，Ｇ，Ｂの各画像を組み合わせて２次元カラー画像を構築していくので、外観検査に使用可能な２次元カラー画像を効率良く生成することができる。また、撮像時に基板を固定するための機構が不要になるので、構成が簡単になり、装置のコストを削減することも可能である。

図１は、この発明が適用された基板外観検査装置の構成例を示す。
この基板外観検査装置は、部品実装工程後の基板を受け付けて、部品の位置や向きなどが適切であるかどうかを自動で検査するためのもので、３ライン方式のラインセンサカメラ１、照明装置２、基板搬送部３、および制御処理装置４などにより構成される。

基板搬送部３は、検査対象の基板を上流から受け付けて、水平な状態で支持しながら下流側に搬送する。ラインセンサカメラ１および照明装置２は、基板搬送部３の上方の所定位置に固定配備される。

制御処理装置４は、コンピュータによる制御部４０（ＣＰＵ，ＲＯＭ，ＲＡＭを含む。）や不揮発性のメモリ４１（ハードディスクなど）を具備する。さらに、制御処理装置４には、カメラ用インターフェース４２、照明制御部４３、搬送制御部４４、入力部４５、表示部４６、通信用インターフェース４７などが設けられる。

カメラ用インターフェース４２には、ラインセンサカメラ１への駆動信号を出力する回路や、ラインセンサカメラ１からの画像信号を入力してディジタル変換する回路などが含まれる。照明制御部４３は、照明装置２の光量や発光タイミングの制御に用いられ、搬送制御部４４は、基板搬送路３の起動および停止、ならびに搬送速度の制御に用いられる。

メモリ４１には、あらかじめ、撮像や検査のための制御に関するプログラムや自動検査に必要なパラメータ（被検査部位）などが格納される。制御部４０は、メモリ４１に格納されたプログラムに基づき、カメラ用インターフェース４２、照明制御部４３、搬送制御部４４を介して、撮像、照明、および基板の搬送に関する制御を行いながら２次元カラー画像を生成し、この２次元カラー画像を用いた検査を実行する。検査の結果は、表示部４６に表示されるほか、通信用インターフェース４７を介して外部の装置に送信される。

基板搬送部３は、一対のコンベア部３Ａ，３Ｂにより構成される。
図２（１）（２）は、コンベア部３Ａ，３Ｂによる基板５の搬送状態およびラインセンサ１による撮像状態を示す。これらの図に示すように、コンベア部３Ａ，３Ｂは、垂直に起立する壁部３１の内面にプーリ３３を介してコンベアベルト３２を取り付けた構成のもので、他に、コンベアベルト３２を回転させるためのモータを含む駆動機構（図示せず。）を具備する。各コンベア部３Ａ，３Ｂは、図中の左から右に向かう方向Ｆに沿って基板５を搬送する。

各コンベア部３Ａ，３Ｂは、各壁部３１の内面と基板５との間に微小な間隙（約５００ミクロン）が生じるように、基板５の幅より若干広い間隔を隔てて配備される。また、コンベアベルト３３により支持された基板５の上面より壁部３１の上端縁の方が高くなるように、コンベアベルト３３の設置位置が調整されている。これにより、基板５は、壁部３１の内面に沿ってスムーズに搬送される。

コンベア部３Ａ，３Ｂの上流側には搬入用のコンベア部６Ａ，６Ｂが、下流側には搬出用のコンベア部７Ａ，７Ｂが、それぞれ設けられる。これらのコンベア部の構成や設置状態も、コンベア部３Ａ，３Ｂと同様である。

ラインセンサカメラ１は、上記構成の基板搬送部３の上方に、撮像素子の並び方向を基板の搬送方向Ｆに直交させた状態にして配備される。ただし、ラインセンサカメラ１と基板搬送部３との位置関係はこれに限らず、基板搬送部３の搬送路の下方にラインセンサカメラ１を配備してもよい。この場合にも、ラインセンサカメラ１の撮像素子の並び方向は基板の搬送方向Ｆに直交させる必要がある。また、基板５を、被検査面を下方に向けた状態で搬送する必要がある。

図３は、上記のラインセンサカメラ１による基板５の撮像状態を模式的に示す。
このラインセンサカメラ１の受光面には、Ｒ，Ｇ，Ｂの各色成分毎のラインセンサ１Ｒ，１Ｇ，１Ｂが、ラインセンサ１Ｇを中心にそれぞれの撮像素子の並び方向が平行な関係になるように配置される。各ラインセンサ１Ｒ，１Ｇ，１Ｂには、レンズ１０を介して、それぞれ異なる位置からの反射光が入射する。

図３には、各ラインセンサ１Ｒ，１Ｇ，１Ｂの撮像位置を表すラインＬ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂをライン間の間隔を誇張して示している。これらのラインＬ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂは、図４に示す撮像エリア８Ｒ，８Ｇ，８Ｂの中心線に相当するもので、実際には近接した関係にある。

各ラインＬ_Ｒ，Ｌ_Ｇ，Ｌ_Ｂと基板搬送方向Ｆとの関係によれば、基板上の各部位は、各ラインをＬ_Ｂ，Ｌ_Ｇ，Ｌ_Ｒの順に通過する。よって、いずれの部位も、まずラインセンサ１Ｂにより撮像され、つぎにラインセンサ１Ｇにより撮像され、最後にラインセンサ１Ｒにより撮像されることになる。

この実施例では、各ラインセンサ１Ｒ，１Ｇ，１Ｂの撮像対象領域が各撮像エリア８Ｒ，８Ｇ，８Ｂに順送りされて撮像されるように、基板の搬送速度およびラインセンサカメラの撮像タイミングを制御する。すなわち、ある時点にラインセンサ１Ｂにより撮像された撮像対象領域は、次の時点ではラインセンサ１Ｇにより撮像され、さらに次の時点でラインセンサＲにより撮像される。よって、連続する３回の撮像により生成されたＲ，Ｇ，Ｂの１次元画像を組み合わせることによって、１つの撮像対象領域のカラーの１次元画像が生成されることになる。さらに、基板５を搬送しながら撮像および上記画像の組み合わせ処理を繰り返すことにより、２次元のカラー画像を生成することができる。

また、この実施例では、基板５が搬送される間に、コンベアベルト３２の振動などによって基板５が幅方向（搬送方向Ｆに直交する方向）に位置ずれする可能性を考慮して、同一の撮像対象領域に対応する１次元画像同士を正規化相関演算により照合し、その照合結果の履歴に基づき、各１次元画像のシフト補正を行うようにしている。

上記の各ラインセンサ１Ｒ，１Ｇ，１Ｂでは、受光面に設けられた光学フィルタにより、それぞれＲ，Ｇ，Ｂに対応する波長範囲の光を受光するが、各ラインセンサが受光する波長領域は完全に分離した状態にはならず、ラインセンサ１Ｒが受光するＲの波長領域とラインセンサ１Ｇが受光するＧの波長領域との間には重複する部分がある。また、ラインセンサ１Ｇが受光するＧの波長領域とラインセンサ１Ｂが受光するＢの波長領域との間にも、同様に重複する部分がある。したがって、同じ撮像対象領域に対応するＲの１次元画像とＧの１次元画像、またはＧの１次元画像とＢの１次元画像を正確に位置合わせして正規化相関演算を行うと、両者が位置ずれしている場合より高い一致度が得られると考えられる。

つぎに、搬送中の基板５は、その長さ方向が搬送方向Ｆに対してやや傾いた状態になる可能性があるが、基板５と搬送路との間の間隙は、５００ミクロン程度であるから、基板の傾きは無視できる程度のものと解される。したがって、ある時点ｔにおける画像の一段階前の画像に対する位置ずれ量は、Ｒ，Ｇ，Ｂのいずれの一次元画像についてもほぼ同じになると考えてよい。

上記の各考察に基づき、この実施例では、毎時の撮像により生成されるＲの１次元画像を画素の並び方向に沿って１画素ずつシフトさせながら１段階前のＧの１次元画像との正規化相関演算を行うことにより、前者の画像を後者に位置合わせするのに必要なシフト量（Ｇの１次元画像に対するＲの１次元画像のずれ量に応じた大きさを持つもの）を算出する。さらに、この実施例では、それぞれ所定の時点のシフト量を０として毎時のシフト量を累計し、各撮像により生成されたＲ，Ｇ，Ｂの１次元画像を、上記の累計されたシフト量により補正することにより、各時点における１次元画像を位置合わせするようにしている。

図４（図４−１および図４−２をいう。以下も同じ。）では、各ラインセンサ１Ｒ，１Ｇ，１Ｂの撮像エリアと搬送中の基板５との位置関係の変化を表す模式図（左側）と各ラインセンサ１Ｒ，１Ｇ，１Ｂにより生成される画像Ｒ_ｔ，Ｇ_ｔ，Ｂ_ｔ（ｔ≧−１）を表す模式図（右側）とを対応づけて示す。

左側の模式図では、コンベア部３Ａ，３Ｂの壁部３１により定まる基板５の搬送路の端縁を太線で示すとともに、各撮像エリア８Ｒ，８Ｇ，８Ｂを、それぞれ異なる塗りパターンを付した矩形領域として表している。また基板の幅方向の中央位置には、各撮像エリアに含まれる大きさのマーク（●▲■・・・）を付しているが、これらのマークは、説明上設定した仮想のマークであって、後記する位置補正用の基準マークとは別物である。また、この例では、基板５と搬送路の両端縁との間の間隙を１画素分とするが、説明の都合上、図中の間隔は図２に示すものより大きくしている。

右側の模式図では、便宜上、各１次元画像の画素数を１１個として、そのうちの基板５を表す画素に、画像データの種類に応じた塗りパターン（対応する撮像エリアと同じパターン）を付している。また、●などのマークに対応する画素には同様のマークを付している。

図４に基づき説明すると、この実施例では、中央のラインセンサ１Ｇの撮像エリア１Ｇに基板が初めて入ったとき（図４（２））を時刻０（ｔ＝０）として、画像の照合および画像の補正に必要なシフト量Ｓ（ｔ）を求める処理を開始する。具体的には、時刻０のときのシフト量Ｓ（０）を０として、その後の任意の時刻ｔまでの毎時の画像の照合により求めたシフト量の累計値をＳ（ｔ）とする。

各画像の模式図の右隣には、それぞれ対応するシフト量Ｓ（ｔ）の値を具体的に示している。この例のシフト量Ｓ（ｔ）は、図中の下から上に向かう方向を正の方向として、画像をシフトする方向およびシフトする画素数を示すものである。たとえば、Ｓ（ｔ）＝＋１は、各画素の画像データを正の方向に１画素分ずらすことを意味し、Ｓ（ｔ）＝−１は、各画素の画像データを負の方向に１画素分ずらすことを意味する。

図５〜８は、各時点に生成されるＲ，Ｇ，Ｂの１次元画像を、同じ撮像対象領域に対応するもの毎に組み合わせて、シフト補正を行う処理を示す。以下、各撮像対象領域を、先頭から順に領域０，領域１，領域２・・・のように表し、図４〜図８を参照しながら、各領域のカラー画像を生成するための処理を具体的に説明する。

（ａ）領域０（●マークを含む領域）に関する処理（図４（１）〜（３），図５参照）
領域０は、時刻−１のときにラインセンサ１Ｂにより撮像され、時刻０のときにラインセンサ１Ｇにより撮像され、時刻１のときにラインセンサ１Ｒにより撮像される。

この実施例では、時刻０のときのＧの１次元画像Ｇ_０を基準に、時刻−１のときのＢの１次元画像Ｂ_−１の１次元画像Ｇ_０に対する位置ずれ量に基づき、時刻−１に対応するシフト量Ｓ（−１）を求め、時刻１のときのＲの１次元画像Ｒ_１の１次元画像Ｇ_０に対する位置ずれ量に基づき、時刻１に対応するシフト量Ｓ（１）を求める。図示例の場合、１次元画像Ｂ_−１およびＲ_１は、いずれも１次元画像Ｇ_０に対して負の方向に１画素ずれているから、シフト量Ｓ（−１），Ｓ（１）は、いずれも＋１となる。よって、この場合には、画像Ｂ_−１および画像Ｒ_１を、それぞれシフト量Ｓ（−１），Ｓ（１）に基づき、正の方向に１画素分シフトし、補正後の各画像と画像Ｇ_０とを組み合わせることによって、領域０のカラー画像を生成する。

（ｂ）領域１（▲マークを含む領域）に関する処理（図４（２）〜（４），図６参照）
領域１は、時刻０のときにラインセンサ１Ｂにより撮像され、時刻１のときにラインセンサ１Ｇにより撮像され、時刻２のときにラインセンサ１Ｒにより撮像される。

ここで、時刻０，１に対応するシフト量Ｓ（０），Ｓ（１）は、先の領域０に関する処理において既に求められているから、これらを適用することができる。
つぎに、時刻２に対応するシフト量Ｓ（２）を求めるには、時刻２のときのＲの１次元画像Ｒ_２を一段階前のＧの１次元画像Ｇ_１と照合する。この例の場合、１次元画像Ｒ_２は１次元画像Ｇ_１に対して負の方向に１画素ずれているので、１次元画像Ｒ_２を１次元画像Ｇ_１に位置合わせするのに必要なシフト量は＋１となる。さらに、１次元画像Ｒ_２を時刻０のときの画像に位置合わせするには、上記の＋１のシフト量に１次元画像Ｇ_１のシフト量を加算した値を、１次元画像Ｒ（２）のシフト量とする必要がある。

よって、この実施例では、１次元画像Ｒ_２と１次元画像Ｇ_１とを照合することにより求めたシフト量（＋１）と時刻１に対応するシフト量Ｓ（１）とを加算した値（＋２）を、時刻２に対応するシフト量Ｓ（２）とする。この後は、１次元画像Ｇ_１およびＲ_２を、それぞれ対応するシフト量Ｓ（１），Ｓ（２）に基づきシフト補正し、補正後の各画像と時刻０のときの１次元画像Ｂ_０とを組み合わせることによって、領域１のカラー画像を生成する。

（ｃ）領域２（■マークを含む領域）に関する処理（図４（３）〜（５），図７参照）
領域２は、時刻１のときにラインセンサ１Ｂにより撮像され、時刻２のときにラインセンサ１Ｇにより撮像され、時刻３のときにラインセンサ１Ｒにより撮像される。

これらの撮像に対応するシフト量のうち、時刻１に対応するシフト量Ｓ（１）および時刻２に対応するシフト量Ｓ（２）については、既に算出された値を適用することができる。時刻３に対応するシフト量Ｓ（３）については、時刻３のときのＲの１次元画像Ｒ_３を一段階前のＧの１次元画像Ｇ_２と照合して、１次元画像Ｒ_３を１次元画像Ｇ_２に位置合わせするのに必要なシフト量を求め、このシフト量に一段階前のシフト量Ｓ（２）を加算し、その演算結果をＳ（３）とする。

この例によれば、１次元画像Ｒ_３は１次元画像Ｇ_２に対して正の方向に１画素ずれているから、１次元画像Ｒ_３を１次元画像Ｇ_２に位置合わせするのに必要なシフト量は−１となる。これに一段階前のシフト量Ｓ（２）の値＋２を加算することにより、シフト量Ｓ（３）は＋１となる。

この後は、各１次元画像Ｂ_１，Ｇ_２，Ｒ_３を、それぞれ対応するシフト量Ｓ（１），Ｓ（２），Ｓ（３）に基づき補正することによって、これらの１次元画像を時刻０のときの各１次元画像に位置合わせし、補正後の１次元画像を組み合わせて領域Ｓ２のカラー画像を生成する。

（ｄ）領域３（×マークを含む領域）に関する処理（図４（４）〜（６），図８参照）
領域３は、時刻２のときにラインセンサＢにより撮像され、時刻３のときにラインセンサＧにより撮像され、時刻４のときにラインセンサＲにより撮像される。

これらの撮像に対応するシフト量のうち、時刻２に対応するシフト量Ｓ（２）および時刻３に対応するシフト量Ｓ（３）については、既に算出された値を適用することができる。また時刻４に対応するシフト量Ｓ（４）については、時刻４のときのＲの１次元画像Ｒ_４を一段階前のＧの１次元画像Ｇ_３と照合することによって１次元画像Ｒ_４を１次元画像Ｇ_３に位置合わせするのに必要なシフト量を求め、このシフト量に一段階前のシフト量Ｓ（３）を加算し、その演算結果をＳ（４）とする。

図示例によれば、１次元画像Ｒ_４は１次元画像Ｇ_３に対して正の方向に１画素ずれているから、両者の照合により導出されるシフト量は−１となるが、このシフト量に一段階前のシフト量Ｓ（３）の＋１を加算したシフト量Ｓ（４）は０となる。よって、時刻４のときの１次元画像Ｒ_４，Ｇ_４，Ｂ_４の補正は不要となる。

よってこの後は、１次元画像Ｂ_２，Ｇ_３をそれぞれ対応するシフト量Ｓ（２），Ｓ（３）により補正し、補正後の各１次元画像と１次元画像Ｒ_４とを組み合わせることによって、領域３のカラー画像を生成する。

上記の例によれば、補正によって、同じ撮像対象領域に対応する３つの１次元画像の座標を位置合わせするだけでなく、毎時の撮像による１次元画像の座標をそれぞれ時刻０のときの１次元画像に位置合わせすることができる。よって、搬送方向Ｆに直交する方向における基板５の位置が種々に変化しても、その変化の影響を受けずに、基板上の各部位の位置関係を精度良く表した２次元カラー画像を得ることができる。

図９は、図５〜８に示した処理を実行するための制御部４０の処理手順を示す。
この処理は、基板搬送部３に基板５が搬入されたことに応じて開始されるもので、初期の段階では、ラインセンサ１Ｇにより生成されるＧの１次元画像に基板５の画像が含まれるようになるまで撮像を繰り返す（ＳＴ１，２）。ここで、Ｇの１次元画像に基板の画像が含まれるか否かは、たとえば、毎時の１次元画像から基板の地の部分に相当する輝度値を具備する画素を抽出し、その抽出数が所定のしきい値を超えたか否かにより判断する。また毎時の撮像により生成された３種類の１次元画像は、画像生成処理が終了するまでＲＡＭ内に保存される（ＳＴ６の撮像でも同様である。）。

所定の時点で、Ｇの１次元画像に基板の画像が含まれていると判断されると（ＳＴ２が「ＹＥＳ」）、時刻を表すカウンタｔおよびシフト量Ｓ（０）にそれぞれゼロをセットする（ＳＴ３）。ついで、直前に行われた撮像を時刻０の撮像、一段階前の撮像を時刻−１の撮像として、時刻０の撮像により生成されたＧの１次元画像Ｇ_０と時刻−１の撮像により生成されたＢの１次元画像Ｂ_−１とを照合し、時刻−１に対応するシフト量Ｓ（−１）を算出する（ＳＴ４）。

この後は、ＳＴ５〜１３のループを、Ｇの１次元画像に基板の画像が含まれなくなるまで繰り返す。
このループでは、まず時刻ｔをインクリメントして、新たな撮像を実行する（ＳＴ５，６）。つぎに、この撮像により生成されたＲの１次元画像Ｒ_ｔと一段階前に生成されたＧの１次元画像Ｇ_ｔ−１とを照合して、１次元画像Ｒ_ｔを１次元画像Ｇ_ｔ−１に位置合わせするのに必要なシフト量ｄ_ｔを求める（ＳＴ７）。さらに、このシフト量ｄ_ｔをシフト量Ｓ（ｔ−１）に加算する演算を実行し、その演算結果をＳ（ｔ）とする（ＳＴ８）。

この後は、直近の撮像による画像Ｒ_ｔをシフト量Ｓ（ｔ）により補正し（ＳＴ９）、一段階前の画像Ｇ_ｔ−１をシフト量Ｓ（ｔ−１）により補正し（ＳＴ１０）、二段階前の画像Ｂ_ｔ−２をシフト量Ｓ（ｔ−２）により補正し（ＳＴ１１）、補正後の画像の組み合わせをｔの値に対応づけて保存する（ＳＴ１２）。なお、ＳＴ９，１０，１１においては、いずれもシフト量が０であれば、補正処理をスキップする。

ＳＴ５〜１３のループは、ｔ＝１のときに開始され、Ｇの１次元画像に基板５の画像が含まれる状態から含まれない状態に移行したことに応じて終了する。
ここで、ループの開始時点（ｔ＝１）では、基板５の最初の撮像対象領域（領域０）がラインセンサ１Ｒの撮像エリア８Ｒに含まれた状態であるから、この状態下での撮像の後に実行されるＳＴ７〜１２によって、領域０のカラー画像が生成されることになる。また、ループの最終の撮像は、基板５の最後の撮像対象領域がラインセンサ１Ｒの撮像エリア８Ｒに含まれた状態で行われるから、この撮像後のＳＴ７〜１２によって、最後の撮像対象領域のカラー画像が生成されることになる。よって、ループが終了したときに、基板全体の２次元カラー画像が生成されることになる。

さらに、この実施例の検査装置では、図９に示した画像生成処理に並行して図１０の処理を実行することにより、検査の効率を向上するようにしている。

以下、図１０を参照して説明すると、この処理では、図９に示した画像生成処理により所定数の部品を含む範囲の２次元カラー画像が生成されると、生成中の２次元カラー画像に対する処理を開始し（ＳＴ２１）、部品毎にＳＴ２２〜２６のループを実行する。

このループでは、メモリ４１に登録された検査データに基づき画像中の所定位置に検査領域を設定し（ＳＴ２２）、検査領域内の画像を２値化するなどして、検査対象の部品を検出する（ＳＴ２３）。またこのとき部品が検出されたか否かによって、部品の有無を判別する。

つぎに、検出した部品の仮の座標を計測する（ＳＴ２４）。また、部品の向きを認識し、その向きが登録された情報に適合しているか否かを判定する（ＳＴ２５）。
なお、ＳＴ２３において「部品なし」と判定された場合には、ＳＴ２４，２５はスキップされる。

基板上のすべての部品について上記のＳＴ２２〜２５の処理が実行されたとき（ＳＴ２６が「ＹＥＳ」）、基板全体の２次元カラー画像も完成していることになる。この後は、この２次元カラー画像の対向関係にある角部からそれぞれ位置決め用の基準マーク（図示せず。）を検出し（ＳＴ２７）、各マークの座標とメモリ４１に登録された基準の座標とを用いて、画像の位置ずれ量を算出する（ＳＴ２８）。

つぎに、上記の位置ずれ量により各部品の仮の座標を補正し、補正後の座標を各部品の正しい座標として特定する（ＳＴ２９）。さらに、特定された座標を登録情報と照合することによって、部品の位置の適否を判定する（ＳＴ３０）。
最後に、各部品の有無判定（ＳＴ２３）、向きの判定（ＳＴ２４）、および位置判定（ＳＴ３０）の各判定結果を出力し（ＳＴ３１）、処理を終了する。

上記の処理によれば、基板５の２次元カラー画像の一部が生成された段階から検査を開始することによって、２次元カラー画像の生成が完了したときには、殆どの部品の有無検査や向きの判定が終了した状態になる。
部品の座標については、２次元カラー画像の生成が完了して位置ずれ補正を行った後でなければ、判定結果を確定できないが、２次元カラー画像の生成後に、再び各部品に検査領域を設定して座標を計測するような方法では、無駄が多く、処理時間を長引かせてしまう。この点につき、この実施例では、２次元カラー画像が生成される間に各部品の仮の座標を求め、２次元カラー画像の生成が完了した後に、基準マークの画像から求めた位置ずれ量により各部品の仮の座標を一括補正するので、２次元カラー画像の生成後に検査領域を設定する必要がなく、各部品の座標の確定や判定を効率良く行うことができる。よって、画像生成後の処理時間を大幅に短縮することができ、画像の生成処理が終了してから各種検査を開始する場合よりもはるかに早く、検査を終了することが可能になる。

なお、上記の実施例は、部品実装後の基板を検査対象とするものであるが、これに限らず、はんだ印刷後の基板のクリームはんだの検査や、はんだ付け後の基板のフィレット検査についても、図９と同様の方法で検査用の２次元カラー画像を生成するとともに、図１０に準じた方法により検査を実施することができる。

なお、上記の実施例では、Ｇの１次元画像に対するＲの１次元画像の位置ずれ量から毎時のシフト量を求めたが、これに代えて、Ｂの１次元画像に初めて基板の画像が含まれたときをｔ＝０として、その後の撮像において、Ｂの１次元画像に対するＧの１次元画像の位置ずれ量からシフト量を求めてもよい。また、Ｇ，Ｒの各１次元画像を合わせたものを２次元画像とみなして、一段階前のＢ，Ｇの１次元画像を合わせた画像と照合することにより、シフト量を求め、これを直近の撮像により生成された各１次元画像に適用してもよい。

また、上記の実施例では、同じ撮像対象領域に対応する３種類の１次元画像を取得した段階で各１次元画像の補正を行ったが、これに代えて、毎時の撮像後にその撮像により生成された各１次元画像を補正するようにしてもよい。すなわち、時刻０の撮像による画像を基準に、その後の撮像が行われる毎に、直近の撮像による１次元画像を時刻０の撮像による１次元画像に位置合わせすることになる。具体的には、たとえば、ｔ＝１より後の各撮像が行われる都度、直近の撮像により生成されたＲの１次元画像を一段階前の補正後のＧの１次元画像と照合し、その照合により求めたシフト量を、そのままＳ（ｔ）として時刻ｔのときの撮像で生成された各１次元画像を補正し、補正後のＧの画像を次の撮像による画像との照合に用いればよい。また時刻−１の撮像については、時刻０のときに、上記実施例と同様の方法によりシフト量Ｓ（−１）を求め、そのシフト量Ｓ（−１）により、時刻−１のときの撮像で生成された領域０に対応する画像Ｂ_０を補正すればよい。

基板外観検査装置のブロック図である。基板の搬送状態および撮像状態を説明する図である。ラインセンサカメラの構成と各ラインセンサの撮像位置を模式的に示す図である。搬送中の基板の位置の変化を示す模式図と生成される画像を表す模式図とを対応づけて示す図である。搬送中の基板の位置の変化を示す模式図と生成される画像を表す模式図とを対応づけて示す図である。領域０のカラー画像の生成に関する処理を説明する図である。領域１のカラー画像の生成に関する処理を説明する図である。領域２のカラー画像の生成に関する処理を説明する図である。領域３のカラー画像の生成に関する処理を説明する図である。画像生成処理に関するフローチャートである。検査に関するフローチャートである。

符号の説明

１ラインセンサカメラ
３基板搬送部
４制御処理装置
３Ａ，３Ｂコンベア部
１Ｒ，１Ｇ，１Ｂラインセンサ
８Ｒ，８Ｇ，８Ｂ撮像エリア
４０制御部
４１メモリ

Claims

検査対象の基板を、下面の対向関係にある両端縁で支持しながら当該基板を搬送する一対のコンベア部と、各コンベア部による基板搬送路の上方または下方に、基板の搬送方向に直交する方向に撮像素子が並ぶようにして固定配置された３ライン方式のカラー撮像用のラインセンサカメラと、前記基板が搬送方向に沿って複数の領域に分割され、各領域がそれぞれ前記ラインセンサカメラの３つのラインセンサの撮像エリアに順に入って撮像されるように、各コンベア部の搬送速度およびラインセンサカメラの撮像タイミングを制御する制御手段と、毎時の撮像で各ラインセンサから出力されるＲ，Ｇ，Ｂの１次元画像を用いて前記基板の２次元カラー画像を生成する画像生成手段と、生成された２次元カラー画像を用いて前記基板上の被検査部位に対する外観検査を実行する検査実行手段とを備え、
前記画像生成手段は、
所定の時点での撮像を基準として、撮像が行われる都度、直近の撮像と一段階前の撮像との間で同じ領域を表す画像を照合することによってこれらの画像間の位置ずれ量を検出し、この検出結果に基づき前記直近の撮像により生成された１次元画像を前記基準の撮像により生成された１次元画像に位置合わせするのに必要なシフト量を求めるシフト量取得手段と、
毎時の撮像により生成されたＲ，Ｇ，Ｂの各１次元画像を、それぞれ当該撮像につき前記シフト量取得手段が求めたシフト量を用いて補正する画像補正手段と、
前記基準の撮像より１段階または２段階後の撮像およびその後の複数回の撮像の都度、基板搬送方向の最前方の撮像エリアに対応するラインセンサによる１次元画像を、１段階前および２段階前の対応する１次元画像と組み合わせる処理を、これらの１次元画像が画像補正手段による補正により位置合わせされていることを条件に実行する画像組み合わせ手段とを、
具備する基板外観検査装置。
前記画像生成手段は、前記ラインセンサカメラの中央位置に配置されたラインセンサにより生成された１次元画像に基板の画像が含まれるか否かを認識する基板認識手段をさらに具備し、
前記シフト量取得手段は、前記基板認識手段が初めて基板の画像を認識したときの撮像を基準の撮像として、この基準の撮像で中央のラインセンサにより生成された１次元画像を当該画像に対応する一段階前の画像と照合して、一段階前の撮像により生成された画像のシフト量を求め、前記基準の撮像より後の各撮像につき、それぞれ直近の撮像で基板搬送方向の最前方の撮像エリアに対応するラインセンサにより生成された１次元画像とこの画像に対応する一段階前の１次元画像とを照合することにより、直近の撮像により生成された画像のシフト量を求める、請求項１に記載された基板外観検査装置。
前記シフト量取得手段は、基準の撮像より後の各撮像が行われる都度、前記基準の撮像から現在の撮像までに検出された位置ずれ量に基づいてシフト量を設定し、
前記画像補正手段は、画像組み合わせ手段が３つの１次元画像を組み合わせる直前に、組み合わせ対象の各画像をそれぞれ対応するシフト量に基づき補正する、請求項１に記載された基板外観検査装置。
前記シフト量取得手段は、基準の撮像より後の各撮像が行われる都度、前記照合処理の結果に基づき、直近の撮像により生成された１次元画像を一段階前の１次元画像に位置合わせするためのシフト量を求め、
前記画像補正手段は、前記シフト量取得手段がシフト量を取得する都度、そのシフト量により直近の撮像により生成されたＲ，Ｇ，Ｂの各１次元画像を補正する、請求項１に記載された基板外観検査装置。
検査対象の基板を、下面の対向関係にある両端縁で支持しながら当該基板を搬送するとともに、この基板搬送路の上方または下方に、３ライン方式のカラー撮像用のラインセンサカメラを基板の搬送方向に直交する方向に撮像素子が並ぶように固定配置し、前記基板が搬送方向に沿って複数の領域に分割され、各領域がそれぞれ前記ラインセンサカメラの３つのラインセンサの撮像エリアに順に入って撮像されるように、基板の搬送速度およびラインセンサカメラの撮像タイミングを制御しながら、毎時の撮像で各ラインセンサから出力されるＲ，Ｇ，Ｂの１次元画像を用いて前記基板の外観検査に用いる２次元のカラー画像を生成する方法であって、
所定の時点での撮像を基準として、撮像が行われる都度、直近の撮像と一段階前の撮像との間で同じ領域を表す画像を照合することによってこれらの画像間の位置ずれ量を検出し、この検出結果に基づき直近の撮像により生成された１次元画像を基準の撮像により生成された１次元画像に位置合わせするのに必要なシフト量を求め、
毎時の撮像により生成されたＲ，Ｇ，Ｂの各１次元画像を、それぞれ当該撮像につき求められたシフト量を用いて補正するとともに、前記基準の撮像より１段階または２段階後の撮像およびその後の複数回の撮像の都度、基板搬送方向の最前方の撮像エリアに対応するラインセンサによる１次元画像を、この画像に対応する１段階前および２段階前の１次元画像に組み合わせる処理を、これらの１次元画像が補正により位置合わせされていることを条件として実行する、
ことを特徴とする基板外観検査用の画像生成方法。