JP2019168238A - 画像認識装置 - Google Patents

Abstract

【課題】複数のカメラによる撮像を行うのに、被写体の往復動作を不要にする。【解決手段】本明細書によって開示される画像認識装置１７は、ライン画像ＬＩ１を撮像する第１カメラと、第１カメラとは異なる方向からライン画像ＬＩ１を撮像する第２カメラと、第１カメラによる撮像用の光を点灯する第１照明装置７６と、第２カメラによる撮像用の光を点灯する第２照明装置７７と、第１カメラによる撮像が完了した後、第１照明装置７６を消灯して第２照明装置７７を点灯し、第２カメラによる撮像が完了した後、第２照明装置７７を消灯して第１照明装置７６を点灯する照明制御部８１と、前記第１カメラ及び前記第２カメラ毎に複数のライン画像ＬＩ１を繋ぎ合わせることで１つの平面画像ＰＩを生成し、第１カメラの平面画像ＰＩと第２カメラの平面画像ＰＩとからステレオ計測用の画像を生成する画像処理部８３と、を備えた構成とした。【選択図】図６

Description

本明細書によって開示される技術は、画像認識装置に関する。

従来、Ｙ軸方向に撮像素子が並ぶリニアセンサを有する撮像ユニットを備えた実装機として、特開２００４−３２７９２９号公報（下記特許文献１）に記載のものが知られている。撮像ユニットは、互いに異なる方向から部品を撮像する第１撮像ユニットと第２撮像ユニットとから構成されている。各撮像ユニットは、それぞれ吸着ヘッドに吸着された部品を撮像するカメラと、部品撮像用の照明を提供する照明装置とを備えている。各カメラは、それぞれＹ軸方向に複数の撮像素子が並ぶリニアセンサ（ラインセンサ）を備えたカメラで、各ラインセンサの素子の配列方向と直交する方向（Ｘ軸方向）にヘッドユニットが移動することにより、各カメラにより吸着ヘッドに吸着された吸着部品の画像が取得される。

各撮像ユニットの各カメラは、互いに視差が出るように設けられている。第１撮像ユニットのカメラは吸着部品をその真下から撮像するようにＺ軸方向上向きに配置されており、第２撮像ユニットのカメラは吸着部品を斜め方向から撮像し得るようにＺ軸に対して例えば４０°傾いた状態で上向きに配置されている。これにより第１撮像ユニット及び第２撮像ユニットに対して吸着部品を移動させると、各撮像ユニットのカメラにより互いに異なる方向から吸着部品が撮像されるようになっている。

また、一つのカメラによって互いに異なる方向から電子部品を撮像できるようにした部品撮像装置として、特開２０１３−１４３４１９号公報（下記特許文献２）に記載のものが知られている。電子部品からカメラまでの光路は、基板の実装面に対して垂直な方向から電子部品をカメラによって撮像する第１の光路と、基板の実装面とは垂直な方向に対して基板側に傾斜した方向から電子部品をカメラによって撮像する第２の光路とで構成されている。第１の光路は、進退可能に構成された第１のミラー部の反射面が進出し、光路の光を反射することによって形成され、第２の光路は、第１のミラー部の反射面が退出し、光が反射面に反射しないことによって形成される。

特開２００４−３２７９２９号公報 特開２０１３−１４３４１９号公報

上記特許文献１と２に共通する電子部品（以下「部品」という）Ｅの撮像動作について図１３から図１６の図面を参照しながら詳細に説明する。図１３および図１４に示す画像認識装置１は、撮像面を水平に配置して固定された部品認識カメラ２と、撮像面を斜めに配置して固定された斜めカメラ３と、複数のＬＥＤ４〜７とを備えて構成されている。複数のＬＥＤ４〜７は、図示右側に光を照射可能な第１ＬＥＤ４と、図示左側に光を照射可能な第４ＬＥＤ７と、図示上側に光を照射可能な第２ＬＥＤ５、第３ＬＥＤ６とからなる。第２ＬＥＤ５は第３ＬＥＤ６の図示左側に位置している。各ＬＥＤ４〜７は、全体として略Ｕ字状をなすように並んで配されている。図１３に示すように、第２ＬＥＤ５と第３ＬＥＤ６によって第１照明装置８が構成され、図１４に示すように、第３ＬＥＤ６と第４ＬＥＤ７によって第２照明装置９が構成されている。

また、図１５の上段側が部品認識カメラ２による撮像タイミング９５を示し、図１５の下段側が斜めカメラ３による撮像タイミング９６を示している。各カメラ２、３は、ラインセンサによってライン画像を撮像するカメラであり、複数のライン画像を繋ぎ合わせることで１つの平面画像が生成されるものとされている。部品認識カメラ２によってＭ回の撮像処理を行った後、部品認識カメラ２から斜めカメラ３に切り替え、第１照明装置８から第２照明装置９に切り替える。そして、斜めカメラ３によってＭ回の撮像処理を行うものとされている。

図１６のフローチャートを参照しながらさらに詳細に説明すると、吸着ノズルＥＮによって部品Ｅを吸着し（ステップＳ２１０）、部品Ｅを部品認識カメラ２による撮像位置まで移動させる（ステップＳ２２０）。次に、部品認識カメラ２用の照明設定を行う（ステップＳ２３０）。この照明設定とは、図１３に示すように、部品認識カメラ２で部品Ｅを撮像する際には第１照明装置８（第２ＬＥＤ５と第３ＬＥＤ６）を使用するように設定することをいう。

部品認識カメラ７０はライン画像を撮像するものであるから、１つの部品Ｅの平面画像を生成するためには、複数回の撮像処理が必要となる。ここではＭ回の撮像処理が必要であるとして説明を行う（ステップＳ２４０）。

部品認識カメラ２による撮像を行うには、第１照明装置８（第２ＬＥＤ５と第３ＬＥＤ６）からの光を部品Ｅの端子Ｔに向けて照射しながら、部品Ｅを図１３の図示右側から図示左側へ移動させる。部品認識カメラ２により１ライン目のライン画像の撮像を行った後（ステップＳ２４１）、Ｍライン目のライン画像の撮像が完了したか否かを確認し（ステップＳ２４２）、完了していなければ（ステップＳ２４２でＮＯ）、ステップＳ２４０に戻って２回目以降の撮像処理を続けて行う。部品認識カメラ２によるＭ回の撮像処理が完了するまでの間、第１照明装置８からの光を端子Ｔに向けて照射したままにしておく。

このようにしてＭライン目のライン画像の撮像が完了したら（ステップＳ２４２でＹＥＳ）、部品認識カメラ２による１ライン目のライン画像からＭライン目のライン画像までを繋ぎ合わせることで部品Ｅについての１枚の平面画像を生成し、部品認識カメラ２による部品Ｅの平面画像に基づいて部品Ｅの吸着状態などの認識を行う。認識の結果、良好であると判断されたら（ステップＳ２５０でＹＥＳ）、部品Ｅがコプラナリティ認識を必要とするか否かを確認し（ステップＳ２６０）、必要とする場合には（ステップＳ２６０でＹＥＳ）、部品Ｅを斜めカメラ３による撮像位置まで移動させる（ステップＳ２７０）。

なお、ステップＳ２５０で不良であると判断されたら（ステップＳ２５０でＮＯ）、部品Ｅの実装を行わず（ステップＳ２９０）、部品Ｅの再吸着を試みるか、部品Ｅをそのまま廃棄する。また、ステップＳ２６０で部品Ｅがコプラナリティ認識を必要としない場合には（ステップＳ２６０でＮＯ）、実装動作を行う（ステップＳ３００）。

次に、斜めカメラ３用の照明設定を行う（ステップＳ２８０）。この照明設定とは、図１４に示すように、斜めカメラ３で部品Ｅを撮像する際には第２照明装置９（第３ＬＥＤ６と第４ＬＥＤ７）を使用するように設定することをいう。

斜めカメラ３はライン画像を撮像するものであるから、１つの部品Ｅの平面画像を生成するためには、複数回の撮像処理が必要となる。ここではＭ回の撮像処理が必要であるとして説明を行う（ステップＳ３１０）。

斜めカメラ３による撮像を行うには、第２照明装置９（第３ＬＥＤ６と第４ＬＥＤ７）からの光を部品Ｅの端子Ｔに向けて照射しながら、部品Ｅを図１４の図示左側から図示右側へ移動させる。斜めカメラ３により１ライン目のライン画像の撮像を行った後（ステップＳ３１１）、Ｍライン目のライン画像の撮像が完了したか否かを確認し（ステップＳ３１２）、完了していなければ（ステップＳ３１２でＮＯ）、ステップＳ３１０に戻って２回目以降の撮像処理を続けて行う。斜めカメラ３によるＭ回の撮像処理が完了するまでの間、第２照明装置９からの光を端子Ｔに向けて照射したままにしておく。

このようにしてＭライン目のライン画像の撮像が完了したら（ステップＳ３１２でＹＥＳ）、斜めカメラ３による１ライン目のライン画像からＭライン目のライン画像までを繋ぎ合わせることで部品Ｅについての１枚の平面画像を生成し、部品認識カメラ２による１枚の平面画像と斜めカメラ３による１枚の平面画像とによってステレオ計測用の画像を生成し、この画像に基づいてコプラナリティ認識を行う（ステップＳ３２０）。コプラナリティ認識の結果、良好であると判断されたら（ステップＳ３２０でＹＥＳ）、実装動作を行い（ステップＳ３４０）、不良であると判断されたら（ステップＳ３２０でＮＯ）、部品Ｅの実装を行わない（ステップＳ３３０）。

したがって、各カメラ２、３による撮像を行うのに、部品Ｅの往復動作が必要となるため、撮像および画像認識に時間がかかるものとなっている。

本明細書によって開示される画像認識装置は、少なくとも１つ以上のラインセンサによってライン画像を撮像する第１カメラと、前記第１カメラとは異なる方向から、少なくとも１つ以上のラインセンサによってライン画像を撮像する第２カメラと、前記第１カメラによる撮像用の光を点灯する第１照明装置と、前記第２カメラによる撮像用の光を点灯する第２照明装置と、前記第１カメラによる撮像が完了した後、前記第１照明装置を消灯して前記第２照明装置を点灯し、前記第２カメラによる撮像が完了した後、前記第２照明装置を消灯して前記第１照明装置を点灯する照明制御部と、前記第１カメラ及び前記第２カメラ毎に複数の前記ライン画像を繋ぎ合わせることで１つの平面画像を生成し、前記第１カメラの平面画像と前記第２カメラの平面画像とからステレオ計測用の画像を生成する画像処理部と、を備えた構成とした。

このような構成によると、第１照明装置の光を点灯させた状態で第１カメラによってライン画像を撮像した後、第１照明装置の光を消灯させて第２照明装置の光を点灯させた状態で前記第２カメラによってライン画像を撮像する。このように第１カメラの撮像と第２カメラの撮像を交互に行い、全てのライン画像を撮像し終えたら、第１カメラの複数のライン画像を繋ぎ合わせることで第１カメラの平面画像を生成し、第２カメラの複数のライン画像を繋ぎ合わせることで第２カメラの平面画像を生成することができる。このようにすれば、カメラの被写体を往復動作させなくてもよく、一方向に移動させるだけで第１カメラの平面画像と第２カメラの平面画像とを生成することができ、第１カメラの平面画像と第２カメラの平面画像とからステレオ計測用の画像を生成することができる。例えば、カメラの被写体が複数の端子を有する部品であるとして、部品の検査項目として端子のコプラナリティチェックのための画像認識を行う場合に、部品の往復動作が不要になり、画像認識に要する時間を短縮することができる。

本明細書によって開示される部品認識装置は、以下の構成としてもよい。
前記第１カメラ及び前記第２カメラは、複数のラインを有するエリアセンサにおける一部の前記ラインを有効にすることで複数のライン画像を撮像するものであり、前記第１カメラによる次の撮像までに発生した待ち時間の間に前記第２カメラによる撮像を行う構成としてもよい。
このような構成によると、第１カメラによって複数のライン画像を一度に撮像することができるため、第１カメラによる次の撮像までに待ち時間が発生する。この待ち時間の間に第２カメラによる撮像を行い、この撮像動作を繰り返し行うことで、第１カメラの平面画像と第２カメラの平面画像とを生成することができる。また、待ち時間を短くして被写体の移動速度を上げることもできる。あるいは、待ち時間を露光時間として利用することで露光時間を長くすることもできるから、輝度の低い安価なＬＥＤを用いて被写体に光を照射することもできる。

前記第１カメラは、吸着ノズルに吸着された部品を下方から撮像する部品認識カメラであり、前記第２カメラは、前記部品を斜め下方から撮像する斜めカメラである構成としてもよい。
このような構成によると、部品の吸着状態やコプラナリティなどのチェックを短時間で行うことができる。

前記斜めカメラは、互いに異なる方向から撮像する第１斜めカメラと第２斜めカメラとを含む構成としてもよい。
このような構成によると、第１カメラの待ち時間を利用して２つの斜めカメラによる撮像を行うことができる。例えば、三方向からの異なる撮像画像が必要となる部品の検査においても部品の往復動作が不要になり、部品を一方向に移動させるだけで部品の検査を行うことができる。

本明細書によって開示される画像認識装置によれば、複数のカメラによる撮像を行うのに、被写体の往復動作を不要にできる。

実施形態１の部品実装機の平面図 部品認識カメラによって部品を撮像する様子を示した側面図 斜めカメラによって部品を撮像する様子を示した側面図 部品認識カメラと斜めカメラの撮像タイミングを示したタイムチャート 画像認識装置の電気的構成を示したブロック図 画像認識装置の動作手順を示したフローチャート 実施形態２の第２斜めカメラによって部品を撮像する様子を示した側面図 部品認識カメラと第１斜めカメラと第２斜めカメラの撮像タイミングを示したタイムチャート ラインセンサおよびラインセンサによって撮像されたライン画像を示した図 複数のライン画像を繋ぎ合わせることで１つの平面画像が生成されることを示した図 エリアセンサおよびエリアセンサの一部のラインを有効にすることで撮像された複数のライン画像を示した図 複数のライン画像を繋ぎ合わせることで１つの平面画像が生成されることを示した図 従来の画像認識装置において部品認識カメラによって部品を撮像する様子を示した側面図 斜めカメラによって部品を撮像する様子を示した側面図 部品認識カメラと斜めカメラの撮像タイミングを示したタイムチャート 従来の画像認識装置の動作手順を示したフローチャート

＜実施形態１＞
実施形態１を図１から図６の図面を参照しながら説明する。本実施形態に係る部品実装機１０は、基台１１と、プリント基板（以下「基板」という）Ｐを搬送する搬送コンベア２０と、ヘッドユニット６０と、ヘッドユニット６０を基台１１上にて平面方向（ＸＹ方向）に移動させる駆動装置３０とを備えている。なお、以下の説明において、基台１１の長手方向（図１の左右方向であって、基板Ｐの搬送方向）をＸ方向と呼ぶものとし、基台１１の奥行方向（図１の上下方向であって、Ｘ方向に直交する方向）をＹ方向、図１の紙面と直交する方向をＺ方向とする。

搬送コンベア２０は、基台１１の中央に配置されている。搬送コンベア２０はＸ方向に循環駆動する一対の搬送ベルト２１を備えており、搬送ベルト２１上の基板ＰをＸ方向に搬送する。

本実施形態では、図１に示す左側が入口となっており、基板Ｐは、図１に示す左側より搬送コンベア２０を通じて機内へと搬入される。搬入された基板Ｐは、搬送コンベア２０により基台１１上の作業位置まで運ばれ、そこで停止される。

一方、基台１１上には、作業位置の周囲を囲むようにして、部品供給部１３が４箇所設けられている。これらの部品供給部１３には、電子部品（以下「部品」という）Ｅを供給するフィーダ１５が横並び状に多数設置されている。

そして作業位置では、上記フィーダ１５を通じて供給された部品Ｅを、基板Ｐ上に実装する実装処理が、ヘッドユニット６０に搭載された各実装ヘッドにより行われるとともに、その後、実装処理を終えた基板Ｐは搬送コンベア２０を通じて図１における右方向に運ばれ、機外に搬出される構成になっている。

駆動装置３０は、大まかには一対の支持脚４１、ヘッド支持体５１、Ｙ軸ボールねじ４５、Ｘ軸ボールねじ５５、Ｘ軸モータ５７等から構成される。具体的に説明すると、図１に示すように、基台１１上には一対の支持脚４１が設置されている。両支持脚４１は作業位置の両側に位置しており、Ｙ方向にまっすぐに延びている。

両支持脚４１の上面にはＹ方向に延びる一対のガイドレール４２が設置されており、これらのガイドレール４２に長手方向の両端部を嵌合させつつヘッド支持体５１が取り付けられている。

また、右側の支持脚４１にはＹ方向に延びるＹ軸ボールねじ４５が装着され、Ｙ軸ボールねじ４５にはボールナット（不図示）が螺合されている。さらに、Ｙ軸ボールねじ４５にはＹ軸モータ４７が付設されている。

Ｙ軸モータ４７を通電操作すると、Ｙ軸ボールねじ４５に沿ってボールナットが進退する結果、ボールナットに固定されたヘッド支持体５１、ひいては次述するヘッドユニット６０がガイドレール４２に沿ってＹ方向に移動する（Ｙ軸サーボ機構）。

ヘッド支持体５１は、Ｘ方向に長い形状である。ヘッド支持体５１には、ヘッドユニット６０が、Ｘ方向に沿って移動自在に取り付けられている。このヘッド支持体５１には、Ｘ方向に延びるＸ軸ボールねじ５５が内蔵されており、さらにＸ軸ボールねじ５５にはボールナット（不図示）が螺合されている。

そして、Ｘ軸ボールねじ５５にはＸ軸モータ５７が付設されており、同モータ５７を通電操作すると、Ｘ軸ボールねじ５５に沿ってボールナットが進退する結果、ボールナットに固定されたヘッドユニット６０がヘッド支持体５１に沿ってＸ方向に移動する（Ｘ軸サーボ機構）。

したがって、Ｘ軸モータ５７、Ｙ軸モータ４７を複合的に制御することで、基台１１上においてヘッドユニット６０を平面方向（ＸＹ方向）に移動操作できる構成となっている。

ヘッドユニット６０には、図示はしないものの、部品Ｅの実装処理を行う複数の実装ヘッドが設けられており、各実装ヘッドの下部には、負圧により部品Ｅを吸着する複数の吸着ノズル６１が設けられている。各実装ヘッドには図示しない負圧手段から負圧が供給されるように構成されており、吸着ノズル６１の先端に吸引力を生じさせるようになっている。

各実装ヘッドの上部には、複数のＺ軸モータ（不図示）が設けられており、各実装ヘッドを個別に昇降させる構造になっている。また、ヘッドユニット６０には、複数のＲ軸モータ（不図示）が設けられており、各Ｒ軸モータを回転させると、各実装ヘッドがベルト駆動により軸回りに回転する構造になっている。

このような構成とすることで、Ｘ軸モータ５７、Ｙ軸モータ４７、Ｚ軸モータを所定のタイミングで作動させることにより、フィーダ１５を通じて供給される部品Ｅを吸着ノズル６１により吸着して、基板Ｐ上に実装する処理を実行することができる。

図１に示す符号１７は画像認識装置である。画像認識装置１７は、吸着ノズル６１に吸着された部品Ｅの吸着状態や端子Ｔのコプラナリティ等をチェックするために、部品Ｅの画像を認識する装置である。図２に示すように、画像認識装置１７は、撮像面を水平に配置して固定された部品認識カメラ７０と、撮像面を斜めに配置して固定された第１斜めカメラ７１と、複数のＬＥＤ７２〜７５とを備えて構成されている。

本実施形態の部品Ｅとしては、複数の端子Ｔが並んで配されたＳＯＰ（Small Outline Package）などのパッケージ部品を例示している。本実施形態の部品Ｅとしては、ＳＯＰ以外にも、ＱＦＰ（Quad Flat Package）やＢＧＡ（Ball grid array）などを使用してもよい。

複数のＬＥＤ７２〜７５は、図示右側に光を照射可能な第１ＬＥＤ７２と、図示右側に光を照射可能な第４ＬＥＤ７５と、図示上側に光を照射可能な第２ＬＥＤ７３、第３ＬＥＤ７４とからなる。第２ＬＥＤ７３は第３ＬＥＤ７４の図示左側に位置している。図２に示すように、第２ＬＥＤ７３と第３ＬＥＤ７４によって第１照明装置７６が構成され、図３に示すように、第３ＬＥＤ７４と第４ＬＥＤ７５によって第２照明装置７７が構成されている。

部品認識カメラ７０は、複数の撮像素子が一列に並んだ１つのラインセンサＬＳ（図９(A)参照）を備えたカメラであり、図２に示すように、撮像素子の配列方向と直交する方向に部品Ｅを移動させることにより部品Ｅを下方から撮像するものである。部品認識カメラ７０による撮像の際には、第２ＬＥＤ７３と第３ＬＥＤ７４からなる第１照明装置７６から部品Ｅの端子Ｔに向けて光が照射される。

第１斜めカメラ７１は、複数の撮像素子が一列に並んだ１つのラインセンサＬＳ（図９(A)参照）を備えたカメラであり、図３に示すように、撮像素子の配列方向と直交する方向に部品Ｅを移動させることにより部品Ｅを斜め下方から撮像するものである。第１斜めカメラ７１による撮像の際には、第３ＬＥＤ７４と第４ＬＥＤ７５からなる第２照明装置７７から部品Ｅの端子Ｔに向けて光が照射される。

次に、部品実装機１０の電気的構成について説明する。部品実装機１０は、図５に示すように、コントローラ１８を備えている。コントローラ１８は、主制御部８０と、照明制御部８１と、カメラ制御部８２と、画像処理部８３と、軸制御部８４とを備えている。照明制御部８１とカメラ制御部８２と画像処理部８３と軸制御部８４とは、いずれも主制御部８０に接続されている。

部品認識カメラ７０と第１斜めカメラ７１と第２斜めカメラ７９は、いずれもカメラ制御部８２に接続され、第１照明装置７６と第２照明装置７７と第３照明装置７８は、いずれも照明制御部８１に接続されている。第１照明装置７６と部品認識カメラ７０によって第一撮像ユニットが構成され、第２照明装置７７と第１斜めカメラ７１によって第二撮像ユニットが構成され、第３照明装置７８と第２斜めカメラ７９によって第三撮像ユニットが構成されている。

各照明装置７６〜７８は、照明制御部８１からの制御信号に基づいて照明のＯＮ／ＯＦＦを行う。部品認識カメラ７０と各斜めカメラ７１、７９は、カメラ制御部８２からの制御信号に基づいて撮像を行い、これによってライン画像ＬＩ１が得られる（図９(B)参照）。画像処理部８３は、部品認識カメラ７０、各斜めカメラ７１、７９により撮像された複数のライン画像ＬＩ１を繋ぎ合わせることで(図１０(A)参照）１つの平面画像ＰＩを生成する（図１０(B)参照）。

軸制御部８４には、サーボモータ９０とエンコーダ９１が接続されている。サーボモータ９０は、軸制御部８４からの制御信号に基づいて回動し、吸着ノズル６１に吸着された部品ＥをＸＹ方向およびＺ方向に移動させる。エンコーダ９１は、部品Ｅの位置を検出するものであって、その検出信号を軸制御部８４に送信する。本実施形態の部品実装機１０におけるＹ軸モータ４７とＸ軸モータ５７とＺ軸モータがサーボモータ９０に相当する。

次に、部品実装機１０による実装動作について図６のフローチャートを参照しながら説明する。吸着ノズル６１によって部品Ｅを吸着し（ステップＳ１０）、部品Ｅを部品認識カメラ７０および第１斜めカメラ７１による撮像位置まで移動させる（ステップＳ２０）。次に、部品Ｅがコプラナリティ認識を必要とするか否かを確認し（ステップＳ３０）、必要とする場合には（ステップＳ３０でＹＥＳ）、まとめて照明設定を行う（ステップＳ４０）。

この照明設定とは、図２に示すように、部品認識カメラ７０で部品Ｅを撮像する際には第１照明装置７６（第２ＬＥＤ７３と第３ＬＥＤ７４）を使用し、図３に示すように、第１斜めカメラ７１で部品Ｅを撮像する際には第２照明装置７７（第３ＬＥＤ７４と第４ＬＥＤ７５）を使用するように設定することをいう。

部品認識カメラ７０と第１斜めカメラ７１はいずれもライン画像ＬＩ１を撮像するものであるから、１つの部品Ｅの平面画像ＰＩを生成するためには、それぞれ複数回の撮像処理が必要となる。ここではＭ回の撮像処理が必要であるとして説明を行う（ステップＳ５０）。

まず、部品認識カメラ７０による撮像を行うには部品認識カメラ７０用の照明設定すなわち第１照明装置７６に切り替え（ステップＳ５１）、第２ＬＥＤ７３と第３ＬＥＤ７４からの光を部品Ｅの端子Ｔに向けて照射する。部品認識カメラ７０により１ライン目のライン画像ＬＩ１の撮像を行った後（ステップＳ５２）、第１斜めカメラ７１用の照明設定すなわち第２照明装置７７に切り替える（ステップＳ５３）。

具体的には図２および図３に示すように、第２ＬＥＤ７３を消灯して第４ＬＥＤ７５を点灯させ、第３ＬＥＤ７４と第４ＬＥＤ７５からの光を部品Ｅの端子Ｔに向けて照射する。第１斜めカメラ７１により１ライン目のライン画像ＬＩ１の撮像を行った後（ステップＳ５４）、Ｍライン目のライン画像ＬＩ１の撮像が完了したか否かを確認し（ステップＳ５５）、完了していなければ（ステップＳ５５でＮＯ）、ステップＳ５０に戻って２回目以降の撮像処理を続けて行う。

ここで図４を参照しながら説明する。図４の上段側が部品認識カメラ７０による撮像タイミング９２を示し、図４の下段側が第１斜めカメラ７１による撮像タイミング９３を示している。各撮像タイミング９２、９３の時にのみ照明が光るようになっており、隣り合う一対の撮像タイミング９２、９３の間にカメラと照明の切り替えをそれぞれ行う。

すなわち、部品認識カメラ７０の撮像タイミング９２とその次の撮像タイミングである第１斜めカメラ７１の撮像タイミング９３との間で、カメラ制御部８２により部品認識カメラ７０から第１斜めカメラ７１に切り替わり、照明制御部８１によって第１照明装置７６から第２照明装置７７に切り替わるように制御する。同様に、第１斜めカメラ７１の撮像タイミング９３とその次の撮像タイミングである部品認識カメラ７０の撮像タイミング９２との間で、カメラ制御部８２により第１斜めカメラ７１から部品認識カメラ７０に切り替わり、照明制御部８１により第２照明装置７７から第１照明装置７６に切り替わるように制御する。

部品Ｅの位置はエンコーダ９１によって検知できるから、部品認識カメラ７０による１ライン目のライン画像ＬＩ１の撮像を行った後、１ライン目のライン画像ＬＩ１の幅だけ部品Ｅを移動させたところで、２ライン目のライン画像ＬＩ１の撮像を行うことになる。このようにすれば、１ライン目のライン画像ＬＩ１からＭライン目のライン画像ＬＩ１までを繋ぎ合わせることで１つの平面画像ＰＩを生成することができる。

第１照明装置７６は部品認識カメラ７０による撮像用の光を点灯する照明装置であって、部品認識カメラ７０による撮像タイミング９２の時にのみ点灯させるようにする。また、第２照明装置７７は第１斜めカメラ７１による撮像用の光を点灯する照明装置であって、第１斜めカメラ７１による撮像タイミング９３の時にのみ点灯させるようにする。第１斜めカメラ７１による１ライン目のライン画像ＬＩ１の撮像は、部品認識カメラ７０による１ライン目のライン画像ＬＩ１の撮像と２ライン目のライン画像ＬＩ１の撮像との間に行えばよく、１ライン目のライン画像ＬＩ１の撮像後に第１照明装置７６から第２照明装置７７に切り替えて、第１斜めカメラ７１の撮像タイミング９２の時にのみ第２照明装置７７を点灯させる。

このようにしてＭライン目のライン画像ＬＩ１の撮像が完了したら（ステップＳ５５でＹＥＳ）、部品認識カメラ７０による１ライン目のライン画像ＬＩ１からＭライン目のライン画像ＬＩ１までを繋ぎ合わせることで部品Ｅについての１枚の平面画像ＰＩを生成し、第１斜めカメラ７１による１ライン目のライン画像ＬＩ１からＭライン目のライン画像ＬＩ１までを繋ぎ合わせることで部品Ｅについての１枚の平面画像ＰＩを生成する。

次に、部品認識カメラ７０による部品Ｅの平面画像ＰＩに基づいて部品Ｅの吸着状態などの認識を行う。認識の結果、良好であると判断されたら（ステップＳ６０でＹＥＳ）、部品認識カメラ７０による１枚の平面画像ＰＩと第１斜めカメラ７１による１枚の平面画像ＰＩとによってステレオ計測用の画像を生成し、この画像に基づいてコプラナリティ認識を行う（ステップＳ７０）。一方、不良であると判断されたら（ステップＳ６０でＮＯ）、部品Ｅの実装を行わず（ステップＳ９０）、部品Ｅの再吸着を試みるか、部品Ｅをそのまま廃棄する。また、コプラナリティ認識の結果、良好であると判断されたら（ステップＳ７０でＹＥＳ）、実装動作を行い（ステップＳ８０）、不良であると判断されたら（ステップＳ７０でＮＯ）、部品Ｅの実装を行わない（ステップＳ９０）。

ステップＳ３０において部品Ｅがコプラナリティ認識を必要としない場合には（ステップＳ３０でＮＯ）、部品認識カメラ７０用の照明設定を行う（ステップＳ１００）。部品認識カメラ７０はライン画像ＬＩ１を撮像するものであるから、１つの部品Ｅの平面画像ＰＩを生成するためには、複数回の撮像処理が必要となる。上記と同様に、Ｍ回の撮像処理が必要であるとして以下の説明を行う（ステップＳ１０１）。部品認識カメラ７０によって連続して撮像処理を行う間は第２ＬＥＤ７３と第３ＬＥＤ７４からの光を部品Ｅの端子Ｔに向けて照射したままにしておく。部品認識カメラ７０により１ライン目の撮像を行った後（ステップＳ１０２）、Ｍライン目のライン画像ＬＩ１の撮像が完了したか否かを確認し（ステップＳ１０３）、完了していなければ（ステップＳ１０３でＮＯ）、ステップＳ１０１に戻って２回目以降の撮像処理を続けて行う。

このようにしてＭライン目のライン画像ＬＩ１の撮像が完了したら（ステップＳ１０３でＹＥＳ）、１ライン目のライン画像ＬＩ１からＭライン目のライン画像ＬＩ１までを繋ぎ合わせることで部品Ｅについての１枚の平面画像ＰＩを生成する。部品Ｅの平面画像ＰＩに基づいて部品Ｅの吸着状態などの認識を行い、認識の結果、良好であると判断されたら（ステップＳ１０４でＹＥＳ）、実装動作を行い（ステップＳ１０５）、不良であると判断されたら（ステップＳ１０４でＮＯ）、部品Ｅの実装を行わない（ステップＳ９０）。

以上のように本実施形態では、第１照明装置７６の光を点灯させた状態で第１カメラ（部品認識カメラ７０）によってライン画像ＬＩ１を撮像した後、第１照明装置７６の光を消灯させて第２照明装置７７の光を点灯させた状態で第２カメラ（第１斜めカメラ７１）によってライン画像ＬＩ１を撮像する。このように第１カメラの撮像と第２カメラの撮像を交互に行い、全てのライン画像ＬＩ１を撮像し終えたら、第１カメラの複数のライン画像ＬＩ１を繋ぎ合わせることで第１カメラの平面画像ＰＩを生成し、第２カメラの複数のライン画像ＬＩ１を繋ぎ合わせることで第２カメラの平面画像ＰＩを生成することができる。このようにすれば、カメラの被写体を往復動作させなくてもよく、一方向に移動させるだけで第１カメラの平面画像ＰＩと第２カメラの平面画像ＰＩとを生成することができ、第１カメラの平面画像ＰＩと第２カメラの平面画像ＰＩとからステレオ計測用の画像を生成することができる。例えば、カメラの被写体が複数の端子Ｔを有する部品Ｅであるとして、部品Ｅの検査項目として端子Ｔのコプラナリティチェックのための画像認識を行う場合に、部品Ｅの往復動作が不要になり、画像認識に要する時間を短縮することができる。

＜実施形態２＞
次に、実施形態２を図７から図８の図面を参照しながら説明する。本実施形態の画像認識装置１１７は、図７に示すように、部品認識カメラ１７０と、第１斜めカメラ１７１と、第２斜めカメラ１７９とを備え、互いに異なる３方向からの画像によってステレオ計測用の画像を生成することができるようになっている。第１斜めカメラ１７１と第２斜めカメラ１７９は、部品認識カメラ１７０による撮像方向に延びる軸に関して左右対称をなすように斜め方向に配置されている。第２斜めカメラ１７９で部品Ｅを撮像する際には第３照明装置７８（第１ＬＥＤ７２と第２ＬＥＤ７３）を使用する。

本実施形態の部品認識カメラ１７０は、複数のラインを有するエリアセンサＡＳにおける一部のラインを有効にすることで（図１１(A)参照）４ライン分のライン画像ＬＩ４を撮像する（図１１(B)参照）ものである点で実施形態１の部品認識カメラ７０と相違しているが、その他の構成については部品認識カメラ７０と同じであるため、その説明については省略する。画像処理部８３は、部品認識カメラ１７０により撮像された複数のライン画像ＬＩ４を繋ぎ合わせることで(図１２(A)参照）１つの平面画像ＰＩを生成する（図１２(B)参照）。

本実施形態の第１斜めカメラ１７１は、複数のラインを有するエリアセンサＡＳにおける一部のラインを有効にすることで（図１１(A)参照）４ライン分のライン画像ＬＩ４を撮像する（図１１(B)参照）ものである点で実施形態１の第１斜めカメラ７１と相違しているが、その他の構成については第１斜めカメラ７１と同じであるため、その説明については省略する。画像処理部８３は、第１斜めカメラ１７１により撮像された複数のライン画像ＬＩ４を繋ぎ合わせることで(図１２(A)参照）１つの平面画像ＰＩを生成する（図１２(B)参照）。

本実施形態の第２斜めカメラ１７９は、複数のラインを有するエリアセンサＡＳにおける一部のラインを有効にすることで（図１１(A)参照）４ライン分のライン画像ＬＩ４を撮像する（図１１(B)参照）ものである点で実施形態１の第２斜めカメラ７９と相違しているが、その他の構成については第２斜めカメラ７９と同じであるため、その説明については省略する。画像処理部８３は、第２斜めカメラ１７９により撮像された複数のライン画像ＬＩ４を繋ぎ合わせることで(図１２(A)参照）１つの平面画像ＰＩを生成する（図１２(B)参照）。

ここで、各カメラ１７０、１７１、１７９の撮像タイミングについて図８を参照しながら説明する。図８の上段側が部品認識カメラ１７０による撮像タイミング１９２を示し、図８の中段側が第１斜めカメラ１７１による撮像タイミング１９３を示し、図８の下段側が第２斜めカメラ１７９による撮像タイミング１９４を示している。各撮像タイミング１９２、１９３、１９４の時にのみ照明が光るようになっている。

部品認識カメラ１７０の撮像タイミング１９２とその次の撮像タイミングである第１斜めカメラ１７１の撮像タイミング１９３との間で、カメラ制御部８２により部品認識カメラ１７０から第１斜めカメラ１７１に切り替わり、照明制御部８１により第１照明装置７６から第２照明装置７７に切り替わるように制御する。

第１斜めカメラ１７１の撮像タイミング１９３とその次の撮像タイミングである第２斜めカメラ１７９の撮像タイミング１９４との間で、カメラ制御部８２により第１斜めカメラ１７１から第２斜めカメラ１７９に切り替わり、照明制御部８１により第２照明装置７７から第３照明装置７８に切り替わるように制御する。

第２斜めカメラ１７９の撮像タイミング１９４とその次の撮像タイミングである部品認識カメラ１７０の撮像タイミング１９２との間で、カメラ制御部８２により第２斜めカメラ１７９から部品認識カメラ１７０に切り替わり、照明制御部８１により第３照明装置７８から第１照明装置７６に切り替わるように制御する。

本実施形態では部品認識カメラ１７０により４ライン分のライン画像ＬＩ４を一度に撮像できるため、４ライン分のライン画像ＬＩ４の幅の分だけ部品Ｅを移動させた後、次の撮像を行うことになる。仮に実施形態１と同じ速度で部品Ｅを移動させるとした場合、本実施形態では部品認識カメラ１７０による１回目の撮像タイミング１９２と２回目の撮像タイミング１９２との間に、実施形態１の４倍の待ち時間ＷＴを確保できることになる。その待ち時間ＷＴの間に、第１斜めカメラ１７１の撮像と第２斜めカメラ１７９の撮像とを行うことができるため、１回の走査で第１照明装置７６とは異なる２つの照明装置７７、７８を使用した２種類のライン画像ＬＩ４をさらに取得することができる。

また、実施形態１の方法では、部品認識カメラ７０による１回目の撮像タイミング９２と２回目の撮像タイミング９２との間が短いため、露光時間を短くするか、２回目の撮像タイミング９２を遅くするために移動速度を遅くする必要がある。その点、本実施形態では露光時間を短くする必要はなく、移動速度を遅くしなくてもよい。

以上のように本実施形態では、第１カメラ（部品認識カメラ１７０）及び第２カメラ（第１斜めカメラ１７１、第２斜めカメラ１７９）は、複数のラインを有するエリアセンサＡＳにおける一部のラインを有効にすることで複数のライン画像ＬＩ４を撮像するものであり、第１カメラによる次の撮像までに発生した待ち時間の間に第２カメラによる撮像を行う構成とした。
このような構成によると、第１カメラによって複数のライン画像ＬＩ４を一度に撮像することができるため、第１カメラによる次の撮像までに待ち時間ＷＴが発生する。この待ち時間ＷＴの間に第２カメラによる撮像を行い、この撮像動作を繰り返し行うことで、第１カメラの平面画像ＰＩと第２カメラの平面画像ＰＩとを生成することができる。また、待ち時間ＷＴを短くして被写体（部品Ｅ）の移動速度を上げることもできる。あるいは、待ち時間ＷＴを露光時間として利用することで露光時間を長くすることもできるから、輝度の低い安価なＬＥＤを用いて被写体に光を照射することもできる。

第１カメラは、吸着ノズル６１に吸着された部品Ｅを下方から撮像する部品認識カメラ１７０であり、第２カメラは、部品Ｅを斜め下方から撮像する斜めカメラ（第１斜めカメラ１７１、第２斜めカメラ１７９）である構成としてもよい。
このような構成によると、部品Ｅの吸着状態やコプラナリティなどのチェックを短時間で行うことができる。

斜めカメラは、互いに異なる方向から撮像する第１斜めカメラ１７１と第２斜めカメラ１７９とを含む構成としてもよい。
このような構成によると、第１カメラの待ち時間ＷＴを利用して２つの斜めカメラによる撮像を行うことができる。例えば、三方向からの異なる撮像画像が必要となる部品Ｅの検査においても部品Ｅの往復動作が不要になり、部品Ｅを一方向に移動させるだけで部品Ｅの検査を行うことができる。

＜他の実施形態＞
本明細書によって開示される技術は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような種々の態様も含まれる。
（１）上記実施形態では画像認識装置１７を部品実装機１０に適用したものを例示しているものの、画像認識装置１７を基板検査装置に適用したものとしてもよい。具体的には、ヘッドユニット６０に部品認識カメラ７０と第１斜めカメラ７１と第２斜めカメラ７９を搭載することで、基板Ｐに載置された部品Ｅの端子Ｔの浮き等を検査する基板検査装置に適用することができる。この場合、斜めカメラの数は２つに限定されず、３つ以上の斜めカメラを搭載してもよい。

（２）上記実施形態では第１斜めカメラと第２斜めカメラが部品認識カメラの撮像方向に延びる軸に関して左右対称をなすように斜め方向に配置されているものの、部品認識カメラの撮像方向に延びる軸に対して斜め方向に配置されていればよく、左右対称をなすように配置されていなくてもよい。

（３）実施形態１では１つのラインセンサＬＳによって１ライン分のライン画像ＬＩ１を撮像できるようになっているものの、少なくとも１つ以上のラインセンサＬＳによってライン画像を撮像できればよく、ラインセンサＬＳの数は２つ以上でもよい。また、実施形態２では４つのラインによって４ライン分のライン画像ＬＩ４を一度に撮像できるようになっているものの、複数のラインによってライン画像を撮像できればよく、ラインの数は３つ以下でもよいし、５つ以上でもよい。

１７…画像認識装置
６１…吸着ノズル
７０、１７０…部品認識カメラ（第１カメラ）
７１、１７１…第１斜めカメラ（第２カメラ）
７６…第１照明装置
７７…第２照明装置
７８…第３照明装置
７９、１７９…第２斜めカメラ（第２カメラ）
８１…照明制御部
８３…画像処理部
Ｅ…電子部品
ＡＲ…エリアセンサ
ＬＩ１、ＬＩ４…ライン画像
ＬＳ…ラインセンサ
ＰＩ…平面画像
ＷＴ…待ち時間

Claims (4)

1. 少なくとも１つ以上のラインセンサによってライン画像を撮像する第１カメラと、
   前記第１カメラとは異なる方向から、少なくとも１つ以上のラインセンサによってライン画像を撮像する第２カメラと、
   前記第１カメラによる撮像用の光を点灯する第１照明装置と、
   前記第２カメラによる撮像用の光を点灯する第２照明装置と、
   前記第１カメラによる撮像が完了した後、前記第１照明装置を消灯して前記第２照明装置を点灯し、前記第２カメラによる撮像が完了した後、前記第２照明装置を消灯して前記第１照明装置を点灯する照明制御部と、
   前記第１及び前記第２カメラ毎に複数の前記ライン画像を繋ぎ合わせることで１つの平面画像を生成し、前記第１カメラの平面画像と前記第２カメラの平面画像とからステレオ計測用の画像を生成する画像処理部と、を備えた画像認識装置。
2. 前記第１カメラ及び前記第２カメラは、複数のラインを有するエリアセンサにおける一部の前記ラインを有効にすることで複数のライン画像を撮像するものであり、
   前記第１カメラによる次の撮像までに発生した待ち時間の間に前記第２カメラによる撮像を行う請求項１に記載の画像認識装置。
3. 前記第１カメラは、吸着ノズルに吸着された部品を下方から撮像する部品認識カメラであり、
   前記第２カメラは、前記部品を斜め下方から撮像する斜めカメラである請求項１または請求項２に記載の画像認識装置。
4. 前記斜めカメラは、互いに異なる方向から撮像する第１斜めカメラと第２斜めカメラとを含む請求項３に記載の画像認識装置。

Images