JP2018169275A - 検査システム並びにそのシステムの制御用のコントローラおよびプログラム - Google Patents

Abstract

【課題】検査箇所・検査内容に応じた検査対象品への照明光の照射条件の変更を、検査環境を大型化・複雑化することなく実施可能な検査システムを提供することにある。【解決手段】供給される検査対象品を１本または２本の腕部にてハンドリングすることができる双腕を有し、各腕部に検査対象品の把持およびハンドリングが可能なエンドエフェクタを持つ双腕多関節型のロボットと、前記ロボットの、前記双腕以外の部位に設けられた、前記腕部にてハンドリングされた検査対象品の検査面の撮像が可能な第一の撮像機器およびその検査面への照明光の照射が可能な第一の照明器具と、前記ロボットの前記双腕の少なくとも片方の腕部の先端部に設けられた、その腕部の動作により任意の位置および／または姿勢にて検査面の撮像が可能な追加の撮像機器およびその検査面への照明光の照射が可能な追加の照明器具と、を備える検査システムである。【選択図】図５

Description

この発明は、双腕による把持を必要とする大型または不安定な構造を持つ難保持品等の検査対象品の外観画像検査における、検査箇所や検査内容に応じた照明の照射条件の変更を、検査環境を大型化・複雑化することなく実施可能な検査システム、並びにそのシステムの制御用のコントローラおよびプログラムを提供するものである。

近年、製品の外観検査工程を、多関節型アームを持つロボットとカメラを用いて自動化する例が多く見られる。その際、より広い範囲の製品に対して緻密な検査を自動化するためには、一つの検査対象品において複数の検査箇所や検査内容につき、検査対象品の位置・姿勢を変更しつつ、また必要な場合には検査対象品の可動箇所を動かしながら検査を行わなければならず、それらの検査において適切な検査環境を提供しなければならない。

検査環境の要素としては、カメラによる撮像・画像処理を行う際の、検査対象品に対する照明の照射条件が挙げられる。例として、検査面上に印刷されたラベル、背景とのコントラストが明確な凹凸形状、外形状の検査等には明視野照明を用いるのが有効であり、背景とのコントラストが曖昧な凹凸形状、検査品表面の傷の検査等には暗視野照明を用いるのが有効である。それゆえ、検査対象品や検査内容に応じて、明視野照明・暗視野照明等の照射条件を選択し、その照明を検査箇所に対して適時照射しなければならない。特に、検査対象品が大型であったり、不安定な構造(例えば、ブレーキ機構のない可動軸等)を持っていたりするなど、複数の多関節型アームで保持する必要がある難保持品の場合には、ロボットの動作や検査対象品が取れる位置・姿勢等に制限がある場合が多く、照明条件もそれらの制限に合わせて複数種類を用意しなければならない。そのため、カメラや光源の配置を固定したり、一定の検査手順のみで対応したりしようとしても、検査環境の大型化や複雑化を招き、対応可能な検査項目も限定されてしまう。

従来技術においては、双腕多関節型ロボットの腕部にカメラおよび照明を配置した検査手法や、検査面に対して直接光と散乱光を同時に照射する光源配置手法等が提案されているが、上記問題を解決する手法は、発明者が調査した範囲では未だ確認できない。

すなわち、双腕多関節型ロボットによる検査システムに関する従来技術としては、例えば特許文献１および特許文献２が知られ、特許文献1では、検査暗室内に配置された双腕多関節型ロボットの両腕手先部にカメラと照明を設置し、コンベアを流れてくる検査対象品を複数方向から撮像することで、検査精度を向上させている。また、特許文献２では、片腕にカメラと照明を配置し、もう片腕で検査対象品を把持し、ロボット自身に設けられた特定の領域が背景画像となるようにカメラ・照明および検査対象品の位置・姿勢を取ることで、検査精度を向上させている。

検査における光源配置に関する従来技術としては、例えば特許文献３が知られ、特許文献３では、立体形状を持つ検査面の検査において、一つの光源から斜方向による直接光照射と、拡散反射による散乱光照射を同時に実施することで、検査精度を向上させている。

国際公開公報ＷＯ２０１５／０１１７８２Ａ１ 検査装置 特開２０１５−０８９５７９号公報 ロボット、ロボットシステム、およびロボット制御装置 特開２０１０−１１２７８６号公報 照明装置およびそれを有する外観検査装置

しかしながら、特許文献１，２記載の従来技術では、検査対象品に対する照射方法は明視野照明に限定され、また、ロボットが両腕を使って検査対象品を把持する場合には、同様の検査手法を導入するのは困難である。

そして、特許文献３記載の従来技術では、検査対象品や照明配置は常に固定であり、検査対象品を多関節型アームで把持・取り回すといった手法を採ることはできない。

それゆえこの発明は、上記の問題を鑑み、双腕による把持を必要とする大型または不安定な構造を持つ難保持品等の検査対象品の外観画像検査において、双腕多関節型ロボット上に複数個の光源を配置し、いくつかの検査実施形態を組み合わせることで、検査箇所や検査内容に応じた照射条件の変更を、検査環境を大型化および／または複雑化することなく実施可能な、検査システムを提供することを目的とする。また、この発明はその検査システムの双腕多関節型ロボット等の制御を行うコントローラおよびプログラムを提供することをも目的とする。

上記課題を有利に解決するこの発明の検査システムは、
供給される検査対象品を１本または２本の腕部にてハンドリングすることができる双腕を有し、各腕部に検査対象品の把持およびハンドリングが可能なエンドエフェクタを持つ双腕多関節型のロボットと、
前記ロボットの、前記双腕以外の部位に設けられた、前記腕部にてハンドリングされる検査対象品の検査面の撮像が可能な第一の撮像機器およびその検査面への照明光の照射が可能な第一の照明器具と、
前記ロボットの前記双腕の少なくとも片方の腕部の先端部に設けられた、その腕部の動作により任意の位置および／または姿勢にて検査面の撮像が可能な追加の撮像機器およびその検査面への照明光の照射が可能な追加の照明器具と、
を備えることを特徴とするものである。

また、この発明の検査システムの制御用の、この発明のコントローラおよびプログラムは、少なくとも前記ロボットの各腕部と、前記第一および追加の撮像機器と、前記第一および追加の照明器具と、の動作を制御することを特徴とするものである。

かかるこの発明の検査システム、並びにそのシステムの制御用のコントローラおよびプログラムにあっては、例えば検査対象品が大型品や、可動部位を備える物品等の場合には、前記双腕の両方の腕部を用いてその検査対象品をハンドリングし、検査対象品が小型品等の場合には、前記双腕の何れか片方の腕部を用いてその検査対象品をハンドリングすることができる。

そして、前記ロボットの、前記双腕以外の部位、例えば首部に設けられた前記第一の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射するとともに、前記追加の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射し、前記ロボットの、前記双腕以外の部位、例えば頭部に設けられた前記第一の撮像機器により前記検査面の撮像を行うことができる。

さらに、前記双腕の片方の腕部を用いて検査対象品をハンドリングする場合には、例えば、前記第一の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射し、前記追加の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射し、前記追加の撮像機器により前記検査面の撮像を行うこともできる。

さらに、前記双腕の両方の腕部を用いて検査対象品をハンドリングする際に、例えばその検査対象品が可動部位を備える場合には、例えば前記双腕の作用により前記可動部位を動かして可動部位の傷の有無や可動範囲の検査を行うこともできる。

さらに、前記双腕で把持した状態では検査が行えない検査面について検査を行う場合は、前記追加の撮像機器および前記追加の照明器具を、前記ロボットの前記双腕の両方の腕部の先端部に設け、前記検査対象品を検査環境内に固定し、双腕の一方の前記腕部の前記追加の照明器具の照射光を暗視野照明として前記検査対象品の検査面に照射し、双腕の他方の前記腕部の前記追加の照明器具の照射光を明視野照明として前記検査対象品の検査面に照射し、前記他方の腕部の前記追加の撮像機器により前記検査面の撮像を行うこともできる。

従って、この発明の検査システム、並びにそのシステムの制御用のコントローラおよびプログラムによれば、双腕多関節型のロボットを用いた検査システムにおいて、双腕により保持する必要がある大型または不安定な構造の難保持品の検査であっても、必要な明視野照明および/または暗視野照明を、大きく複雑な設備を追加することなく用意することができ、これにより、難保持品の外観画像検査において、検査環境を大型化・複雑化させることなく適切な検査環境を提供することができる。

また、明視野照明および暗視野照明を適時提供する本発明の検査システム、並びにそのシステムの制御用のコントローラおよびプログラムは、難保持品の検査のみでなく、片腕で把持可能な小型品の外観画像検査に対しても使用することができる。

なお、この発明の検査システム並びにそのシステムの制御用のコントローラおよびプログラムにおいては、前記ロボットが前記双腕の両方の腕部を用いて検査対象品をハンドリングする場合には、前記第一の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射するとともに、前記追加の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射し、前記第一の撮像機器により前記検査面の撮像を行うこととすると好ましい。

また、前記ロボットが前記双腕の片方の腕部を用いて検査対象品をハンドリングする場合には、前記第一の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射するとともに、前記双腕の他方の腕部の前記追加の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射し、前記第一の撮像機器により前記検査面の撮像を行うこととすると好ましい。

さらに、前記ロボットが前記双腕の片方の腕部を用いて検査対象品をハンドリングする場合には、前記第一の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射するとともに、前記双腕の他方の腕部の前記追加の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射し、前記他方の腕部の前記追加の撮像機器により前記検査面の撮像を行うこととしても好ましい。

さらに、検査対象品が可動部位を備え、前記ロボットが前記双腕の両方の腕部を用いてその検査対象品をハンドリングする場合には、前記双腕の作用により前記可動部位を動かして照明光の照射及び撮像を行い、可動部位の傷の有無や可動範囲の検査を行うこととすると好ましい。

さらに、前記ロボットが前記双腕の片方または両方の腕部を用いて検査対象品をハンドリングする場合に、前記ロボットは、前記追加の撮像機器と独立するとともに前記追加の照明器具とも独立して、前記第一の撮像機器が撮像する検査対象面を変更できる機構を有し、前記第一の撮像機器と、前記第一および追加の照明器具との位置関係を変えることなく、前記検査対象品の検査対象面を変更するものであると好ましい。

さらに、この発明の検査システムにおいては、前記第一の撮像機器および／または前記第一の照明器具を、前記ロボット上に換えて／加えて、検査環境内に配置することとしてもよい。

さらに、この発明の検査システムにおいては、検査対象品の検査面の撮像を行う前に、前記検査対象品に付着したほこりを排除する除塵装置を前記ロボットまたは検査環境に備え、検査面への照射光の照射および撮像の前に、検査情報の収集の妨害となる付着物を除去して、必要な検査情報のみを認識することとしてもよい。

さらに、この発明の検査システムにおいては、前記検査品を前記検査環境内へと供給する機構を備え、前記ロボットがその供給機構の操作を行うこととしてもよい。また、この発明の検査システムにおいては、前記検査において合格品と判断された検査対象品を次工程へと転送する機構を備え、前記ロボットがその転送機構の操作を行うこととしてもよい。

この発明の検査システムの第一および第二の実施形態における検査手順の前段を順次に示すフローチャートである。 この発明の検査システムの第一および第二の実施形態における検査手順の後段を順次に示すフローチャートである。 （ａ）および（ｂ）は、上記第一および第二の実施形態の検査システムが備える双腕多関節型ロボットの外観を示す正面図および側面図である。 上記第一および第二の実施形態の検査システムの概ね全体を示す斜視図である。 上記第一および第二の実施形態の検査システムの概ね全体を示す平面図である。 （ａ），（ｂ）および（ｃ）は、上記第一の実施形態の検査システムにおける双腕多関節型ロボットの一作動状態を示す斜視図、正面図および側面図である。 （ａ），（ｂ）および（ｃ）は、上記第一の実施形態の検査システムにおける双腕多関節型ロボットの他の一作動状態を示す斜視図、正面図および側面図である。 （ａ）および（ｂ）は、上記第一の実施形態の検査システムにおける可動部位を備える検査対象品の一例を示す斜視図およびその検査対象品の検査方法の一例を示す説明図である。 （ａ）および（ｂ）は、上記第一の実施形態の検査システムにおける可動部位を備える検査対象品の第一および第二の検査面の、図７（ｂ）に示す検査方法での検査状態を示す説明図である。 （ａ）,（ｂ）および（ｃ）は、上記第一の実施形態の検査システムにおける双腕の一方の腕部のみで検査対象品をハンドリングする一作動状態を示す斜視図、正面図および側面図である。 （ａ）,（ｂ）および（ｃ）は、上記第一の実施形態の検査システムにおける双腕の一方の腕部のみで検査対象品をハンドリングする他の一作動状態を示す斜視図、正面図および側面図である。 上記第二の実施形態の検査システムにおける双腕多関節型ロボットの一作動状態を示す斜視図である。 （ａ）および（ｂ）は、上記第二の実施形態の検査システムにおける双腕多関節型ロボットの、図１１に示す作動状態を示す平面図および正面図である。

以下に、この発明の実施の形態を実施例によって、図面に基づき詳細に説明する。ここに、図１Ａ，図１Ｂは、この発明の検査システムの第一および第二における検査手順の前段および後段を順次に示すフローチャートである。また、図２（ａ）および図２（ｂ）は、上記第一および第二の実施形態の検査システムが備える双腕多関節型ロボットの外観を示す正面図および側面図である。

この双腕多関節型ロボット（双腕型ロボットと呼ぶ場合および単にロボットと呼ぶ場合がある）４は、頭部１、胴体部２および双腕としての２本の腕部３を有しており、かかる双腕型ロボット４を用いることで、大型の検査対象品や不安定構造を持つ検査対象品を双腕でハンドリングすることができるので、検査対象品の安定した取り回しが可能である。また、検査対象品が可動部を持つ場合、双腕で把持・操作することで、可動部を特定の姿勢に保持した状態で検査対象品を検査することができる。

ここで、頭部１は、第一の撮像機器としての、画像認識が可能な頭部ステレオカメラ５を有する。また、頭部１は、胴体部２との間に首部１ａを持つ。首部１ａは、２自由度(頭部１を前後に振るピッチ軸および左右に振るヨー軸)程度の可動軸を持つことが望ましい。

首部１ａには、第一の照明器具としての、首部ＬＥＤ照明器具６が固定されている。頭部ステレオカメラ５の撮像方向と首部ＬＥＤ照明器具６による照明光の照射方向は、首部１ａの動作により一緒に変更され、首部ＬＥＤ照明器具６による照明光が頭部ステレオカメラ５に対する明視野照明となるように、常に同一の相互位置関係を維持する。頭部ステレオカメラ５および首部ＬＥＤ照明器具６を組み合わせることで、頭部ステレオカメラ５は常に明視野照明を利用できるため、双腕を使用して検査対象品を把持する場合でも明視野照明を確保することができる。

胴体部２は、１自由度(胴体部２を支持するとともにコントローラ４０を搭載する台座部３０に対し胴体部２を左右に振るヨー軸)程度の可動軸を持つことが望ましい。このコントローラ４０は、通常のコンピュータを有し、あらかじめ与えられたプログラムに従い後述の如くして、ロボット４自身の他に各撮影機器および各照明器具の作動を制御する。

腕部３を構成する右腕および左腕はそれぞれ、検査対象品１０の把持およびハンドリングが可能なエンドエフェクタ７を持ち、エンドエフェクタ７は、多種類の検査対象品の把持が可能なように、３本程度の爪を持つとともに、それらの爪の開閉式動作が可能な構造を持つものであることが望ましい。そしてそれら右腕および左腕はそれぞれ、エンドエフェクタ７の任意の位置および姿勢を実現可能な６自由度程度の可動軸を持つシリアル接続のリンク機構を有するものであることが望ましい。

腕部３を構成する右腕および左腕はそれぞれ、追加の撮像機器として、画像認識が可能な腕部単眼カメラ８を持つとともに、追加の照明器具として、腕部ＬＥＤ照明器具９を持つ。

ここで、腕部ＬＥＤ照明器具９は、エンドエフェクタ７で検査対象品を把持している状態で、検査面に対して照明光を横または斜め方向から照射することができる位置関係を持つことが望ましい。これにより、頭部ステレオカメラ５は、両腕部３が検査対象品を把持している場合でも暗視野照明を利用することができる。

また、エンドエフェクタ７は、上記腕部単眼カメラ８および腕部ＬＥＤ照明器具９と連動せずに独立に動作する１自由度(エンドエフェクタ７の中心軸線周りに回転するロール軸)を有するのが望ましい。エンドエフェクタ７が、腕部ＬＥＤ照明器具９に対して独立に動作するロール軸回転の自由度を持つことで、腕部ＬＥＤ照明器具９と頭部ステレオカメラ５との位置関係を変えることなく、エンドエフェクタ７によって把持された検査対象品を回転させることができるため、検査対象品の任意の面に対して腕部ＬＥＤ照明器具９による照明光を斜め方向から照射することができ、これにより、頭部ステレオカメラ５は、明視野照明および暗視野照明を利用した検査を、両腕部３が検査対象品を持ち変えることなく、異なる検査面に対して連続して行うことができる。

また、腕部単眼カメラ８を使用する場合には、腕部ＬＥＤ照明器具９の照明光は腕部単眼カメラ８に対する明視野照明として使用することができる。さらに、撮像を行わない腕側の腕部ＬＥＤ照明器具９による照明光は、撮像を行う腕側の腕部単眼カメラ８に対して暗視野照明として使用するなど、照射位置や条件を任意に変更可能な照明光として使用することができる。

図３および図４は、上記第一および第二の実施形態の検査システムの概ね全体を示す斜視図および平面図である。

上記第一および第二の実施形態の検査システムにおける検査環境１１は、検査対象品１０を検査環境内に配置できる検査対象品置き場１２を備えている。なお、検査環境１１には、雰囲気照明および/または検査対象品置き場１２に置かれた検査対象品１０に対する明視野照明もしくは暗視野照明となる照明光をもたらす照明器具として機能する検査環境照明器具１３を備えてもよい。

検査対象品置き場１２は、検査対象品１０を検査対象品置き場１２に検査姿勢で固定できる検査対象品固定機構１４および検査対象品固定用冶具１４ｂを持つ。なお、検査対象品置き場１２は、検査対象品固定機構１４の操作をロボット４が行うための固定操作用スイッチ１４ａを備えてもよい。

検査対象品１０の配置が可能な置き場を備えた検査環境１１を設けることで、両腕部３でハンドリングする必要のある検査対象品において、その検査対象品を検査対象品置き場にて一旦離して別の姿勢で把持し直すことができる。また、頭部ステレオカメラ５での撮像が難しい検査箇所に対しては、検査対象品を検査対象品置き場に固定しておき、腕部単眼カメラ８で検査を行うことができ、検査対象品の取り回しをより柔軟に行うことができる。

検査環境１１は、双腕型ロボット４の腕部３が到達可能な範囲内に、検査対象品供給用コンベア１５を備えている。なお、検査環境１１は、双腕型ロボット４によって操作できるように設けられた検査対象品供給操作スイッチ１５ａを備えてもよい。

検査環境１１は、双腕型ロボット４の腕部３が到達可能な範囲内に、検査合格品転送用コンベア１６を備えている。なお、検査環境１１は、双腕型ロボット４によって操作できるように設けられた検査合格品転送操作スイッチ１６ａを備えてもよい。

次に、上記第一および第二の実施形態の検査システムの作動について、図１Ａ，Ｂのフローチャートを参照しつつ具体的に説明する。ここで上記第一および第二の実施形態の検査システムは先ず、検査の準備のために以下の１．〜７．の工程を実施する。

１．上記コントローラ４０により制御された双腕型ロボット４は、腕部３およびエンドエフェクタ７の動作により、検査対象品供給操作スイッチ１５ａを操作して検査対象品供給用コンベア１５を動作させて、検査対象品１０を検査環境１１内に移動させる。
２．上記コントローラ４０は、双腕型ロボット４の頭部１の頭部ステレオカメラ５により、検査環境１１内の検査対象品供給位置に移動してきた検査対象品１０を撮像し、当該コントローラ４０が併せ持つ通常の画像認識・画像処理機能により、検査対象品１０の位置および姿勢の情報を取得する。
３．上記コントローラ４０は、あらかじめ与えられたデータベースから、当該検査対象品１０の把持方法および検査手順を取得し、当該コントローラ４０により制御された双腕型ロボット４は、腕部３およびエンドエフェクタ７の動作により、把持条件を満足する姿勢にて検査対象品１０を把持する。

４．把持条件の例としては、頭部ステレオカメラ５が検査対象品１０の第一検査面１０ａを正面から撮像することができ、また腕部ＬＥＤ照明器具９が第一検査面１０ａを横方向または斜め方向から照明光を照射できるように把持する。

５．上記把持条件での把持が難しい場合、上記コントローラ４０により制御された双腕型ロボット４は、検査対象品１０を検査対象品置き場１２上に移動させて、検査対象品１０を一旦離す。この時、その後に双腕型ロボット４が検査対象品１０を再度把持する際に上記把持条件を満足できるように、検査対象品１０の姿勢を変更した状態で検査対象品１０を離す。
６．上記コントローラ４０は、双腕型ロボット４の頭部１の頭部ステレオカメラ５により再度検査対象品１０を撮像し、検査対象品１０の位置および姿勢の情報を取得する。
７．上記コントローラ４０により制御された双腕型ロボット４は、上記把持条件を満足するように検査対象品１０を再度把持する。

以下の８．〜２７．の工程では、第一の実施形態の検査システムの作動について説明する。この第一の実施形態の検査システムでは、両腕部３により検査対象品１０を把持するとともに、首部ＬＥＤ照明器具６による明視野照明および/または腕部ＬＥＤ照明器具９による暗視野照明を検査用の照明光として使用する。また、片腕でハンドリング可能な小型の検査対象品１０１を検査する場合には、首部ＬＥＤ照明器具６による明視野照明および/または腕部ＬＥＤ照明器具９による暗視野照明を検査用の照明光として使用するか、腕部ＬＥＤ照明器具９による明視野照明および/または首部ＬＥＤ照明器具６による暗視野照明を検査用の照明光として使用する。

８．上記コントローラ４０により制御された双腕型ロボット４は、図５（ａ）〜（ｃ）に示すように、双腕の腕部３の動作により、頭部ステレオカメラ５による第一の検査面１０ａ上の検査箇所の画像認識が可能なように検査品１０の位置および／または姿勢を変更する。なお、図６（ａ）〜（ｃ）に示すように、検査対象品１０が、検査対象となる可動部位１０ｄを持つ場合には、可動部位１０ｄの画像認識が可能なように、双腕の腕部３の動作により可動部位１０ｄを動かす。

９．上記コントローラ４０は、双腕型ロボット４の頭部１の頭部ステレオカメラ５により検査箇所を撮像し、当該コントローラが併せ持つ画像認識・画像処理機能により、その検査箇所の画像認識を行う。
１０．なお、画像認識を行う前に、検査面に付着したほこり等をロボットまたは検査環境内に配置したエアダスタ等の除塵装置を用いて除去する工程を追加してもよい。

１１．頭部ステレオカメラ５による検査個所の撮像時において、明視野照明を必要とする場合には、首部ＬＥＤ照明器具６で照明光を照射し、頭部ステレオカメラ５に対する明視野照明として使用する。明視野照明を必要とする検査としては、検査面上に印刷されたラベル、背景とのコントラストが明確な凹凸形状、外形状の検査等が挙げられる。

１２．頭部ステレオカメラ５による検査個所の撮像時において、暗視野照明を必要とする場合は、腕部ＬＥＤ照明器具９で照明光を照射し、頭部ステレオカメラ５に対する暗視野照明として使用する。腕部ＬＥＤ照明器具９は、第一の検査面１０ａに対して横方向または斜め方向から照明光を照射するように、エンドエフェクタ７の把持位置および／または姿勢を決定する。暗視野照明を必要とする検査としては、背景とのコントラストが曖昧な凹凸形状、検査品表面の傷の検査等が挙げられる。

１３．頭部ステレオカメラ５による検査個所の撮像時において、明視野照明と暗視野照明との両方を必要とする場合には、首部ＬＥＤ照明器具６と腕部ＬＥＤ照明器具９との両方により照明光を照射する。

１４．検査対象面を第一の検査面１０ａから第二の検査面１０ｂへと変更する場合に、エンドエフェクタ７が、図７（ｂ）に示すように、腕部ＬＥＤ照明器具９と連動せずに独立して動作する１自由度(エンドエフェクタ７の中心軸線周りに回転するロール軸)を持っている場合は、エンドエフェクタ７の動作により、図８（ａ），（ｂ）に示すように、第二の検査面１０ｂに対して頭部ステレオカメラ５による撮像および首部ＬＥＤ照明器具６並びに腕部ＬＥＤ照明器具９による照明光の照射ができるように、検査対象品１０の姿勢を変更する。

１５．一方、エンドエフェクタ７が、腕部ＬＥＤ照明器具９と連動せずに独立して動作する１自由度を持たない場合は、検査対象品１０を検査対象部品置き場１２にて一旦離し、第二の検査面１０ｂに対して頭部ステレオカメラ５による撮像および首部ＬＥＤ照明器具６並びに腕部ＬＥＤ照明器具９による照明光の照射ができるように、検査対象品１０を再度把持する。

１６．腕部ＬＥＤ照明器具９による照明光の照射が不要な場合は、エンドエフェクタ７の動作軸の有無に関係なく、腕部３の動作により、第二検査面１０ｂに対して頭部ステレオカメラ５による撮像および首部ＬＥＤ照明器具６による照明光の照射ができるように、検査対象品１０の姿勢を変更する。

１７．なお、上記第一の実施形態において使用される頭部ステレオカメラ５および首部ＬＥＤ照明器具６に代えて、もしくは加えて、検査環境１１に備え付けられた検査用カメラおよび照明器具を用いてもよい。この場合、検査対象品１０の検査箇所に対して、検査用カメラによる撮像と照明器具による照明光の照射とができるように、双腕の腕部３が検査対象品１０をハンドリング可能であればよい。
１８．検査対象品１０の要検査箇所の検査が完了するまで、上記８．〜１７．までの検査工程を繰り返して実施する。

第一の実施形態において、双腕でのハンドリングを必要としない小型検査対象品１０１を検査する場合の実施形態としては、例えば以下のようにする。
１９．図９（ａ）〜（ｃ）に示すように、双腕のうちどちらか一方の腕部３およびエンドエフェクタ７により小型検査対象品１０１をハンドリングし、上記頭部ステレオカメラ５による撮像および上記首部ＬＥＤ照明器具６による明視野照明による照射が可能なように第一の検査面１０１ａの位置および姿勢を変更する。
２０．第一の検査面１０１ａに対して、小型検査対象品１０１をハンドリングしない他方の腕部３が備える腕部ＬＥＤ照明器具９ｂによる暗視野照明による照射が可能なように、他方の腕部３の姿勢を変化させる。なお、第一の検査面１０１ａに対して暗視野照明による照射が不要な場合には、この工程は省略してもよい。

２１．上記頭部ステレオカメラ５による撮像および首部ＬＥＤ照明器具６による明視野照明による照射と、上記腕部ＬＥＤ照明器具９ｂによる暗視野照明による照射を行い、第一の検査面１０１ａの画像認識を行う。
２２．エンドエフェクタ７が小型検査対象品１０１を把持する方向に対して水平となる第二の検査面１０１ｂの検査を行う場合には、首部ＬＥＤ照明器具６による暗視野照明による照射と、上記他方の腕部３が備える単眼カメラ８ｂによる撮像および上記腕部ＬＥＤ照明器具９ｂによる明視野照明による照射を行い、第二の検査面１０１ｂの画像認識を行ってもよい。

双腕でのハンドリングを必要としない小型の検査対象品１０１を検査する場合の異なる実施形態としては、例えば以下のようにする。
２３．図１０（ａ）〜（ｃ）に示すように、双腕のうちどちらか一方の腕部３およびエンドエフェクタ７により小型検査対象品１０１をハンドリングし、上記首部ＬＥＤ照明器具６による暗視野照明による照射が可能なように第一の検査面１０１ａの位置および姿勢を変更する。なお、上記首部ＬＥＤ照明器具６による暗視野照明による照射が不要な場合には、この工程は省略してもよい。
２４．第一の検査面１０１ａに対して小型検査対象品１０１をハンドリングしない他方の腕部３が備える単眼カメラ８ｂによる撮像および腕部ＬＥＤ照明器具９ｂによる明視野照明による照射が可能なように、上記他方の腕部３の姿勢を変化させる。

２５．上記首部ＬＥＤ照明器具６による暗視野照明による照射と、上記単眼カメラ８ｂによる撮像および上記腕部ＬＥＤ照明器具９ｂによる明視野照明による照射を行い、第一の検査面１０１ａの画像認識を行う。
２６．エンドエフェクタ７が小型検査対象品１０１を把持する方向に対して水平となる第二の検査面１０１ｂの検査を行う場合には、上記他方の腕部３が備える腕部ＬＥＤ照明器具９ｂによる暗視野照明による照射と、上記頭部ステレオカメラ５による撮像および上記首部ＬＥＤ照明器具６による明視野照明による照射を行い、第二の検査面１０１ｂの画像認識を行ってもよい。
２７．小型検査対象品１０１の要検査箇所の検査が完了するまで、上記１９．〜２７．までの検査工程を繰り返して実施する。

以下の２８．〜３７．の工程では、第二の実施形態について説明する。この第二の実施形態では、図７（ａ）に示す如き、頭部ステレオカメラ５での撮像が難しい第三検査面１０ｃに対して、図１１および図１２に示すように、検査対象品１０を検査対象品置き場１２に固定して、一方の腕部（右腕）側の腕部単眼カメラ８ａによる撮像および腕部ＬＥＤ照明器具９ａによる明視野照明での照明光の照射を行い、もう一方の腕部（左腕）側の腕部ＬＥＤ照明器具９ｂにより暗視野照明での照明光の照射を行う。

２８．上記コントローラ４０により制御された双腕型ロボット４は、腕部３およびエンドエフェクタ７の動作により、検査対象品１０を検査対象品置き場１２上に移動させ、腕部単眼カメラ８による第三検査面１０ｃの撮像が可能なように検査対象品１０の姿勢を変更する。なお、検査対象品１０が一定の位置および姿勢となるように、検査対象品置き場１２に検査対象品固定用冶具１４ｂを持つ、例えばエア駆動の検査対象品固定機構１４を設けてもよい。

２９．上記コントローラ４０により制御された双腕型ロボット４は、エンドエフェクタ７の動作により、検査対象品１０を離して検査対象品置き場１２上に置く。
３０．上記コントローラ４０により制御された双腕型ロボット４は、腕部３およびエンドエフェクタの動作により、検査対象品固定機構１４の固定操作用スイッチ１４ａを押し、検査対象品１０を検査環境１１に固定する。

３１．検査環境１１に照明器具を配置している場合は、固定操作用スイッチ１４ａに、照明器具の操作の機能を併せて持たせてもよい。
３２．検査環境１１に配置された照明器具は、雰囲気照明、明視野照明および暗視野照明等、使用方法を問わないが、照射光が腕部３等に遮られて検査面に影を落とすことのない配置とする。

３３．上記コントローラ４０により制御された双腕型ロボット４は、片方の腕部単眼カメラ８ａが第三検査面１０ｃ上の検査箇所の撮像をできるように腕部３の姿勢を変更し、撮像を行う。
３４．なお、撮像を行う前に、検査面に付着したほこり等をロボットまたは検査環境内に配置したエアダスタ等の除塵装置を用いて除去する工程を追加してもよい。

３５．第三検査面１０ｃの撮像を行うのに明視野照明を必要とする場合は、撮像を行う腕部側に設置された腕部ＬＥＤ照明器具９ａで照明光を照射する。
３６．一方、第三検査面１０ｃの撮像を行うのに暗視野照明を必要とする場合は、撮像を行わない他方の腕部側に設置された腕部ＬＥＤ照明器具９ｂで照明光を照射する。双腕型ロボット４は上記腕部ＬＥＤ照明器具９ｂの照明光が暗視野照明として機能するように、その照明光が第三検査面１０ｃに対して横方向または斜め方向から照射されるように腕部３の姿勢を変更する。
３７．第三検査面１０ｃの撮像を行うのに明視野照明と暗視野照明との両方を必要とする場合は、両腕部の腕部ＬＥＤ照明器具９ａ，９ｂの両方から照明光を照射する。

３８．上記第二の実施形態において、第三検査面１０ｃの撮像および照射光の照射を行うカメラおよび照明器具は、腕部単眼カメラ８ａおよび腕部ＬＥＤ照明器具９ａに代えて、もしくは加えて検査環境１１に備え付けられた検査用カメラおよび照明器具であってもよい。この場合、双腕の腕部ＬＥＤ照明９は、複数方向からの明視野照明、暗視野照明あるいは雰囲気照明として使用することができる。また、双腕の腕部単眼カメラ８には、第三検査面１０ｃに対して、検査環境１１に取り付けられた検査用カメラとは異なる画角からの撮像を行わせてもよい。
３９．検査対象品１０の要検査箇所の検査が完了するまで、上記３０．〜３８．までの検査工程を繰り返して実施する。

４０．上記コントローラ４０により制御された双腕型ロボット４は、腕部３およびエンドエフェクタ７の動作により、合格品と判断された検査対象品１０を、次工程へと転送するためのコンベア１６上に移動させる。
４１．一方、検査対象品１０が不合格品と判断された場合は、上記コントローラ４０により制御された双腕型ロボット４は、オペレータ２０に対して警告メッセージと不合格判定検査箇所とを通知する内容を確認用機器２１上に表示する。
４２．オペレータ２０は、通知された内容および必要に応じてオペレータが行う目視検査の結果から検査対象品１０が不合格かどうかの最終判断を下す。
４３．オペレータ２０が合格品であると判断した場合、上記コントローラ４０により制御された双腕型ロボット４は、腕部３およびエンドエフェクタ７の動作により、合格品と判断された検査対象品１０を合格品転送用コンベア１６上に移動させる。

４４．上記コントローラ４０により制御された双腕型ロボット４は次いで、腕部３およびエンドエフェクタ７の動作により、検査合格品転送用コンベア１６の検査合格品転送操作スイッチ１６ａを操作し、合格品と判断された検査対象品１０を次工程へと転送する。
４５．全ての検査対象品の検査が完了するまで、上記１．〜４４．の検査工程を繰り返して実施する。

上述の如くして上記第一および第二の実施形態の検査システムによれば、双腕多関節型のロボット４を備える検査システムにおいて、双腕の腕部３により保持する必要がある大型または不安定な構造の難保持品の検査であっても、必要な明視野照明および/または暗視野照明を、設備を追加することなく用意することができ、これにより、難保持品の検査において、検査環境を大型化・複雑化させることなく適切な検査環境を提供することができる。

また、明視野照明および暗視野照明を適時提供する上記第一および第二の実施形態の検査システムによれば、難保持品の検査のみでなく、片方の腕部３で把持可能な小型品の検査に対しても使用することができる。

以上、図示例に基づき説明したが、この発明の検査システムは上述の例に限定されるものでなく、特許請求の範囲の記載の範囲内で適宜変更し得るものであり、例えば双腕多関節型のロボット４を複数台並べて協調作動させることで、より多様あるいは複雑な検査を連続的に行うように構成してもよい。またコントローラ４０は、ロボット４の台座内でなく台座外にロボット４と別体に備えていてもよく、画像認識・画像処理装置は、コントローラ４０と別体に、ロボット４の台車内あるいは台車外に備えていてもよい。

かくしてこの発明の検査システム、並びにそのシステムの制御用のコントローラおよびプログラムによれば、双腕多関節型のロボットを用いた検査システムにおいて、双腕により保持する必要がある大型または不安定な構造の難保持品の外観画像検査であっても、必要な明視野照明および/または暗視野照明を、大きく複雑な設備を追加することなく用意することができ、これにより、難保持品の検査において、検査環境を大型化・複雑化させることなく適切な検査環境を提供することができる。

また、明視野照明および暗視野照明を適時提供する本発明の検査システム、並びにそのシステムの制御用のコントローラおよびプログラムは、難保持品の検査のみでなく、片腕で把持可能な小型品の外観画像検査に対しても使用することができる。

１ 頭部
１ａ 首部
２ 胴体部
３ 腕部
４ 双腕多関節型ロボット
５ 頭部ステレオカメラ
６ 首部ＬＥＤ照明器具
７ エンドエフェクタ
８ 腕部単眼カメラ
８ａ 一方の腕部単眼カメラ
８ｂ 他方の腕部単眼カメラ
９ 腕部ＬＥＤ照明器具
９ａ 一方の腕部ＬＥＤ照明器具
９ｂ 他方の腕部ＬＥＤ照明器具
１０ 検査対象品
１０ａ 第一の検査面
１０ｂ 第二の検査面
１０ｃ 第三の検査面
１０ｄ 可動部位
１０１ 小型検査対象品
１０１ａ 第一の検査面
１０１ｂ 第二の検査面
１１ 検査環境
１２ 検査対象品置き場
１３ 検査環境照明器具
１４ 検査対象品固定機構
１４ａ 固定操作用スイッチ
１４ｂ 検査対象品固定冶具
１５ 検査対象品供給用コンベア
１５ａ 検査対象品供給操作スイッチ
１６ 検査合格品転送用コンベア
１６ａ 検査合格品転送操作スイッチ
２０ オペレータ
３０ 台座部
４０ コントローラ

Claims (14)

1. 供給される検査対象品を１本または２本の腕部にてハンドリングすることができる双腕を有し、各腕部に検査対象品の把持およびハンドリングが可能なエンドエフェクタを持つ双腕多関節型のロボットと、
   前記ロボットの、前記双腕以外の部位に設けられた、前記腕部にてハンドリングされた検査対象品の検査面の撮像が可能な第一の撮像機器およびその検査面への照明光の照射が可能な第一の照明器具と、
   前記ロボットの前記双腕の少なくとも片方の腕部の先端部に設けられた、その腕部の動作により任意の位置および／または姿勢にて検査面の撮像が可能な追加の撮像機器およびその検査面への照明光の照射が可能な追加の照明器具と、
   を備えることを特徴とする検査システム。
2. 前記ロボットが前記双腕の両方の腕部を用いて検査対象品をハンドリングする場合に、前記第一の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射するとともに、前記追加の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射し、前記第一の撮像機器により前記検査面の撮像を行うことを特徴とする、請求項１記載の検査システム。
3. 前記ロボットが前記双腕の片方の腕部を用いて検査対象品をハンドリングする場合に、前記第一の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射するとともに、前記追加の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射し、前記第一の撮像機器により前記検査面の撮像を行うことを特徴とする、請求項１記載の検査システム。
4. 前記ロボットが前記双腕の片方の腕部を用いて検査対象品をハンドリングする場合に、前記第一の照明器具の照明光を暗視野照明として前記検査対象品の検査面に照射するとともに、前記追加の照明器具の照明光を明視野照明として前記検査対象品の検査面に照射し、前記追加の撮像機器により前記検査面の撮像を行うことを特徴とする、請求項１記載の検査システム。
5. 検査対象品が可動部位を備え、前記ロボットが前記双腕の両方の腕部を用いてその検査対象品をハンドリングする場合に、前記双腕の作用により前記可動部位を動かして検査を行うことを特徴とする、請求項１または２記載の検査システム。
6. 前記ロボットが前記双腕の両方の腕部を用いて検査対象品をハンドリングする場合に、前記ロボットは、前記追加の撮像機器と独立するとともに前記追加の照明器具とも独立して、前記第一の撮像機器が撮像する検査対象面を変更できる機構を有し、前記第一の撮像機器と、前記第一および追加の照明器具との位置関係を変えることなく、前記検査対象品の検査対象面を変更することを特徴とする、請求項１，２または５記載の検査システム。
7. 前記追加の撮像機器および前記追加の照明器具は、前記ロボットの前記双腕の両方の腕部の先端部に設けられ、
   前記双腕で把持した状態では検査が行えない検査面について検査を行う場合に、前記検査対象品を検査環境内に固定し、双腕の一方の前記腕部の前記追加の照明器具の照射光を暗視野照明として前記検査対象品の検査面に照射し、双腕の他方の前記腕部の前記追加の照明器具の照射光を明視野照明として前記検査対象品の検査面に照射し、前記他方の腕部の前記追加の撮像機器により前記検査面の撮像を行うことを特徴とする、請求項１または５記載の検査システム。
8. 前記追加の撮像機器および前記追加の照明器具は、前記ロボットの前記双腕の一方の腕部の先端部に設けられた追加の撮像機器および追加の照明器具と、前記ロボットの前記双腕の他方の腕部の先端部に設けられた追加の撮像機器および追加の照明器具と、を含むことを特徴とする、請求項１から７までの何れか１項記載の検査システム。
9. 前記第一の撮像機器および／または前記第一の照明器具を、前記ロボット上に換えて／加えて、検査環境内に配置することを特徴とする、請求項１から８までの何れか１項記載の検査システム。
10. 検査対象品の検査面の撮像を行う前に、前記検査対象品に付着したほこりを排除する除塵装置を前記ロボットまたは検査環境に備え、検査面への照射光の照射および撮像の前に、検査情報の収集の妨害となる付着物を除去して、必要な検査情報のみを認識することを特徴とする、請求項１から９までの何れか１項記載の検査システム。
11. 前記検査対象品を前記検査環境内へと供給する機構を備え、前記ロボットがその供給機構の操作を行うことを特徴とする、請求項１から１０までの何れか１項記載の検査システム。
12. 前記検査において合格品と判断された検査対象品を次工程へと転送する機構を備え、前記ロボットがその転送機構の操作を行うことを特徴とする、請求項１から１１までの何れか１項記載の検査システム。
13. 少なくとも前記ロボットの各腕部と、前記第一および追加の撮像機器と、前記第一および追加の照明器具と、の動作を制御することを特徴とする、請求項１から１２までの何れか１項記載の検査システムの制御用のコントローラ。
14. 少なくとも前記ロボットの各腕部と、前記第一および追加の撮像機器と、前記第一および追加の照明器具と、の動作を制御することを特徴とする、請求項１３記載のコントローラの制御用のプログラム。