JP2003302345A - ロボットを用いた検査方法及び検査システム - Google Patents

Abstract

(57)【要約】 【課題】 搬送移動される検査対象物の配置状態にかか
わらず検査を簡単に行うことができるロボットを用いた
検査方法及び検査システムを提供する。 【解決手段】 ロボット１のアーム２にはＣＣＤカメラ
３が取り付けられており、ワーク５を検査するには、検
査に先立ってワーク５に対する相対的目標位置にアーム
２を位置させた状態でワーク５を撮影し、その画像を参
照画像として記憶する。ベルトコンベア４により搬送さ
れるワーク５をＣＣＤカメラ３により撮影し、その画像
と参照画像とが一致するようにアーム２を制御した状態
でワーク５の検査を実行する。この場合、ベルトコンベ
アに対するワーク５の配置方向は任意とすることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、アームに設けた撮
影手段による撮影画像のデータに基づいて当該アームの
位置姿勢をフィードバック制御するようにしたロボット
を用いた検査方法及び検査システムに関する。

【０００２】

【発明が解決しようとする課題】従来より、例えばベル
トコンベアで搬送されるワークをテレビカメラで撮影
し、その撮影画像を視覚認識装置によりワークを自動検
査する検査装置が提供されている。このような装置で
は、テレビカメラの撮影位置は固定されているので、ワ
ークをテレビカメラの撮影範囲に完全に位置するように
ベルトコンベア上の搬送位置を正確に位置決めする必要
がある。また、ワークの検査面がテレビカメラに対向す
るようにワークの配置方向を設定する必要があり、その
設定が面倒である。さらに、視覚認識装置の座標とロボ
ット座標とを一々キャリブレーションする必要があり、
調整に多くの工数を必要とする。

【０００３】本発明は上記事情に鑑みてなされたもの
で、その目的は、搬送移動される検査対象物の配置状態
にかかわらず検査を簡単に行うことができるロボットを
用いた検査方法及び検査システムを提供することにあ
る。

【０００４】

【課題を解決するための手段】請求項１の発明によれ
ば、搬送移動される検査対象物を検査するには、検査に
先立って検査対象物を撮影手段により相対的目標位置で
撮影してこれを参照画像として記憶する。

【０００５】そして、検査時には、撮影手段による撮影
画像と参照画像とが同じ状態となる相対的目標位置に位
置するようにアームの位置姿勢を制御する視覚フィード
バック制御を実行する。この視覚フィードバック制御が
実行された状態では、検査対象物が搬送移動されるにし
ても、アームの可動範囲内では、視覚フィードバック制
御により検査対象物を追従することができるので、この
ような検査対象物の追従状態において撮影手段による撮
影画像に基づいて検査対象物を検査することができる。

【０００６】請求項２の発明によれば、搬送移動される
検査対象物を検査するには、検査に先立って検査対象物
を撮影手段により相対目標位置で撮影してこれを参照画
像として記憶する。そして、搬送移動される検査対象物
を撮影手段で撮影し、その画像と記憶手段に記憶されて
いる参照画像とが同じ状態となる相対的目標位置に位置
するようにアームの位置姿勢を制御する視覚フィードバ
ック制御を実行する。視覚フィードバック制御が実行さ
れた状態では、検査対象物が搬送移動されるにしても、
アームの可動範囲内では、視覚フィードバック制御によ
り検査対象物を追従することができるので、このような
検査対象物の追従状態においては、検査手段は、視覚手
段による撮影画像に基づいて検査対象物を検査すること
ができる。

【０００７】請求項３の発明によれば、搬送移動される
検査対象物を検査するには、検査に先立って検査対象物
を撮影手段により相対的目標位置で撮影してこれを参照
画像として記憶手段に記憶する。そして、制御手段は、
検査時には、撮影手段による撮影画像と参照画像とが同
じ状態となる相対的目標位置に位置するようにアームの
位置姿勢を制御する視覚フィードバック制御を実行す
る。この視覚フィードバック制御が実行された状態で
は、検査対象物が搬送移動されるにしても、アームの可
動範囲内では、視覚フィードバック制御により検査対象
物を追従することができるので、検査手段は、撮影手段
による検査対象物の追従状態において撮影手段による撮
影画像に基づいて検査対象物を検査することができる。

【０００８】

【発明の実施の形態】(第１の実施の形態)以下、本発明
を検査用の垂直多関節型ロボットに適用した第１の実施
の形態につき図１〜図３を参照しながら説明する。図１
はロボットを用いた検査システムの構成を概略的に示し
ている。この検査システムは、ロボット１のアーム２に
装着されたＣＣＤカメラ(撮影手段に相当)３により、ベ
ルトコンベア４上に任意の位置及び姿勢で供給された検
査対象物としてのワーク５を検査するというものであ
る。

【０００９】アーム２は、ベース部６、ショルダ部７、
下アーム部８、中間アーム部９、上アーム部１０、リス
ト部１１などからなり、それら各部の連結構成は次のよ
うになっている。すなわち、ベース部６は設置床面に固
定されており、このベース部６上に、ショルダ部７が垂
直軸を中心に回動（旋回）可能に設けられ、そのショル
ダ部７に下アーム部８が水平軸を中心に上下に回動可能
に連結されている。この下アーム部８の先端部には、中
間アーム部９の前端部が水平軸を中心に上下に回動可能
に連結されている。

【００１０】中間アーム部９の前端部には、上アーム部
１０の後端部が中間アーム部９の前端面の垂直軸を中心
として回転可能に連結されており、その上アーム部１０
の左右に二股をなす先端部には、リスト部１１が回動可
能に連結され、さらに、そのリスト部１１の前端部には
図示しないフランジ部が同軸回転可能に連結されてお
り、そのフランジ部にハンド部１２が着脱可能に取り付
けられるようになっている。

【００１１】上記したアーム２の各部６〜１２は、エン
コーダ付きのサーボモータ（図示せず）によりそれぞれ
駆動されるようになっており、それら各サーボモータ
は、制御装置１３の一部を構成するロボットコントロー
ラ１４によって制御されるようになっている。

【００１２】制御装置１３は、ロボットコントローラ１
４の他に、視覚認識装置１５を備えて構成されている。
視覚認識装置１５は、ＣＣＤカメラ３が撮影した画像に
基づいて視覚フィードバック制御(以下、ビジュアルサ
ーボと称する)を実行するためのものである。

【００１３】ロボットコントローラ１４は、ＣＰＵを主
体として制御用プログラムを記憶したＲＯＭ、ＲＡＭを
備えると共に、制御指令を駆動信号としてアーム２に出
力するサーボ制御部などから構成されている。また、視
覚認識装置１５は、ＣＰＵを主体として位置姿勢制御用
のプログラムを記憶したＲＯＭ、ＲＡＭを備えると共
に、ＣＣＤカメラ３からの画像信号を入力するインター
フェース回路、画像処理回路、画像メモリなどを備えた
構成である。

【００１４】視覚認識装置１５は、画像処理に基づいて
制御動作信号（位置補正量）をロボットコントローラ１
４に与えるようになっている。この場合、視覚認識装置
１５には、予め実行される教示動作により得られる参照
画像の登録データが画像メモリに記憶される。この教示
動作は、例えばティーチングペンダント（図示しない）
を用いたマニュアル操作により、アーム２をワーク５に
対して教示目標位置（例えばハンド部１２によりワーク
５を把持する直前の位置姿勢）に移動させ、この位置に
おいてＣＣＤカメラ３によりワーク５を撮影し、その撮
影画像が参照画像として視覚認識装置１５に登録（記
憶）される。

【００１５】なお、ワーク５には、後述の視覚認識のた
めに、複数個の特徴点（特定のエッジや穴、貼付された
マーカなど）が設定されている。

【００１６】図２は、ワーク５をＣＣＤカメラ３で撮影
した参照画像の登録データの一例を示している。登録デ
ータはＣＣＤカメラ３の視野上での基準点と特徴点との
位置関係を特徴量として設定されたものである。すなわ
ち、視野上に任意の基準点Ｐ０を定め、また、ワーク５
の形状上の特徴的な点を特徴点Ｐｎ（本実施の形態では
Ｐ１〜Ｐ５）として定める。そして、撮影した画像上に
おいて、基準点Ｐ０と各特徴点Ｐ１〜Ｐ５とを結んでで
きるベクトルＶ１〜Ｖ５のデータ、隣接するベクトルＶ
１〜Ｖ５どうしのなす角度φ１〜φ５のデータを演算
し、この特徴量データを参照画像の登録データとする。

【００１７】そして、検査作業時においては、制御装置
１３は、任意の位置姿勢にてＣＣＤカメラ３によりワー
ク５を撮影し、視覚認識装置１５によりその撮影画像デ
ータを処理して現在の画像上の特徴量（Ｖ１〜Ｖ５のデ
ータ、角度φ１〜φ５）を同様にして現在データ（フィ
ードバック信号）として求め、その現在データを参照画
像の登録データと比較してその誤差（偏差）を減少させ
る（例えば０とする）ように、つまりＣＣＤカメラ３に
よる画像が教示時と同一の見え方となるように位置補正
量を算出して制御動作信号としてロボットコントローラ
１４に出力する。なお、前記位置補正量は、アーム２の
リスト部１１の動作速度を与える速度ベクトルに変換さ
れてロボットコントローラ１４に与えられるようになっ
ている。

【００１８】ロボットコントローラ１４は、与えられた
位置補正量に基づいてアーム２の位置姿勢を制御するこ
とを繰り返し、この制御によって誤差が０に収束あるい
は所定値以下となったところで、すなわちアーム２が相
対的目標位置に到達したところで、ワーク５の検査動作
に移行するものである。従って、視覚認識装置１５が参
照画像の記憶手段として機能し、ロボットコントローラ
１４がアーム２の動作制御を行う制御手段として機能す
るものである。

【００１９】さて、本実施の形態では、ベルトコンベア
４で搬送されるワーク５を検査する際、ワーク５の位置
或は方向がずれを生じた場合でも、次のようにしてビジ
ュアルサーボを利用して検査可能とした。すなわち、教
示行程では、まず前述の参照画像の登録を行うために、
ティーチングペンダントのマニュアル操作によってワー
ク５に対してアーム２を相対的目標位置に移動させ、こ
の相対的目標位置でワーク５を撮影し、その際の画像上
のワーク５の特徴量を参照画像の登録データとして視覚
認識装置１５に記憶させる。以上のような参照画像の登
録が終了したときは、検査作業を開始することができ
る。

【００２０】図３は、制御装置１３による検査作業を示
すフローチャートである。この図３において、まず、検
査対象となるワーク５をＣＣＤカメラ３で撮影できる位
置にアーム２を移動する（Ｓ１０１）。この場合、この
位置は本来なら視覚座標とロボット座標とのキャリブレ
ーションされた位置である必要があるものの、ビジュア
ルサーボによる追従の場合、ＣＣＤカメラ３でワーク５
を撮影可能な位置であれば、比較的任意の位置に設定可
能である。また、撮影位置を設定後に、何らかの要因で
変更が必要になった場合であっても、相対的目標位置の
みティーチングすることで容易に対応することができ
る。続いて、ＣＣＤカメラ３から画像を取込み、ワーク
５を検出する（Ｓ１０２）。この画像取込みは、検査対
象のワーク５が撮影エリアに位置しているかを確認する
ものである。

【００２１】そして、ベルトコンベア４により搬送され
たワーク５が撮影範囲に位置したときは（Ｓ１０３：Ｙ
ＥＳ）、ビジュアルサーボによりアーム２が相対的目標
位置となるようにワーク５の追従を開始する（Ｓ１０
４）。この追従は、追従した位置と目標位置との差分が
指定した値になるまで継続するもので（Ｓ１０５）、ワ
ーク５が追従可能範囲から出た場合は、作業を中断する
機能も併せもつ。このようにワーク５に対する追従中
は、ビジュアルサーボにより図１に示すようにアーム２
に取付けられたＣＣＤカメラ３は図１中に示すＷ１→Ｗ
２→Ｗ３と移動するもので、このように相対的目標位置
を維持した状態でＣＣＤカメラ３がワーク５を追従する
ことでワーク５の連続映像を得ることができる。

【００２２】この追従状態で予め設定された検査ポイン
トの映像を取込処理して検査する（Ｓ１０６）。この検
査内容としては、ワーク５に取付けられている部品の異
品、欠品、取付け状態、測長、印刷、添付文字検査など
である。この場合、連続して取得した映像について検査
することにより信頼性の高い不良品検査を実行すること
ができる。

【００２３】さて、上述のような検査の結果、ワーク５
は不良であると判断したときは（Ｓ１０７：ＹＥＳ）、
不良品の払出しを行う（Ｓ１０９）。具体的には、検査
したワーク５に何らかの不良がある場合、ハンド部１２
でピッキングして取除いたり、または、別途設けた払出
しの設備に信号を出力し、不良品を取除いたりする。

【００２４】以上のようにして、全ての検査作業を終了
したときは（Ｓ１０８：ＮＯ）、後処理を実行する。こ
の後処理では、必要な処理（仕分け、部品の追加など）
を実施する。また、このとき、撮影した映像を視覚視認
装置で記録する機能を持たせることで、後日、ワーク５
に対する検査結果をまとめることができる。

【００２５】このような実施の形態によれば、ワーク５
を検査する際に、ビジュアルサーボによりアーム２がワ
ーク５を追従した状態でＣＣＤカメラ３による撮影画像
に基づいて実行するようにしたので、従来の検査装置と
異なり、ワーク５を決まった方向に整列させることなく
検査を実行することができる。

【００２６】また、ワーク５がランダムな方向でベルト
コンベア４に配置された状態でも検査することが可能と
なり、従来の複雑且つ大規模な検査装置に比較して、安
価であると共に容易に実施することができる。

【００２７】さらに、従来の検査装置と異なり、高精度
な位置決めは不要であるので、必要なときに容易に設置
が可能となる。つまり、視覚認識装置１５の座標とロボ
ット座標とをキャリブレーションする必要がなくなり、
簡単な調整で実施することができる。

【００２８】(第２の実施の形態)次に本発明の第２の実
施の形態を図４及び図５を参照して説明するに、第１の
実施の形態と同一部分には同一符号を付して説明を省略
する。この第２の実施の形態は、ワークに対して複数の
方向から検査することを特徴とする。ワーク５を検査す
るのに先立って、図４に示すようにワーク５に対する相
対的目標位置ｐ１、ｐ２、ｐ３の各位置の各場所にＣＣ
Ｄカメラ３を制御し、これらの３箇所で撮像された参照
画像を視覚認識装置１５に記憶する。

【００２９】図５は、制御装置１３による検査作業のフ
ローチャートを示している。この図５において、ＣＣＤ
カメラ３の視野内にワーク５が位置したときは（Ｓ２０
３：ＹＥＳ）、検査番号ｉを１に設定してから（Ｓ２０
４）、ビジュアルサーボによりワーク５に対する相対的
目標位置ｐｉにアーム２を制御する（Ｓ２０５）。アー
ム２を相対的目標位置に制御できたと判定したときは
（Ｓ２０６：ＹＥＳ）、第１の実施の形態と同様に、ビ
ジュアルサーボによりアーム２を相対的目標位置ｐｉに
維持した状態でＣＣＤカメラ３からの画像を用いてワー
ク５の検査を実行する（Ｓ２０７）。このとき、ワーク
５が不良品であると判断された場合は（Ｓ２０８：ＹＥ
Ｓ）、例えばハンド部１２で部品を把持してベルトコン
ベア４から排除する（Ｓ２１２）。

【００３０】一方、ｉ番目の検査で不良箇所が見つから
なかった場合は（Ｓ２０８：ＮＯ）、検査番号ｉを１増
やし（Ｓ２０９）、次にｉが４より小さいかを判定する
（Ｓ２１０）。ｉが２，３の場合は、ステップＳ２０５
からの処理を行い、第２、第３の相対的目標位置ｐ２、
ｐ３でワーク５の検査を行う。つまり、全ての検査が終
了していないときは、次の目標位置を決定し、最後に得
られた映像から、ワーク５の位置、方向を検出し、次の
検出位置に移動するのである。そして、検査番号ｉが３
より大きい場合は（Ｓ２１０：ＮＯ）、全ての検査が終
了したため、次の部品を検査するかどうかを判定し（Ｓ
２１１）、継続する場合は、ステップＳ１から再度同様
な処理を実行する。

【００３１】このような実施の形態によれば、ビジュア
ルサーボによりワーク５を追従した状態でＣＣＤカメラ
３による画像に基づいてベルトコンベア４により搬送さ
れるワーク５を検査するようにしたので、ワークを整列
した状態で搬送する必要がある従来例のものと違って、
ワーク５の整列が不要となり、検査を容易に行うことが
できる。

【００３２】しかも、１個のワーク５に対して複数の箇
所から検査する必要がある場合でも、ビジュアルサーボ
によりアーム２を次の相対的目標位置に制御するように
したので、１台のロボット１及びＣＣＤカメラ３のみを
用いて、ベルトコンベア４により搬送移動されるワーク
５を停止することなく検査することができ、他の方向か
ら検査するには複数のＣＣＤカメラ３を用いる必要があ
る従来例のものに比較して、ＣＣＤカメラ３を増加させ
ることなく実施することができる。

【００３３】なお、本発明は上記し且つ図面に示す実施
例に限定されるものではなく、以下のような拡張或いは
変更が可能である。検査が終了したワーク５をその形状
に応じて仕分けるようにしてもよい。つまり、検査項目
としてワーク５の形状を判別することにより、ベルトコ
ンベア４で複数種類のワーク５を検査対象とするにして
も、図６に示すように検査以後においてワーク５ａ，５
ｂの仕分けが可能となる。

【００３４】ＣＣＤカメラ３はアーム２のリスト部１１
に限られず、上アーム部１０に取り付けても良いし、ア
ーム２の他の関節に取り付けても良い。アーム２の形態
は垂直多関節型に限らない。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における全体構成を
示す概略図

【図２】ワークの撮影画像の記憶形態の説明図

【図３】ロボットコントローラの検査作業の動作を示す
フローチャート

【図４】本発明の第２の実施の形態を示す図1相当図

【図５】図３相当図

【図６】本発明の他の実施の形態を示すロボットの平面
図

【符号の説明】

１はロボット、２はアーム、３はＣＣＤカメラ（撮影手
段）、１１はリスト部、１４はロボットコントローラ
（制御手段、記憶手段）、１５は視覚認識装置（記憶手
段）である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 内藤 貴志 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 (72)発明者 野村 秀樹 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 Ｆターム(参考） 2G051 AA01 AC19 AC21 CA04 DA06 DA13 EB09 3C007 BS10 KS04 KT01 KT05 LT06 MT01

Claims (3)

【特許請求の範囲】
1. 【請求項１】 アームに取付けられた撮影手段により、
   予めワークなどの検査対象物を撮影してこれを参照画像
   として記憶し、前記撮影手段により撮影した前記検査対
   象物の画像と前記参照画像とが同じ状態となる相対的目
   標位置に前記アームの位置姿勢を制御する視覚フィード
   バック制御を実行し、前記アームが前記相対的目標位置
   に制御された状態で、搬送移動される前記検査対象物を
   前記撮影手段が撮影した画像に基づいて検査することを
   特徴とするロボットを用いた検査方法。
2. 【請求項２】 前記検査対象物に対して複数の相対的目
   標位置を設定し、一の相対的目標位置における検査が終
   了したときは、前記撮影手段が撮影した画像に基づいて
   次の相対的目標位置に移動して検査することを特徴とす
   る請求項１記載のロボットを用いた検査方法。
3. 【請求項３】 ロボットと、 このロボットのアームに取付けられた撮影手段と、 この撮影手段により予めワークなどの検査対象物を撮影
   した画像を参照画像として記憶する記憶手段と、 前記撮影手段により撮影した前記検査対象物の画像と前
   記記憶手段に記憶されている前記参照画像とが同じ状態
   となる相対的目標位置に前記アームの位置姿勢を制御す
   る視覚フィードバック制御を実行する制御手段と、 この制御手段により前記アームが前記相対的目標位置に
   制御された状態で、搬送移動される前記検査対象物を前
   記撮影手段が撮影した画像に基づいて検査する検査手段
   とを備えたことを特徴とするロボットを用いた検査シス
   テム。