JP2010240785A

JP2010240785A - ピッキングシステム

Info

Publication number: JP2010240785A
Application number: JP2009093078A
Authority: JP
Inventors: Keita Ushizaka; 慶太牛坂
Original assignee: Kanto Jidosha Kogyo KK; Kanto Auto Works Ltd
Current assignee: Kanto Jidosha Kogyo KK; Toyota Motor East Japan Inc
Priority date: 2009-04-07
Filing date: 2009-04-07
Publication date: 2010-10-28

Abstract

【課題】ロボットハンドを有するロボットを制御してワークのピッキング作業を行うピッキングシステムにおいて、ワークの位置情報を正確に算出してロボットの誤動作を防止し、ピッキング作業の効率を高める。
【解決手段】ロボットハンド１１０を有するロボット１００を制御してワークＷのピッキング作業を行うピッキングシステムＡに、ワークＷを撮像するレンズ２０１を備えたカメラ２００と、カメラ２００が撮像したワークＷの画像データを用いてワークＷの位置情報を求める画像処理装置３０と、画像処理装置３０が求めたワークＷの位置情報を用いて、ロボット１００を制御し、ロボットハンド１１０でワークＷを把持してピッキング作業を実行させる制御装置４００と、ワークＷに向けて近赤外波長の光を照射する赤外線照明装置１０と、レンズ２０１の前方に取り付けられた可視光吸収・赤外線透過フィルタ２０とを設ける。
【選択図】図１

Description

本発明は、ピッキングシステムに関し、例えば、ロボットハンドを備えた産業用のロボットを制御して部品を自動的に取り出し、所定の位置にセットするピッキングシステムに関する。

特許文献１には、ロボットハンドを備えた産業用のロボットを制御してワーク（部品）を自動的に把持して取り出し、所定の位置にセットするピッキングシステムの構成が開示されている。
ここで、図３を参照しながら、特許文献１に開示されているピッキングシステムの構成を説明する。

図示するように、特許文献１に記載のピッキングシステムＺは、ワーク５００を把持するロボットハンド１１０を備えた産業用のロボット１００と、ロボットハンド１１０の近傍に取り付けられたワーク５００を撮像するカメラ２００と、カメラ２００により撮像されたワーク５００の画像データを用いてワーク５００の姿勢（位置）を認識する姿勢検知装置３００と、姿勢検知装置３００により認識された姿勢（位置）に基づいて、ロボットハンド１１０の動作を制御する制御装置４００とを備えている。

また、姿勢検知装置３００は、ワーク５００の載置状態における複数の安定姿勢が予め登録されている記憶手段と、登録されている複数の安定姿勢のうち、カメラ２００で撮像された画像データ中のワーク５００の位置に最も合致する一の安定姿勢を選択する選択手段と、その選択された一の安定姿勢を初期状態としてワーク５００の姿勢モデルを所定範囲で揺動させ、その姿勢モデルを画像データ中のワーク５００に整合することによって、ワーク５００の位置を認識する検知手段とを備えている。

特開２００７−２４５２８３号公報

しかしながら、上述した特許文献１のピッキングシステムは、ピッキングする対象のワークの位置を正確に算出できないことがあるという技術的課題を有している。その結果、特許文献１のピッキングシステムでは、ロボットハンドが対象のワークを把持できなかったり、算出されたワークの位置が異常値となりピッキング作業が中断したりすることがあり、ピッキング作業を効率よく行うことができなかった。

具体的には、特許文献１に記載のピッキングシステムは、天候や時間帯による周囲の明るさの変化や、他工程で発生する光（他工程の照明光やスパッタ光等）の影響により、カメラが撮像するワークの画像データに、ノイズ成分が含まれることがあり、当該ノイズ成分によりワークの位置を正確に算出できないことがあった（ワークの位置を誤検出することがあった）。
なお、上述した図３に示すように、ピッキング作業を行う作業スペースの周囲を暗幕６００で覆うことで、外乱光の影響を低減させることも考えられるが、ピッキング作業の対象となる部品が自動車のボディ部品のように大型のものである場合、作業スペースの周囲を暗幕を覆うことは困難である。

本発明は、上記技術的課題を解決するためになされたものであり、本発明の目的は、ワークを把持するためのロボットハンドを有するロボットを制御して、ワークのピッキング作業を行うピッキングシステムにおいて、ワークの位置情報を正確に算出することによりロボットの誤動作を防止し、ピッキング作業の効率を高めることにある。

上記課題を解決するためになされた本発明は、ワークを把持するためのロボットハンドを有するロボットを制御して、ワークのピッキング作業を行うピッキングシステムであつて、前記ワークを撮像するレンズを備えたカメラと、前記カメラが撮像したワークの画像データを用いて該ワークの位置情報を求める画像処理手段と、前記画像処理手段が求めたワークの位置情報を用いて、前記ロボットを制御し、前記ロボットハンドによりワークを把持してピッキング作業を実行させる制御手段と、前記ワークに向けて近赤外波長の光を照射する赤外線照明装置と、前記レンズの前方に取り付けられた可視光吸収・赤外線透過フィルタとを備えることを特徴としている。

このように、本発明のピッキングシステムは、ワークに向けて近赤外波長の光を照射する赤外線照明装置と、レンズの前方に取り付けられた可視光吸収・赤外線透過フィルタとを備えている。
そして、上記構成により、ワークに照射した近赤外波長の光の反射光は、可視光吸収・赤外線透過フィルタを透過してカメラに入射される。また、上記構成により、可視光に含まれる外乱光は、可視光吸収・赤外線透過フィルタで遮断される。
すなわち、本発明によれば、カメラが撮像するワークの画像データに、外乱光の影響によるノイズ成分が入ることが抑制されるため、当該画像データからワークの位置を正確に算出することができる。
その結果、本発明のピッキングシステムを利用することにより、ワークの位置情報の誤検出による作業ミスや、計測異常によるラインの停止を防止することができる。

また、前記赤外線照明装置の前方には、前記近赤外波長の光を拡散させる拡散板が設置されていることが望ましい。
このように拡散板を設けることにより、ロボットハンドで把持するワークが自動車のボディ部品のように大型のものであっても、ワーク全体に近赤外波長の光を照射することができるため、ワークを撮像した画像データからワークの位置を正確に算出することができる。

本発明によれば、ワークを把持するためのロボットハンドを有するロボットを制御して、ワークのピッキング作業を行うピッキングシステムにおいて、ワークの位置情報を正確に算出することによりロボットの誤動作を防止し、ピッキング作業の効率を高めることができる。

本発明の実施形態のピッキングシステムの構成を示したブロック図である。本発明の実施形態のピッキングシステムの可視光吸収・赤外線透過フィルタが透過させる光の波長領域と、カメラの分光感度特性との関係を示した模式図である。従来技術によるピッキングシステムの構成を示したブロック図である。

以下、本発明の実施形態のピッキングシステムについて図１および図２に基づいて説明する。
図１は、本発明の実施形態のピッキングシステムの構成を示したブロック図である。また、図２は、本発明の実施形態のピッキングシステムの可視光吸収・赤外線透過フィルタが透過させる光の波長領域と、カメラの分光感度特性との関係を示した模式図である。
なお、本実施形態では、上述した図３に示した従来技術のピッキングシステムと同じ構成については、同じ符号を付して説明する。

図示するように、本実施形態のピッキングシステムＡは、ロボットアーム１０１を備え、その先端にワークＷを把持するロボットハンド１１０を備えた産業用のロボット１００と、ロボットハンド１１０の近傍に取り付けられたワークＷを撮像するレンズ２０１を有するカメラ２００と、カメラ２００により撮像されワークＷの画像データを用いてワークＷの姿勢（位置情報）を算出する画像処理装置（画像処理手段）３０と、画像処理装置３０により算出されたワークＷの姿勢（位置情報）に基づいて、ロボット１００の駆動制御を行う制御装置（制御手段）４００とを備えている。
また、カメラ２００は、画像処理装置３０に接続され、相互間でデータ通信ができるように構成されている。また、画像処理装置３０は、制御装置４００に接続され、相互間でデータ通信ができるように構成されている。また、制御装置４００は、ロボット１００に接続され相互間でデータの通信ができるように構成されている。
なお、カメラ２００には、例えば、ＣＣＤカメラが用いられる。

また、ロボットアーム１０１の先端のロボットハンド１１０の近傍部分には、ワークＷに向けて近赤外波長の光を照射する赤外線照明装置（ＩＲ照明装置）１０が取り付けられている。なお、赤外線照明装置１０は、例えば、ロボットアーム１０１の先端側に、支持金具（図示せず）を介して取り付けられている。
また、赤外線照明装置１０は、例えば、「８５０ｎｍ」の波長の光を照射するようになされている。また、赤外線照明装置１０は、制御装置４００と信号線で接続され、制御装置４００からの制御信号を受信し、その制御信号に応じて点灯および消灯を行うように形成されている。

また、赤外線照明装置１０の前方には、ワークＷ全体に近赤外波長の光が照射されるようにするために、赤外線照明装置１０から照射される光を拡散させる拡散板（レンズ拡散板）１５が設置されている。
この構成により、赤外線照明装置１０から照射された近赤外波長の光は、拡散板１５を透過して拡散する。その結果、ピッキング作業の対象のワークＷの大きさ寸法が大きい場合であっても、ワークＷ全体に近赤外波長の光が照射される。

また、カメラ２００のレンズ２０１の前方には、可視光吸収・赤外線透過フィルタ２０が取り付けられている。
ここで、可視光吸収・赤外線透過フィルタ２０について、図２を用いて説明する。
なお、図示する符号ｙは、カメラ２００の分光感度特性を示す分光感度曲線を示している。また、符号ｌは、可視光領域と近赤外領域の境界線を示し、境界線ｌよりｘ１側が近赤外領域となり、境界線ｌよりｘ２側が可視光領域となっている。
また、分光感度曲線ｙが示すように、本実施形態のカメラ２００は、波長６００（ｎｍ）付近の光への感度がピークとなるように形成されているが、境界線ｌよりもｘ１側の近赤外領域の光に対する感度も有している。すなわち、カメラ２００は、近赤外領域の光も検知できるように構成されている。

また、図中の斜線で示した領域が、可視光吸収・赤外線透過フィルタ２０が透過させる光の透過波長領域Ｒを示している。
具体的には、可視光吸収・赤外線透過フィルタ２０は、赤外線照明装置１０が照射する光の波長「８５０（ｎｍ）」から所定範囲に含まれる透過波長領域Ｒ（例えば、８３０〜８７０（ｎｍ））の光だけを透過させ、透過波長領域Ｒの光以外を遮断（カット）するようになされている。

そして、上記の構成により、赤外線照明装置１０からワークＷに照射された近赤外波長の光の反射光（透過波長領域Ｒ（８３０〜８７０（ｎｍ））の光）は、可視光吸収・赤外線透過フィルタ２０を透過してカメラ２００に入射され、カメラ２００によりワークＷの画像データが撮像される。また、レンズ２０１の前方に取り付けられた可視光吸収・赤外線透過フィルタ２０により、カメラ２００に入射する可視光は遮断される。
すなわち、可視光吸収・赤外線透過フィルタ２０により、隣接する工程で発生するスパッタ光や、時間帯によりワークに照射される西日等の外乱光は、可視光吸収・赤外線透過フィルタで遮断される。

次に、画像処理装置３０の構成について説明する。
図１に示すように、画像処理装置３０は、入出力部３１と、ワークデータ記憶部３２と、位置情報算出部３３とを備え、カメラ２００から出力される画像データを用いて、ワークＷの位置情報を算出し、その位置情報を制御装置４００に出力するようになされている。

前記の入出力部３１は、カメラ２００や制御装置４００等の外部装置との間で行われるデータの送受信の制御を行う。
具体的には、入出力部３１は、カメラ２００が出力する画像データを受信し、位置情報算出部３３に出力する。また、入出力部３１は、制御装置４００に、位置情報算出部３３が算出したワークＷの位置情報を出力する。

また、ワークデータ記憶部３２は、ワークＷの設計情報や、ワークＷの載置状態における複数の安定姿勢を示した画像モデル等を含むワークデータが格納されている。
そして、位置情報算出部３３は、入出力部３１を介して取得したワークＷの画像データと、ワークデータ記憶部３２に格納されているワークデータとを用いて、ワークＷの位置情報を算出する。
なお、位置情報算出部３３により行われる位置情報の算出処理は、公知の画像処理技術（画像マッチング処理等）により実現されるものであるため、その詳細な説明を省略する。

また、本実施形態において、画像処理装置３０のハードウェア構成は、特に限定されるものではないが、例えば、画像処理装置３０に、ＣＰＵ、メモリ、入出力インタフェース、および通信インタフェースを備えるコンピュータを用いることができる。この場合、前記メモリには、上述した入出力部３１および位置情報算出部３３の機能を実現するためのプログラムが格納されている。また、前記メモリの所定の領域には、ワークデータ記憶部３２が形成されている。
そして、上述し入出力部３１および位置情報算出部３３の機能は、前記ＣＰＵが前記メモリに格納された前記プログラムを実行することにより実現される。

また、制御装置４００は、上述した図３のものと同様、画像処理装置３０から出力される位置情報を受け取り、その位置情報に基づいて、ロボット１００を制御して、該ロボットハンド１０１でワークＷを把持する。
また、制御装置４００は、ロボット１００を制御して、前記把持したワークＷを所定の位置まで運び、当該位置にワークＷを設置する。
なお、制御装置４００の構成は、従来技術のものと同じであるためここでの説明は省略する。

次に、本実施形態のピッキングシステムＡにより行われるピッキング作業について説明する。
先ず、制御装置４００は、ロボットアーム１０１を駆動させて、ワークＷと相対向する位置に、ロボットアーム１０１の先端のロボットハンド１１０を移動させる。
つぎに、制御装置４００は、赤外線照明装置１０を点灯させて、拡散板１５を介して、赤外線照明装置１０からの近赤外波長の光をワークＷに向けて照射させる。

次に、カメラ２００は、近赤外波長の光が照射されたワークＷを撮像し、その撮像して得られたワークＷの画像データを画像処理装置３０に出力する。
なお、本実施形態では、カメラ２００のレンズ２０１の前に、可視光吸収・赤外線透過フィルタ２０が取り付けられているため、可視光吸収・赤外線透過フィルタ２０により、可視光に含まれる外乱光が遮断される。
その結果、カメラ２００が撮像するワークの画像データに、外乱光の影響によるノイズ成分が入ることが防止される。

つぎに、画像処理装置３０は、カメラから出力された画像データからワークの位置情報を算出し、制御装置４００に、当該算出した位置情報を出力する。
そして、本実施形態では、画像処理装置３０が、外乱光の影響によるノイズ成分が入っていない画像データから、ワークＷの位置情報を算出しているため、ワークＷの位置情報を正確に算出することが可能になる。

つぎに、制御装置４００は、赤外線照明装置１０を消灯させると共に、ロボットアーム１０１を駆動させ、ロボットアーム１０１の先端のロボットハンド１１０によりワークＷを把持し、さらに、予め設定されているワーク置き場にワークＷを移動させ、ロボットハンド１１０を制御して、前記ワーク置き場にワークＷを設置する。
なお、本実施形態では、ワークＷの位置が正確に求められているため、ロボットハンド１１０がワークＷを把持できない等の作業ミスの発生が防止される。

以上説明したように、本実施形態のピッキングシステムＡによれば、カメラ２００で撮像したワークＷの画像データから、正確にワークＷの位置情報を求めることができるため、ロボットの誤動作等が防止されピッキング作業の効率を高めることができる。
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨の範囲内において種々の変更が可能である。

例えば、上述した実施形態では、画像処理装置３０と、制御装置４０とが別体の装置として構成されているが、画像処理装置３０と、制御装置４０とが１つの装置として構成されていてもかまわない。
また、図１で示したロボット１００の構成は、あくまでも一例である。ロボットは、カメラ２００で撮像したワークＷの画像データから求めた位置情報を利用して、ワークＷを把持する制御をできるものであればどのような構成であってもよい。

Ａピッキングシステム
Ｗワーク
１０赤外線照明装置
１５拡散板
２０可視光吸収・赤外線透過フィルタ
３０画像処理装置
３１入出力部
３２ワークデータ記憶部
３３位置情報算出部
１００ロボット
１０１ロボットアーム
１１０ロボットハンド
２００カメラ
２０１レンズ
４００制御装置

Claims

ワークを把持するためのロボットハンドを有するロボットを制御して、ワークのピッキング作業を行うピッキングシステムであつて、
前記ワークを撮像するレンズを備えたカメラと、
前記カメラが撮像したワークの画像データを用いて該ワークの位置情報を求める画像処理手段と、
前記画像処理手段が求めたワークの位置情報を用いて、前記ロボットを制御し、前記ロボットハンドによりワークを把持してピッキング作業を実行させる制御手段と、
前記ワークに向けて近赤外波長の光を照射する赤外線照明装置と、
前記レンズの前方に取り付けられた可視光吸収・赤外線透過フィルタとを備えることを特徴とするピッキングシステム。
前記赤外線照明装置の前方には、前記近赤外波長の光を拡散させる拡散板が設置されていることを特徴とする請求項１に記載のピッキングシステム。