JP2021053718A

JP2021053718A - ワークを検出する検出システム

Info

Publication number: JP2021053718A
Application number: JP2019177214A
Authority: JP
Inventors: 雅文大場; Masafumi Oba
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2021-04-08
Anticipated expiration: 2039-09-27
Also published as: US20210094136A1; CN112577422A; DE102020005737A1; JP7513381B2

Abstract

【課題】高価な三次元センサを使用せずに信頼性の高い検出システムを提供する。【解決手段】検出システム１は、移動するワークの高さを計測する高さ計測センサ１１と、ワークの二次元情報を取得する二次元センサ１２と、高さ計測センサ１１及び二次元センサ１２の少なくとも一方の実行タイミングを管理する実行管理部３０と、計測した高さと取得した二次元情報に基づいて少なくともワークの位置を検出するワーク検出部３２と、を備える。【選択図】図３

Description

本発明は、ワークを検出する検出システムに関し、特に高さ計測センサを二次元センサと組み合わせてワークを検出する検出システムに関する。

移動するワークに対して産業用ロボット等の機械を用いて作業を行う場合、高価な三次元センサを使用せずに安価な二次元センサのみを用いてワークを検出することがある。また、安価な高さ計測センサを二次元センサと組み合わせてワークを検出することもある。斯かる検出システムとしては、例えば後述の文献が公知である。

特許文献１には、搬送面の床面からの高さ寸法が未知である場合に、カメラに別途設けたレーザスキャナ等で搬送面とカメラ位置との間の離間距離を検出し、離間距離に基づいて自機械座標系におけるワークの高さ位置も含めたワークの現在位置情報を検出することが開示されている。

特許文献２には、画像センサと測距センサを組み合わせたワーク計測装置と、搬送装置から供給される搬送速度情報や画像取得装置から供給されるセンシング情報に基づいてワークのピッキング予測位置や到達予測時刻等を求める到達予測部と、が開示されている。

特許文献３には、搬送されてくる荷物を搬送経路の上流側上方において撮像して画像処理装置に出力するカメラと、出力された画像情報を画像解析して荷物の位置・姿勢及び形状（荷物の上面の形状）等を検知する画像処理装置と、搬送経路を挟んで両側に向い合せで配置された、投光部及び受光部の間に亘るレーザ光の光路を、搬送されてくる荷物で遮蔽されたレーザ光の高さ位置に基づいて荷物の高さ方向の寸法を検出する高さセンサと、が開示されている。

特開２０１９−０７６９７２号公報特開２０１９−０２５６１８号公報再表２０１３／１５０５９８号公報

ワークの高さを考慮せずに二次元情報からワークの位置を検出すると、検出したワークの位置が視差の影響でワークの実位置からずれてしまい、機械が誤った目標位置へ移動してワークに対する作業を失敗することがある。図６は従来のワーク検出手法の一例を示している。図６には２つのワーク６０、６１が描かれており、ワーク６０、６１は、高さＨａ、Ｈｂが異なっていて、ワーク６０、６１の上面の重心位置Ａ、ＢがＸＹ平面上で同じ位置にある。このとき、ワーク６１の高さＨｂでワーク６０の位置を検出してしまうと、ワーク６０の上面のＸＹ平面上の重心位置は、誤った位置Ａ’として検出され、ワーク６０、６１の実位置Ａ、Ｂからずれてしまうことになる。他方、検出したワークのサイズから高さを予測してワークの上面の重心位置を検出する場合、二次元センサ６２におけるレンズ収差の影響でワーク６０の高さＨａを正確に予測できないことがある。

また、高さ計測センサを二次元センサと組み合わせてワークを検出する場合、ワーク速度やワーク量等に起因して一方のセンサでワークを検知できても他方のセンサでワークを見逃してしまい、ワークの位置を計測できなくなることもある。

そこで、高価な三次元センサを使用せずに信頼性の高い検出システムを提供する技術が求められている。

本開示の一態様は、移動するワークの高さを計測する高さ計測センサと、ワークの二次元情報を取得する二次元センサと、高さ計測センサ及び二次元センサの少なくとも一方の実行タイミングを管理する実行管理部と、計測した高さと取得した二次元情報に基づいて少なくともワークの位置を検出するワーク検出部と、を備える、検出システムを提供する。

本開示の一態様によれば、高さ計測センサと二次元センサの実行タイミングを管理するため、センサによるワークの見逃しを抑制できる。またワークの高さを考慮してワークの位置を検出するため、ワークの位置を正確に検出できることになる。ひいては、高価な三次元センサを使用せずに信頼性の高い検出システムを提供できる。

一実施形態における検出システムの概略構成を示す斜視図である。検出システムの構成の変形例を示す斜視図である。一実施形態における検出システムの機能ブロック図である。他の実施形態における検出システムの機能ブロック図である。検出システムの概略動作を示すフローチャートである。従来のワーク検出手法の一例を示す概念図である。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。なお、本書における用語「ワークの高さ」とは、ワークの支持面からワークの遠位面までの距離のことをいい、ワークの鉛直方向の高さに限定されないことに留意されたい。

図１は本実施形態における検出システム１の概略構成を示している。検出システム１は、高さ計測センサ１１と、二次元センサ１２と、これら２つのセンサを制御する制御装置１３と、を備えている。ワーク１０は、段ボール等の物品であるが、物品を載置可能なトレイ等でもよい。高さの異なる複数のワーク１０が搬送部１４によって一列又は複数列で搬送される。搬送部１４は、ワーク１０を支持する支持面を備えた、コンベヤ、ＡＧＶ（automated guided vehicle）等でよい。コンベヤの場合、搬送部１４は円弧状の循環コンベヤでもよい。

高さ計測センサ１１は、レーザ式、超音波式等の距離センサであるが、投光部及び受光部を備えた光電センサ等でもよい。距離センサの場合、その計測方向がワーク１０の支持面に対して垂直になるように配置し、予め計測したワーク１０の支持面までの距離からワーク１０の遠位面（本例ではワーク１０の上面）までの距離を減算することにより、ワーク１０の高さを計測する。光電センサの場合、その投光方向がワーク１０の搬送方向Ｘに対して直交するように配置すると共に、複数の光電センサをワーク１０の高さ方向に並置し、投光した光がワーク１０によって遮断された光電センサの位置からワーク１０の高さを計測する。また、ワーク１０が複数列で搬送される場合、列数に応じて高さ計測センサ１１を用意するとよい。

二次元センサ１２は、ワーク１０の二次元情報（例えば画像）を出力する二次元カメラでよく、その光軸がワーク１０の高さ方向になるように配置するとよい。二次元センサ１２は、ワーク１０の搬送方向Ｘにおいて、高さ計測センサ１１の下流側に配置されるが、高さ計測センサ１１の上流側に配置してもよい。

制御装置１３は、ＣＰＵ（central processing unit）等のプロセッサを備えた公知の制御装置でよく、高さ計測センサ１１及び二次元センサ１２の少なくとも一方の実行タイミングを管理すると共に、計測した高さと取得した二次元情報に基づいて少なくともワーク１０の位置（及び必要に応じてワークの姿勢）を検出する。

検出システム１は、ワーク１０の移動量を検知する移動量検知部１７をさらに備えていてもよい。移動量検知部１７は、搬送部１４の回転軸に取付けたロータリーエンコーダ等でよい。或いは、制御装置１３が二次元センサ１２の情報からワーク１０の移動量を検知してもよい。制御装置１３は、検出したワーク１０の位置と検知したワーク１０の移動量に基づき、移動するワーク１０に対して機械１５を追従させながらツール１６を制御する。これにより、機械１５がワーク１０を追いかけながら作業を行うようになる。

機械１５は、パラレルリンク型ロボットであるが、多関節ロボット等の他の産業用ロボットでもよいし、又は工作機械、建設機械等の他の産業機械でもよい。ツール１６は、吸着式ハンドであるが、複数の爪部を備えたハンドでもよく、ワーク１０を搬送部１４から別の場所へ又は別の場所から搬送部１４へ搬送するために使用される。ワーク１０に対する作業内容に応じて、ツール１６は、他のツール、例えばシーリングツール、溶接ツール、ねじ締結ツール、半田付けツール、レーザ加工ツール等でもよい。

図２は検出システム１の構成の変形例を示している。検出システム１は、ワーク１０の到来を検知する到来検知センサ１８をさらに備えていてもよい。到来検知センサ１８は、投光部及び受光部を備えた光電センサ、接触子を備えた接触センサ等でよい。光電センサの場合、その投光方向がワーク１０の搬送方向Ｘに対して直交するように配置し、接触センサの場合、その接触子がワーク１０に接触するように配置するとよい。到来検知センサ１８は、ワーク１０の搬送方向Ｘにおいて上流側に配置した高さ計測センサ１１又は二次元センサ１２と概ね同じ位置に配置するとよい。図１の構成では、制御装置１３が、高さ計測センサ１１又は二次元センサ１２の情報に基づき、高さ計測センサ１１又は二次元センサ１２の実行タイミングを管理するのに対し、図２の構成では、制御装置１３が、到来検知センサ１８の情報に基づき、高さ計測センサ１１及び二次元センサ１２の実行タイミングを管理する。

図３は一実施形態における検出システムの機能ブロックを示している。制御装置１３は、高さ計測センサ１１及び二次元センサ１２の少なくとも一方の実行タイミングを管理する実行管理部３０を備えている。実行管理部３０は、図１、図２に示す検出システムの構成に応じて、例えば下記のようにセンサの実行タイミングを管理する。

（高さ計測センサと二次元センサのみを用いる構成）
（１）高さ計測センサ１１をワークの搬送方向で二次元センサ１２の上流側に配置する場合、実行管理部３０は、所定時間進む度に、又は所定距離だけワークが進む度に、又は継続的に、高さ計測センサ１１を実行し、高さ計測センサ１１で所定の高さを検知したタイミングから所定時間進んだら又は所定距離だけワークが移動したら、二次元センサ１２を実行する。所定時間又は所定距離は、ワーク速度、センサ間の距離等に応じて適宜規定されるが、二次元センサ１２の視野内に高さ計測センサ１１があれば０時間又は０距離でよい。

（２）高さ計測センサ１１をワークの搬送方向で二次元センサ１２の下流側に配置する場合、実行管理部３０は、所定時間進む度に、又は所定距離だけワークが進む度に、又は継続的に、二次元センサ１２を実行し、二次元センサ１２でワークを検知したタイミングから所定時間進んだら又は所定距離だけワークが移動したら、高さ計測センサ１１を実行する。前述と同じく、所定時間又は所定距離は、ワーク速度、センサ間の距離等に応じて適宜規定されるが、二次元センサ１２の視野内に高さ計測センサ１１があれば０時間又は０距離でよい。

（高さ計測センサ及び二次元センサに加えて到来検知センサを用いる構成）
（３）高さ計測センサ１１をワークの搬送方向で二次元センサ１２の上流側に配置する場合、実行管理部３０は、到来検知センサ１８でワークの到来を検知したタイミングで高さ計測センサ１１を実行し、ワークの到来を検知したタイミングから所定時間進んだら又は所定距離だけワークが移動したら、二次元センサ１２を実行する。前述と同じく、所定時間又は所定距離は、ワーク速度、センサ間の距離等に応じて適宜規定されるが、二次元センサ１２の視野内に高さ計測センサ１１があれば０時間又は０距離でよい。

（４）高さ計測センサ１１をワークの搬送方向で二次元センサ１２の下流側に配置する場合、実行管理部３０は、到来検知センサ１８でワークの到来を検知したタイミングで二次元センサ１２を実行し、ワークの到来を検知したタイミングから所定時間進んだら又は所定距離だけワークが移動したら、高さ計測センサ１１を実行する。前述と同じく、所定時間又は所定距離は、ワーク速度、センサ間の距離等に応じて適宜規定されるが、二次元センサ１２の視野内に高さ計測センサ１１があれば０時間又は０距離でよい。

制御装置１３は、計測した高さと取得した二次元情報に基づいて少なくともワークの位置（及び必要に応じてワークの姿勢）を検出するワーク検出部３２をさらに備えている。例えば図６に示すワーク６０の場合、計測した高さＨａに検出平面を設定し、設定した検出平面と取得した二次元画像上のワーク６０の位置（例えば二次元画像上のワークの上面の重心位置（ｕ，ｖ））から少なくともワーク６０の三次元位置Ａ（ｘａ，ｙａ）を検出する。なお、二次元画像上のワークの位置（ｕ，ｖ）の検出は、ブロブ、パターンマッチング等の公知の画像処理技術を利用できる。また、高さ計測センサ１１をワークの搬送方向で二次元センサ１２の上流側に配置する場合、ワークの二次元情報を取得する前にワークの高さを取得しているため、ワーク検出部３２は、二次元センサ１２の視野内でワークが移動する間にワークの位置を検出してもよい。

ワーク速度やワーク量に起因して高さ計測センサ１１と二次元センサ１２の実行タイミングがまちまちになるため、制御装置１３は、ワーク毎に、計測した高さと取得した二次元情報を関連付ける関連付け部３１をさらに備えていてもよい。関連付け部３１は、計測した高さと取得した二次元情報を、二次元配列、データベース等に格納して関連付けておく。

制御装置１３は、機械１５及びツール１６を制御するため、少なくともワークの現在位置（及び必要に応じてワークの移動量）をセンサ座標系から機械座標系に変換する変換部３３をさらに備えていてもよい。ワークの現在位置は、検出したワークの位置とその際に検知したワークの移動量から推定できる。また、ワークの移動量は、移動量検知部１７で検知してもよいし、又は二次元センサ１２で取得した二次元情報から検知してもよい。

機械１５及びツール１６を制御するため、制御装置１３はさらに、少なくとも動作プログラム２１を記憶する記憶部２２と、動作プログラム２１に基づいて機械１５及びツール１６の動作を制御する動作制御部２３と、機械駆動モータ２４を駆動する機械駆動部２５と、ツール駆動モータ２６を駆動するツール駆動部２７と、を備えているとよい。動作プログラム２１は、作業内容に応じて機械１５の基本的な動作指令を記述したプログラムであり、動作制御部２３は、動作プログラム２１に基づいて機械駆動部２５又はツール駆動部２７に動作指令を送出する。機械駆動部２５又はツール駆動部２７は、動作指令に基づいて機械駆動モータ２４又はツール駆動モータ２６に電気を供給する。

変換部３３は、ワークが機械１５の作業可能領域内に進入すると、少なくともワークの現在位置（及び必要に応じてワークの移動量）をセンサ座標系から機械座標系に変換して動作制御部２３に送出し続ける。動作制御部２３は、ワークの現在位置を機械の目標位置とする動作指令を機械駆動部２５へ送出し続けると共に、ツール駆動部２７を制御する。これにより、機械１５がワークを追いかけながら作業を行うことになる。特定のワークに対する作業が完了すると、変換部３３は次のワークの現在位置を機械座標系に変換して動作制御部２３に送出し続け、前述の動作を繰返す。

図４は他の実施形態における検出システム１の構成を示している。この構成では、検出システム１がＣＰＵ等のプロセッサを備えた上位コンピュータ装置３４を備えており、上位コンピュータ装置３４は各制御装置１３と通信可能に接続される。上位コンピュータ装置３４は、高さ計測センサ１１、二次元センサ１２、到来検知センサ１８、移動量検知部１７といった各種センサから取得した情報を高速に処理し、処理結果に基づいて種々の指令を各制御装置１３へ伝達するように構成される。実行管理部３０、関連付け部３１、ワーク検出部３２、及び変換部３３は、制御装置１３に夫々設けられるのではなく、上位コンピュータ装置３４に集約される。これにより、複数の制御装置１３の間で、種々のプログラム、種々のデータ等が共有可能になり、検出システム１の保守性を高めることができる。

図５は検出システム１の概略動作を示している。ステップＳ１０では、到来検知センサを用いてワークの到来を検知する。ステップＳ１１では、ワークの到来を検知したタイミングで高さ計測センサを実行し、ワークの高さを計測する。但し、到来検知センサを用いない場合には、ステップＳ１０が不要となり、所定時間進む度に、又は所定距離だけワークが進む度に、又は継続的に、高さ計測センサを実行してもよい。

ステップＳ１２では、ワークの到来を検知したタイミングから所定時間進んだら又は所定距離だけワークが移動したら二次元センサを実行し、ワークの二次元情報を取得する。但し、到来検知センサを用いない場合には、高さ計測センサで所定の高さを検知したタイミングから所定時間進んだら又は所定距離だけワークが移動したら、二次元センサを実行してもよい。また、高さ計測センサをワークの搬送方向で二次元センサの下流側に配置する場合には、ステップＳ１１とステップＳ１２の順序を入れ替え、二次元センサでワークを検出したタイミングから所定時間進んだら又は所定距離だけワークが移動したら、高さ計測センサを実行してもよい。

ステップＳ１３では、計測した高さと取得した二次元情報からワークの位置（及び必要に応じてワークの姿勢）を検出する。なお、ワーク速度やワーク量に起因して高さ計測センサと二次元センサの実行タイミングがまちまちとなるため、ステップＳ１２とステップＳ１３の間で、ワーク毎に、計測した高さと取得した二次元情報を関連付けておいてもよい。ステップＳ１４では、移動量検知部でワークの移動量を検知する。但し、二次元センサの情報からワークの移動量を検知してもよい。ステップＳ１５では、ワークの位置及びワークの移動量に基づいて機械がワークを追従し、ステップＳ１６でワークに対して作業を行う。

以上の実施形態によれば、高さ計測センサと二次元センサの実行タイミングを管理するため、センサによるワークの見逃しを抑制できる。また、ワークの高さを考慮してワークの位置を検出するため、ワークの位置を正確に検出できることになる。ひいては、高価な三次元センサを使用せずに信頼性の高い検出システムを提供できる。

前述の「〜部」は、半導体集積回路で構成されてもよいし、プロセッサで実行されるプログラムで構成されてもよい。また前述のフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ−ＲＯＭ等に記録して提供してもよい。

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１検出システム
１０ワーク
１１高さ計測センサ
１２二次元センサ
１３制御装置
１４搬送部
１５機械
１６ツール
１７移動量検知部
１８到来検知センサ
２１動作プログラム
２２記憶部
２３動作制御部
２４機械駆動モータ
２５機械駆動部
２６ツール駆動モータ
２７ツール駆動部
３０実行管理部
３１関連付け部
３２ワーク検出部
３３変換部
３４上位コンピュータ装置
６０、６１ワーク
６２二次元センサ
Ｘ搬送方向

Claims

移動するワークの高さを計測する高さ計測センサと、
前記ワークの二次元情報を取得する二次元センサと、
前記高さ計測センサ及び前記二次元センサの少なくとも一方の実行タイミングを管理する実行管理部と、
計測した前記高さと取得した前記二次元情報とに基づいて少なくとも前記ワークの位置を検出するワーク検出部と、
を備える、検出システム。
前記実行管理部は、前記高さ計測センサ又は前記二次元センサの情報に基づいて前記実行タイミングを管理する、請求項１に記載の検出システム。
前記実行管理部は、前記高さ計測センサで所定の高さを検知したタイミングに基づいて前記二次元センサを実行するか、又は前記二次元センサで前記ワークを検知したタイミングに基づいて前記高さ計測センサを実行する、請求項１又は２に記載の検出システム。
前記実行管理部は、所定時間進んだら、又は所定距離だけ前記ワークが移動したら、又は継続的に、前記高さ計測センサ又は前記二次元センサを実行する、請求項１から３のいずれか一項に記載の検出システム。
前記ワーク検出部は、前記二次元センサの視野内で前記ワークが移動する間に前記ワークの位置を検出する、請求項１から４のいずれか一項に記載の検出システム。
前記ワークの到来を検知する到来検知センサをさらに備え、前記実行管理部は、前記到来検知センサの情報に基づいて前記高さ計測センサ及び前記二次元センサを実行する、請求項１から５のいずれか一項に記載の検出システム。
前記ワーク毎に、計測した前記高さと取得した前記二次元情報を関連付ける関連付け部をさらに備える、請求項１から６のいずれか一項に記載の検出システム。
前記ワーク検出部は、計測した前記高さに検出平面を設定し、設定した前記検出平面と取得した前記二次元情報に基づいて前記ワークの位置を検出する、請求項１から７のいずれか一項に記載の検出システム。
前記ワークの移動量を検知する移動量検知部と、
検出した前記ワークの位置及び検知した前記移動量に基づいて前記ワークを追いかけながら作業を行う機械と、
をさらに備える、請求項１から８のいずれか一項に記載の検出システム。
前記ワークは物品又は前記物品を載置可能なトレイを備える、請求項１から９のいずれか一項に記載の検出システム。
前記機械はロボット又は産業機械を含む、請求項９に記載の検出システム。