JP2019162696A - センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法 - Google Patents

センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法 Download PDF

Info

Publication number
JP2019162696A
JP2019162696A JP2018052484A JP2018052484A JP2019162696A JP 2019162696 A JP2019162696 A JP 2019162696A JP 2018052484 A JP2018052484 A JP 2018052484A JP 2018052484 A JP2018052484 A JP 2018052484A JP 2019162696 A JP2019162696 A JP 2019162696A
Authority
JP
Japan
Prior art keywords
measurement
sensor
article
area
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018052484A
Other languages
English (en)
Other versions
JP6687657B2 (ja
Inventor
佐藤 大雅
Taiga Sato
大雅 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2018052484A priority Critical patent/JP6687657B2/ja
Priority to US16/296,979 priority patent/US11390469B2/en
Priority to DE102019106339.6A priority patent/DE102019106339A1/de
Priority to CN201910200018.9A priority patent/CN110303473B/zh
Publication of JP2019162696A publication Critical patent/JP2019162696A/ja
Application granted granted Critical
Publication of JP6687657B2 publication Critical patent/JP6687657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/905Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39508Reorientation of object, orient, regrasp object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

【課題】不要な計測を排除できる物品取り出し装置、及び物品取り出し方法を提供する。【解決手段】物品取り出し装置10は、センサ22と、作業領域14内の物品16の位置姿勢を検出する位置姿勢検出部30と、物品16を取り出すように構成されたロボット18と、センサ22が複数の計測領域を計測するときの位置にそれぞれ対応する複数の計測時センサ位置を評価するための評価用データを記憶するデータ記憶部32と、該評価用データを、センサ22による計測領域の計測後及びロボット18による物品16の取り出し後に更新するデータ更新部34と、更新された評価用データに基づいて、作業領域14の総合評価値を計算する評価値計算部36と、計算された総合評価値に基づいて、複数の計測時センサ位置の中から次回の計測時センサ位置を選択するセンサ位置選択部38とを有する。【選択図】図1

Description

本発明は、センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法に関する。
パレットやコンテナ等で画定される作業領域内に配置された複数の物品のそれぞれの位置及び姿勢を、カメラ等のセンサを用いて計測し、この計測結果に基づいて、ロボットを用いて該物品を取り出すシステムが知られている(例えば特許文献1−5参照)。
特開2013−257182号公報 特開2003−010155号公報 特開2001−300878号公報 特開2008−087074号公報 特開2017−042859号公報
多くの物品取り出し装置では、1つのセンサがその計測範囲(視野)内に作業領域全体を含むように設置・構成されるが、作業領域の大きさやセンサの仕様によっては、作業領域がセンサの計測範囲よりも広い場合がある。このような場合、特定の位置に1つのセンサを設置しただけでは、作業領域全体を計測することができない。そこで、ロボットアーム等の可動部にセンサを取り付けて、センサの位置を変化させながら複数回計測を行うことにより、作業領域全体をカバーする方法が考えられる。
しかし、作業領域内において複数の物品が偏って配置されている場合、複数回の(複数位置での)計測を行うと非効率となる場合がある。例えば、センサによる計測を、互いに異なる複数の位置から行えば作業領域全体を測定できるような装置において、1つの物品を取り出す度に全ての位置での計測を改めて行うような設定がされている場合、取り出された物品を計測した位置以外の位置での計測は無意味になり、物品を取り出すのに要する時間が長くなる。
また、予め定めた順序に従って複数の位置で順次計測を行い、取り出し可能な物品が検出された時点で取り出しを行うような設定がされている場合、順序が1番目の位置での計測は物品の取り出し後に必ず行われるので、やはり無駄な計測を行うことになる場合が多い。従って、作業領域がセンサの計測範囲よりも広い物品取り出し装置では、不要な計測の回数を極力減らすことが望まれる。
本開示の一態様は、複数の物品が配置された作業領域よりも狭い計測範囲を有し、該作業領域に対して可動に構成されたセンサと、前記作業領域の一部である計測領域を前記センサで計測した結果に基づいて、前記物品の位置姿勢を検出する位置姿勢検出部と、前記位置姿勢検出部の検出結果に基づいて、前記計測領域内に配置された複数の物品を取り出すように構成されたロボットと、前記センサが複数の前記計測領域を計測するときの位置にそれぞれ対応する複数の計測時センサ位置を評価するための評価用データを記憶するデータ記憶部と、前記評価用データを、前記センサによる前記計測領域の計測後及び前記ロボットによる前記物品の取り出し後に更新するデータ更新部と、更新された評価用データに基づいて、前記作業領域全体の計測状態を評価するための総合評価値を計算する評価値計算部と、前記総合評価値に基づいて、前記複数の計測時センサ位置の中から前記センサの次回の計測時センサ位置を選択するセンサ位置選択部と、を有する物品取り出し装置である。
本開示の他の態様は、複数の物品が配置された作業領域よりも狭い計測範囲を有し、該作業領域に対して可動に構成されたセンサと、前記作業領域の一部である計測領域を前記センサで計測した結果に基づいて、前記物品の位置姿勢を検出する位置姿勢検出部と、前記位置姿勢検出部の検出結果に基づいて、前記計測領域内に配置された複数の物品を取り出すように構成されたロボットと、を用いた物品取り出し方法であって、前記センサが複数の前記計測領域を計測するときの位置にそれぞれ対応する複数の計測時センサ位置を評価するための評価用データを記憶することと、前記評価用データを、前記センサによる前記計測領域の計測後及び前記ロボットによる前記物品の取り出し後に更新することと、更新された評価用データに基づいて、前記作業領域全体の計測状態を評価するための総合評価値を計算することと、前記総合評価値に基づいて、前記複数の計測時センサ位置の中から前記センサの次回の計測時センサ位置を選択することと、を含む物品取り出し方法である。
本開示によれば、無駄な計測を排除して、センサの移動や検出に要する時間を節約でき、複数の物品の取り出しに要する時間を大幅に削減することができる。
物品取り出し装置の一構成例を示す図である。 作業領域と計測領域との関係の一例を示す図である。 第1実施例における処理の一例を示すフローチャートである。 初回の計測において、各計測時センサ位置から作業領域を計測した後の、評価用データの変化の例を示す図である。 第1の計測領域内のワークを取り出した後の、評価用データの変化の例を示す図である。 2回目の計測において、各計測時センサ位置から作業領域を計測した後の、評価用データの変化の例を示す図である。 3回目の計測において、第3の計測時センサ位置から作業領域を計測した後の、評価用データの変化の例を示す図である。 第2実施例における処理の一例を示すフローチャートである。 計測領域が3次元形状を有する場合を例示する図である。
(第1実施例)
図1は、好適な実施形態に係る物品取り出し装置10の一構成例を示す図である。物品取り出し装置(ロボットシステム)10は、所定の作業領域(図示例ではコンテナ12の内部空間14)内に配置された複数の物品(ワーク)16を取り出し可能に構成されたロボット18と、ロボット18に接続され、ロボット18を制御するロボット制御装置20と、作業領域14に対して可動に構成された(図示例ではロボット18に取り付けられた)センサ22とを有する。
ロボット18は、例えば6軸の多関節ロボットであり、ロボットアーム等の可動部24と、可動部24に取り付けられたハンド26とを有し、可動部24に取り付けられたセンサ22によって検出されたワーク16の位置姿勢に基づいて、作業領域14内のワーク16を(多くの場合、1つずつ)取り出すことができるように構成されている。ハンド26としては、把持式や吸着式ハンド等、ワーク16の種類や形状(図示例では円盤状)に応じて種々のものが使用可能である。
ロボット制御装置20は、作業領域14の一部である計測領域(後述)をセンサ22で計測して得られた計測結果に基づいて、ワーク16の位置姿勢を検出する位置姿勢検出部30と、センサ22が作業領域14を計測するときの該センサの位置にそれぞれ対応する複数の計測時センサ位置を評価するための評価用データを記憶するデータ記憶部32と、記憶された評価用データを、センサ22による計測領域の計測後及びロボット18によるワークの取り出し後に更新するデータ更新部34と、更新された評価用データに基づいて、作業領域14全体の計測状態を評価するための総合評価値を計算する評価値計算部36と、計算された総合評価値に基づいて、複数の計測時センサ位置の中からセンサ22の次回の計測時センサ位置を選択するセンサ位置選択部38とを有する。ロボット制御装置20のこれらの機能は、ロボット制御装置20が有する演算処理装置(プロセッサ)及びメモリ等によって実現可能であるが、これらの機能の少なくとも一部を、ロボット制御装置20以外の他の計算機(例えばパーソナルコンピュータ)等に担わせることも可能である。
センサ22は、例えば、ロボット制御装置20に接続されたCCDカメラ又はCMOSカメラ等のカメラであり、作業領域14内にパターン光を投影し、ワーク16の画像を取得することができる。またセンサ22は、該センサから各ワークまでの距離(3次元位置)を測定できるものでもよい。本実施例では、センサ22の計測範囲(視野)は作業領域14よりも小さく、故にセンサ22で作業領域14を計測したときの計測領域は、作業領域14の一部に相当する。従って作業領域全体を計測するためには、センサ22の位置を変えて複数回の計測を行うことが必要となる。
センサ22が取得した画像(データ)は、ロボット制御装置20に送信され、上述の位置姿勢検出部30は、該画像に写ったパターン上の点の3次元座標を求めることにより、各ワークの表面の3次元位置(すなわち各ワークの3次元的な位置及び姿勢)を計算することができる。但しセンサ22はこのようなカメラに限られず、作業領域14内の各ワークの位置姿勢を取得できるものであれば、どのような手段も利用可能である。
なお本開示において、ワークの「位置姿勢」なる用語は通常、ワークの位置及び姿勢を意味するが、例えばワークが球状である場合等、ロボットによるワークの取り出しに際し該ワークの姿勢を考慮する必要がない場合は、位置のみを表すこともある。
図2は、複数のワーク16がランダムに配置されたコンテナ12(作業領域14)を上から見た図である。ワーク16が存在し得る作業領域14は、センサ22の計測領域よりも広く、故にセンサ22による1回の(1箇所からの)計測では、作業領域14全体を計測することはできない、そこで作業領域14全体を計測するためには、少なくとも2回の(2箇所からの)計測が必要である。本実施例では、作業領域14全体を計測するためには4つの位置からの計測が必要であるとし、該4つの位置を「(第1〜第4の)計測時センサ位置」と称するものとする。さらに、第1〜第4の計測時センサ位置のそれぞれに対応する計測領域を、それぞれ第1〜第4の計測領域40a〜40dとする。
図3は、第1実施例における処理(物品取り出し方法)の一例を示すフローチャートである。先ずステップS1において、作業領域全体に未計測を示す値(例えばゼロ)を設定する。
次にステップS2において、それぞれの計測時センサ位置で作業領域の計測を行ったとしたときの、総合評価値を計算する。ここで総合評価値とは、作業領域14全体の計測状態を評価するための指標となる値であり、ある計測領域を計測する度に更新される評価用データに基づいて計算される。また評価用データとは例えば、各計測領域を所定の間隔で分割した微小領域(セル)ごとに、センサ22による計測済みか未計測かを表す値である。例えば、作業領域14が平面視で500mm×340mmの長方形形状を有し、各計測領域が平面視で300mm×200mmの長方形形状を有し、さらに各計測領域を1辺の長さ1mmの正方形に分割した場合、各計測領域は60000個のセルを含むことになる。ここでさらに、あるセルが計測済みの場合はそのセルに評価用データとして1を設定し、未計測の場合はゼロを設定するとすれば、各計測領域のセルの評価用データの合計の最大値は60000(最小値はゼロ)となる。また図2に示すように、各計測領域は境界付近での物品の検出を確実に行うためにある程度の重複領域を有するので、作業領域全体の総合評価値は単純に240000(60000×4)とはならず、170000となる。従って最初にS2を実行したときは、全ての計測領域が未計測なので、総合評価値はゼロとなる。
次にステップS3では、次回の計測によって総合評価値が現状よりも高くなるような計測時センサ位置(計測領域)が、少なくとも1つ存在するか否かを判断する。ここで、最初にS3を実行したときは、図4のA〜D部に示すように、いずれの計測時センサ位置で計測を行っても、計測された領域内の60000セルの各々において評価用データがゼロから1に更新されるので、総合評価値もゼロから60000に上昇することになり、処理はステップS4に進む。
次のステップS4では、計測(及び後述する更新)を行った結果、最も総合評価値が高くなるような計測時センサ位置を選択する。但し最初にステップS4を実行したときは、どの計測領域を計測しても総合評価値は60000となるので、第1〜第4の計測領域のいずれも選択され得るが、ここでは図4のA部に示したような、第1の計測領域40a(第1の計測時センサ位置)が選択されたとする。
次にステップS5では、選択された計測時センサ位置において、センサ22による作業領域14(計測領域40a)の計測を行い、計測結果(センサ画像の画像処理結果)に基づいてワーク16のそれぞれの位置姿勢を検出する。次にステップS6において、計測された計測領域40aに対応する評価用データを更新する。従ってここでは、第1の計測領域40aの評価用データの合計が60000となり、他の計測領域では、第1の計測領域40aと重複するセルの評価用データのみがゼロから1に更新される。
次にステップS7では、ステップS5において位置姿勢が検出されたワークのうち、ロボットによる取り出しが行われていないワークがあるか否かを判定する。ここで図4に示すように、計測領域40a内に複数のワーク16が存在する場合、一度の計測で複数のワーク16の位置姿勢が検出可能だが、ワークの取り出しは通常、1つずつ行われるので、取り出されなかったワークの位置姿勢に関する情報は、上述のデータ記憶部32(メモリ)等に保存しておくことが好ましい。
計測領域内に取り出し可能な(位置姿勢が検出された)ワークが少なくとも1つ存在している場合、ステップS8において、取り出すべきワーク(図4の例ではワーク16a)を選択し、選択したワークをロボット18で取り出す(ステップS9)。なおステップS8及びS9では例えば、最も取り出しに適した(例えば最も上方に位置する)ワークを検出・選択し、ロボット28を制御して該ワークを取り出す等の動作が行われるが、このような処理自体は従来技術を用いて実行できるので、詳細な説明は省略する。
次にステップS10において、少なくとも、取り出されたワーク16aが存在していた領域について、評価用データの更新を行う。例えば、図5に示すように、点線で示すワーク16aが取り出された場合、ワーク16aが存在(占有)していた(円形)領域は、ワーク16aの取り出しによって未計測(ワーク16aによって隠されていた領域が現れる)となるので、該円形領域(内の各セル)に対応する評価用データは、1より小さい値(例えばゼロ)に更新される。
またワーク16aから一定の距離以内の領域42(すなわち周辺領域)についても、ワーク16aの取り出しによって他のワークの位置姿勢が変化する可能性があるので、1より小さい値でありかつ、上述の占有領域の更新値(例えばゼロ)より大きい値に更新することが好ましい。例えば、各セルにおける評価用データがワーク16aの取り出し前は全て1である場合、ワーク16aの取り出し後の評価用データは、以下の式(1)で示す値sを1から除算した値とすることができる。なお式(1)において、dは対応するセルとワーク16aの中心との距離を表し、Lはdより大きい所定の距離(例えばワークの半径の3倍)を表すものとする。
Figure 2019162696
式(1)によれば、ワーク16aの中心から一定距離範囲内(例えばワークの半径の1倍〜3倍)の各セルの評価用データは、ワーク16aからの距離に応じて0と1との間の値に更新され、ワーク16aの中心から一定距離を超えて離れた領域内の各セルの評価用データは1から変化しない。従ってここでは、ワークの取り出し状況に応じて第1の計測領域内のセルの評価用データの合計値が低下し、故に総合評価値は60000から低下することになる。
なおステップS7〜S10では、第1の計測領域40a内に取り出し可能な(位置姿勢が検出された)ワークがあればそれを取り出して評価用データを更新する、という処理が繰り返される。
計測された領域内に取り出し可能なワークがなくなったら、2回目のS3の処理が行われる。本例では、第1〜第4のいずれの計測時センサ位置で計測を行っても、計測(更新)後は総合評価値が上昇するが、第1の計測領域40aでは取り出されたワークの周辺以外の領域、すなわち計測領域40a内でかつ周辺領域42の外側の領域は計測済なので、更新後の総合評価値の変化量(上昇幅)は他の3つに比べ小さい。また、未計測である第2〜第4の計測時センサ位置の比較では、第1の計測領域との重複部分の面積が最も小さい計測領域に対応する計測時センサ位置での計測が、最も総合評価値を高くすることになるので、本実施例では図6のD部に示すように、S4において第4の計測時センサ位置が選択され、第4の計測時センサ位置での計測、及び評価用データの更新が行われる(ステップS5、S6)。
本実施例では第4の計測領域40d内にはワークが当初から存在していないので、ステップS8〜S10の処理は実行されず、ステップS7からステップS2に戻る。そして3回目のステップS2では、第3の計測時センサ位置が、次回の計測によって最も総合評価値を高くするセンサ位置として選択される。この理由は、図6又は図7に示すように、第1の計測領域40aと第2の域計測領域40bとの重複部分44には評価用データが1未満の値に更新された領域(セル)が含まれていない一方で、第1の計測領域40aと第3の計測領域40cとの重複部分46には、ワーク16aの取り出しによって評価用データが1未満の値に更新された領域(セル)42の一部が含まれているので、第3の計測領域40cを計測した方が総合評価値がより高くなるからである。
なお4回目のステップS3では、未だ1度も計測されていない第2の計測時センサ位置(計測領域40b)が選択されることになる。以降、このような処理を繰り返すことにより、作業領域内の全てのワークが取り出されれば、ステップS3において、いずれの計測時センサ位置で計測を行っても総合評価値は上昇しない(変化しない)と判定されるので、一連の処理が終了する。
本実施例では、第4の計測領域40dにはワークが存在しないので、第4の計測領域40dが1回計測された後は、ワークの取り出しによって第4の計測時センサ位置の総合評価値が下がることはない。従って第4の計測領域40dを再度計測しても総合評価値は上昇しないので、第4の計測時センサ位置で2回以上計測が行われることはない。また第1〜第3の計測時センサ位置の各々については、対応する計測領域内のワークが取り出されればその占有領域(又は該占有領域とその周辺領域)の評価用データの値が低下するので、次回の計測(更新)による総合評価値の変化量(上昇幅)が大きいと判定され、優先的に計測時センサ位置として選択されることになる。さらに第1〜第3の計測時センサ位置の各々についても、対応する計測領域内のワークが全て取り出された後は、その計測時センサ位置で2回以上計測されることはない。従って本実施例では、無駄な計測を自動的に省くことができ、取り出し作業の所要時間が短縮される。
従来は、図2に示したようにセンサの計測領域が作業領域より狭い場合、ワークを取り出す度に、複数の計測時センサ位置に一定の順序(例えば第1→第2→第3→第4→第1→第2→..)でセンサを移動させ、計測を繰り返す、という処理を行っていた。しかし図2のように複数のワークが作業領域内に偏在している場合、ワークが全く存在していない計測領域(図2の例では計測領域40d)を何度も計測することになり、無駄な計測を繰り返すことになっていた。しかし本実施例によれば、そのような無駄な計測を自動的に省くことができ、その結果として複数の物品を取り出すのに要する時間を大幅に短縮することができるので、効率的なシステムを構築することができる。
(第2実施例)
図8は、第2実施例を説明するフローチャートである。なお第2実施例では、第1実施例と異なる部分についてのみ説明し、第1実施例と同等でよい他の部分については説明を省略する。
第2実施例では、センサ位置選択部38は、第1実施例のように予め定めた複数の(第1〜第4の)計測時センサ位置から計測を行うのではなく、計測時センサ位置を所定の距離間隔で自動的に変化させることにより、総合評価値が最も高くなる計測時センサ位置を計算により自動的に求める(ステップS22)。
一例として、計測時センサ位置を変化させるときの距離間隔は、グリッド状に設定することができる。例えば、作業領域14が平面視で500mm×340mmの長方形形状を有する場合、作業領域14を10mm×10mmの格子に仮想的に分割し、計測時センサ位置を該格子の頂点に順次移動させながら、各位置で計測した場合の総合評価値を計算することができる。なお計測時センサ位置を変化させるときの距離間隔は上述の10mm、又は20mm等の等間隔でもよいし、作業領域内の場所に応じて適宜間隔を変更してもよい。計測時センサ位置を変化させる距離間隔は、センサ22の仕様や許容される処理時間等に応じて適宜設定・変更可能である。
或いは、総合評価値が最も高くなる計測時センサ位置を計算により自動的に求める他の例として、総合評価値の数値的な勾配を利用することもできる。例えば、所定の複数の初期計測時センサ位置の各々での第1の総合評価値と、所定の方向(例えば作業領域をXY平面とした場合の+X,−X,+Y,−Yの4方向)にセンサ位置を一定の(微小)距離変化させたときの第2の総合評価値を求め、第2の総合評価値が第1の総合評価値より大きい場合は、センサ位置をさらに同じ方向に一定距離変化させて総合評価値を求める、という計算を繰り返し行うことにより、各初期計測時センサ位置を起点として、総合評価値が極大となる計測時センサ位置を求めることができる。次に、このようにして求めた、総合評価値が極大となる複数の計測時センサ位置のうち、総合評価値が最大のものを、「総合評価値が最も高くなる計測時センサ位置」として選択・決定することができる。このようなやり方では、初期計測時センサ位置から総合評価値が下がる方向にセンサ位置が移動することが効果的に防止できるので、特に評価用データが膨大な数のセルで構成されている場合に、全てのセルで総合評価値を計算するより効率的に、最適な計測時センサ位置を決定することができる。なお複数の初期計測時センサ位置については特段の制約はなく、例えば、予め作業者等が指定しておいた固定の位置でもよいし、演算処理装置がランダムに決定してもよい。但しランダムに決定する場合でも、複数の初期計測時センサ位置は、ある程度分散配置(予め定めた距離以上互いに離隔して配置)されることが好ましい。
次のステップS23では、ステップS22で計算した計測時センサ位置で(次回の)計測を行うと総合評価値が現状よりも高くなるような計測時センサ位置(計測領域)が、少なくとも1つ存在するか否か、換言すればS22において、次回の計測によって現状よりも総合評価値が高くなるような計測時センサ位置が計算されているか否かを判断する。そしてステップS24では、ステップS22で計算した計測時センサ位置にセンサ22を移動させ、作業領域14の計測を行う。以降の処理は、第1実施例と同様でよい。
第2実施例では、不要な計測を削減できることに加え、第1実施例のように予め計測時センサ位置を設定しておく必要がないので、作業者の負担がより少ない物品取り出し装置を構築することができる。
(第3実施例)
図9は、第3実施例を説明する図である。第1実施例ではセンサ22の計測領域を2次元的なもの(平面)として説明したが、ここでは、センサ22の計測領域40が四角錐台や円錐台等の3次元形状を有し、計測領域40はボクセルのような体積要素の集合として表すことができる。なお第3実施例における処理は、第1実施例又は第2実施例と同等でよいので、詳細な説明は省略する。
第3実施例では、評価用データは各体積要素に相当する値として設定可能である。計測領域を3次元で表した場合、第1又は第2実施例と同等の効果に加え、各ワークについてコンテナ(作業領域)内での深さ方向位置も求めることができるという効果が得られるので、ロボットの取り出し動作をより確実に行うことができる。
10 物品取り出し装置
12 コンテナ
14 作業領域
16 ワーク
18 ロボット
20 ロボット制御装置
22 センサ
24 ロボットアーム
26 ハンド
30 位置姿勢検出部
32 データ記憶部
34 データ更新部
36 評価値計算部
38 センサ位置選択部
40、40a〜40d 計測領域
42 周辺領域
44、46 重複部分

Claims (9)

  1. 複数の物品が配置された作業領域よりも狭い計測範囲を有し、該作業領域に対して可動に構成されたセンサと、
    前記作業領域の一部である計測領域を前記センサで計測した結果に基づいて、前記物品の位置姿勢を検出する位置姿勢検出部と、
    前記位置姿勢検出部の検出結果に基づいて、前記計測領域内に配置された複数の物品を取り出すように構成されたロボットと、
    前記センサが複数の前記計測領域を計測するときの位置にそれぞれ対応する複数の計測時センサ位置を評価するための評価用データを記憶するデータ記憶部と、
    前記評価用データを、前記センサによる前記計測領域の計測後及び前記ロボットによる前記物品の取り出し後に更新するデータ更新部と、
    更新された評価用データに基づいて、前記作業領域全体の計測状態を評価するため総合評価値を計算する評価値計算部と、
    前記総合評価値に基づいて、前記複数の計測時センサ位置の中から前記センサの次回の計測時センサ位置を選択するセンサ位置選択部と、を有する物品取り出し装置。
  2. 前記データ更新部は、前記センサによる未計測領域を含む計測領域が前記センサによって計測されたときに、前記総合評価値が高くなるように前記評価用データを更新する、請求項1に記載の物品取り出し装置。
  3. 前記データ更新部は、前記物品が取り出されたときに、該物品が取り出される前の前記作業領域内での該物品の位置姿勢に基づいて、該物品が占有している占有領域における評価用データ、又は該占有領域及び該占有領域から所定距離以内の周辺領域における評価用データを、前記総合評価値が低くなるように更新する、請求項1又は2に記載の物品取り出し装置。
  4. 前記センサ位置選択部は、予め定めた複数の計測時センサ位置において、対応する計測領域を前記センサで計測するとした場合のそれぞれの評価用データの変化量に基づいて、前記総合評価値が最も高くなる計測時センサ位置を選択する、請求項1〜3のいずれか1項に記載の物品取り出し装置。
  5. 前記センサ位置選択部は、前記計測時センサ位置を自動的に変化させることにより、前記総合評価値が最も高くなる計測時センサ位置を選択する、請求項1〜3のいずれか1項に記載の物品取り出し装置。
  6. 前記評価用データは、各計測時センサ位置に対応する前記センサの計測領域を所定の間隔で分割した微小領域ごとに設定された値である、請求項1〜5のいずれか1項に記載の物品取り出し装置。
  7. 前記センサの計測領域は3次元形状を有する、請求項1〜6のいずれか1項に記載の物品取り出し装置。
  8. 前記センサは前記ロボットの可動部に取り付けられている、請求項1〜7のいずれか1項に記載の物品取り出し装置。
  9. 複数の物品が配置された作業領域よりも狭い計測範囲を有し、該作業領域に対して可動に構成されたセンサと、
    前記作業領域の一部である計測領域を前記センサで計測した結果に基づいて、前記物品の位置姿勢を検出する位置姿勢検出部と、
    前記位置姿勢検出部の検出結果に基づいて、前記計測領域内に配置された複数の物品を取り出すように構成されたロボットと、を用いた物品取り出し方法であって、
    前記センサが複数の前記計測領域を計測するときの位置にそれぞれ対応する複数の計測時センサ位置を評価するための評価用データを記憶することと、
    前記評価用データを、前記センサによる前記計測領域の計測後及び前記ロボットによる前記物品の取り出し後に更新することと、
    更新された評価用データに基づいて、前記作業領域全体の計測状態を評価するための総合評価値を計算することと、
    前記総合評価値に基づいて、前記複数の計測時センサ位置の中から前記センサの次回の計測時センサ位置を選択することと、を含む物品取り出し方法。
JP2018052484A 2018-03-20 2018-03-20 センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法 Active JP6687657B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018052484A JP6687657B2 (ja) 2018-03-20 2018-03-20 センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法
US16/296,979 US11390469B2 (en) 2018-03-20 2019-03-08 Article takeout apparatus and article takeout method using sensor and robot
DE102019106339.6A DE102019106339A1 (de) 2018-03-20 2019-03-13 Vorrichtung zum Entnehmen von Gegenständen und Verfahren zum Entnehmen von Gegenständen unter Verwendung eines Sensors und Roboters
CN201910200018.9A CN110303473B (zh) 2018-03-20 2019-03-15 使用传感器和机器人的物品取出装置以及物品取出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018052484A JP6687657B2 (ja) 2018-03-20 2018-03-20 センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法

Publications (2)

Publication Number Publication Date
JP2019162696A true JP2019162696A (ja) 2019-09-26
JP6687657B2 JP6687657B2 (ja) 2020-04-28

Family

ID=67848072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018052484A Active JP6687657B2 (ja) 2018-03-20 2018-03-20 センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法

Country Status (4)

Country Link
US (1) US11390469B2 (ja)
JP (1) JP6687657B2 (ja)
CN (1) CN110303473B (ja)
DE (1) DE102019106339A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
US20100274391A1 (en) * 2007-12-15 2010-10-28 Abb Ag Determining the position of an object
JP2011251384A (ja) * 2010-06-03 2011-12-15 Yaskawa Electric Corp 移載装置
JP2012024903A (ja) * 2010-07-27 2012-02-09 Fanuc Ltd ワーク取出し装置およびワーク取出し方法
JP2014054715A (ja) * 2012-09-13 2014-03-27 Fanuc Ltd 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134573A (ja) 1987-11-19 1989-05-26 Kawasaki Heavy Ind Ltd 画像処理方法
JP2001300878A (ja) 2000-04-19 2001-10-30 Daihatsu Motor Co Ltd パレット内バラ積みワークの取出方法
JP3288038B1 (ja) 2001-07-04 2002-06-04 裕一 笠井 脊椎間の不安定性測定具
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
DE10319253B4 (de) 2003-04-28 2005-05-19 Tropf, Hermann Dreidimensional lagegerechtes Zuführen mit Roboter
JP4226623B2 (ja) 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6157066B2 (ja) 2012-06-11 2017-07-05 キヤノン株式会社 画像処理装置、物体取出システム、画像処理方法及びプログラム
JP5788460B2 (ja) * 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2017042859A (ja) 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
US10252417B2 (en) * 2016-03-02 2019-04-09 Canon Kabushiki Kaisha Information processing apparatus, method of controlling information processing apparatus, and storage medium
DE102016206980B4 (de) 2016-04-25 2018-12-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Handhabung eines Körpers und Handhabungsvorrichtung
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
JP6902208B2 (ja) * 2017-11-14 2021-07-14 オムロン株式会社 把持方法、把持システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
US20100274391A1 (en) * 2007-12-15 2010-10-28 Abb Ag Determining the position of an object
JP2011251384A (ja) * 2010-06-03 2011-12-15 Yaskawa Electric Corp 移載装置
JP2012024903A (ja) * 2010-07-27 2012-02-09 Fanuc Ltd ワーク取出し装置およびワーク取出し方法
JP2014054715A (ja) * 2012-09-13 2014-03-27 Fanuc Ltd 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置

Also Published As

Publication number Publication date
US11390469B2 (en) 2022-07-19
DE102019106339A1 (de) 2019-09-26
CN110303473B (zh) 2022-10-18
CN110303473A (zh) 2019-10-08
JP6687657B2 (ja) 2020-04-28
US20190291972A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
CN107687855B (zh) 机器人定位方法、装置及机器人
CN103786153B (zh) 物品取出装置及物品取出方法
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
JP4938115B2 (ja) ワーク取出し装置およびワーク取出し方法
CN107206594A (zh) 教导设备、教导方法和机器人系统
JP2014161965A (ja) 物品取り出し装置
EP1418025A2 (en) Article pickup device comprising a robot and a visual sensor
CN108942916B (zh) 工件取出系统
US20200033109A1 (en) Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program
CN104227723A (zh) 工件检测装置和方法、机器人系统及被加工物的制造方法
CN108126914B (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN111683798A (zh) 工件拾取装置以及工件拾取方法
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
US8111876B2 (en) Object position estimating system, object position estimating apparatus, object position estimating method, and object position estimating program
JP7275759B2 (ja) 物体検出方法、物体検出装置およびロボットシステム
JP6758903B2 (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP2019150887A (ja) シミュレーション装置、方法、及びプログラム
CN109835706B (zh) 工件配置系统
JP2016078180A (ja) 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法
JP6687657B2 (ja) センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法
CN105378757A (zh) 放置确定方法、放置方法、放置确定系统以及机器人
CN109789548B (zh) 用于工件校准的方法和使用该方法的机器人系统
US11709192B2 (en) Electromagnetic environment analysis system, electromagnetic environment analysis method, and non-transitory computer-readable medium
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质
JP6202875B2 (ja) 画像測定装置及びその制御用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191021

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200402

R150 Certificate of patent or registration of utility model

Ref document number: 6687657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150