JP2019098478A - 把持装置、把持判定方法および把持判定プログラム - Google Patents

把持装置、把持判定方法および把持判定プログラム Download PDF

Info

Publication number
JP2019098478A
JP2019098478A JP2017233509A JP2017233509A JP2019098478A JP 2019098478 A JP2019098478 A JP 2019098478A JP 2017233509 A JP2017233509 A JP 2017233509A JP 2017233509 A JP2017233509 A JP 2017233509A JP 2019098478 A JP2019098478 A JP 2019098478A
Authority
JP
Japan
Prior art keywords
unit
hand
gripping
determination
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017233509A
Other languages
English (en)
Other versions
JP6881268B2 (ja
Inventor
拓也 池田
Takuya Ikeda
拓也 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017233509A priority Critical patent/JP6881268B2/ja
Priority to EP18202804.3A priority patent/EP3495099B1/en
Priority to US16/180,387 priority patent/US11141866B2/en
Priority to CN201811473303.XA priority patent/CN109927058B/zh
Publication of JP2019098478A publication Critical patent/JP2019098478A/ja
Application granted granted Critical
Publication of JP6881268B2 publication Critical patent/JP6881268B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • B25J15/10Gripping heads and other end effectors having finger members with three or more finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39469Grip flexible, deformable plate, object and manipulate it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39527Workpiece detector, sensor mounted in, near hand, gripper
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39571Grip, grasp non rigid material, piece of cloth
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40583Detect relative position or orientation between gripper and currently handled object

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

【課題】例えば衣類のように重力により垂れ下がったり撓んだりする、把持すると変形する対象物に対しては、これまでの判定技術ではロボットハンドが把持できているかを正確に判定することが難しかった。【解決手段】把持装置は、アーム部と、アーム部に接続され、把持すると変形する対象物を把持可能なハンド部と、ハンド部の第1箇所に配設され、ハンド部の第2箇所を観察可能な観察部と、対象物を把持する把持動作をハンド部に実行させる把持制御部と、把持制御部が把持動作を実行した後にハンド部を静止させた状態で、ハンド部に挟持されていない対象物の一部分が第2箇所を覆い得るようにアーム部を動作させてハンド部の全体を変位させる判定動作を実行し、判定動作の開始後に観察部が第2箇所を観察できなくなった場合に、ハンド部が対象物の把持に成功していると判定する判定部とを備える。【選択図】図6

Description

本発明は、把持装置、把持判定方法および把持判定プログラムに関する。
ロボットハンドが対象物を把持できたか否かを判定する技術が知られている(例えば、特許文献1参照)。
特開2013−10155号公報
ロボットハンドが把持する対象物が剛体であるならば、把持部分の圧力や挟持幅を監視することにより、把持が成功したか否かを判断できる。しかし、例えば衣類のように重力により垂れ下がったり撓んだりする、把持すると変形する対象物に対しては、これまでの判定技術ではロボットハンドが把持できているかを正確に判定することが難しかった。
本発明は、このような問題を解決するためになされたものであり、把持すると変形する対象物をロボットハンドが把持できているかを正確に判定する技術を提供するものである。
本発明の第1の態様における把持装置は、アーム部と、アーム部に接続され、把持すると変形する対象物を把持可能なハンド部と、ハンド部の第1箇所に配設され、ハンド部の第2箇所を観察可能な観察部と、対象物を把持する把持動作をハンド部に実行させる把持制御部と、把持制御部が把持動作を実行した後にハンド部を静止させた状態で、ハンド部に挟持されていない対象物の一部分が第2箇所を覆い得るようにアーム部を動作させてハンド部の全体を変位させる判定動作を実行し、判定動作の開始後に観察部が第2箇所を観察できなくなった場合に、ハンド部が対象物の把持に成功していると判定する判定部とを備える。
このように対象物が変形するという特徴を利用した判定動作を実行することにより、対象物の把持の成否を正確に判定することができる。この場合、当該第2箇所は、ハンド部のうち床面方向を向く面に設定されていると良い。このように設定されていると、対象物を持ち上げるという単純な判定動作でも、対象物が重力により垂れ下がって第1箇所と第2箇所の間に介在することになるので、より容易に把持判定を行うことができる。
また、当該第2箇所は、ハンド部の姿勢に応じて再設定されるようにしても良い。ハンドは、対象物に対して相対的な姿勢を変化させながら把持動作を行うこともあるので、対象物を把持する姿勢に応じて第2箇所を変更することにより、より正確に把持判定を行うことができる。
また、観察部は、第2箇所を撮像する撮像ユニットとすることができる。撮像ユニットの出力画像を用いれば、第2箇所に能動素子を配置することなく第2箇所を観察することができる。一方、観察部を受光センサとし、第2箇所に発光部が設けても良い。判定動作によって第2箇所が対象物に覆われると、受光センサは発光部からの発光光を受光できなくなるので、より簡易な装置構成で把持判定を行うことができる。
判定動作は、ハンド部の全体を持ち上げる動作、ハンド部の全体をアーム部に対して旋回させる動作の、少なくともいずれかを含むように構成することができる。このような単純な動作であっても、正確に把持判定を行うことができる。
また、判定部は、ハンド部を制御する制御動作中に判定動作と一致する動作が含まれていた場合に、把持判定を実行しても良い。例えば、把持した対象物を搬送する制御動作が、予め定められた判定動作と一致する動作を含むのであれば、判定部は、わざわざ独立した判定動作を実行することなく、その制御動作の実行時に把持判定を行えば良い。このように制御動作を利用することで、把持装置が実行するタスクの達成時間を短縮することができる。
また、把持装置がハンド部の把持対象を認識する認識部を備えるのであれば、判定部は、認識部が把持対象を変形する対象物であると認識した場合に、把持判定を実行するようにしても良い。このように構成すれば、対象物に応じて適切な把持判定を行うことができる。
また、他の判定手法によって把持していると判定できなかった場合に、判定部が当該把持判定を実行するようにしても良い。例えば把持する対象物の多くが剛体であるならば、まずは剛体に対する判定手法を用いて把持判定を行うと良い。このように段階的に把持判定を行えば、確実性と迅速性の向上に資する。
また、本発明の第2の態様における把持判定方法は、アーム部と、アーム部に接続され、把持すると変形する対象物を把持可能なハンド部と、ハンド部の第1箇所に配設され、ハンド部の第2箇所を観察可能な観察部とを備える把持装置のための把持判定方法であって、ハンド部が対象物を把持する把持動作を実行する把持ステップと、把持動作を実行した後にハンド部を静止させた状態で、ハンド部に挟持されていない対象物の一部分が第2箇所を覆い得るようにアーム部を動作させてハンド部の全体を変位させる判定動作を実行する判定動作ステップと、判定動作の開始後に観察部が第2箇所を観察できなくなった場合に、ハンド部が対象物の把持に成功していると判定する把持判定ステップとを有する。
また、本発明の第3の態様における把持判定プログラムは、アーム部と、アーム部に接続され、把持すると変形する対象物を把持可能なハンド部と、ハンド部の第1箇所に配設され、ハンド部の第2箇所を観察可能な観察部とを備える把持装置で実行される把持判定プログラムであって、ハンド部が対象物を把持する把持動作を実行する把持ステップと、把持動作を実行した後にハンド部を静止させた状態で、ハンド部に挟持されていない対象物の一部分が第2箇所を覆い得るようにアーム部を動作させてハンド部の全体を変位させる判定動作を実行する判定動作ステップと、判定動作の開始後に観察部が第2箇所を観察できなくなった場合に、ハンド部が対象物の把持に成功していると判定する把持判定ステップとを把持装置のコンピュータに実行させる。
このような第2、第3の態様においても、第1の態様と同様に、対象物の把持の成否を正確に判定することができる。
本発明により、把持すると変形する対象物をロボットハンドが把持できているかを正確に判定する技術を提供することができる。
把持装置を備える移動ロボット100の外観斜視図である。 移動ロボットの制御ブロック図である。 ハンドユニットが把持動作を開始する様子を示す図である。 ハンドユニットが対象物を把持する様子を示す図である。 第1の判定動作を説明する図である。 第2の判定動作を説明する図である。 第3の判定動作を説明する図である。 第1の搬送処理を説明するフロー図である。 第2の搬送処理を説明するフロー図である。 他の例のハンドユニットの外観斜視図である。 更に他の例のハンドユニットの外観斜視図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
図1は、本実施形態に係る把持装置を備える移動ロボット100の外観斜視図である。図においてxy平面は移動ロボット100の走行面であり、z軸プラス方向は天頂方向を示す。移動ロボット100は、大きく分けて台車部110、本体部120と、把持装置を構成するアームユニット130およびハンドユニット140とによって構成される。
台車部110は、円筒形状の筐体内に、それぞれが走行面に接地する2つの駆動輪111と1つのキャスター112とを支持している。2つの駆動輪111は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪111は、不図示のモータによって独立して回転駆動される。キャスター112は、従動輪であり、台車部110から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部110の移動方向に倣うように追従する。移動ロボット100は、例えば、2つの駆動輪111が同じ方向に同じ回転速度で回転されれば直進し、逆方向に同じ回転速度で回転されれば台車部110の2つの駆動輪111の中央を通る鉛直軸周りに旋回する。
本体部120は、アームユニット130を支持すると共に、ユーザインタフェースの一部を成す表示パネル123を有する。表示パネル123は、例えば液晶パネルであり、キャラクターの顔を表示したり、移動ロボット100に関する情報を提示したりする。表示パネル123は、表示面にタッチパネルを有し、ユーザからの指示入力を受け付けることができる。
本体部120は、アームユニット130およびハンドユニット140の動作範囲を見渡せる位置に第1撮像ユニット121を有する。第1撮像ユニット121は、例えばCMOSイメージセンサである撮像素子と画像データ生成部を含み、アームユニット130およびハンドユニット140の動作空間を撮像して生成した画像データを出力する。また、本体部120には、コントロールユニット190が設けられている。コントロールユニット190は、後述の制御部とメモリ等を含む。
本体部120に支持されたアームユニット130は、アーム部の一例であり、例えば図示するように2つのリンクを有し、それぞれのリンク基端に設けられた不図示のモータの駆動によって様々な姿勢を取り得る。アームユニット130の先端部にはハンドユニット140が接続されており、ハンドユニット140の全体は、アームユニット130の先端リンクの伸延方向と平行な旋回軸周りに、不図示のモータの駆動によって旋回し得る。ハンドユニット140は、ハンド部の一例であり、先端部に不図示のモータによって駆動される第1フィンガー140aと第2フィンガー140bを備える。第1フィンガー140aと第2フィンガー140bは、点線矢印で示すようにそれぞれが互いに接近するように動作して、対象物を挟持することにより把持を実現する。
ハンドユニット140のうち第1箇所として予め設定された位置に、第2撮像ユニット141が配設されている。また、ハンドユニット140のうち第2箇所として予め設定された位置に、指標142が配設されている。第1箇所は、設置する第2撮像ユニットによって指標142を観察可能な位置に設定される。第2箇所は、床面方向(図の座標軸においてz軸マイナス方向)を向く面に設定される。本実施形態においては、第1箇所は、第1フィンガー140aと第2フィンガー140bの支持基部の下面側に設定され、第2箇所は、第2フィンガー140bの下面側に設定されている。
第2撮像ユニット141は、観察部の一例であり、例えばCMOSイメージセンサである撮像素子と画像データ生成部を含み、指標142の近傍空間を撮像して生成した画像データを出力する。指標142は、例えば十字形状などの画像認識しやすいマーカーであり、マーカーが印刷されたシールが第2箇所に貼着されていても良いし、第2箇所に直接的に印刷されていても良い。指標142は、第2撮像ユニット141によって撮像され、画像認識可能な指標であれば構わない。
図2は、移動ロボット100の制御ブロック図である。制御部200は、例えばCPUであり、本体部120のコントロールユニット190に格納されている。駆動輪ユニット210は、駆動輪111を駆動するための駆動回路やモータを含み、台車部110に設けられている。制御部200は、駆動輪ユニット210へ駆動信号を送ることにより、駆動輪111の回転制御を実行する。
アームユニット130は、図1を用いて説明した構造体の他にも、モータを駆動する駆動回路や動作量を監視するためのエンコーダ等を備える。制御部200は、アームユニット130へ駆動信号を送ることにより、アームの動作や姿勢を制御する。ハンドユニット140は、図1を用いて説明した構造体の他にも、モータを駆動する駆動回路や動作量を監視するためのエンコーダ等を備える。制御部200は、ハンドユニット140へ駆動信号を送ることにより、ハンドの動作や姿勢を制御する。
センサユニット220は、移動中に障害物を検出したり、外部からの接触を検出したりする各種センサを含み、台車部110および本体部120に分散して配置されている。制御部200は、センサユニット220に制御信号を送ることにより、各種センサを駆動してその出力を取得する。
第1撮像ユニット121は、上述のように、アームユニット130およびハンドユニット140の動作範囲を観察するために利用され、制御部200の撮像指示に従って撮像を実行する。第1撮像ユニット121は、生成した画像データを制御部200へ引き渡す。第2撮像ユニット141は、上述のように、指標142の近傍空間を観察するために利用され、制御部200の撮像指示に従って撮像を実行する。第2撮像ユニット141は、生成した画像データを制御部200へ引き渡す。
メモリ240は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ240は、移動ロボット100を制御するためのロボット制御プログラムの他にも、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。ロボット制御プログラムは、把持装置を構成するアームユニット130およびハンドユニット140を制御するための把持制御プログラムを包含する。ユーザIF260は、表示パネル123や、例えば合成音声を発話するスピーカなどであり、制御部200の制御に従ってユーザに情報を提供したり、ユーザの指示を受け付けたりするためのユーザインタフェースである。
制御部200は、制御に関わる様々な演算を実行する機能演算部としての役割も担う。把持制御部201は、対象物を把持する把持動作を制御する。判定部202は、ハンドユニット140が対象物の把持に成功したか否かを判定する。それぞれの具体的な演算内容については、順に詳述する。
図3は、ハンドユニット140が把持動作を開始する様子を示す図である。ここでは、ハンドユニット140が把持を試みる把持対象を、テーブル910上に載置されたタオル900であるとする。タオル900は、把持すると重力の影響を受けて全体の形が変形する対象物の一例である。このような対象物としては、布類の他にも、紙、革、ケーブルなどが挙げられる。
ハンドユニット140は、第1フィンガー140aおよび第2フィンガー140bを開き、第2撮像ユニット141を配設した第1箇所および指標142を配設した第2箇所が床面方向(ここではテーブル上面方向)を向く姿勢で、タオル900へ接近する。具体的には、把持制御部201は、第1撮像ユニット121から得た画像データを用いて、タオル900のうち把持可能な部分を決定する。そして、ハンドユニット140を上記の状態に整え、アームユニット130を決定した把持可能部分へ向けて(図の太矢印方向)推進させる。
図4は、図3に続き、ハンドユニット140が対象物であるタオル900を把持する様子を示す図である。把持制御部201は、開いた第1フィンガー140aおよび第2フィンガー140bの間にタオル900の把持可能部分を収めたと認識したら、それぞれのフィンガーを太矢印の方向へ駆動して当該把持可能部分を挟み込む。
ここまでの動作は対象物を把持する把持動作であり、形状が変形するという対象物の性質から、制御部200は、この段階では実際に把持に成功しているか否かについては認識できていない場合が多い。そこで、本実施形態においては、制御部200は、対象物の把持に成功しているかを判定するための判定動作を実行する。判定動作は、把持動作を実行した後にハンドユニット140を静止させた状態で、ハンドユニット140に挟持されていない対象物の一部分が第2箇所を覆い得るようにアームユニット130を動作させてハンドユニットの全体を変位させるものである。以下に、判定動作のいくつかの例を説明する。
図5は、第1の判定動作を説明する図である。第1の判定動作は、ハンドユニット140の全体を持ち上げる動作である。判定部202は、把持動作が完了したハンドユニット140を、アームユニット130を制御して太線矢印で示す上方(z軸プラス方向)へ移動させる。ハンドユニット140がタオル900の把持に成功していれば、タオル900は、テーブル910の上面から持ち上げられ、フィンガー140aおよび第2フィンガー140bで挟持された部分よりも下の部分が垂れ下がる。すると、垂れ下がった部分が、第2撮像ユニット141と指標142の間に介在して、第2撮像ユニット141からは指標142が観察できなくなる。判定部202は、この現象を利用する。すなわち、判定部202は、第1の判定動作を行った結果、それまで観察できていた指標142が観察できなくなった場合に、ハンドユニット140がタオル900の把持に成功していると判定する。具体的には、判定部202は、判定動作行ってから第2撮像ユニット141に撮像信号を送信し、その結果取得された画像データを解析して、指標142が写り込んでいないことを確認する。なお、第1の判定動作は、真上に持ち上げる動作に限らず、周囲の状況等に応じて斜め上方へ持ち上げる動作であっても良い。
図6は、第2の判定動作を説明する図である。第2の判定動作は、ハンドユニット140の全体をアームユニット130に対して旋回させる動作である。判定部202は、把持動作が完了したハンドユニット140を、アームユニット130を制御して太線矢印で示す方向へ旋回させる。すなわち、ハンドユニット140がタオル900の把持に成功していれば、タオル900の垂れ下がった部分あるいは巻き付いた部分により指標142が覆われるようにハンドユニット140を旋回させる。判定部202は、第2の判定動作を行った結果、それまで観察できていた指標142が観察できなくなった場合に、ハンドユニット140がタオル900の把持に成功していると判定する。具体的には、判定部202は、判定動作行ってから第2撮像ユニット141に撮像信号を送信し、その結果取得された画像データを解析して、指標142が写り込んでいないことを確認する。なお、第2の判定動作は、指標142を第1フィンガー140aの下面に設けた場合には、図の太線矢印とは反対側へ旋回させると良い。また、テーブル910とハンドユニット140の距離が近いなどの状況によっては、ハンドユニット140を一旦テーブル910から離間させた後に旋回しても良い。
図7は、第3の判定動作を説明する図である。第3の判定動作は、ハンドユニット140の全体をテーブル910の表面と平行な方向へ振る動作である。判定部202は、把持動作が完了したハンドユニット140を、アームユニット130を制御して太線矢印で示す方向へ何度か往復運動させる。ハンドユニット140がタオル900の把持に成功していれば、タオル900の垂れ下がった部分が揺らいで断続的に第2撮像ユニット141と指標142の間に介在する。判定部202は、第3の判定動作を開始した後に、それまで観察できていた指標142が断続的にまたは継続して観察できなくなった場合に、ハンドユニット140がタオル900の把持に成功していると判定する。具体的には、判定部202は、判定動作開始後に第2撮像ユニット141に撮像信号を連続的に送信し、その結果取得された画像データを解析して、指標142が断続的にまたは継続して写り込んでいないことを確認する。
以上3つの判定動作について説明したが、判定部202は、判定動作を行って得られた画像データに指標142が写っていた場合は、把持不成功と判定しても良いし、把持状況不明と判定しても良い。把持不成功と判定する場合は、制御部200は、さらに把持動作をやり直しても良い。把持状況不明と判定する場合は、判定部202は、別の判定動作を実行して再判定を行っても良いし、より厳密な他の判定手法を用いて判定しても良い。また、判定動作は、上記の3つに限らず、把持動作を実行した後にハンドユニット140を静止させた状態で、ハンドユニット140に挟持されていない対象物の一部分が第2箇所を覆い得るようにアームユニット130を動作させてハンドユニットの全体を変位させるものであれば良い。
なお、以上の説明において、「下面」は、ハンドユニット140が把持動作を実行する場合に床面方向を向き得る面であることを意味し、常に床面方向を向いている場合を意味するものではない。上述のように、ハンドユニット140は、アームユニット130の先端リンクに対して旋回可能であるので、把持動作中や搬送中に第1箇所や第2箇所が床面方向ではない方向へ向いても構わない。また、「床面方向を向く面」は、床面と正対する面に限らず、面の法線が重力方向の成分を有するものであれば良い。いずれにしても、把持する対象物の一部が重力によって垂れ下がった場合に、第1箇所と第2箇所の間に当該対象物が介在する関係にあれば良い。
次に、移動ロボット100による搬送物の搬送処理について説明する。図8は、第1の搬送処理を説明するフロー図である。図示するフローは、搬送タスクのうち把持動作を含む一部分であり、移動ロボット100が、搬送対象物付近に到達した時点から開始する。搬送対象物は、把持すると重力の影響を受けて全体の形が変形するものである。
把持制御部201は、ステップS101で、搬送対象物に対して把持動作を実行する。具体的には、図3および図4を用いて説明した動作と同様の動作を実行する。把持動作が完了したら、ステップS102へ進み、制御部200は、搬送タスクに規定された搬送動作を開始する。
制御部200は、搬送動作を開始すると共に、規定時間以内の搬送動作に判定動作と一致する動作が含まれるか否かを判断する(ステップS103)。例えば、搬送対象物を持ち上げる動作は、一般的な搬送動作に含まれることが多い。この場合に判定部202は、搬送動作が上述の第1の判定動作と一致する動作を含むと判断して、搬送対象物を持ち上げるこの動作を判定動作として利用する。すなわち、判定部202は、規定時間以内の搬送動作に判定動作と一致する動作が含まれると判断した場合には、その動作を判定動作として利用することにより、別途判定動作を実行することを省略して、搬送タスク完遂の時間短縮を図る。一方、規定時間以内の搬送動作に判定動作と一致する動作が含まれないと判断した場合は、判定部202は、別途判定動作を実行する(ステップS104)。
判定部202は、ステップS105へ進み、把持判定を行う。具体的には、上述のように、それまで観察できていた指標142が観察できなくなったか否かを確認する。そして、ステップS106へ進み、指標142が観察できなくなった場合には搬送対象物の把持に成功していると判定し、ステップS107へ進む。そうでなければ、ステップS101へ戻って把持制御をやり直す。この場合は、強制的にステップS103からステップS104へ進み、前回とは異なる判定動作を実行するように制御しても良い。なお、ステップS101へ戻る処理が規定回数続いた場合には、一連の処理を停止させても良い。制御部200は、ステップS107へ進んだら、残りの搬送タスクを実行して一連の処理を終了する。
図9は、第1の搬送処理とは別の第2の搬送処理を説明するフロー図である。図示するフローは、搬送タスクのうち把持動作を含む一部分であり、移動ロボット100が、搬送対象物付近に到達した時点から開始する。
制御部200は、ステップS201で、搬送対象物の認識を行う。具体的には、第1撮像ユニット121の画像データを取得し、画像認識技術により搬送対象物を特定する。認識作業が完了したら、ステップS202へ進み、搬送対象物に対して把持動作を実行する。具体的には、図3および図4を用いて説明した動作と同様の動作を実行する。把持動作が完了したら、ステップS203へ進み、ステップS201の認識結果により搬送対象物が把持すると重力の影響を受けて全体の形が変形するものであるか否かを判断する。変形するものであると判断した場合にはステップS204へ進み、そうでないと判断した場合にはステップS206へ進む。
ステップS204へ進んだ場合は、判定部202は、判定動作を実行する。そして、ステップS205へ進み、第1の把持判定として、上述のようにそれまで観察できていた指標142が観察できなくなったか否かを確認する。観察できなくなっていれば把持に成功したと判定する。
ステップS206へ進んだ場合は、判定部202は、第2の把持判定を実行する。第2の把持判定は、剛体に対する把持判定である。剛体に対する把持判定は多く知られているが、例えば、フィンガー140aに設けられた圧力センサが所定値以上の値を示し、かつ、フィンガー140aと第2フィンガー140bが互いに離間している場合に、把持に成功したと判定する。
ステップS205またはステップS206からステップS207へ進むと、制御部200は、判定部202が搬送対象物の把持に成功していると判定した場合にはステップS208へ進み、そうでなければ、ステップS202へ戻って把持制御をやり直す。このとき、ステップS204へ進む場合には、前回とは異なる判定動作を実行するように制御しても良い。なお、ステップS202へ戻る処理が規定回数続いた場合には、一連の処理を停止させても良い。制御部200は、ステップS208へ進んだら、残りの搬送タスクを実行して一連の処理を終了する。
なお、搬送処理は上述の2つに限らず、さまざまに構成し得る。例えば、事前に搬送対象物の認識を行うことなく、搬送対象物が剛体であることを前提に剛体を対象とする判定手法を実行し、この手法で把持していると判定できなかった場合に、判定動作を実行して把持判定する上述の判定手法を実行するようにしても良い。
以上説明した実施形態において、ハンドユニット140に挟持されていない対象物の一部分が第2箇所を「覆う」とは、対象物の一部分と第2箇所が物理的に接触している場合に限らず、第1箇所と第2箇所の間の空間に対象物の一部分が介在することにより、第1箇所から第2箇所が観察できなくなる状態を表す。また、上述の実施形態においては、指標142をマーカーとして設けたが、観察部としての第2撮像ユニット141は、ハンドユニット140における第2箇所の形状そのものを指標に代替する認識対象としても良い。すなわち、第2箇所が対象物の一部に覆われていない場合に観察される輪郭を認識対象とし、この輪郭が画像データから抽出できなくなった場合に、第2箇所を観察できなくなったと判断する。認識対象をこのように定めれば、指標142を特別に設ける手間が省ける。
次にハンドユニットの変形例について説明する。図10は、他の例におけるハンドユニット340の外観斜視図である。ハンドユニット340は、上述のハンドユニット140と同様に第1フィンガー140aおよび第2フィンガー140bを備える。しかし、ハンドユニット140と異なり、第1箇所には第2撮像ユニット141に代えて受光センサ343が配設されており、第2箇所には指標142に代えて赤外光を発光するLED344が配設されている。なお、図においては、把持対象との相対的な位置関係がわかるように、図3等と同様にテーブル910とタオル900を示している。
受光センサ343は、観察部の一例であり、LED344は、発光部の一例である。受光センサ343は、LED344からの発光光を受光することにより第2箇所の状況を観察する。受光センサ343とLED344は、第2箇所に配設されたLED344が対象物に覆われると、受光センサ343がLED344からの発光光を受光できなくなるようにそれぞれ調整されている。
このように、受光部と発光部を第1箇所と第2箇所に設けることによっても、判定動作を通じて対象物の把持に成功したかを判定できる。このような受光部と発光部を設ける構成は、撮像ユニットを用いる構成よりも簡易であり、把持装置としてのコストを軽減できる。
図11は、更に他の例のハンドユニット440の外観斜視図である。ハンドユニット440は、三本爪で対象物を挟み込むクロー型のハンドユニットである。具体的には図示するように、ハンドユニット440は、第1クロー440a、第2クロー440b、第3クロー440cを有し、点線矢印で示すようにそれぞれの先端部が互いに接近するように動作して、対象物を挟むことにより把持を実現する。ハンドユニット440も、ハンドユニット140と同様に、アームユニット130の先端リンクの伸延方向と平行な旋回軸周りに、不図示のモータの駆動によって旋回し得る。ハンドユニット440は、把持対象物の姿勢などに応じて、クローを突き出しやすいように旋回される。なお、図においては、把持対象との相対的な位置関係がわかるように、図3等と同様にテーブル910とタオル900を示している。
ハンドユニット440のうち、3つのクローを動作可能に支持する基体部には、第1受光センサ445a、第2受光センサ445b、第3受光センサ445cが設けられている。第1受光センサ445aは第1クロー440aの基端部近傍に設けられており、第2受光センサ445bは第2クロー440bの基端部近傍に設けられており、第3受光センサ445cは第3クロー440cの基端部近傍に設けられている。また、第1クロー440aの先端部には第1LED446aが設けられており、第2クロー440bの先端部には第2LED446bが設けられており、第3クロー440cの先端部には第3LED446cが設けられている。第1受光センサ445aは、第1LED446aの発光光を受光し他のLEDからの発光光を受光しないように調整されている。第2受光センサ445bは、第2LED446bの発光光を受光し他のLEDからの発光光を受光しないように調整されている。第3受光センサ445cは、第3LED446cの発光光を受光し他のLEDからの発光光を受光しないように調整されている。
判定部202は、判定動作を実行するときに、どのLEDが把持対象物の一部によって覆われ得るのかを判断し、そのLEDが配設されている箇所を第2箇所であると再設定する。すなわち、ハンドユニット440は把持動作時に旋回され得るので、判定動作時にいずれのLEDが下面方向に向いているかを判断する。そして、判定部202は、そのLEDの発光光を受光するように調整された受光センサが、判定動作の開始後に発光光を受光できたかを確認することにより把持の成功を判定する。
このように、ハンドユニットに複数の発光部と受光部の組を設け、ハンドユニットの姿勢に応じてどの発光部と受光部の組を把持判定に利用するかを事前に決定するようにしても良い。なお、発光部と受光部の組に代えて、ハンドユニット140のように撮像ユニットと指標の組を設けても良い。このような構成を採用すれば、さまざまな形式のハンドユニットに対して、上述の判定手法を適用することができる。
以上説明した本実施形態においては、第1箇所と第2箇所は相対的な関係であるので、互いに位置を入れ替えて設定しても良い。例えば、指標142と第2撮像ユニット141の位置を入れ替えても良い。また、複数の指標を配設して、実行する判定動作に応じてどの指標を観察するかを変更しても良い。
また、以上説明した本実施形態においては、搬送物を搬送する移動ロボット100が把持装置を備える例を説明したが、把持装置は、移動機構などを備えない独立した装置であっても構わない。この場合、把持装置の制御に必要なコントロールユニットは、把持装置内に設けられる。
100 移動ロボット、110 台車部、111 駆動輪、112 キャスター、120 本体部、121 第1撮像ユニット、123 表示パネル、130 アームユニット、140 ハンドユニット、140a 第1フィンガー、140b 第2フィンガー、141 第2撮像ユニット、142 指標、190 コントロールユニット、200 制御部、201 把持制御部、202 判定部、210 駆動輪ユニット、220 センサユニット、230 メモリ、240 ユーザIF、340 ハンドユニット、343 受光センサ、344 LED、440 ハンドユニット、440a 第1クロー、440b 第2クロー、440c 第3クロー、445a 第1受光センサ、445b 第2受光センサ、445c 第3受光センサ、446a 第1LED、446b 第2LED、446c 第3LED、900 タオル、910 テーブル

Claims (12)

  1. アーム部と、
    前記アーム部に接続され、把持すると変形する対象物を把持可能なハンド部と、
    前記ハンド部の第1箇所に配設され、前記ハンド部の第2箇所を観察可能な観察部と、
    前記対象物を把持する把持動作を前記ハンド部に実行させる把持制御部と、
    前記把持制御部が前記把持動作を実行した後に前記ハンド部を静止させた状態で、前記ハンド部に挟持されていない前記対象物の一部分が前記第2箇所を覆い得るように前記アーム部を動作させて前記ハンド部の全体を変位させる判定動作を実行し、前記判定動作の開始後に前記観察部が前記第2箇所を観察できなくなった場合に、前記ハンド部が前記対象物の把持に成功していると判定する判定部と
    を備える把持装置。
  2. 前記第2箇所は、前記ハンド部のうち床面方向を向く面に設定されている請求項1に記載の把持装置。
  3. 前記第2箇所は、前記ハンド部の姿勢に応じて再設定される請求項2に記載の把持装置。
  4. 前記観察部は、前記第2箇所を撮像する撮像ユニットである請求項1から3のいずれか1項に記載の把持装置。
  5. 前記観察部は、受光センサであり、前記第2箇所に発光部が設けられた請求項1から3のいずれか1項に記載の把持装置。
  6. 前記判定動作は、前記ハンド部の全体を持ち上げる動作を含む請求項1から5のいずれか1項に記載の把持装置。
  7. 前記判定動作は、前記ハンド部の全体を前記アーム部に対して旋回させる動作を含む請求項1から6のいずれか1項に記載の把持装置。
  8. 前記判定部は、前記ハンド部を制御する制御動作中に前記判定動作と一致する動作が含まれていた場合に、把持判定を実行する請求項1から7のいずれか1項に記載の把持装置。
  9. 前記ハンド部の把持対象を認識する認識部を備え、
    前記判定部は、前記認識部が前記把持対象を変形する対象物であると認識した場合に、把持判定を実行する請求項1から8のいずれか1項に記載の把持装置。
  10. 前記判定部は、他の判定手法によって把持していると判定できなかった場合に、把持判定を実行する請求項1から9のいずれか1項に記載の把持装置。
  11. アーム部と、
    前記アーム部に接続され、把持すると変形する対象物を把持可能なハンド部と、
    前記ハンド部の第1箇所に配設され、前記ハンド部の第2箇所を観察可能な観察部と
    を備える把持装置のための把持判定方法であって、
    前記ハンド部が前記対象物を把持する把持動作を実行する把持ステップと、
    前記把持動作を実行した後に前記ハンド部を静止させた状態で、前記ハンド部に挟持されていない前記対象物の一部分が前記第2箇所を覆い得るように前記アーム部を動作させて前記ハンド部の全体を変位させる判定動作を実行する判定動作ステップと、
    前記判定動作の開始後に前記観察部が前記第2箇所を観察できなくなった場合に、前記ハンド部が前記対象物の把持に成功していると判定する把持判定ステップと
    を有する把持判定方法。
  12. アーム部と、
    前記アーム部に接続され、把持すると変形する対象物を把持可能なハンド部と、
    前記ハンド部の第1箇所に配設され、前記ハンド部の第2箇所を観察可能な観察部と
    を備える把持装置で実行される把持判定プログラムであって、
    前記ハンド部が前記対象物を把持する把持動作を実行する把持ステップと、
    前記把持動作を実行した後に前記ハンド部を静止させた状態で、前記ハンド部に挟持されていない前記対象物の一部分が前記第2箇所を覆い得るように前記アーム部を動作させて前記ハンド部の全体を変位させる判定動作を実行する判定動作ステップと、
    前記判定動作の開始後に前記観察部が前記第2箇所を観察できなくなった場合に、前記ハンド部が前記対象物の把持に成功していると判定する把持判定ステップと
    を前記把持装置のコンピュータに実行させる把持判定プログラム。
JP2017233509A 2017-12-05 2017-12-05 把持装置、把持判定方法および把持判定プログラム Active JP6881268B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017233509A JP6881268B2 (ja) 2017-12-05 2017-12-05 把持装置、把持判定方法および把持判定プログラム
EP18202804.3A EP3495099B1 (en) 2017-12-05 2018-10-26 Grasping apparatus, grasping determination method and grasping determination program
US16/180,387 US11141866B2 (en) 2017-12-05 2018-11-05 Grasping apparatus, grasping determination method and grasping determination program
CN201811473303.XA CN109927058B (zh) 2017-12-05 2018-12-04 抓握装置、抓握判定方法和抓握判定程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017233509A JP6881268B2 (ja) 2017-12-05 2017-12-05 把持装置、把持判定方法および把持判定プログラム

Publications (2)

Publication Number Publication Date
JP2019098478A true JP2019098478A (ja) 2019-06-24
JP6881268B2 JP6881268B2 (ja) 2021-06-02

Family

ID=64082881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233509A Active JP6881268B2 (ja) 2017-12-05 2017-12-05 把持装置、把持判定方法および把持判定プログラム

Country Status (4)

Country Link
US (1) US11141866B2 (ja)
EP (1) EP3495099B1 (ja)
JP (1) JP6881268B2 (ja)
CN (1) CN109927058B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202000019570A1 (it) 2020-08-06 2022-02-06 Univ Degli Studi Di Siena Sistema di presa con accoppiamento magnetico per la manipolazione robotica
US11745347B2 (en) * 2021-03-19 2023-09-05 Nvidia Corp. Method for assessing the quality of a robotic grasp on 3D deformable objects
GB2606991A (en) * 2021-03-31 2022-11-30 Alumatlq As Electrolytic cell lid handling system and method of use

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6042587U (ja) * 1983-08-31 1985-03-26 日本電気株式会社 ロボツトハンドセンサ−
JPH01264794A (ja) * 1988-04-11 1989-10-23 Toshiba Corp 物体把持装置
JP2003053689A (ja) * 2001-08-10 2003-02-26 Shibaura Mechatronics Corp 部品供給装置及び部品検出方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08323678A (ja) 1995-05-25 1996-12-10 Sanyo Electric Co Ltd 柔軟物体把持装置
DE19817426B4 (de) * 1998-04-18 2004-06-09 J. Schmalz Gmbh Greifersystem, insbesondere Vakuumgreifersystem
JP2002036159A (ja) 2000-07-21 2002-02-05 Kansai Tlo Kk ロボットハンドの制御方法
JP3703411B2 (ja) 2001-07-19 2005-10-05 ファナック株式会社 ワーク取り出し装置
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
JP5281377B2 (ja) * 2008-12-04 2013-09-04 トヨタ自動車株式会社 ロボット装置
DE102009001894B4 (de) * 2009-03-26 2018-06-28 pmdtechnologies ag Robotersystem mit 3D-Kamera
JP2011177746A (ja) * 2010-03-01 2011-09-15 Kobe Steel Ltd クランプ確認システム、溶接ロボットシステム、クランプ治具制御装置およびクランプ確認方法
JP2011200948A (ja) * 2010-03-24 2011-10-13 Sony Corp 把持判別装置および把持判別方法
JP2012152860A (ja) * 2011-01-26 2012-08-16 Toyota Motor Corp 把持装置およびその制御方法
JP5834478B2 (ja) * 2011-05-10 2015-12-24 セイコーエプソン株式会社 ロボット
JP5787642B2 (ja) 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP2013136141A (ja) * 2011-11-30 2013-07-11 Canon Inc 把持装置、ロボット装置及び把持装置の制御方法
US9014850B2 (en) * 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for evaluating grasp patterns, and robots incorporating the same
CN103753585A (zh) * 2014-01-10 2014-04-30 南通大学 一种基于视觉图像分析的机械手及抓紧力智能调节方法
JP5877859B2 (ja) * 2014-03-12 2016-03-08 ファナック株式会社 バラ積みされたワークを取り出すロボットシステム及びワークの把持状態を判定する判定方法
JP6361213B2 (ja) * 2014-03-26 2018-07-25 セイコーエプソン株式会社 ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
JP6486114B2 (ja) * 2015-01-16 2019-03-20 株式会社東芝 荷役装置
CN204604340U (zh) * 2015-05-14 2015-09-02 宋国丰 能很好判断夹持效果的机械手
CN105563502B (zh) * 2016-02-25 2017-06-30 渤海大学 一种力/位混合柔顺控制的夹持装置、手操设备以及夹持装置和手操设备的控制方法
JP6652079B2 (ja) * 2017-02-01 2020-02-19 トヨタ自動車株式会社 記憶装置、移動ロボット、記憶方法及び記憶プログラム
JP6586968B2 (ja) * 2017-02-01 2019-10-09 トヨタ自動車株式会社 移動ロボット、移動ロボットの制御方法および制御プログラム
JP6897376B2 (ja) * 2017-07-11 2021-06-30 トヨタ自動車株式会社 移動計画装置、移動ロボット、および移動計画プログラム
JP7207207B2 (ja) * 2019-07-09 2023-01-18 トヨタ自動車株式会社 演算装置、機械学習方法及び制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6042587U (ja) * 1983-08-31 1985-03-26 日本電気株式会社 ロボツトハンドセンサ−
JPH01264794A (ja) * 1988-04-11 1989-10-23 Toshiba Corp 物体把持装置
JP2003053689A (ja) * 2001-08-10 2003-02-26 Shibaura Mechatronics Corp 部品供給装置及び部品検出方法

Also Published As

Publication number Publication date
US20190168397A1 (en) 2019-06-06
US11141866B2 (en) 2021-10-12
EP3495099B1 (en) 2020-04-29
JP6881268B2 (ja) 2021-06-02
EP3495099A1 (en) 2019-06-12
CN109927058A (zh) 2019-06-25
CN109927058B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
JP6983524B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6826532B2 (ja) 遠隔操作ロボットシステム
JP2019098478A (ja) 把持装置、把持判定方法および把持判定プログラム
JP6450960B2 (ja) ロボット、ロボットシステム及び教示方法
JP2019198945A (ja) 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法
JP7116052B2 (ja) 把持システム
JP2018126800A (ja) 可搬型ロボット
US11123872B2 (en) Control apparatus that controls arm for gripping object
JP2017170567A (ja) ワーク認識方法及びランダムピッキング方法
JP5544957B2 (ja) カメラ脱着ロボット装置、ワーク把持システム、およびワーク把持方法
JP2010000560A (ja) 残留変形性薄物把持装置
US20220203554A1 (en) Robot hand
JP2017149375A (ja) 荷役車両、荷役車両システム、荷役車両の制御方法、荷役車両システムの制御方法及び荷役車両の制御プログラム
JP7163116B2 (ja) 情報処理装置及びピッキングシステム
JP6977481B2 (ja) マニピュレータ装置
US20240042620A1 (en) Robot system and robot working method
US20220379467A1 (en) Robot
WO2020195456A1 (ja) 無人搬送車の操作システム
JP7415775B2 (ja) ロボット
WO2023084884A1 (ja) 把持装置、衣類処理装置、及び衣類処理方法
US20220288784A1 (en) Control device, control method, and program
JP2009233776A (ja) ロボット及びロボットの接触検出方法
KR101993410B1 (ko) 진동 피드백을 이용한 로봇 제어 시스템 및 장치
JP6232467B2 (ja) 荷役車両システム、休憩管理方法及び制御プログラム
JPWO2019102913A1 (ja) 把持システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R151 Written notification of patent or utility model registration

Ref document number: 6881268

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151