JP2016101612A

JP2016101612A - 物品搬送用ロボット

Info

Publication number: JP2016101612A
Application number: JP2014239999A
Authority: JP
Inventors: 達礒部; Tatsu Isobe
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2014-11-27
Filing date: 2014-11-27
Publication date: 2016-06-02

Abstract

【課題】複数の作業指示を受けると共に、複数の作業を確実に実行可能なロボットを提供すること。【解決手段】指示端末３からの指示に基づいて実行する作業を決定する作業決定部１１と、作業決定部１１により決定された作業を行うための動作を行う動作部１２と、を有する物品搬送用のロボットであって、作業決定部１１は、物品の形状を認識する情報取得部２１と、情報取得部２１で取得される物品形状に関連する関連情報が蓄積されたデータベース２２と、情報取得部２１で認識された物品形状と、物品形状に関連した関連情報と、を含む物品情報を指示端末３に送信する送信部２３と、指示端末３で入力された複数の指示内容を、物品情報と関連付けて記憶する記憶部２５と、を有し、作業決定部１１は、記憶部２５に記憶された指示内容に基づいて動作部１２で実行する作業を決定する。【選択図】図１

Description

本発明は、物品の搬送を行う物品搬送用ロボットに関する。

従来、このような分野の技術として、特開２００８−０６８３４８号公報がある。この公報に記載されたロボット作業教示システムでは、ユーザは、撮影手段により取得された表示画面を確認し、ロボットを作業させる物体を物体モデルにより選択すると共に、物体モデルに対する作業内容を作業モデルの選択により指定する。ロボットは、物体モデルや作業モデルに基づき、撮影手段により認識されたロボットの作業空間に対応して、作業内容の制御情報を作成する。これにより、ユーザは、画面に表示された対象物を選択して物体モデルを指定し、その物体モデルに適用できる作業モデルを指定するだけで、ロボットは作業空間に対応して適切な作業モデルを選択できる。

特開２００８−０６８３４８号公報

しかしながら前述した従来のロボットでは、ロボットに動作させたい場合には、その都度、ユーザが取得画像から対象物体を選択して、動作内容の指示を与えていた。したがって、ロボットに複数の物体を移動させたい場合には、ロボットが動作を完了するまでユーザは待機し、その後、ユーザが次の動作の指示を行わなければならない。また現在の画像認識技術では、家庭環境などのように対象物が多様である場合や、照明条件が大幅に変化する環境では、十分な信頼性が確保できないという問題がある。
本発明は、複数の作業指示を受けると共に、複数の作業を確実に実行可能なロボットを提供することを目的とする。

本発明にかかるロボットは、指示端末からの指示に基づいて実行する作業を決定する作業決定部と、前記作業決定部により決定された作業を行うための動作を行う動作部と、を有する物品搬送用のロボットであって、前記作業決定部は、物品の形状を認識する情報取得部と、前記情報取得部で取得される物品形状に関連する関連情報が蓄積されたデータベースと、前記情報取得部で認識された物品形状と、前記物品形状に関連した関連情報と、を含む物品情報を前記指示端末に送信する送信部と、前記指示端末で入力された複数の指示内容を、物品情報と関連付けて記憶する記憶部と、を有し、前記作業決定部は、前記記憶部に記憶された指示内容に基づいて前記動作部で実行する作業を決定する。
これにより、ユーザはロボットに対し、複数の物体についての動作をまとめて指示することができる。

これにより、複数の作業指示を受けると共に、複数の作業を確実に実行可能なロボットを提供することができる。

ロボットシステムのブロック図である。ロボットの外観を示す図である。指示端末に表示された画面の一例を示す図である。指示端末に表示された動作指示の修正画面を示す図である。ロボットシステムの動作シーケンスの例を示す図である。ロボットシステムの動作のフローチャートである。指示端末に表示された画面の一例を示す図である。ロボットに搭載されていない情報取得部をさらに有するロボットシステムのブロック図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１に示すように、ロボットシステム１には、ロボット２と、ロボット２に動作指示を与える指示端末３を備える。

ロボット２は、作業決定部１１と、作業決定部１１で決定された動作を行う動作部１２を備える。なおロボット２は、自律走行が可能であり、待機時には充電ステーションでの充電が可能である。

作業決定部１１は、制御判定部２０と、物体（物品）の形状を認識する情報取得部２１と、情報取得部２１で取得される物体についての情報が蓄積されているデータベース２２と、情報取得部２１で取得された物体及び該物体に関連する情報を関連付けて指示端末３に送る送信部２３と、指示端末３から送られた情報を受信する受信部２４と、指示端末３から入力された指示を記憶する記憶部２５とを有する。

制御判定部２０は、作業決定部１１により決定された内容に基づいて、動作部１２を動作させる。また、制御判定部２０は、情報取得部２１が環境内の物体情報を取得するときに、まだ環境内に未取得の物体があるか否かの判定などを行う。

情報取得部２１には、画像を取得するためのカメラが設けられている。例えば情報取得部２１は図２に示すように、ロボット２の頭部に設けられている。情報取得部２１は、ロボット２が動作している間の動画像や静止画像を取得すると共に、床や机上などに存在する物体を推定して切り出しを行う。また情報取得部２１には、距離画像センサなどの認識用センサが設けられている。この認識用センサは、ロボット２から物体までの距離や、物体が存在する位置の計測を行う。ここで情報取得部２１は、各物体上や環境内にあらかじめ設けられたマーカーを利用して、物体の認識や位置情報の取得を行うものであってもよい。

データベース２２には、情報取得部２１で取得する物体についての情報があらかじめ保存されている。データベース２２では、情報取得部２１で取得された物体の形状やマーカー等の情報に基づいて、該当する物体のカテゴリ情報、物体のカテゴリに対応する作業の候補、物体をどこに片付けるべきであるのか等の情報が読み出され、情報取得部２１で取得された物体に、これらの情報が付加される。なお、情報取得部２１では複数の物体が認識されるが、データベース２２による情報の付加は、これらの複数の物体に連続的に行われる。なお、情報取得部２１で取得された夫々の物体には、データベース２２から読み出された情報が付加されると共に、固有のＩＤが付加され、記憶部２５に記憶される。

送信部２３は、データベース２２により情報が付加された物体の情報を、付加されたＩＤとともに指示端末３に送信する。また送信部２３は、情報取得部２１のカメラで取得した動画像や静止画像を、指示端末３に送信する。

受信部２４は、指示端末３から送信された情報を受信する。ここで受信部２４が受信する情報は、物体ごとに、ユーザにより動作指示が付加された物体情報である。なお典型的には、送信部２３及び受信部２４による指示端末３との通信は、無線通信によって行われる。

記憶部２５は、情報取得部２１で切り出された物体の情報と、受信部２４で受信したユーザからの動作指示に関する情報が記憶される。具体的には、記憶部２５には、データベース２２によって情報が付加された物体の情報が、ＩＤとともに記憶される。また、受信部２４で受信した指示端末３からの情報が入力される。したがって記憶部２５では、認識された物体、及び物体に対する指示の情報を、ＩＤに基づいて関連付けて記憶する。また、記憶部２５には、ロボット２の作業環境内の地図が記憶されている。

動作部１２は、記憶部２５に記憶された物体の情報に基づいて動作を行う。動作部１２には、物体を保持するアーム２６と、複数の車輪２７を有する。

アーム２６は、多関節で構成され、一端部がロボット２の本体部分に連結し、他端部にはハンド部２６ａが設けられている。例えばハンド部２６ａは、先端が二股に分かれており、物体を挟み込むことにより把持する。また、ハンド部２６ａには、吸気により物体を吸着する機構を有していても良い。なお、ハンド部２６ａでは、物体を把持や吸着をせずに、押す等の動作を行うことも可能である。

また、アーム２６は、記憶部２５に記憶された内容を参照した制御判定部２０の指示に基づいて物体に対して動作を行う。言い換えると、制御判定部２０では、指示端末３から入力されたユーザの指示と、あらかじめデータベース２２に記憶されている知識に基づいて制御信号が生成され、アーム２６はこの制御信号に応じて作業を行う。またアーム２６は、制御判定部２０の制御に応じて関節の角度を変更することにより、ハンド部２６ａの位置を適切に変更し、物体に対して動作を行う。

車輪２７は、制御判定部２０の制御に基づいて動作を行う。例えば車輪２７は、ユーザによる作業指示に応じて、ハンド部２６ａが物体の保持等を行うことができる位置までロボット２が移動するように動作する。また車輪２７は、ユーザによる動作指示がない場合には、ロボット２が充電ステーションに戻るようにロボット２を移動させるように動作する。このときロボット２は、充電を行いながら待機した状態となる。

指示端末３は、送信部２３から送信された物体の情報を受信する受信部３０と、ロボット２で撮影した動画像又は静止画像等を表示する表示部３１と、ユーザによる指示を入力する入力部３２と、ユーザによって入力された物体ごとの指示を送信する送信部３３と、を備える。

受信部３０は、送信部２３によって送信された情報を受信する。具体的には、受信部３０は、情報取得部２１により取得した動画像や静止画像を受信すると共に、物体の情報を受信する。ここで受信部３０が受信する物体の情報には、ロボット２において物体が切り出された結果や、データベース２２で付加された物体の種類の情報及び作業の候補の情報、及び切り出された物体ごとのＩＤ情報が含まれる。

表示部３１には、受信部３０で受信した動画像や静止画像を表示すると共に、ロボット２によって物体が切り出された結果が表示される。また図３及び図４に示すように、表示部３１には、ロボット２による物体の推定結果と、動作の候補、修正の有無の選択ボタン、物体の動作の修正を行う場合には動作の修正候補が表示される。なお、表示部３１に表示される動画像又は静止画像上に、ロボット２により行われた物体の推定内容等の情報が書き込まれていても良い。

入力部３２では、ユーザの操作による入力が行われる。ここで、表示部３１及び入力部３２は、いわゆるタッチパネルである。すなわち入力部３２は、表示部３１上に設けられた透明のパネルであり、表示部３１上で、ユーザが接触したのを感知することにより入力が行われる。これによりユーザは、表示部３１に表示された物体の切り出し結果が誤っている場合に表示部３１上を操作することで切り出し結果を修正することや、物体に対して行う動作の修正、動作の確定等を行う。ここで入力部３２では、表示部３１に表示された１つの画面について複数の指示や修正を行うことや、表示部３１に表示される静止画像や動画像を切り替えて、複数の指示や修正を行うことができる。

送信部３３は、入力部３２でユーザによって入力された物体の切り出し結果の修正や、物体に対して行う作業の修正内容や動作の決定の情報を、受信部２４に送信する。ここで送信部３３が送信する情報には、受信部３０が受信したＩＤ情報が含まれる。

次に、ロボットシステム１の動作について説明する。

図５に示すように、複数の物体Ａ〜Ｃに対してロボット２が動作を行う場合、物体Ａ〜Ｃの事前動作を最初に行い、次にユーザによる物体Ａ〜Ｃの指示が行われる。その後、ロボット２による物体Ａ〜Ｃに対する作業が実行される。

図６を参照して、より詳細な動作手順を説明する。最初に、事前探索フェーズが実行される。

事前探索フェーズでは、まず、ロボット２が環境内を自律移動で探索する（Ｓ１）。このとき、記憶部２５には、あらかじめ環境内の地図が記憶されており、制御判定部２０の制御に応じて車輪２７が動作することによって、ロボット２は環境内を探索する。

ロボット２は、情報取得部２１により撮影及びセンサによる識別を行い、床や机上の未知物体を切り出す（Ｓ２）。例えばここで、物体Ａ〜Ｃが切り出される。また情報取得部２１では、物体の切り出しと並行して、物体の位置情報などの取得を行う。

制御判定部２０は、情報取得部２１により取得された画像から、切り出せるものがないかを判定する（Ｓ３）。切り出せるものがあれば（Ｓ３でＮｏ）、Ｓ２に戻って未知物体の切り出しを繰り返し行う。切り出せるものが無ければ（Ｓ３でＹｅｓ）、Ｓ４に進む。

制御判定部２０は、情報取得部２１による情報取得が、あらかじめ決められたエリア内を全て探索したか否かを判定する（Ｓ４）。全て探索していない場合には（Ｓ４でＮｏ）、Ｓ１に戻り、ロボット２は移動しながら探索を繰り返す。全て探索が終了している場合には（Ｓ４でＹｅｓ）、Ｓ５に進む。

次に、ユーザによる指示のフェーズが実行される。

ロボット２は、認識結果の情報を指示端末３に送信する（Ｓ５）。ここでロボット２では、情報取得部２１により切り出された物体について、物体の形状の情報や位置情報と共に、データベース２２に蓄積されたカテゴリ情報、物体に対応した作業の候補、片付けの候補の情報が、認識された物体ごとにＩＤが付加された状態で、記憶部２５に記憶されている。ロボット２は、記憶部２５に記憶されたこれらの情報を、送信部２３を介して指示端末３に送信する。このとき情報取得部２１では、複数の物体が認識されており、複数の物体についての情報のそれぞれを記憶部２５に記憶した後に、送信部２３から複数の物体についての情報を指示端末３に送信する。例えばロボット２は、物体Ａ〜Ｃについて、それぞれに付加されたＩＤ、カテゴリ情報、作業候補の情報等を、指示端末３に送信する。

ここでロボット２は、一旦停止して待機する（Ｓ６）。具体的には、制御判定部２０は、ロボット２が充電スポットに戻るように車輪２７を動作させる。その後、ロボット２は動作を一旦停止し、充電スポットで充電しながら待機する。

ここで、指示端末３における動作について説明する。

指示端末３は、ロボット２から送信された情報を、受信部３０を介して受信する（Ｓ１１）。ここで図３に示すように、指示端末３の表示部３１には、受信した情報に基づいて、ロボット２の情報取得部２１で取得された静止画像や動画像と、画像上に物体の切り出し結果と、物体の推定結果と、物体に対する動作の候補と、動作等の修正の有無の選択ボタンが表示される。

指示端末３では、受け取った物体の情報について、修正や確認を行う（Ｓ１２）。例えば図３に示すように、ユーザが表示部３１に表示された修正ありを選択した場合には、図４に示すように実施作業の修正内容が表示される。また、表示部３１の静止画像や動画像上に表示された情報取得部２１の切り出し結果が誤っていれば、ユーザは静止画像や動画像上を範囲選択することで、切り出し範囲の修正を行う。また、指示端末３では、修正後に修正内容を確定した場合や、修正なしで確定した場合には、図７に示すように次の物体について、表示部３１に静止画像や動画像、切り出し結果などを表示し、切り出し結果や動作の修正や確定を繰り返す。例えばユーザは、指示端末３を用いて、物体Ａについて切り出し範囲、推定結果、動作指示の修正や確認をした後に、引き続き物体Ｂ、物体Ｃについて同様に修正や確認を行う。このようにして、ユーザにより切り出された物体Ａ〜Ｃの確認が行われると共に、物体Ａに対する動作指示Ａ、物体Ｂに対する動作指示Ｂ、物体Ｃに対する動作指示Ｃが決定される。

指示端末３は、動作の修正及び確定の結果をロボットに送信する（Ｓ１３）。すなわち、指示端末３は、切り出された物体ごとにＩＤが付加された状態で、修正後の物体の切り出しの修正結果、物体認識の修正結果と共に、物体の動作指示を、送信部３３を介してロボット２に送信する。

ロボット２は、指示端末３からの指示情報を、受信部２４を介して受信する（Ｓ７）。これにより、例えばロボット２には、切り出された物体Ａ〜Ｃについての動作指示Ａ〜Ｃが入力される。

次に、ロボット２による作業実行のフェーズに移行する。

ロボット２は、指示端末３からの指示情報と、記憶部２５に記憶されている事前探索フェーズで得られた情報に基づいて、切り出された物体に対する動作を実行する（Ｓ８）。例えばロボット２では、事前探索フェーズで得られた物体の位置情報、指示端末３から入力された物体に対する修正後の動作指示に基づき、制御判定部２０が動作部１２を制御するための制御信号を生成する。ここで、記憶部２５に記憶されている物体の情報と、指示端末３からの動作指示は、物体ごとにＩＤにより関連付けられている。

このときロボット２は、複数の物体について指示端末３から指示情報を受信するが、対応するＩＤが付加された物体への指示であることが認識されているため、ユーザが指示した物体に対して指示を実行できる。

これにより、例えばアーム２６のハンド部２６ａでは物体の把持等を行うと共に、車輪２７が動作する。すなわち、ハンド部２６ａでの物体の把持後に走行することで物体を運搬でき、例えば、物体が鉛筆であれば書斎のデスクまで持っていく、物体が皿であればシンクまで持っていく、物体がごみであればその物体をゴミ箱に捨てるといった作業が可能である。

ロボット２は、１つの物体について動作指示に基づいた動作が終了したら、次の物体について、動作指示に基づいた動作を行う。すなわちロボット２は、指示端末３からの指示情報と、記憶部２５に記憶されている事前探索フェーズで得られた情報に基づいて、切り出された他の物体に対する動作を実行する。すなわちロボット２は、物体Ａに対して指示された動作指示Ａ、物体Ｂに対して指示された動作指示Ｂ、物体Ｃに対して指示された動作指示Ｃを、ＩＤに基づいて認識し、それぞれの動作を実行する。

なお、Ｓ２において物体の切り出しを行う際に、情報取得部２１では、最低限、物体の位置情報と大まかな形状の情報のみを取得することとしても良い。このような場合には、ロボット２では物体が何であるか把握されていない状態となるが、Ｓ１２においてユーザが物体に対する作業内容を入力するため、ロボット２では、ユーザからの動作指示に従って、物体の把持等の動作を実行できる。

これにより、複数の作業指示を受けると共に、複数の作業を連続して実行可能となる。すなわちユーザは、ロボット２の動作開始前に、複数の物体の切り出しの結果や各物体についての動作指示をまとめて修正や確認することができると共に、ロボット２の動作終了まで待機している必要がなくなる。特に、アーム２６が単腕であって多数の物体を一度に搬送できず、また、移動やハンド部２６ａでの把持動作等に時間がかかるロボット２に対し、ユーザの待機時間の減少をはかることができる。また、事前探索フェーズと作業実行のフェーズを分離できるため、ロボット２はユーザからの指示待ちの間は充電することができ、バッテリの消耗を低減できる。

また図８に示すように、環境内に設置され、環境内の情報を取得する情報取得部４１を設けていても良い。例えば情報取得部４１は、天井に設けられたカメラや、位置センサである。この場合、情報取得部４１で取得された物体の情報が、ロボット２に送信され、ロボット２の情報取得部２１で取得された物体の情報と併用して利用される。

これにより、ロボット２の巡回ルート上に物体が落ちているなどの理由により、事前探索フェーズにおいてロボット２が移動できない場所がある場合であっても、物体を適切に切り出すことができる。

また、情報取得部２１は、事前探索フェーズ以前に、あらかじめ整理された環境内を撮影した基準画像を準備しておき、該基準画像と、事前探索フェーズで撮影した画像との差分によって、物体の切り出しを行うことができる。この場合、処理が軽くなると共に、切り出し対象となる物体の発見が容易となる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記ではロボット２は、１つのアーム２６を有するものとして説明しているが、複数のアームを備えるロボットであってもよい。

１ロボットシステム
２ロボット
３指示端末
１１作業決定部
１２動作部
２０制御判定部
２１情報取得部
２２データベース
２３送信部
２４受信部
２５記憶部
２６アーム
２６ａハンド部
２７車輪
３０受信部
３１表示部
３２入力部
３３送信部
４１情報取得部

Claims

指示端末からの指示に基づいて実行する作業を決定する作業決定部と、前記作業決定部により決定された作業を行うための動作を行う動作部と、を有する物品搬送用のロボットであって、
前記作業決定部は、
物品の形状を認識する情報取得部と、
前記情報取得部で取得される物品形状に関連する関連情報が蓄積されたデータベースと、
前記情報取得部で認識された物品形状と、前記物品形状に関連した関連情報と、を含む物品情報を前記指示端末に送信する送信部と、
前記指示端末で入力された複数の指示内容を、物品情報と関連付けて記憶する記憶部と、を有し、
前記作業決定部は、
前記記憶部に記憶された指示内容に基づいて前記動作部で実行する作業を決定する
物品搬送用ロボット。