JP2004268159A - Catering-uncatering support robot system of dish, catering-uncatering support method, catering-uncatering support program and recording medium recording this catering-uncatering support program - Google Patents
Catering-uncatering support robot system of dish, catering-uncatering support method, catering-uncatering support program and recording medium recording this catering-uncatering support program Download PDFInfo
- Publication number
- JP2004268159A JP2004268159A JP2003058703A JP2003058703A JP2004268159A JP 2004268159 A JP2004268159 A JP 2004268159A JP 2003058703 A JP2003058703 A JP 2003058703A JP 2003058703 A JP2003058703 A JP 2003058703A JP 2004268159 A JP2004268159 A JP 2004268159A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- tableware
- hand
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は食器の配膳下膳支援ロボットシステム、配膳下膳支援方法、配膳下膳支援プログラム及びこの配膳下膳支援プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
従来より、食器の配膳下膳を支援するロボットシステムが提案されている(例えば、特許文献1参照)。
【0003】
このロボットシステム(「搬送ロボットシステム」)は、少なくとも車輪型の移動機構と、搬送対象物を格納できる格納部と、視覚センサと、そのセンサ情報に基づいた計測認識手段と、前記格納部に搬送対象物を出し入れするためのマニピュレータとを備えている。
【0004】
このような構成のロボットシステムでは、食事が入った1又は複数個の食器を人間が調理室で食事トレイに載せた後、この食事トレイを配送ワゴンに載せている。ロボットは配送ワゴンの前まで自律移動し、食事トレイに設置されている認識ラベルを視覚センサによって撮像し、配送すべき食事トレイを選択して、マニピュレータでロボット本体格納部に格納する。この後、搬送先まで移動し、目標位置に食事トレイを配膳する。一方、下膳時には、視覚センサでトレイの位置を検出してから食事トレイを把持し、ロボット本体格納部に格納して所定の位置に戻る、といったシステムとなっている。
【0005】
【特許文献1】
特開平9−267276号公報
【0006】
【発明が解決しようとする課題】
しかしながら、上記ロボットシステムでは、ロボットは食事トレイの把持しか実現できず、予め一つのトレイに一人分の料理を載せて配膳するような用途を想定している。そのため、例えば、コース料理のようにできた順に料理を出したり、トレイを使用しない家庭での食事のように、食器単位で食事を配膳することができないなど、用途が限定されるといった問題があった。また、人間が食器を食事トレイの外に置いて食事をした場合、下膳時にロボットは食事トレイのみを下膳するため、食器トレイの外に置いていた食器を下膳することができないといった問題もあった。この場合、食事トレイの上に食器を載せる作業は人間が行う必要がある。
【0007】
本発明は係る問題点を解決すべく創案されたもので、その目的は、食器に盛られた食事の重量や食器の重量、食器の材質や剛性等を考慮することにより、個々の食器を個別に配膳及び/又は下膳可能とした食器の配膳下膳支援ロボットシステム及び配膳下膳支援方法を提供することにある。
【0008】
【課題を解決するための手段】
本発明に係わる食器の配膳下膳支援ロボットシステムは、食器の配膳及び/又は下膳を支援するロボットシステムであって、対象物に貼付又は内蔵されている当該対象物の属性に関する情報が記録されている情報記録部と、ロボット装置とからなり、前記ロボット装置は、移動機構部と、視覚センサと、多自由度のアーム部と、このアーム部に取り付けられた少なくとも2本指を有するハンド部と、前記情報記録部から情報を読み取る情報読み取り部と、装置全体の動作を制御する制御部とを備えており、前記制御部は、本装置を制御する際に、前記情報記録部に記録されている物の属性に関する情報を利用することを特徴とする。
【0009】
このような特徴を有する本発明によれば、情報読み取り部により、例えば食器の属性に関する情報を、食器の属性に関する情報が記録されている情報記録部から読み取り、この読み取った情報を利用して食器の把持制御を実現することで、食器を一つずつ把持することが可能となる。その結果、例えば下膳時に、食器を食卓に残すことなく下膳を完了することが可能となる。
【0010】
また、本発明によれば、情報記録部には、物である例えば食器の属性に関する情報として、少なくともその食器の重量に関する情報が記録されている。このように、食器の属性に関する情報として少なくとも食器の重量に関する情報を記録し、この情報をハンド部の制御に利用することで、設計者が事前に食器の重量を想定して制御部のメモリに想定重量を記録する必要がなく、また、想定した重量以上の食器の把持が困難であった従来の課題を解決することができる。
【0011】
また、本発明によれば、物の重量に関する情報として、食器に盛られた食事と食器の合計重量としている。このように、物の重量に関する情報として、食器に盛られた食事と食器の合計重量を記録し、この情報をハンド部の制御に利用することで、下膳支援も安定な把持により実現することができる。すなわち、下膳時の食器の重量は、配膳時に食器に盛られた食事と食器の合計重量よりも軽くなるため、配膳支援を安定な把持により実現できた食器に関しては、下膳支援も安定な把持により実現することができる。
【0012】
また、本発明によれば、食器に貼付又は内蔵される情報記録部に少なくとも2つの重量情報を記録する。具体的には、食器のみの重量と、食器に盛られた食事と食器の合計重量との2つの情報を記録する。そして、この2つの重量情報を、情報記録部から情報読み取り部を利用して取得し、取得した情報を利用して食器の把持制御を実現することで、食器を一つずつ把持することが可能となる。特に配膳時には、食器に盛られた食事と食器との合計重量の情報を使用し、下膳時には、食器のみの重量情報を使用することで、食器を安定して把持することが可能になる。また、出力制御が容易となり、その結果として、省電力で作業を実行することが可能となる。さらに、実際の食器の重量情報を利用することが可能なため、重量を想定する必要がない。
【0013】
また、本発明によれば、対象物の重量を計量する計量手段及び重量の計量結果を非接触で前記情報記録部に記録する記録手段を有する計量器をさらに備えた構成としてもよい。このような構成とすれば、計量器が食事を含めた食器の重量を計量した結果を情報記録部に記録し、ロボット装置がこの重量情報を情報記録部から情報読み取り部を利用して取得し、取得した情報を利用して食器の把持制御を実現することで、把持直前のより精度の高い重量情報を制御に利用することができるため、食器ごとに安定した把持状態で配膳を実行することが可能となる。また、実際の食器の重量情報を利用することが可能なため、重量を想定する必要がない。
【0014】
また、本発明によれば、情報記録部には、物である例えば食器の属性に関する情報として、少なくともその食器の材質に関する情報が記録されている。このように、食器の属性に関する情報として、少なくとも材質に関する情報を記録し、この材質に関する情報をハンド部の制御に利用することで、設計者が事前に食器の剛性を想定して制御部のメモリに想定剛性を記録する必要がなく、また、想定した剛性以下の食器の把持時に食器が破損する危険性を低減することができる。
【0015】
また、本発明によれば、情報記録部には、物の属性に関する情報として少なくとも物の把持手段に関する情報が記録されている。このように、物である食器の属性に関する情報として、少なくとも食器の把持手段に関する情報を記録し、この把持手段に関する情報をハンド部の制御に利用することで、より安定かつ高速に食器を把持することが可能となる。
【0016】
また、本発明によれば、情報読み取り部は、非接触の通信手段(例えばRF((radio frequency))を用いて情報記録部から物の属性に関する情報を読み取る構成としてもよい。
【0017】
また、本発明によれば、ハンド部は触覚センサを有していてもよい。このように、ハンド部に触覚センサを配置することで、食器に加わる指先力を、モータトルクから算出する場合に比べて高精度に検出することが可能となる。
【0018】
また、本発明によれば、情報読み取り部がハンド部に配置されていてもよい。このように、情報読み取り部をハンド部に配置することで、アーム部の自由度を利用して情報読み取り部が環境をスキャンすることが可能となる。そのため、情報記録部と情報読み取り部との間の通信距離が比較的短い場合であっても、ハンド部の稼動範囲内に存在する食器を確実に検出することが可能となる。
【0019】
また、本発明によれば、移動機構部は、制御部からの制御により自律的に移動可能な構成となっている。このように、本発明のロボット装置を自律型のロボット装置とすることで、ユーザは食器の下膳作業を全くする必要がなく、別の作業をする時間的な余裕を得ることができる。
【0020】
また、本発明に係わる食器の配膳支援方法は、上記構成のロボット装置を用いて食器の配膳を支援する方法であって、視覚センサの画像より三角測量の原理を利用して準備台の位置を検出して、ロボット装置を準備台まで移動する段階と、対象物に貼付している情報記録部とロボット装置のハンド部に内蔵の情報読み取り部とが通信可能な状態になるまで、ハンド部を対象物に近づける段階と、情報読み取り部が対象物に貼付の情報記録部より対象物の属性情報と、対象物を安定に把持するためのハンド部の位置と姿勢に関する少なくとも1つ以上の情報とを取得する段階と、情報記録部より取得した対象物を安定に把持するためのハンド部の位置と姿勢を決定する段階と、ハンド部の位置と姿勢が上記段階で決定したハンド部の位置と姿勢の目標値になるようにアーム部を移動させた後、ハンド部で対象物を把持する段階と、ロボット装置をゆっくりと回転運動させながら視覚センサで食卓の位置を検出することにより、ロボット装置を食卓まで移動する段階と、視覚センサの画像より食卓の水平部を判断して、対象物を置く目標位置を決定し、アーム部及びハンド部を制御して、把持している対象物を目標位置に載置した後、ハンド部の把持を解除する段階とを備えたことを特徴とする。
【0021】
また、本発明に係わる食器の下膳支援方法は、上記構成のロボット装置を用いて食器の下膳を支援する方法であって、ロボット装置に搭載の視覚センサの画像より食卓の位置を検出し、ロボット装置を食卓まで移動する段階と、対象物に貼付している情報記録部とロボット装置のハンド部に内蔵の情報読み取り部とが通信可能な状態になるまでハンド部を対象物に近づける段階と、情報読み取り部が対象物に貼付の情報記録部より対象物の属性情報と、対象物を安定に把持するためのハンド部の位置と姿勢に関する少なくとも1つ以上の情報とを取得する段階と、情報記録部より取得した対象物を安定に把持するためのハンド部の位置と姿勢を決定する段階と、ハンド部の位置と姿勢が上記段階で決定したハンド部の位置と姿勢の目標値になるようにアーム部を移動させた後、ハンド部で対象物を把持する段階と、ロボット装置をゆっくりと回転運動させながら視覚センサで流し台の位置を検出することにより、ロボット装置を流し台まで移動する段階と、視覚センサの画像より流し台の水平部を判断し、対象物を置く目標位置を決定し、アーム部及びハンド部を制御して、把持している対象物を目標位置に載置した後、ハンド部の把持を解除する段階とを備えたことを特徴とする。
【0022】
なお、上記構成の食器の配膳下膳支援方法は、ロボット装置がその方法を実施するための配膳下膳支援プログラムとして実現することができる。また、この食器の配膳下膳支援プログラムは、コンピュータ読み取り可能な記録媒体に記録して提供することができる。
【0023】
【発明の実施形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【0024】
本発明に係わる食器の配膳下膳支援ロボットシステムの構成及び配膳下膳動作について、図1ないし図17を参照して説明する。
【0025】
図1ないし図4は、ロボット装置1の一実施形態を示している。ただし、図1及び図3は、ロボット装置1が準備台13に対峙している状態、図2及び図4は、ロボット装置1が食卓10に対峙している状態を示している。
【0026】
このロボット装置1は、移動機構部9を備えた本体部2にアーム部3の一端が連結され、アーム部3の他端に3本指のハンド部4が連結された構成となっている。
【0027】
本体部2には、少なくともロボット装置1全体の動作を制御する制御部101や、ロボット装置1の動力源となるバッテリ5などが格納されている。また、本体部2は図示しないアクチュエータを有しており、図14に示すように、アーム部3を上下に移動可能となっている。
【0028】
アーム部3は、関節6が2自由度、関節7が1自由度、関節8が3自由度を有しており、アーム部として6自由度を有している。また、ハンド部4の各指は、第一関節に1自由度、第二関節に1自由度、第三関節に2自由度を有している。各関節部分には、関節を駆動するためのモータ111(図8参照)が、それぞれの自由度に等しい数だけ配置されている。各モータ111には、その回転角度を検出するためのエンコ−ダ112(図8参照)が設けられている。
【0029】
また、各指の先端には触覚センサ113が配置されており、指先に加わる圧力を検出することが可能となっている。また、掌部41には、食器11に貼付された小型タグ131(これについては後述する)内の情報を読み取るためのタグリーダ121が内蔵されている。
【0030】
また、本体部2の上部には2台の視覚センサ114,114が配置されており、食器11を始め、食卓10、流し台12、準備台13及びハンド部4などを撮像する。これら2台の視覚センサ114,114は、視覚センサの互いの光軸が平行となるように、かつ、光軸中心を結ぶ線分が光軸と直交するように配置されている。
【0031】
移動機構部9は、本実施形態では車輪型となっている。この移動機構部9は、左右独立駆動輪タイプであり、車輪ごとにモータを有している。従って、左右の車輪の回転速度に差をつけることで、前進や後退以外に、右前方や左後方などにも移動することが可能となる。さらに、互いの車輪の回転方向を逆にすることで、その場での回転運動も可能となる。
【0032】
図5ないし図7は、上記構成のロボット装置1において、流し台12の横に計量器15を配置した例を示している。ただし、図5及び図7はロボット装置1が計量器15に対峙している状態、図6は計量器15の斜視図及び正面図である。
【0033】
計量器15は、少なくとも計量対象物の重量を計量する計量部158、小型タグ131内の不揮発性メモリ134(図10参照)に情報を書き込むことが可能なタグライタ151などにより構成されている。
【0034】
図8は、制御部101の詳細を示すブロック図である。
【0035】
制御部101は、プログラムに基づいて各種演算を行う演算装置102、情報及びプログラムなどを記録するRAM、ROM等からなるメモリ103、デジタル入力をアナログ出力に変換するD/A変換器104、エンコーダからの入力パルス数をカウントするカウンタ105、アナログ入力をデジタル出力に変換するA/D変換器106、視覚センサの出力を制御部に入力するための画像入力インターフェース107、シリアル通信を行う際のインターフェースとなるシリアルポート108、それらをつなぐバス109などから構成される。このような構成において、触覚センサ113などの出力は、A/D変換器106でデジタル値に変換され、その出力はバス109を介してメモリ103に送られる。また、ハンド部4の各関節を駆動する各モータ111に設けられているエンコーダ112の出力は、カウンタ105とバス109とを介してメモリ103に送られる。視覚センサ114の出力は、画像入力インターフェース107とバス109とを介してメモリ103に送られる。また、タグリーダ121の出力は、シリアルポート108とバス109を介してメモリ103に送られる。また、演算装置102は、各関節の駆動に必要な制御値を算出し、D/A変換器104でアナログ出力に変換した後、モータドライバ110を介して各関節を駆動するモータ111に出力する。
【0036】
次に、タグシステムに関し、図9ないし図12を参照して説明する。タグによる情報通信システムでは、タグリーダ121又はタグライタ15と小型タグ131とが存在する。
【0037】
タグリーダ121は図9に示す構成となっており、プログラムに基づいて各種演算を行う演算装置122、情報及びプログラムなどを記録するメモリ123、送信データを対象物に送信する無線送信部124、外部からのデータを受信する無線受信部125、制御部101と通信するためのシリアルポート126、これらをつなぐバス127などから構成されている。
【0038】
小型タグ131は図10に示す構成となっており、プログラムに基づいて各種演算を行う演算装置132、情報及びプログラムなどを記録するメモリ133、情報及びプログラムなどを記録する不揮発性メモリ134、送信データを外部に送信する無線送信部135、外部からのデータを受信する無線受信部136、これらをつなぐバス137などから構成されている。
【0039】
タグライタ151は図11に示す構成となっており、プログラムに基づいて各種演算を行う演算装置152、情報及びプログラムなどを記録するメモリ153、送信データを対象に送信する無線送信部154、対象物からのデータを受信する無線受信部155、アナログ入力をデジタル出力に変換するA/D変換器156、これらをつなぐバス157などから構成されている。すなわち、計量器15の上に、食事が盛られた食器11を置くと、計量部158で食事が盛られた食器の重量が計量される。そして、その計量結果がタグライタ151のA/D変換器156に入力されて、メモリ153に記録される。さらに、計量結果は、無線送信部154から小型タグ131に送信され、小型タグ131内の不揮発性メモリ134に記録される。
【0040】
すなわち、タグリーダ121又はタグライタ151と小型タグ131との間はRFによる無線通信となっており、図12(a),(b)に示すように、一定の範囲A内に存在する小型タグ131aとタグリーダ121又はタグライタ151との間でのみ通信が成立し、範囲A外に存在する小型タグ131bとタグリーダ121又はタグライタ151との間では通信は成立しない。ただし、本実施形態では、公知のRFによる無線通信技術を用いて小型タグ131とタグリーダ121又はタグライタ151との間の通信を行うものとする。
【0041】
本発明におけるもう一つのタグシステムの利用法について説明する。ロボット装置1のハンド部4に内蔵のタグリーダ121で、食器11に貼付又は内蔵された小型タグ131を検出する。小型タグ131内の不揮発性メモリ134には、食器に関する属性情報が記録されている。属性情報とは、例えば食器の重量、材質(摩擦係数、剛性など)などである。また、ロボット装置1が食器を把持するための把持時のハンド部4の位置・姿勢に関する情報も不揮発性メモリ134に記録されている。位置・姿勢に関する情報とは、例えば、食器を手前から把持する、あるいは右側面から把持するといった情報である。タグリーダ121は、不揮発性メモリ134より食器11の把持に必要な情報を取得する。
【0042】
図13は、上記構成のロボット装置1における制御プログラムのソフトウェア構成を示している。
【0043】
制御プログラムは、図13に示すように、画像処理部141、行動計画部142、制御演算部143から構成されている。入力としては、各種センサ(触覚センサ、エンコーダ)入力、画像入力、小型タグ131からの情報入力がある。
【0044】
画像処理部141は、画像入力より対象物(食器)のエッジ抽出や対象物までの距離などを算出する。行動計画部142は、各種センサからの情報、画像処理部141の結果として抽出される情報、小型タグ131からの情報を入力として、ロボット装置全体としての行動を決定する。制御演算部143は、行動計画部142が決定した動作と現在のロボット装置の状態とに従って、各関節のモータへ目標指令値を出力する。
【0045】
次に、小型タグが貼付又は内蔵された食器と上記構成のロボット装置とで構成される食器の配膳下膳支援ロボットシステムにおいて、食器を配膳する手順について、図15に示すフローチャートを参照して説明する。
【0046】
ステップS201では、ロボット装置1に搭載の2台の視覚センサ114,114の画像より三角測量の原理を利用して準備台13の位置を検出し、ロボット装置1が準備台13の近くまで移動するように制御部101で移動制御を行う(図3参照)。
【0047】
ステップS202では、食器11に貼付している小型タグ131とロボット装置1のハンド部4に内蔵のタグリーダ121とが通信可能な状態になるまで、ハンド部4を食器11に近づける。この際、2台の視覚センサ114,114の画像より三角測量の原理を利用して食器11とハンド部4の空間上の位置を測定し、ハンド部4が食器11に近づくように制御部101で制御を行う。
【0048】
ステップS203では、タグリーダ121が食器11に貼付の小型タグ131より食器の属性情報(食器に盛られた食事と食器の合計重量、摩擦係数、剛性など)と、食器11を安定に把持するためのハンド部4の位置と姿勢に関する少なくとも1つ以上の情報とを取得し、制御部101内のメモリ103に保存する。
【0049】
ステップS204では、小型タグ131より取得した食器11を安定に把持するためのハンド部4の位置と姿勢に関する情報が2つ以上存在する場合には、2台の視覚センサ114,114でハンド部4と食器11を撮像した画像情報より、目標とするハンド部4の位置と姿勢を決定する。
【0050】
ステップS205では、まず、ハンド部4の位置と姿勢がステップS204で決定したハンド部4の位置と姿勢の目標値になるように、制御部101がアーム部3の制御を行う。この際、2台の視覚センサ114,114で撮像した画像より、三角測量の原理を利用して食器11とハンド部4の位置と姿勢を計測する。その結果、目標位置と姿勢を満足した場合には、アーム部3を固定して、ハンド部4の制御のみで対象物である食器11の把持を行う。この際、メモリ手段103に保存しているその食器に盛られた食事及び食器の合計重量と、摩擦係数及び剛性との情報に基づいて指先力を決定し、その食器に盛られた食事及び食器の合計重量と、摩擦係数と決定した指先力との情報を利用して、制御部101がハンド部4の把持制御を行うことにより、食器11の把持を実現する。指先に触覚センサ113が存在する場合には、触覚センサ113により実際の指先力を検出し、フィードバック制御を行うことでより正確な制御を実現する。
【0051】
ステップS206では、ロボット装置1がゆっくりと回転運動を行うように制御部101が移動機構部9を制御しながら、2台の視覚センサ114,114で食卓10の位置を検出する。食卓10の位置を検出すると、制御部101が移動機構部9を制御して、ロボット装置1を食卓10の近くまで移動させる(図4参照)。
【0052】
ステップS207では、2台の視覚センサ114,114の画像より食卓10の水平部を判断し、食器11を置く目標位置を決定する。目標位置を決定すると、制御部101がアーム部3及びハンド部4を制御して、把持している食器11を目標位置に移動する。食器11が目標位置に到達すると、制御部101がハンド部4の把持を解除するように制御を行う。
【0053】
ステップS208では、ロボット装置1に搭載の2台の視覚センサ114,114の画像より三角測量の原理を利用して準備台13の位置を検出し、ロボット装置1が準備台13の近くまで移動するように制御部101で移動制御を行う。
【0054】
ステップS209では、ロボット装置1に搭載の2台の視覚センサ114,114の画像より三角測量の原理を利用して準備台13の上に食器11が存在するかどうかを検出し、制御部101がまだ食器が存在すると判断した場合にはステップS202に戻る。一方、制御部101が準備台13の上にはもう食器11が存在しないと判断した場合には配膳作業を完了する。
【0055】
次に、小型タグが貼付又は内蔵された食器と上記構成のロボット装置とで構成される食器の配膳下膳支援ロボットシステムにおいて、食器を下膳する手順について、図16に示すフローチャートを参照して説明する。
【0056】
ステップS301では、ロボット装置1に搭載の2台の視覚センサ114,114の画像より三角測量の原理を利用して食卓10の位置を検出し、ロボット装置1が食卓10の近くまで移動するように制御部101で移動制御を行う(図4参照)。
【0057】
ステップS302では、食器11に貼付している小型タグ131とロボット装置1のハンド部4に内蔵のタグリーダ121とが通信可能な状態になるまでハンド部4を食器11に近づける。この際、2台の視覚センサ114,114の画像より三角測量の原理を利用して食器11とハンド部4の空間上の位置を測定し、ハンド部4が食器11に近づくように制御部101で制御を行う。この際、タグリーダ121と小型タグ131との通信結果と、画像情報とにより、他の食器11が食卓10の上に存在するかどうかを判定し、判定した結果をメモリ103に記録する。
【0058】
ステップS303では、タグリーダ121が食器11に貼付の小型タグ131より食器11の属性情報(食器のみの重量、食器に盛られていた食事と食器の合計重量、摩擦係数、剛性など)と、食器11を安定に把持するためのハンド部4の位置と姿勢に関する少なくとも1つ以上の情報とを取得し、制御部101内のメモリ103に保存する。
【0059】
ステップS304では、小型タグ131より取得した食器11を安定に把持するためのハンド部4の位置と姿勢に関する情報が2つ以上存在する場合には、2台の視覚センサ114,114でハンド部4と食器11を撮像した画像情報より、目標とするハンド部4の位置と姿勢を決定する。さらに、2台の視覚センサ114,114で食器11を撮像した画像情報より、食器11の上に食事が残っているかどうかを判断し、その判断結果を制御部101内のメモリ103に保存する。
【0060】
ステップS305では、まず、ハンド部4の位置と姿勢がステップS304で決定したハンド部4の位置と姿勢の目標値になるように制御部101がアーム部3の制御を行う。この際、2台の視覚センサ114,114で撮像した画像より、三角測量の原理を利用して食器11とハンド部4の位置と姿勢を計測する。その結果、目標位置と姿勢を満足した場合には、アーム部3を固定して、ハンド部4の制御のみで対象物である食器11の把持を行う。この際、メモリ手段103に保存した食器11の上に食事が残っているかどうかの判断結果を基に制御を行う。その結果、食器11の上に食事が残っていない場合には、食器11のみの重量と摩擦係数と剛性との情報より指先力を決定し、食器11の食器のみの重量と摩擦係数と決定した指先力の情報とを利用して、制御部101がハンド部4の把持制御を行い、食器の把持を実現する。一方、食器11の上に食事が残っている場合には、食器11に盛られた食事及び食器11の合計重量と摩擦係数と剛性との情報より指先力を決定し、食器11に盛られた食事及び食器11の合計重量と摩擦係数と決定した指先力の情報とを利用して、制御部101がハンド部4の把持制御を行い、食器の把持を実現する。指先に触覚センサ113が存在する場合には、触覚センサ113により実際の指先力を検出し、フィードバック制御を行うことでより正確な制御を実現する。
【0061】
ステップS306では、ロボット装置1がゆっくりと回転運動を行うように制御部101が移動機構部9を制御しながら、2台の視覚センサ114,114で流し台12の位置を検出する。流し台12の位置を検出すると、制御部101が移動制御部9を制御して、ロボット装置1を流し台12の近くまで移動させる(図3参照)。
【0062】
ステップS307では、2台の視覚センサ114,114の画像より流し台12の水平部を判断し、食器11を置く目標位置を決定する。目標位置を決定すると、制御部101がアーム部3及びハンド部4を制御して、把持している食器11を目標位置に移動するように制御を行う。目標位置に到達すると制御部101がハンド部4の把持を解除するように制御を行う。
【0063】
ステップS308では、ステップS302で食卓10の上に他の食器11が存在するかどうかを判定した結果がメモリ103に記録されていることを利用して、食器11の下膳が完了したかどうかを判定する。その結果、まだ食器11が存在する場合にはステップS301に戻る。一方、もう食器11が存在しない場合には下膳作業を完了する。
【0064】
次に、小型タグが貼付又は内蔵された食器と上記構成のロボット装置と計量器とで構成される食器の配膳下膳支援ロボットシステムにおいて、食事を配膳する手順について図17に示すフローチャートを参照して説明する。なお、食器を下膳する手順については図16に示すフローチャートの流れと同様であるため、ここでは説明を省略する。
【0065】
ステップS401では、ロボット装置1に搭載の2台の視覚センサ114,114の画像より三角測量の原理を利用して計量器15の位置を検出し、ロボット装置1が計量器15の近くまで移動するように制御部101で移動制御を行う(図5及び図7参照)。
【0066】
ステップS402では、計量器15の上に置かれた食事が盛られた食器11に対して、計量器15の計量部158は、食器11の重量を計量し、計量結果をタグライタ151のA/D変換器156に出力する。タグライタ151は無線送信部154を利用して食器11に貼付又は内蔵の小型タグ131の無線受信部136に計量結果を送信する。小型タグ131の無線受信部136で受信した情報は、不揮発性メモリ134に保存される。
【0067】
ステップS403では、食器11に貼付している小型タグ131とロボット装置1のハンド部4に内蔵のタグリーダ121とが通信可能な状態になるまでハンド部4を食器11に近づける。この際、2台の視覚センサ114,114の画像より三角測量の原理を利用して食器11とハンド部4の空間上の位置を測定し、ハンド部4が食器11に近づくように制御部101で制御を行う。
【0068】
ステップS404では、タグリーダ121が食器11に貼付の小型タグ131より食器の属性情報(食器に盛られた食事と食器の合計重量、摩擦係数、剛性など)と、食器11を安定に把持するためのハンド部4の位置と姿勢に関する少なくとも1つ以上の情報とを取得し、制御部101内のメモリ103に保存する。
【0069】
ステップS405では、小型タグ131より取得した食器11を安定に把持するためのハンド部4の位置と姿勢に関する情報が2つ以上存在する場合には、2台の視覚センサ114,114でハンド部4と食器11を撮像した画像情報より、目標とするハンド部4の位置と姿勢を決定する。
【0070】
ステップS406では、まず、ハンド部4の位置と姿勢がステップS405で決定したハンド部4の位置と姿勢の目標値になるように制御部101がアーム部3の制御を行う。この際、2台の視覚センサ114,114で撮像した画像より、三角測量の原理を利用して食器11とハンド部4の位置と姿勢を計測する。その結果、目標位置と姿勢を満足した場合には、アーム部3を固定して、ハンド部4の制御のみで対象物である食器11の把持を行う。この際、メモリ手段103に保存している食器11に盛られた食事と食器の合計重量と摩擦係数と剛性との情報より指先力を決定し、食器11に盛られた食事と食器の合計重量と摩擦係数と決定した指先力の情報とを利用して制御部101がハンド部4の把持制御を行い、食器の把持を実現する。指先に触覚センサ113が存在する場合には、触覚センサ113により実際の指先力を検出し、フィードバック制御を行うことでより正確な制御を実現する。
【0071】
ステップS407では、まず、ロボット装置1がゆっくりと回転運動を行うように制御部101が移動機構部9を制御しながら、2台の視覚センサ114,114で食卓10の位置を検出する。食卓10の位置を検出すると、制御部101が移動機構部9を制御して、ロボット装置1を食卓10の近くまで移動させる。
【0072】
ステップS408では、2台の視覚センサ114,114の画像より食卓10の水平部を判断し、食器11を置く目標位置を決定する。目標位置を決定すると、制御部101がアーム部3及びハンド部4を制御して、把持している食器11を目標位置に移動する。食器11が目標位置に到達すると、制御部101がハンド部4の把持を解除するように制御を行う。
【0073】
ステップS409では、2台の視覚センサ114,114の画像より三角測量の原理を利用して計量器15の位置を検出し、ロボット装置1が計量器15の近くまで移動するように制御部101で移動制御を行う。
【0074】
ステップS410では、2台の視覚センサ114,114の画像より三角測量の原理を利用して計量器15の上に食器11が存在するかどうかを検出し、制御部101がまだ食器11が存在すると判断した場合には、ステップS402に戻る。一方、制御部101が計量器15の上にはもう食器11が存在しないと判断した場合には、配膳作業を完了する。
【0075】
なお、上記各実施例において、ロボット装置1への配膳及び下膳の動作は、人からの指示にしたがって開始しても良いし、ロボット装置1が視覚情報等を利用して状況を認識することで開始しても良い。
【0076】
以上説明した食器の配膳下膳支援システムは、食器の配膳及び/または下膳支援処理を機能させるためのプログラムで実現されている。
【0077】
発明の対象とするのは、このプログラムそのものであってもよいし、このプログラムがコンピュータで読み取り可能な記録媒体に格納されているものであってもよい。
【0078】
本発明では、この記録媒体として、例えばROMのようなものそのものがプログラムメディアであってもよいし、また、図示していない外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロコンピュータがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示しないプログラム記憶エリアにロードされて、そのプログラムが実行される方式であってもよい。このロード用のプログラムは予め本体装置に格納されているものとする。
【0079】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、FD(フレキシブルディスク)やHD(ハードディスク)等の磁気ディスクやCD−ROM/MO/MD/DVD等の光ディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM、EEPROM、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【0080】
また、本発明においては、インターネットを含む通信ネットワークと接続可能なシステム構成である場合には、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予めシステム本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【0081】
さらに、本発明では、プログラム自体として、マイクロコンピュータで実行される処理そのものであってもよいし、あるいはインターネットを含む通信ネットワークとアクセスすることで取り込める、あるいは取り込めたものであってもよいし、こちらから送り出すものであってもよい。さらには、この取り込んだプログラムに基づいて、上記配膳下膳支援システム内で処理された結果、つまり生成されたものであってもよい。あるいは、こちらから送り出す際に上記配膳下膳支援システム内で処理された結果、つまり生成されたものであってもよい。なお、これらのものはプログラムに限定されず、データであってもよい。
【0082】
【発明の効果】
本発明によれば、物である例えば食器の属性に関する情報を情報記録部から読み取り、この読み取った情報を利用して食器の把持制御を実現する構成としたので、食器を一つずつ把持することが可能となる。その結果、例えば下膳時に、食器を食卓に残すことなく下膳を完了することができる。
【0083】
また、本発明によれば、情報記録部には、物である例えば食器の属性に関する情報として、少なくともその食器の重量に関する情報が記録されているので、食器の属性に関する情報として少なくとも食器の重量に関する情報を記録し、この情報をハンド部の制御に利用することで、設計者が事前に食器の重量を想定して制御部のメモリに想定重量を記録する必要がなく、また、想定した重量以上の食器の把持が困難であった従来の課題を解決することができる。
【0084】
また、本発明によれば、物の重量に関する情報として、食器に盛られた食事と食器の合計重量を記録し、この情報をハンド部の制御に利用することで、下膳時の食器の重量は、配膳時に食器に盛られた食事と食器の合計重量よりも軽くなるため、配膳支援を安定な把持により実現できた食器に関しては、下膳支援も安定な把持により実現することができる。
【0085】
また、本発明によれば、食器に貼付又は内蔵される情報記録部に、食器のみの重量と、食器に盛られた食事と食器の合計重量との2つの情報を記録する。そして、この2つの重量情報を、情報記録部から情報読み取り部を利用して取得し、取得した情報を利用して食器の把持制御を実現することで、食器を一つずつ把持することができる。特に配膳時には、食器に盛られた食事と食器との合計重量の情報を使用し、下膳時には、食器のみの重量情報を使用することで、食器を安定して把持することができる。
【0086】
また、本発明によれば、対象物の重量を計量する計量手段及び重量の計量結果を非接触で前記情報記録部に記録する記録手段を有する計量器をさらに備えた構成としている。このような構成とすれば、計量器が食事を含めた食器の重量を計量した結果を情報記録部に記録し、ロボット装置がこの重量情報を情報記録部から情報読み取り部を利用して取得し、取得した情報を利用して食器の把持制御を実現することで、把持直前のより精度の高い重量情報を制御に利用することができるため、食器ごとに安定した把持状態で配膳を実行することができる。
【0087】
また、本発明によれば、食器の属性に関する情報として、少なくとも材質に関する情報を記録し、この材質に関する情報をハンド部の制御に利用することで、設計者が事前に食器の剛性を想定して制御部のメモリに想定剛性を記録する必要がなく、また、想定した剛性以下の食器の把持時に食器が破損する危険性を低減することができる。
【0088】
また、本発明によれば、物である食器の属性に関する情報として、少なくとも食器の把持手段に関する情報を記録し、この把持手段に関する情報をハンド部の制御に利用することで、より安定かつ高速に食器を把持することが可能となる。
【0089】
また、本発明によれば、ハンド部に触覚センサを配置することで、食器に加わる指先力を、モータトルクから算出する場合に比べて高精度に検出することができる。
【0090】
また、本発明によれば、情報読み取り部をハンド部に配置することで、アーム部の自由度を利用して情報読み取り部が環境をスキャンすることができる。そのため、情報記録部と情報読み取り部との間の通信距離が比較的短い場合であっても、ハンド部の稼動範囲内に存在する食器を確実に検出することができる。
【0091】
また、本発明によれば、ロボット装置を自律型のロボット装置とすることで、ユーザは食器の下膳作業を全くする必要がなく、別の作業をする時間的な余裕を得ることができる。
【図面の簡単な説明】
【図1】ロボット装置と小型タグとで構成される本発明に係わる食器の配膳下膳支援ロボットシステムの全体構成図である。
【図2】ロボット装置と小型タグとで構成される本発明に係わる食器の配膳下膳支援ロボットシステムの全体構成図である。
【図3】ダイニングキッチンでロボット装置が準備台に対峙している状態を示す説明図である。
【図4】ダイニングキッチンでロボット装置が食卓に対峙している状態を示す説明図である。
【図5】ロボット装置と小型タグと計量器とで構成される本発明に係わる食器の配膳下膳支援ロボットシステムの全体構成図である。
【図6】(a)は計量器の斜視図、(b)は同正面図である。
【図7】ダイニングキッチンでロボット装置が計量器に対峙している状態を示す説明図である。
【図8】ロボット装置の制御部の構成を示すブロック図である。
【図9】タグリーダの構成を示すブロック図である。
【図10】小型タグの構成を示すブロック図である。
【図11】タグライタの構成を示すブロック図である。
【図12】タグシステムの通信状態を示す説明図である。
【図13】ロボット装置における制御プログラムのソフトウェア構成を示す説明図である。
【図14】ロボット装置の本体部が上下に移動している様子を示す説明図である。
【図15】ロボット装置による食器の配膳支援の処理動作を示すフローチャートである。
【図16】ロボット装置による食器の下膳支援の処理動作を示すフローチャートである。
【図17】ロボット装置による食器の配膳支援の処理動作を示すフローチャートである。
【符号の説明】
1 ロボット装置
2 本体部
3 アーム部
4 ハンド部
5 バッテリ
6,7,8 アームの関節
9 移動機構部
10 食卓
11 食器
12 流し台
13 準備台
15 計量器
101 制御部
102 演算装置
103メモリ
104D/A変換器
105 カウンタ
106 A/D変換器
107 画像入力インターフェース
108 シリアルポート
109 バス
110 モータドライバ
111 モータ
112 エンコーダ
113 触覚センサ
114 視覚センサ
121 タグリーダ
122 演算装置
123 メモリ
124 無線送信部
125 無線受信部
126 シリアルポート
127 バス
131,131a,131b 小型タグ
132 演算装置
133 メモリ
134 不揮発性メモリ
135 無線送信部
136 無線受信部
137 バス
141 画像処理部
142 行動計画部
143 制御演算部
151 タグライタ
152 演算装置
153 メモリ
154 無線送信部
155 無線受信部
156 A/D変換器
157 バス
158 計量部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a tableware serving lowering table support robot system, a serving lowering table support method, a serving lowering table support program, and a recording medium recording the serving lowering table support program.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been proposed a robot system for supporting tableware serving tableware (see, for example, Patent Document 1).
[0003]
The robot system ("transport robot system") includes at least a wheel-type moving mechanism, a storage unit capable of storing an object to be transported, a visual sensor, a measurement recognition unit based on the sensor information, and a transport unit to the storage unit. A manipulator for moving the object in and out.
[0004]
In a robot system having such a configuration, a person places one or a plurality of dishes containing meals on a meal tray in a cooking room, and then places the meal tray on a delivery wagon. The robot autonomously moves to the front of the delivery wagon, images a recognition label installed on the meal tray with a visual sensor, selects a meal tray to be delivered, and stores the meal tray in the robot main body storage unit using the manipulator. After that, it moves to the transport destination and places the meal tray at the target position. On the other hand, at the time of the lower table, the system detects the position of the tray with the visual sensor, then grips the meal tray, stores it in the robot main body storage unit, and returns to the predetermined position.
[0005]
[Patent Document 1]
JP-A-9-267276
[0006]
[Problems to be solved by the invention]
However, in the above-mentioned robot system, the robot can only realize the gripping of the meal tray, and is assumed to be used in such a manner that a dish for one person is placed on one tray in advance and served. For this reason, there are problems such as, for example, serving meals in the order in which they were prepared, such as course dishes, and dispensing meals by tableware, such as home meals without using trays. Was. In addition, when a human puts tableware outside the meal tray and eats, the robot cannot set the tableware outside the tableware tray because the robot sets only the meal tray at the time of lowering the table. There was also. In this case, the work of placing the dishes on the meal tray needs to be performed by a human.
[0007]
The present invention has been conceived in order to solve such problems, and its purpose is to separate individual dishes by taking into account the weight of the meal placed on the dishes, the weight of the dishes, the material and rigidity of the dishes, and the like. It is an object of the present invention to provide a serving lowering table support robot system and a serving lowering table support method for tableware which can be set and / or settable.
[0008]
[Means for Solving the Problems]
The tableware serving lower table support robot system according to the present invention is a robot system that supports tableware serving and / or lower table, in which information about an attribute of the object attached to or embedded in the object is recorded. An information recording unit and a robot device, the robot device having a moving mechanism unit, a visual sensor, a multi-degree-of-freedom arm unit, and a hand unit having at least two fingers attached to the arm unit. And an information reading unit that reads information from the information recording unit, and a control unit that controls the operation of the entire device.When the control unit controls the present device, the control unit records the information in the information recording unit. It is characterized in that information on the attribute of the object is used.
[0009]
According to the present invention having such features, the information reading unit reads, for example, information on the attribute of tableware from the information recording unit in which the information on the attribute of tableware is recorded, and uses the read information to use the tableware. By realizing the grip control, it is possible to grip the tableware one by one. As a result, for example, at the time of the lower table, the lower table can be completed without leaving tableware on the table.
[0010]
Further, according to the present invention, at least the information relating to the weight of the tableware is recorded in the information recording unit as the information relating to the attribute of the object, for example, tableware. In this manner, at least information relating to the weight of tableware is recorded as information relating to the attributes of tableware, and this information is used for controlling the hand unit. It is not necessary to record the assumed weight, and it is possible to solve the conventional problem that it is difficult to hold tableware having a weight larger than the assumed weight.
[0011]
Further, according to the present invention, the information on the weight of the object is the total weight of the meal and the tableware served on the tableware. In this way, by recording the total weight of meals and dishes on tableware as information on the weight of items, and using this information for control of the hand unit, lower table support is also realized by stable gripping Can be. In other words, the weight of the tableware at the time of serving is lower than the total weight of the meal and the tableware served at the table at the time of serving. It can be realized by gripping.
[0012]
Further, according to the present invention, at least two pieces of weight information are recorded in an information recording unit attached to or incorporated in tableware. Specifically, two pieces of information, that is, the weight of the tableware alone and the total weight of the meal and the tableware placed on the tableware are recorded. The two pieces of weight information are obtained from the information recording unit using the information reading unit, and the obtained information is used to realize the grip control of the tableware, whereby the tableware can be gripped one by one. It becomes. In particular, at the time of serving, the information on the total weight of the meal and the dishes placed on the tableware is used, and at the time of the lower table, the weight information of only the tableware is used, so that the tableware can be stably gripped. Further, output control is facilitated, and as a result, work can be performed with low power consumption. Further, since it is possible to use the actual tableware weight information, it is not necessary to assume the weight.
[0013]
Further, according to the present invention, the apparatus may further include a weighing device having weighing means for weighing the weight of the object and recording means for recording the result of weighing the information in the information recording section in a non-contact manner. With such a configuration, the result of weighing the tableware including the meal by the measuring instrument is recorded in the information recording section, and the robot apparatus acquires the weight information from the information recording section using the information reading section. By realizing tableware grip control using the acquired information, it is possible to use more accurate weight information immediately before gripping for control, so that serving is performed in a stable gripping state for each tableware Becomes possible. Further, since it is possible to use the actual tableware weight information, it is not necessary to assume the weight.
[0014]
Further, according to the present invention, at least the information on the material of the tableware is recorded in the information recording unit as the information on the attribute of the object, for example, the tableware. As described above, at least information on the material is recorded as information on the attribute of the tableware, and the information on the material is used for controlling the hand unit. It is not necessary to record the assumed rigidity, and it is possible to reduce the risk of breakage of the tableware when holding the tableware having the assumed rigidity or less.
[0015]
Further, according to the present invention, the information recording unit records at least information relating to an object gripping means as information relating to the attribute of the object. As described above, at least information on the holding means of the tableware is recorded as the information on the attribute of the tableware as an object, and the information on the holding means is used for controlling the hand unit, so that the tableware is more stably and quickly held. It becomes possible.
[0016]
Further, according to the present invention, the information reading unit may be configured to read information related to an attribute of an object from the information recording unit using a non-contact communication means (for example, RF (radio frequency)).
[0017]
Further, according to the present invention, the hand unit may have a tactile sensor. By arranging the tactile sensor in the hand unit in this way, it is possible to detect the fingertip force applied to the tableware with higher accuracy than when calculating from the motor torque.
[0018]
Further, according to the present invention, the information reading unit may be arranged on the hand unit. Thus, by arranging the information reading unit in the hand unit, the information reading unit can scan the environment using the degree of freedom of the arm unit. Therefore, even if the communication distance between the information recording unit and the information reading unit is relatively short, it is possible to reliably detect tableware existing within the operating range of the hand unit.
[0019]
Further, according to the present invention, the moving mechanism unit is configured to be able to move autonomously under the control of the control unit. As described above, by using the robot apparatus of the present invention as an autonomous robot apparatus, the user does not need to perform the work of lowering the tableware at all, and can have time to perform another work.
[0020]
Further, the tableware serving support method according to the present invention is a method for supporting tableware serving using the robot apparatus having the above-described configuration, and uses the principle of triangulation from the image of the visual sensor to determine the position of the preparation table. Detect and move the robot device to the preparation table, and hold the hand unit until the information recording unit affixed to the object and the information reading unit built into the hand unit of the robot device can communicate. Bringing the object closer to the object, the information reading unit from the information recording unit affixed to the object, attribute information of the object, at least one or more information on the position and orientation of the hand unit for holding the object stably Acquiring, the step of determining the position and orientation of the hand unit for stably gripping the object acquired from the information recording unit, and the position and orientation of the hand unit determined by the above step posture After the arm is moved to the target value, the robot grasps the object with the hand, and detects the position of the table with a visual sensor while slowly rotating the robot, thereby moving the table to the table. Moving to the stage and judging the horizontal part of the dining table from the image of the visual sensor, determine the target position to place the object, control the arm and hand, and move the grasped object to the target position Releasing the grip of the hand unit after the placement.
[0021]
Further, the tableware lowering table supporting method according to the present invention is a method of supporting the tableware lowering table using the robot apparatus having the above-described configuration, and detects a position of the tabletop from an image of a visual sensor mounted on the robot apparatus. Moving the robot device to the dining table, and bringing the hand unit close to the object until the information recording unit attached to the object and the information reading unit built in the hand unit of the robot device can communicate with each other. Acquiring the attribute information of the object from the information recording unit affixed to the object, and at least one or more pieces of information relating to the position and orientation of the hand unit for stably gripping the object, Determining the position and orientation of the hand unit for stably gripping the object acquired from the information recording unit, and setting the position and orientation of the hand unit to the target values of the position and orientation of the hand unit determined in the above stage. What After moving the arm part, grasping the target object with the hand part, and moving the robot apparatus to the sink by detecting the position of the sink with the visual sensor while slowly rotating the robot apparatus And, determine the horizontal portion of the sink from the image of the visual sensor, determine the target position to place the object, control the arm and hand, after placing the grasped object at the target position, Releasing the gripping of the hand unit.
[0022]
Note that the tableware serving table support method having the above configuration can be realized as a serving table support program for a robot apparatus to execute the method. In addition, the serving table serving program for tableware can be provided by being recorded on a computer-readable recording medium.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0024]
The configuration of the tableware serving lowering table support robot system and the serving lowering table operation according to the present invention will be described with reference to FIGS. 1 to 17.
[0025]
1 to 4 show one embodiment of the
[0026]
The
[0027]
The
[0028]
The
[0029]
Further, a
[0030]
In addition, two
[0031]
The moving
[0032]
5 to 7 show an example in which the measuring
[0033]
The weighing
[0034]
FIG. 8 is a block diagram illustrating details of the
[0035]
The
[0036]
Next, the tag system will be described with reference to FIGS. In an information communication system using tags, a
[0037]
The
[0038]
The
[0039]
The
[0040]
That is, RF communication is performed between the
[0041]
A method of using another tag system according to the present invention will be described. A
[0042]
FIG. 13 shows a software configuration of a control program in the
[0043]
As shown in FIG. 13, the control program includes an
[0044]
The
[0045]
Next, with reference to a flowchart shown in FIG. 15, a procedure for distributing tableware will be described with reference to a flowchart shown in FIG. 15. I do.
[0046]
In step S201, the position of the preparation table 13 is detected from the images of the two
[0047]
In step S202, the
[0048]
In step S203, the
[0049]
In step S204, when there are two or more pieces of information on the position and orientation of the
[0050]
In step S205, first, the
[0051]
In step S206, the
[0052]
In step S207, the horizontal portion of the dining table 10 is determined from the images of the two
[0053]
In step S208, the position of the preparation table 13 is detected from the images of the two
[0054]
In step S209, it is detected from the images of the two
[0055]
Next, in the tableware serving lowering table support robot system including the tableware with the small tag attached or built therein and the robot apparatus having the above configuration, a procedure for lowering the tableware will be described with reference to a flowchart illustrated in FIG. 16. explain.
[0056]
In step S301, the position of the dining table 10 is detected from the images of the two
[0057]
In step S302, the
[0058]
In step S303, the
[0059]
In step S304, if there are two or more pieces of information on the position and orientation of the
[0060]
In step S305, first, the
[0061]
In step S306, while the
[0062]
In step S307, the horizontal part of the
[0063]
In step S308, utilizing the fact that the result of determining whether or not another
[0064]
Next, with reference to a flowchart shown in FIG. 17, a procedure for distributing meals in a tableware serving lowering support robot system including tableware having a small tag attached or built therein, a robot apparatus having the above configuration, and a measuring device will be described. Will be explained. Note that the procedure for setting the dishes down is the same as the flow of the flowchart shown in FIG.
[0065]
In step S401, the position of the measuring
[0066]
In step S402, the weighing
[0067]
In step S403, the
[0068]
In step S404, the
[0069]
In step S <b> 405, when there are two or more pieces of information on the position and posture of the
[0070]
In step S406, first, the
[0071]
In step S407, first, the
[0072]
In step S408, the horizontal portion of the table 10 is determined from the images of the two
[0073]
In step S409, the
[0074]
In step S410, it is detected from the images of the two
[0075]
In each of the above embodiments, the operation of serving and setting the lower table to the
[0076]
The tableware serving lower table support system described above is realized by a program for causing tableware serving and / or lower table support processing to function.
[0077]
The subject of the invention may be the program itself, or the program may be stored in a computer-readable recording medium.
[0078]
In the present invention, as the recording medium, for example, a ROM itself may be a program medium, or a program reading device is provided as an external storage device (not shown), in which the recording medium is inserted. It may be a readable program medium. In any case, the stored program may be configured to be accessed and executed by a microcomputer, or in any case, the program may be read, and the read program may be a program (not shown) of the microcomputer. The program may be loaded into the storage area and the program may be executed. It is assumed that the loading program is stored in the main unit in advance.
[0079]
Here, the program medium is a recording medium configured to be separable from the main body, such as a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as an FD (flexible disk) or an HD (hard disk), a CD-ROM / An optical disk system such as MO / MD / DVD, a card system such as an IC card (including a memory card) / optical card, or a fixed program including a semiconductor memory such as a mask ROM, EPROM, EEPROM, flash ROM, etc. It may be a medium.
[0080]
Further, in the present invention, when the system configuration is connectable to a communication network including the Internet, the medium may carry the program in a fluid manner so that the program is downloaded from the communication network. When the program is downloaded from the communication network as described above, the download program may be stored in the system body in advance, or may be installed from another recording medium. The content stored in the recording medium is not limited to a program, but may be data.
[0081]
Further, in the present invention, the program itself may be the processing itself executed by the microcomputer, or may be acquired by accessing a communication network including the Internet, or may be acquired. It may be sent from. Further, it may be a result of processing in the serving and lower table support system based on the loaded program, that is, a program generated. Alternatively, it may be generated as a result of processing in the above-mentioned serving lower-table support system when sending it out from here. Note that these are not limited to programs and may be data.
[0082]
【The invention's effect】
According to the present invention, information relating to attributes of, for example, tableware, which are objects, is read from the information recording unit, and the readout information is used to realize tableware grip control. Becomes possible. As a result, for example, at the time of the lower table, the lower table can be completed without leaving the tableware on the table.
[0083]
Further, according to the present invention, at least information relating to the weight of the tableware is recorded in the information recording unit as information relating to the attribute of the object, for example, the tableware. By recording information and using this information for control of the hand unit, there is no need for the designer to assume the weight of the tableware in advance and record the assumed weight in the memory of the control unit, It is possible to solve the conventional problem that it was difficult to grasp the tableware of the present invention.
[0084]
Further, according to the present invention, as the information on the weight of the item, the total weight of the meal and the dishes put on the tableware is recorded, and this information is used for controlling the hand unit, so that the weight of the tableware at the time of the lower table can be obtained. Is lighter than the total weight of the meal and the dishes put on the tableware at the time of serving, so that for tableware for which serving support can be realized by stable gripping, lower table support can also be realized by stable holding.
[0085]
Further, according to the present invention, two pieces of information, that is, the weight of the tableware alone and the total weight of the meal and the tableware placed on the tableware, are recorded in the information recording unit attached to or built in the tableware. Then, the two pieces of weight information are obtained from the information recording unit using the information reading unit, and the tableware can be gripped one by one by implementing the gripping control of the tableware using the obtained information. . In particular, at the time of serving, the information on the total weight of the meal and the tableware used on the tableware is used, and at the time of the lower table, the tableware can be stably gripped by using the weight information of only the tableware.
[0086]
Further, according to the present invention, the apparatus further includes a weighing device having weighing means for weighing the weight of the target object and recording means for recording the weighing result in the information recording section in a non-contact manner. With such a configuration, the result of weighing the tableware including the meal by the measuring instrument is recorded in the information recording section, and the robot apparatus acquires the weight information from the information recording section using the information reading section. By using the acquired information to realize tableware grip control, more accurate weight information immediately before gripping can be used for control, so that serving is performed in a stable gripping state for each tableware Can be.
[0087]
According to the present invention, at least information on the material is recorded as information on the attribute of the tableware, and the information on the material is used for controlling the hand unit. It is not necessary to record the assumed rigidity in the memory of the control unit, and it is possible to reduce the risk of breakage of the tableware when gripping tableware having the assumed rigidity or less.
[0088]
Further, according to the present invention, as information relating to the attribute of the tableware as an object, at least information relating to the gripping means of the tableware is recorded, and the information relating to the gripping means is used for control of the hand unit, so that it is more stable and faster. It becomes possible to hold tableware.
[0089]
Further, according to the present invention, by arranging the tactile sensor in the hand unit, the fingertip force applied to the tableware can be detected with higher accuracy than when calculating from the motor torque.
[0090]
Further, according to the present invention, by arranging the information reading unit in the hand unit, the information reading unit can scan the environment using the degree of freedom of the arm unit. Therefore, even if the communication distance between the information recording unit and the information reading unit is relatively short, it is possible to reliably detect tableware present within the operating range of the hand unit.
[0091]
Further, according to the present invention, by making the robot apparatus an autonomous robot apparatus, the user does not need to perform the work of lowering the tableware at all, and can have time to perform another work.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a tableware serving and setting support robot system according to the present invention, which is configured by a robot device and a small tag.
FIG. 2 is an overall configuration diagram of a tableware serving and setting support robot system according to the present invention, which is configured by a robot device and a small tag.
FIG. 3 is an explanatory diagram showing a state in which a robot apparatus faces a preparation table in a dining kitchen.
FIG. 4 is an explanatory diagram showing a state in which a robot apparatus faces a dining table in a dining kitchen.
FIG. 5 is an overall configuration diagram of a tableware serving lower table support robot system according to the present invention, which includes a robot device, a small tag, and a measuring device.
FIG. 6A is a perspective view of a measuring instrument, and FIG. 6B is a front view of the same.
FIG. 7 is an explanatory diagram showing a state where the robot apparatus is facing the measuring instrument in the dining kitchen.
FIG. 8 is a block diagram illustrating a configuration of a control unit of the robot device.
FIG. 9 is a block diagram illustrating a configuration of a tag reader.
FIG. 10 is a block diagram showing a configuration of a small tag.
FIG. 11 is a block diagram illustrating a configuration of a tag writer.
FIG. 12 is an explanatory diagram showing a communication state of the tag system.
FIG. 13 is an explanatory diagram illustrating a software configuration of a control program in the robot device.
FIG. 14 is an explanatory diagram showing a state in which the main body of the robot device is moving up and down.
FIG. 15 is a flowchart illustrating a processing operation of tableware serving support by the robot apparatus.
FIG. 16 is a flowchart showing a processing operation of lower table support of tableware by the robot apparatus.
FIG. 17 is a flowchart illustrating a processing operation of tableware serving support by the robot apparatus.
[Explanation of symbols]
1 Robot device
2 Body
3 Arm part
4 Hand part
5 Battery
6, 7, 8 arm joints
9 Moving mechanism
10 dining table
11 Tableware
12 sink
13 Preparation table
15 Scale
101 control unit
102 arithmetic unit
103 memory
104D / A converter
105 counter
106 A / D converter
107 Image input interface
108 serial port
109 Bus
110 Motor driver
111 motor
112 encoder
113 Tactile sensor
114 Vision Sensor
121 Tag Reader
122 arithmetic unit
123 memory
124 wireless transmitter
125 wireless receiver
126 serial port
127 bus
131, 131a, 131b Small tag
132 arithmetic unit
133 memory
134 Non-volatile memory
135 wireless transmitter
136 Radio receiver
137 bus
141 Image processing unit
142 Action Planning Department
143 control operation unit
151 Tag Writer
152 arithmetic unit
153 memory
154 wireless transmitter
155 wireless receiver
156 A / D converter
157 bus
158 Weighing section
Claims (17)
対象物に貼付又は内蔵されている当該対象物の属性に関する情報が記録されている情報記録部と、ロボット装置とからなり、
前記ロボット装置は、移動機構部と、視覚センサと、多自由度のアーム部と、このアーム部に取り付けられた少なくとも2本指を有するハンド部と、前記情報記録部から情報を読み取る情報読み取り部と、装置全体の動作を制御する制御部とを備えており、前記制御部は、本装置を制御する際に、前記情報記録部に記録されている物の属性に関する情報を利用することを特徴とする食器の配膳下膳支援ロボットシステム。A robot system for supporting tableware serving and / or lower tables,
An information recording unit in which information on the attribute of the object attached or embedded in the object is recorded, and a robot device,
The robot apparatus includes a moving mechanism unit, a visual sensor, a multi-degree-of-freedom arm unit, a hand unit having at least two fingers attached to the arm unit, and an information reading unit that reads information from the information recording unit. And a control unit for controlling the operation of the entire device, wherein the control unit uses information on an attribute of an object recorded in the information recording unit when controlling the present device. A robot system for serving tableware and serving dishes.
視覚センサの画像より準備台の位置を検出して、ロボット装置を準備台まで移動させる段階と、
対象物に貼付している情報記録部とロボット装置のハンド部に内蔵の情報読み取り部とが通信可能な状態になるまで、ハンド部を対象物に近づける段階と、
情報読み取り部が対象物に貼付の情報記録部より対象物の属性情報と、対象物を安定に把持するためのハンド部の位置と姿勢に関する少なくとも1つ以上の情報とを取得する段階と、
情報記録部より取得した対象物を安定に把持するためのハンド部の位置と姿勢を決定する段階と、
ハンド部の位置と姿勢が上記段階で決定したハンド部の位置と姿勢の目標値になるようにアーム部を移動させた後、ハンド部で対象物を把持する段階と、
ロボット装置をゆっくりと回転運動させながら視覚センサで食卓の位置を検出することにより、ロボット装置を食卓まで移動させる段階と、
視覚センサの画像より対象物を置く食卓上の目標位置を決定し、アーム部及びハンド部を制御して、把持している対象物を目標位置に載置した後、ハンド部の把持を解除する段階とを備えたことを特徴とする食器の配膳支援方法。Information in which information on a moving mechanism unit, a visual sensor, a multi-degree-of-freedom arm unit, a hand unit attached to this arm unit, and information on an attribute of the object attached to or embedded in the object is recorded. An information reading unit that reads information from a recording unit, and a method of supporting serving of tableware using a robot device including a control unit that controls the operation of the entire device,
Detecting the position of the preparation table from the image of the visual sensor, and moving the robot apparatus to the preparation table;
Bringing the hand unit close to the object until the information recording unit attached to the object and the information reading unit built in the hand unit of the robot device become communicable,
A step in which the information reading unit acquires attribute information of the object from the information recording unit attached to the object and at least one or more pieces of information relating to the position and orientation of the hand unit for stably gripping the object;
Determining the position and orientation of the hand unit for stably gripping the object acquired from the information recording unit,
After moving the arm unit so that the position and orientation of the hand unit are the target values of the position and orientation of the hand unit determined in the above step, gripping the target with the hand unit,
Moving the robot device to the dining table by detecting the position of the dining table with a visual sensor while slowly rotating the robot device,
The target position on the dining table where the object is to be placed is determined from the image of the visual sensor, the arm and the hand are controlled, and after the object being held is placed at the target position, the grip of the hand is released. A method for supporting the serving of tableware, comprising the steps of:
視覚センサの画像より食卓の位置を検出し、ロボット装置を食卓まで移動させる段階と、
対象物に貼付している情報記録部とロボット装置のハンド部に内蔵の情報読み取り部とが通信可能な状態になるまでハンド部を対象物に近づける段階と、
情報読み取り部が対象物に貼付の情報記録部より対象物の属性情報と、対象物を安定に把持するためのハンド部の位置と姿勢に関する少なくとも1つ以上の情報とを取得する段階と、
情報記録部より取得した対象物を安定に把持するためのハンド部の位置と姿勢を決定する段階と、
ハンド部の位置と姿勢が上記段階で決定したハンド部の位置と姿勢の目標値になるようにアーム部を移動させた後、ハンド部で対象物を把持する段階と、
ロボット装置をゆっくりと回転運動させながら視覚センサで流し台の位置を検出することにより、ロボット装置を流し台まで移動させる段階と、
視覚センサの画像より対象物を置く流し台上の目標位置を決定し、アーム部及びハンド部を制御して、把持している対象物を目標位置に載置した後、ハンド部の把持を解除する段階とを備えたことを特徴とする食器の下膳支援方法。Information in which information on a moving mechanism unit, a visual sensor, a multi-degree-of-freedom arm unit, a hand unit attached to this arm unit, and information on an attribute of the object attached to or embedded in the object is recorded. An information reading unit that reads information from a recording unit, a method of supporting a lower table of dishes using a robot device including a control unit that controls the operation of the entire device,
Detecting the position of the dining table from the image of the visual sensor and moving the robot apparatus to the dining table;
Bringing the hand unit close to the object until the information recording unit attached to the object and the information reading unit built into the hand unit of the robot device become communicable,
A step in which the information reading unit acquires attribute information of the object from the information recording unit attached to the object and at least one or more pieces of information relating to the position and orientation of the hand unit for stably gripping the object;
Determining the position and orientation of the hand unit for stably gripping the object acquired from the information recording unit,
After moving the arm unit so that the position and orientation of the hand unit are the target values of the position and orientation of the hand unit determined in the above step, gripping the target with the hand unit,
Moving the robot to the sink by detecting the position of the sink with a visual sensor while slowly rotating the robot;
The target position on the sink on which the object is placed is determined from the image of the visual sensor, and the arm and the hand are controlled to place the object being held at the target position, and then the grip of the hand is released. A method for supporting a lower table of tableware, comprising:
視覚センサの画像より準備台の位置を検出して、ロボット装置を準備台まで移動させるように制御するステップと、
対象物に貼付している情報記録部とロボット装置のハンド部に内蔵の情報読み取り部とが通信可能な状態になるまで、ハンド部を対象物に近づけるように制御するステップと、
情報読み取り部が対象物に貼付の情報記録部より対象物の属性情報と、対象物を安定に把持するためのハンド部の位置と姿勢に関する少なくとも1つ以上の情報とを取得するステップと、
情報記録部より取得した対象物を安定に把持するためのハンド部の位置と姿勢を決定するステップと、
ハンド部の位置と姿勢が上記段階で決定したハンド部の位置と姿勢の目標値になるようにアーム部を移動させた後、ハンド部で対象物を把持するように制御するステップと、
ロボット装置をゆっくりと回転運動させながら視覚センサで食卓の位置を検出することにより、ロボット装置を食卓まで移動させるように制御するステップと、
視覚センサの画像より対象物を置く食卓上の目標位置を決定し、アーム部及びハンド部を制御して、把持している対象物を目標位置に載置した後、ハンド部の把持を解除するように制御するステップとを備えたことを特徴とする食器の配膳支援プログラム。Information in which information on a moving mechanism unit, a visual sensor, a multi-degree-of-freedom arm unit, a hand unit attached to this arm unit, and information on an attribute of the object attached to or embedded in the object is recorded. An information reading unit that reads information from a recording unit, and a computer-readable serving assistance program for supporting serving of tableware using a robot device including a control unit that controls the operation of the entire device,
Detecting the position of the preparation table from the image of the visual sensor, and controlling the robot apparatus to move to the preparation table;
Until the information recording unit affixed to the object and the information reading unit built in the hand unit of the robot device become communicable, a step of controlling the hand unit to approach the object,
A step in which the information reading unit acquires attribute information of the object from the information recording unit attached to the object and at least one or more pieces of information relating to the position and orientation of the hand unit for stably gripping the object;
Determining the position and orientation of the hand unit for stably gripping the object acquired from the information recording unit,
After moving the arm unit so that the position and orientation of the hand unit become the target values of the position and orientation of the hand unit determined in the above step, controlling to grip the target with the hand unit,
Controlling the robot apparatus to move to the table by detecting the position of the table with a visual sensor while slowly rotating the robot apparatus;
The target position on the dining table where the object is to be placed is determined from the image of the visual sensor, the arm and the hand are controlled, and after the object being held is placed at the target position, the grip of the hand is released. Tableware serving support program, comprising the steps of:
視覚センサの画像より食卓の位置を検出し、ロボット装置を食卓まで移動させるように制御するステップと、
対象物に貼付している情報記録部とロボット装置のハンド部に内蔵の情報読み取り部とが通信可能な状態になるまでハンド部を対象物に近づけるように制御するステップと、
情報読み取り部が対象物に貼付の情報記録部より対象物の属性情報と、対象物を安定に把持するためのハンド部の位置と姿勢に関する少なくとも1つ以上の情報とを取得するステップと、
情報記録部より取得した対象物を安定に把持するためのハンド部の位置と姿勢を決定するステップと、
ハンド部の位置と姿勢が上記段階で決定したハンド部の位置と姿勢の目標値になるようにアーム部を移動させた後、ハンド部で対象物を把持するように制御するステップと、
ロボット装置をゆっくりと回転運動させながら視覚センサで流し台の位置を検出することにより、ロボット装置を流し台まで移動させるように制御するステップと、
視覚センサの画像より対象物を置く流し台上の目標位置を決定し、アーム部及びハンド部を制御して、把持している対象物を目標位置に載置した後、ハンド部の把持を解除するように制御するステップとを備えたことを特徴とする食器の下膳支援プログラム。Information in which information on a moving mechanism unit, a visual sensor, a multi-degree-of-freedom arm unit, a hand unit attached to this arm unit, and information on an attribute of the object attached to or embedded in the object is recorded. An information reading unit that reads information from the recording unit, a computer-readable lower table support program for supporting a lower table of tableware using a robot device including a control unit that controls the operation of the entire apparatus,
Detecting the position of the table from the image of the visual sensor, controlling the robot device to move to the table,
A step of controlling the hand unit to approach the object until the information recording unit attached to the object and the information reading unit built in the hand unit of the robot device become communicable,
A step in which the information reading unit acquires attribute information of the object from the information recording unit attached to the object and at least one or more pieces of information relating to the position and orientation of the hand unit for stably gripping the object;
Determining the position and orientation of the hand unit for stably gripping the object acquired from the information recording unit,
After moving the arm unit so that the position and orientation of the hand unit become the target values of the position and orientation of the hand unit determined in the above step, controlling to grip the target with the hand unit,
Controlling the robot device to move to the sink by detecting the position of the sink with a visual sensor while slowly rotating the robot device;
The target position on the sink on which the object is placed is determined from the image of the visual sensor, and the arm and the hand are controlled to place the object being held at the target position, and then the grip of the hand is released. And a step of controlling tableware as described above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003058703A JP2004268159A (en) | 2003-03-05 | 2003-03-05 | Catering-uncatering support robot system of dish, catering-uncatering support method, catering-uncatering support program and recording medium recording this catering-uncatering support program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003058703A JP2004268159A (en) | 2003-03-05 | 2003-03-05 | Catering-uncatering support robot system of dish, catering-uncatering support method, catering-uncatering support program and recording medium recording this catering-uncatering support program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004268159A true JP2004268159A (en) | 2004-09-30 |
Family
ID=33121755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003058703A Pending JP2004268159A (en) | 2003-03-05 | 2003-03-05 | Catering-uncatering support robot system of dish, catering-uncatering support method, catering-uncatering support program and recording medium recording this catering-uncatering support program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004268159A (en) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006102881A (en) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | Gripping robot device |
JP2007217069A (en) * | 2006-02-14 | 2007-08-30 | Fujitsu Ltd | Inventory management robot and inventory management method by the robot |
JP2007260837A (en) * | 2006-03-28 | 2007-10-11 | Brother Ind Ltd | Carrier robot and carrier program |
JP2010023944A (en) * | 2008-07-15 | 2010-02-04 | Murata Machinery Ltd | Picking robot and picking system |
JP2010135364A (en) * | 2008-12-02 | 2010-06-17 | Panasonic Corp | Electronic component mounting line and assembly work unit |
WO2011151915A1 (en) * | 2010-06-03 | 2011-12-08 | 株式会社日立製作所 | Human-operated work machine system |
JP2011245577A (en) * | 2010-05-25 | 2011-12-08 | Honda Motor Co Ltd | Robot system for waiter service |
JP2012056044A (en) * | 2010-09-10 | 2012-03-22 | Toyota Motor Corp | Robot and method for controlling the same |
CN102689297A (en) * | 2012-05-10 | 2012-09-26 | 广西工学院 | Bowl and chopstick collection and table cleaning machine |
CN106695831A (en) * | 2017-01-20 | 2017-05-24 | 南宁职业技术学院 | Smart meal taking robot |
CN106826848A (en) * | 2017-01-17 | 2017-06-13 | 上海福赛特机器人有限公司 | Robot passes ordering system |
CN108312141A (en) * | 2018-04-13 | 2018-07-24 | 东北大学 | A kind of the balance mechanical arm and application method of meal delivery robot |
CN109493381A (en) * | 2017-09-13 | 2019-03-19 | 富士施乐株式会社 | Information processing unit, computer-readable medium and information processing method |
CN110394797A (en) * | 2018-04-24 | 2019-11-01 | 发那科株式会社 | Robot controller and system |
CN112045686A (en) * | 2020-09-07 | 2020-12-08 | 上海明略人工智能(集团)有限公司 | Meal distribution method and device |
CN112372618A (en) * | 2020-11-09 | 2021-02-19 | 卢煜东 | 5G intelligent catering robot |
WO2021166638A1 (en) * | 2020-02-17 | 2021-08-26 | ソニーグループ株式会社 | Control device, control method, and program |
US11260530B2 (en) | 2016-12-02 | 2022-03-01 | Cyberdyne Inc. | Upper limb motion support apparatus and upper limb motion support system |
-
2003
- 2003-03-05 JP JP2003058703A patent/JP2004268159A/en active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006102881A (en) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | Gripping robot device |
JP2007217069A (en) * | 2006-02-14 | 2007-08-30 | Fujitsu Ltd | Inventory management robot and inventory management method by the robot |
JP2007260837A (en) * | 2006-03-28 | 2007-10-11 | Brother Ind Ltd | Carrier robot and carrier program |
JP2010023944A (en) * | 2008-07-15 | 2010-02-04 | Murata Machinery Ltd | Picking robot and picking system |
JP2010135364A (en) * | 2008-12-02 | 2010-06-17 | Panasonic Corp | Electronic component mounting line and assembly work unit |
JP2011245577A (en) * | 2010-05-25 | 2011-12-08 | Honda Motor Co Ltd | Robot system for waiter service |
WO2011151915A1 (en) * | 2010-06-03 | 2011-12-08 | 株式会社日立製作所 | Human-operated work machine system |
JP5449546B2 (en) * | 2010-06-03 | 2014-03-19 | 株式会社日立製作所 | Human-operated work machine system |
JP2012056044A (en) * | 2010-09-10 | 2012-03-22 | Toyota Motor Corp | Robot and method for controlling the same |
CN102689297A (en) * | 2012-05-10 | 2012-09-26 | 广西工学院 | Bowl and chopstick collection and table cleaning machine |
US11260530B2 (en) | 2016-12-02 | 2022-03-01 | Cyberdyne Inc. | Upper limb motion support apparatus and upper limb motion support system |
CN106826848A (en) * | 2017-01-17 | 2017-06-13 | 上海福赛特机器人有限公司 | Robot passes ordering system |
CN106695831A (en) * | 2017-01-20 | 2017-05-24 | 南宁职业技术学院 | Smart meal taking robot |
CN109493381A (en) * | 2017-09-13 | 2019-03-19 | 富士施乐株式会社 | Information processing unit, computer-readable medium and information processing method |
JP2019053426A (en) * | 2017-09-13 | 2019-04-04 | 富士ゼロックス株式会社 | Information processing device and program |
CN108312141A (en) * | 2018-04-13 | 2018-07-24 | 东北大学 | A kind of the balance mechanical arm and application method of meal delivery robot |
CN110394797A (en) * | 2018-04-24 | 2019-11-01 | 发那科株式会社 | Robot controller and system |
WO2021166638A1 (en) * | 2020-02-17 | 2021-08-26 | ソニーグループ株式会社 | Control device, control method, and program |
CN112045686A (en) * | 2020-09-07 | 2020-12-08 | 上海明略人工智能(集团)有限公司 | Meal distribution method and device |
CN112372618A (en) * | 2020-11-09 | 2021-02-19 | 卢煜东 | 5G intelligent catering robot |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004268159A (en) | Catering-uncatering support robot system of dish, catering-uncatering support method, catering-uncatering support program and recording medium recording this catering-uncatering support program | |
CN112074382B (en) | Robot and method for positioning robot sensor | |
US9981382B1 (en) | Support stand to reorient the grasp of an object by a robot | |
JP4041837B2 (en) | Article holding system, robot, and robot control method | |
US10493634B1 (en) | Robotic end effectors for use with robotic manipulators | |
US10350768B2 (en) | Control device, robot, and robot system | |
JP4646943B2 (en) | robot | |
JP6826532B2 (en) | Remote control robot system | |
JP3601737B2 (en) | Transfer robot system | |
JP2019527625A (en) | Dish operation system and method | |
US10702986B2 (en) | Order picking method and mechanism | |
US9981379B1 (en) | Detachable support member for robot gripper | |
US20090198132A1 (en) | Hand-held ultrasound imaging device having reconfigurable user interface | |
US11154985B1 (en) | Null space jog control for robotic arm | |
JP2003524531A (en) | Method for recognizing, defining and locating at least one object and / or space | |
JP2008049459A (en) | System, method and program for controlling manipulator | |
JP2007260838A (en) | Carrier robot and carrying program | |
CN109414823A (en) | Robot manipulation's handheld device combination with base controller position sensor | |
CN104583884B (en) | Measurement for size and the measurement apparatus of characteristic parameter with independent control device | |
US11085751B2 (en) | Ergonomic mobile controller for coordinate measuring machine | |
CN108789435A (en) | Multifunction speech controls service robot | |
JP6713713B2 (en) | Transport system | |
JP2017149375A (en) | Cargo vehicle, cargo vehicle system, method for controlling cargo vehicle, method for controlling cargo vehicle system and program for controlling cargo vehicle | |
JP6257695B2 (en) | Cargo handling vehicle, cargo handling vehicle system, cargo handling vehicle control method, cargo handling vehicle system control method, and cargo handling vehicle control program | |
US20230078623A1 (en) | Method of estimating an amount of liquid poured from a container, and an apparatus for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20050810 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Effective date: 20070309 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Effective date: 20070320 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070517 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071016 |