JP2019010724A - 物品配置システム及び食品盛り付けシステム - Google Patents

Abstract

【課題】マスタ−スレーブシステムを用いた物品の配置を好適に支援することが可能な物品配置システムを提供する。【解決手段】物品配置システムの一例である食品盛り付けシステム１Ｄにおいて、制御部４０，２４０は、食品３の種類に対応する推奨把持位置及びロボットアーム２１０の推奨把持直前位置姿勢を表示部２０に表示させるとともに、ロボットアーム２１０が推奨把持直前位置姿勢である場合に、推奨把持力に基づいてロボットアーム２１０に食品３を把持させる。推奨把持位置及び推奨把持直前位置姿勢は、機械学習によって食品３の種類ごとに決定されており、推奨把持力は、ロボットアーム２１０が食品３を把持した際に当該食品３から当該ロボットアーム２１０に作用するとともにマスタシステム５Ｄにおいて発生される反力を機械学習することによって食品３の種類ごとに算出されている。【選択図】図８

Description

本発明は、マスタ−スレーブシステムを用いて物品を配置する（例えば、食品を盛り付ける）技術に関する。

特許文献１，２には、食品工場において、ロボットが自動的に食品を盛り付けることが記載されている。また、特許文献３〜５には、マスタ−スレーブシステムを用いてロボットを制御（遠隔制御）することが記載されている。

特開平９−６５８３８号公報 特許第３６０２８１７号公報 特許第２８２３３０２号公報 特開平８−２５７９４８号公報 特開２００９−３４８１３号公報

食品は、同種類のものであっても、大きさ、形状、硬さ等の個体差が大きいため、ロボットによる自動的な盛り付けは難しい。また、食品の盛り付けにマスタ−スレーブシステムを採用する場合にも、食品を把持する際の力の入れ具合が難しく、オペレータの熟練した技能が必要である。このように、食品の盛り付け等といった物品の配置においてマスタ−スレーブシステムを用いるに際して、マスタシステム側のオペレータを好適に支援することが望まれている。

本発明は、前記した事情に鑑みて創案されたものであり、マスタ−スレーブシステムを用いた物品の配置を好適に支援することが可能な物品配置システム及び食品盛り付けシステムを提供することを課題とする。

前記課題を解決するため、本発明の物品配置システムは、オペレータの指の動作を検出する手指検出部と、表示部と、を有するマスタシステムと、前記手指検出部の検出結果に基づいて動作するロボットアームと、物品及び当該物品を把持する前記ロボットアームを撮影する撮影部と、を有するスレーブシステムと、前記撮影部の撮影結果を前記表示部に表示させる制御部と、を備え、前記制御部は、前記物品の種類に対応する前記ロボットアームの推奨把持直前位置姿勢を前記表示部に表示させるとともに、前記ロボットアームが前記推奨把持直前位置姿勢である場合に、推奨把持力に基づいて前記ロボットアームに前記物品の推奨把持位置を把持させ、前記推奨把持位置及び前記推奨把持直前位置姿勢は、前記物品の種類ごとに前記撮影部によって撮影された、前記ロボットアームによって把持された当該物品の画像を機械学習することによって前記物品の種類ごとに決定されており、前記推奨把持力は、前記ロボットアームが前記物品を把持した際に当該物品から当該ロボットアームに作用するとともにマスタシステムにおいて発生される反力を機械学習することによって前記物品の種類ごとに算出されていることを特徴とする。

かかる構成によると、オペレータによるマスタシステムの把持操作によらずに、予め設定された推奨把持力に基づいて、ハンド部に物品を把持させる。したがって、オペレータの熟練度によらずに、物品を好適に把持することができる。
また、オペレータが反力を感じながらマスタシステムを操作した結果に基づいて推奨把持力を算出するので、推奨把持力を好適に設定することができる。

また、本発明の物品配置システムは、オペレータの指の動作を検出する手指検出部と、表示部と、を有するマスタシステムと、前記手指検出部の検出結果に基づいて動作するロボットアームと、物品及び当該物品を把持する前記ロボットアームを撮影する撮影部と、を有するスレーブシステムと、前記撮影部の撮影結果を前記表示部に表示させる制御部と、を備え、前記制御部は、前記物品の種類に対応する前記ロボットアームの推奨配置直前位置姿勢を前記表示部に表示させるとともに、前記ロボットアームが前記推奨配置直前位置姿勢である場合に、推奨配置動作に基づいて前記ロボットアームを制御することによって、前記物品を推奨配置位置に配置させ、前記推奨配置位置及び前記推奨配置直前位置姿勢は、前記物品の種類ごとに前記撮影部によって撮影された、前記ロボットアームによって把持された当該物品の画像を機械学習することによって前記物品の種類ごとに決定されており、前記推奨配置動作は、当該ロボットアームに作用する反力を発生可能なマスタシステムの操作に伴うロボットアームによる前記物品の配置動作を機械学習することによって前記物品の種類ごとに決定されていることを特徴とする。

かかる構成によると、オペレータによるマスタシステムの配置操作によらずに、予め設定された推奨配置動作に基づいて、ハンド部に物品を配置させる。したがって、オペレータの熟練度によらずに、物品を好適に配置することができる。
また、物品の特性に応じた好適な配置を行うことができる。

また、本発明の食品盛り付けシステムは、オペレータの指の動作を検出する手指検出部と、表示部と、を有するマスタシステムと、前記手指検出部の検出結果に基づいて動作するロボットアームと、食品及び当該食品を把持する前記ロボットアームを撮影する撮影部と、を有するスレーブシステムと、前記撮影部の撮影結果を前記表示部に表示させる制御部と、を備え、前記制御部は、前記食品の種類に対応する前記ロボットアームの推奨把持直前位置姿勢を前記表示部に表示させるとともに、前記ロボットアームが前記推奨把持直前位置姿勢である場合に、推奨把持力に基づいて前記ロボットアームの２本の指部に前記食品の推奨把持位置を把持させるとともに、前記ロボットアームの他の指部に前記食品の推奨支持位置を支持させ、前記推奨把持位置、前記推奨支持位置及び前記推奨把持直前位置姿勢は、前記食品の種類ごとに前記撮影部によって撮影された、前記ロボットアームによって把持及び支持された当該食品の画像を機械学習することによって前記食品の種類ごとに決定されており、前記推奨把持力は、前記ロボットアームが前記食品を把持した際に当該食品から当該ロボットアームに作用するとともにマスタシステムにおいて発生される反力を機械学習することによって前記食品の種類ごとに算出されていることを特徴とする。

かかる構成によると、工業製品とは異なり把持動作に工夫が必要な食品を好適に把持することができる。

前記制御部は、２本の前記指部によって把持された前記食品の変形量が許容変形量以下である場合に、把持成功と判定する構成であってもよい。

かかる構成によると、把持による食品の潰れを好適に防止することができる。

なお、機械学習段階において、スレーブシステムは、把持された物品によってロボットアームに作用する反力検出部を備え、マスタシステムは、反力検出部によって検出された反力を発生してオペレータに伝達する反力発生部を備える構成であってもよい。かかる反力検出部及び反力発生部は、推奨把持位置等に基づく把持動作の制御段階及び推奨配置動作に基づく制御段階においては、省略可能である。

本発明によると、マスタ−スレーブシステムを用いた物品の配置を好適に支援することができる。

本発明の第一の参考形態に係る食品盛り付けシステムを示す模式図である。 本発明の第一の参考形態に係る食品盛り付けシステムを示す機能ブロック図である。 表示部の表示例を示す図であり、ハンド部によって把持された食品の撮影画像の例を示す図である。 本発明の第二及び第三の参考形態に係る食品盛り付けシステムを示す機能ブロック図である。 表示部の表示例を示す図であり、食品載置部に用意された食品の撮影画像を示す図である。 表示部の表示例を示す図であり、ハンド部によって把持された食品の撮影画像を示す図である。 表示部の表示例を示す図であり、容器に盛り付けられた食品の撮影画像を示す図である。 本発明の第一の実施形態に係る食品盛り付けシステムを示す模式図である。 本発明の第一の実施形態に係る食品盛り付けシステムを示す機能ブロック図である。 本発明の第一の実施形態に係る食品盛り付けシステムのうち、特に手指検出部及びハンド部を示す機能ブロック図である。 本発明の第一の実施形態に係る食品盛り付けシステムの動作例を説明するためのフローチャートである。 表示部の表示例を示す図であり、食品載置部に用意された食品の撮影画像に推奨把持位置及び推奨把持直前位置姿勢を合成した画像を示す図である。 表示部の表示例を示す図であり、ハンド部によって把持された食品の撮影画像に推奨配置直前位置姿勢を合成した画像を示す図である。 ハンド部によって食品が把持及び支持された状態の一例を示す模式図である。 本発明の第二の実施形態に係る食品盛り付けシステムのうち、特に手指検出部、ハンド部及び追加機能部を示す機能ブロック図である。

本発明の参考形態及び実施形態について、本発明の物品配置システムを食品を盛り付けるための食品盛り付けシステムに適用した場合を例にとり、適宜図面を参照しながら説明する。以下の説明において、同一の構成には同一の符号を付し、重複する説明を省略する。

＜第一の参考形態＞
図１及び図２に示すように、本発明の第一の参考形態に係る食品盛り付けシステム１Ａは、マスタ−スレーブシステムを用いてオペレータ２が遠隔地から食品３を容器４（弁当箱等）に盛り付けるシステムである。食品盛り付けシステム１は、複数のマスタシステム５と、工場側システム６と、複数のスレーブシステム７と、サーバ８と、を備える。複数のマスタシステム５、複数のスレーブシステム７及びサーバ８は、互いに通信可能に接続されている。

＜マスタシステム＞
マスタシステム５は、一つのスレーブシステム７を操作するためにオペレータ２の自宅等に設けられるシステムである。マスタシステム５は、手指検出部１０と、表示部２０と、操作部３０と、制御部４０と、を備える。

≪手指検出部≫
手指検出部１０は、オペレータ２の一方の手指（例えば、右手）に装着され、手の位置及び指（少なくとも、親指及び人差し指）の動作（及び／又は位置）を検出するセンサである。手指検出部１０の検出結果は、制御部４０へ出力される。手指検出部１０は、手の位置を検出する位置センサ、指の関節の角度を検出する角度センサ、指の動作を検出する加速度センサ等によって具現化可能である。

≪表示部≫
表示部２０は、後記する撮影部２２０の撮影結果をオペレータ２に対して表示するための装置である。表示部２０は、オペレータ２の頭部に装着可能なモニタ等によって具現化可能である。

≪操作部≫
操作部３０は、オペレータ２によって操作される装置である。操作部３０の操作結果は、制御部４０へ出力される。操作部３０は、キーボード、マウス等によって具現化可能である。また、操作部３０は、マイクを用いた音声認識、アイトラッキング（視線計測）システム等によっても具現化可能である。例えば、後記する制御部４０は、音声認識による画面切替等によって表示部２０に操作画面を表示させ、アイトラッキングシステムによって計測された視点をマウス代わりとすることができる。

≪制御部≫
制御部４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、入出力回路等によって構成されており、手指検出部１０、表示部２０及び操作部３０を制御する。制御部４０は、手指検出部１０の検出結果をスレーブシステム７の制御部２４０へ送信する。また、制御部４０は、スレーブシステム７の撮影部２２０の撮影結果を受信し、受信した撮影結果を表示部２０に表示させる。また、制御部４０は、操作部３０の操作結果をサーバ８へ送信する。

＜工場側システム＞
工場側システム６は、食品工場等に設けられており、食品３が用意されるとともに食品３が盛り付けられる容器４を搬送するシステムである。本参考形態において、工場側システム６は、ベルトコンベア１１０と、複数の食品載置部１２０と、を備える。

≪ベルトコンベア≫
ベルトコンベア１１０は、ベルト本体１１１と、モータ１１２と、制御部１１３と、を備える。ベルト本体１１１は、その長手方向（図１における白抜き矢印参照）に移動可能である。モータ１１２は、ベルト本体１１１を長手方向に移動させる駆動源である。制御部１１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されており、モータ１１２を制御する。

＜食品載置部＞
食品載置部１２０は、ベルト本体１１１の脇に設けられており、食品３が載置されている。本参考形態では、１つの食品載置部１２０に１種類の食品３が用意されている。食品載置部１２０は、テーブル、トレー等によって具現化可能である。

＜スレーブシステム＞
スレーブシステム７は、食品工場等に設けられており、オペレータ２によるマスタシステム５の操作結果に基づいて、食品載置部１２０に用意された食品３をベルト本体１１１上の容器４に盛り付けるシステムである。スレーブシステム７は、ロボットアーム２１０と、撮影部２２０と、反力検出部２３０と、制御部２４０と、を備える。

≪ロボットアーム≫
ロボットアーム２１０は、食品載置部１２０に対応してベルト本体１１１の脇に設けられている。ロボットアーム２１０は、複数の関節部を有するアーム部２１１と、アーム部２１１の先端部に設けられており食品３を把持可能なハンド部２１２と、を備える。

≪撮影部≫
撮影部２２０は、食品３を撮影するカメラである。撮影部２２０は、ハンド部２１２によって食品３が把持された状態を撮影したり、食品３が容器４に盛り付けられた状態を撮影したりする。本参考形態において、撮影部２２０は、第一の撮影部２２０Ｘと、第二の撮影部２２０Ｙと、を備える。第一の撮影部２２０Ｘは、アーム部２１１とは別置きで設けられている。第一の撮影部２２０Ｘの向きは、ベルト本体１１１上の容器４、食品載置部１２０及びロボットアーム２１０が第一の撮影部２２０Ｘの撮影領域に入るように設定されている。第二の撮影部２２０Ｙは、アーム部２１１に取り付けられている。第二の撮影部２２０Ｙの向きは、ハンド部２１２が第二の撮影部２２０Ｙの撮影領域に入るように設定されている。すなわち、第一の撮影部２２０Ｘは、容器４、食品載置部１２０及びロボットアーム２１０を定点から全体的に撮影する。第一の撮影部２２０Ｘの撮影結果は、ロボットアーム２１０（特にハンド部２１２）の動きを見たり、第二の参考形態において食品３の盛り付け結果の評価規則を機械学習によって生成したりするのに好適である。第二の撮影部２２０Ｙは、ロボットアーム２１０による食品３の把持動作及び把持された食品３を撮影する。第二の撮影部２２０Ｙの撮影結果は、第二の参考形態において食品３の推奨把持力及び推奨把持位置を機械学習によって決定するのに好適である。

≪反力検出部≫
反力検出部２３０は、ロボットアーム２１０のハンド部２１２が食品３を把持した際に当該食品３からハンド部２１２に作用する反力の大きさを検出するセンサである。反力検出部２３０は、圧力センサ等によって具現化可能である。

≪制御部≫
制御部２４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されており、ロボットアーム２１０、撮影部２２０（２２０Ｘ，２２０Ｙ）及び反力検出部２３０を制御する。制御部２４０は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果をマスタシステム５の制御部４０へ送信する。また、制御部２４０は、反力検出部２３０の検出結果をマスタシステム５の制御部４０へ送信する。また、制御部２４０は、マスタシステム５の手指検出部１０の検出結果を受信し、受信した手指検出部１０の検出結果に基づいてロボットアーム２１０のアーム部２１１及びハンド部２１２を制御する。

＜サーバ＞
サーバ８は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されており、複数のマスタシステム５及び複数のスレーブシステム７を統括的に管理する装置である。本参考形態において、サーバ８は、食品３ごとに予め決められた推奨把持力及び／又は把持力最大値を記憶している。ここで、把持力最大値は、推奨把持力よりも大きい値であって、それよりも大きい把持力で食品３を把持すると食品３が破損するおそれがあるという値である。また、サーバ８は、後記する第二の参考形態において機械学習に使用する学習用データを保存する。学習用データとしては、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果及び反力検出部２３０の検出結果であって、食品３ごとの把持及び配置の成功時及び失敗時の把持位置、把持力及び配置位置に関するデータが挙げられる。把持の成功及び失敗、並びに、盛り付け（配置）の成功及び失敗に関しては、オペレータ２又は画像を見た評価者による評価結果が利用可能である。例えば、サーバ８は、当該サーバ８に記憶された、ロボットアーム２１０による食品３の把持画像を表示装置に表示させる。評価者は、表示装置に表示された画像を見て、把持失敗であると評価した場合には、その旨を入力装置に入力する。サーバ８は、入力結果に基づいて、失敗フラグを表示中の画像に紐付けて記憶する。かかる場合において、サーバ８及び後記するＡＩサーバ９（図４参照）は、失敗フラグが紐付けられていない画像を把持成功画像と認識するとともに、失敗フラグが紐付けられている画像を把持失敗画像と認識することが可能となる。これは、食品３の盛り付け（配置）に関しても同様である。すなわち、食品３の盛り付け結果を見た評価者による評価結果（成功／失敗）が、盛り付け結果の撮影画像に紐付けられる。

＜動作例＞
続いて、本発明の第一の参考形態に係る食品盛り付けシステム１Ａの動作例について説明する。

≪基本動作例≫
まず、準備作業として、スレーブシステム７側の作業者が、食品載置部１２０に食品３をセットし、食品載置部１２０ごとにセットされた食品３の種類をサーバ８に登録する。続いて、オペレータ２が操作部３０をログイン操作すると、サーバ８は、ログイン操作に基づいて当該マスタシステム５と一のスレーブシステム７とを関連付ける。これにより、互いに関連付けられたマスタシステム５の制御部４０とスレーブシステム７の制御部２４０とが通信可能な状態となる。また、制御部２４０は、サーバ８から当該制御部２４０に対応する食品３の推奨把持力及び／又は把持力最大値を取得する。続いて、オペレータ２が、マスタシステム５の手指検出部１０及び表示部２０を装着する。

スレーブシステム７の制御部２４０は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果を送信し、マスタシステム５の制御部４０は、撮影部２２０の撮影結果（撮影部２２０Ｘ，２２０Ｙの撮影結果の一方）を表示部２０に表示させる。オペレータ２は、表示部２０の表示結果を見ながら、手指検出部１０が装着された手指を動かし、遠隔盛り付け作業を行う。ここで、制御部４０は、オペレータ２による操作部３０の操作結果に基づいて、撮影部２２０Ｘ，２２０Ｙの一方の撮影結果を表示部２０に表示させる。

続いて、マスタシステム５の制御部４０は、手指検出部１０の検出結果を送信し、スレーブシステム７の制御部２４０は、手指検出部１０の検出結果に基づいてロボットアーム２１０のアーム部２１１及びハンド部２１２を制御する。すなわち、ロボットアーム２１０は、手指検出部１０が装着されたオペレータ２の手指の動作に従って、食品載置部１２０に用意された食品３を把持し、把持された食品３をベルト本体１１１上の容器４に盛り付ける。

ここで、スレーブシステム７の制御部２４０は、反力検出部２３０の検出結果を送信し、マスタシステム５の制御部４０は、反力検出部２３０の検出結果である食品３の把持力３ａ並びに推奨把持力３ｂ及び／又は把持力最大値を、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果に合成して表示部２０に表示させる（図３参照。図３では、把持力３ａ及び推奨把持力３ｂを表示。）。すなわち、オペレータ２は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果及び反力検出部２３０の検出結果である食品３の把持力３ａを見ながら遠隔盛り付け作業を行う。

なお、スレーブシステム７の制御部２４０は、食品３の種類と把持力の最大値との関係性を予め記憶している構成であってもよい。この場合には、制御部２４０は、撮影部２２０の撮影結果に基づいて食品３の種類を判定するとともに、食品３の種類の判定結果を用いて前記関係性を参照することによって把持力の最大値を読み出し、ハンド部２１２による食品３の把持力（反力検出部２３０の検出結果）が当該把持力の最大値を超えないようにハンド部２１２を制御することができる。

≪反力発生部≫
マスタシステム５は、反力発生部５０をさらに備える。反力発生部５０は、オペレータ２の手指に装着される。反力発生部５０は、スレーブシステム７の反力検出部２３０の検出結果に基づいて、スレーブシステム７のハンド部２１２が食品３を把持した際に当該ハンド部２１２に生じる食品３からの反力を模擬的に発生する。すなわち、反力発生部５０は、食品３からの反力をオペレータ２に模擬的に体感させるための装置である。反力発生部５０は、アクチュエータ等によって具現化可能である。

制御部４０は、スレーブシステム７の反力検出部２３０の検出結果を受信し、受信した反力検出部２３０の検出結果に基づいて反力発生部５０を制御する。詳細には、スレーブシステム７の制御部２４０は、反力検出部２３０の検出結果を送信し、マスタシステム５の制御部４０は、反力検出部２３０の検出結果に基づいて反力発生部５０を制御する。すなわち、オペレータ２は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果を見るのに加えて、反力発生部５０によって模擬的に発生された食品３からの反力を感じながら遠隔盛り付け作業を行う。

このように、本発明の第一の参考形態に係る食品盛り付けシステム１Ａは、反力検出部２３０の検出結果が表示部２０に表示されるので、マスタ−スレーブシステムを用いたオペレータ２による食品３の把持動作を好適に支援することができる。
また、食品盛り付けシステム１Ａは、反力検出部２３０の検出結果が反力発生部５０によって模擬的な反力として再現されるので、マスタ−スレーブシステムを用いたオペレータ２による食品３の把持動作を好適に支援することができる。
また、食品盛り付けシステム１Ａは、オペレータ２の食品工場への出勤を不要とし、食品工場の立地によらない広い地域からの勤務や時差を利用した２４時間稼働を可能とする。
また、食品盛り付けシステム１Ａは、オペレータ２による盛り付け作業の履歴を大量に収集して解析することによって、将来的なロボットによる完全自動化のためのデータを好適に生成することができる。

＜第二の参考形態＞
続いて、本発明の第二の参考形態に係る食品盛り付けシステムについて、第一の参考形態に係る食品盛り付けシステム１Ａとの相違点を中心に説明する。図４に示すように、本発明の第二の参考形態に係る食品盛り付けシステム１Ｂは、ＡＩ（Artificial Intelligence）サーバ９と、をさらに備える。ＡＩサーバ９は、サーバ８と通信可能に接続されている。

＜ＡＩサーバ＞
ＡＩサーバ９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されており、サーバ８から送信されたデータをビッグデータとして解析する装置である。本参考形態において、マスタシステム５の制御部４０は、手指検出部１０の検出結果及び操作部３０の操作結果をサーバ８へ送信する。また、スレーブシステム７の制御部２４０は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果及び反力検出部２３０の検出結果を、サーバ８を介してＡＩサーバ９へ送信する。ＡＩサーバ９は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果及び反力検出部２３０の検出結果を記憶し、これらを用いて機械学習を行う。

ＡＩサーバ９は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果に基づいて機械学習を行うことによって、食品３の種類の判別規則を生成し、生成された判別規則を、サーバ８を介して制御部４０へ送信する。実際の盛り付け作業時には、制御部４０は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果に対して判別規則を適用することによって、撮影された食品３の種類を判別する。

また、ＡＩサーバ９は、撮影部２２０の撮影結果に基づいて機械学習を行うことによって、食品３の種類ごとに推奨把持位置を決定し、決定された推奨把持位置を、サーバ８を介して制御部４０へ送信する。

また、ＡＩサーバ９は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果及び反力検出部２３０の検出結果に基づいて機械学習を行うことによって、食品３の種類ごとに推奨把持力を算出し、算出された推奨把持力を、サーバ８を介して制御部４０へ送信する。

また、ＡＩサーバ９は、撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果に基づいて機械学習を行うことによって、食品３の盛り付け結果の評価規則を生成し、生成された評価規則を、サーバ８を介して制御部４０へ送信する。

≪事前に行われる機械学習の例≫
食品盛り付けシステム１Ｂは、食品盛り付け学習システム（物品配置学習システム）として、食品３の種類の判別規則、推奨把持位置、推奨把持力及び盛り付け結果の評価規則を盛り付け作業に先立って事前に機械学習する。すなわち、食品盛り付け学習システムのマスタシステム５及びスレーブシステム７は、オペレータ２によって、前記した基本動作例を複数回（例えば、数千回以上）繰り返す。スレーブシステム７の制御部２４０は、撮影部２２０（２２０Ｘ，２２０Ｙ）によるハンド部２１２が食品３を把持した状態の撮影結果と、反力検出部２３０によるハンド部２１２が食品３を把持した状態の反力の検出結果と、をサーバ８を介してＡＩサーバ９へ送信する。

ＡＩサーバ９は、食品の食品名及び画像を組み合わせたデータに基づいて機械学習を行うことによって、食品３の種類の判別規則を生成する。また、ＡＩサーバ９は、食品３の把持の成功時及び失敗時を示す画像（撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果）の把持位置の位置データに基づいて機械学習を行うことによって、食品３の推奨把持位置を決定する。また、ＡＩサーバ９は、食品３の推奨把持位置での把持の成功時及び失敗時における反力検出部２３０の検出結果に基づいて機械学習を行うことによって、食品３の推奨把持位置における推奨把持力及び把持力最大値を算出する。また、ＡＩサーバ９は、食品３の盛り付けの成功時及び失敗時を示す画像（撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果に仮評価結果（成功／失敗）を関連付けたもの）の各食品３の位置データに基づいて機械学習を行うことによって、食品３の盛り付け結果の評価規則を生成する。

ＡＩサーバ９による機械学習によって得られた食品３の種類の判別手法、推奨把持力、推奨把持位置及び食品３の盛り付け結果の評価規則は、サーバ８を介してマスタシステム５の制御部４０へ送信される。

このように、本発明の第二の参考形態に係る食品盛り付けシステム１Ｂは、マスタ−スレーブシステムを用いたオペレータ２による実際の盛り付け動作に基づいた機械学習によって、食品３の種類の判別規則、推奨把持位置及び推奨把持力を好適に得ることができる。

≪表示動作例≫
本参考形態において、制御部４０は、食品３の種類の判別規則４１ａ及び盛り付け結果の評価規則４１ｃを記憶部４１に記憶しているとともに、食品３の種類と、推奨把持位置と、推奨把持力と、を関連付けたデータベース４１ｂを記憶部４１に記憶している。制御部４０は、食品載置部１２０に用意された食品３が撮影された撮影画像を表示部２０に表示させる際に、前記した機械学習結果すなわち判別規則４１ａに基づいて、食品３の種類を判別する。

≪表示画面例：食品載置部に用意された食品≫
図５に示すように、制御部４０は、食品３の種類の判別結果に基づいて、推奨把持位置３ｃ及び推奨把持位置３ｃにおける推奨把持力３ｂを撮影部２２０の撮影画像に合成して表示部２０に表示させる。ここで、制御部４０は、食品３の種類の判別結果を用いて前記データベース４１ｂを参照し、食品３の種類と関連付けられた推奨把持位置３ｃ及び推奨把持力３ｂを読み出す。本参考形態において、推奨把持位置３ｃは、食品３の把持すべき位置を示すマーカとして表示される。また、推奨把持力３ｂは、推奨把持位置３ｃのマーカの色としても表示される（例えば、濃色：推奨把持力大、淡色：推奨把持力小）。なお、制御部４０は、データベース４１ｂを参照することによって、食品３の種類と関連付けられた把持力最大値を読み出し、読み出された把持力最大値を撮影画像に合成する構成であってもよい。

このように、本発明の第二の参考形態に係る食品盛り付けシステム１Ｂは、機械学習によって得られた判別規則４１ａに基づいて食品３の種類を判別することができるので、高精度な判別を実現することができる。また、食品盛り付けシステム１Ｂは、食品３の種類の判別結果を用いてデータベース４１ｂを参照することによって、推奨把持位置３ｃ及び推奨把持力３ｂを好適に設定することができる。

また、本発明の第二の参考形態に係る食品盛り付けシステム１Ｂは、食品３の推奨把持位置３ｃ及び推奨把持力３ｂをオペレータ２に知らせるので、マスタ−スレーブシステムを用いたオペレータ２による食品３の把持動作を好適に支援することができる。

≪表示画面例：ハンド部によって把持された食品≫
また、図６に示すように、制御部４０は、ハンド部２１２が食品３を把持した状態において、推奨把持位置３ｃ及び推奨把持力３ｂに加えて、反力検出部２３０によって検出された食品３からの反力すなわち把持力３ａを、撮影画像に合成して表示部に表示させる。

このように、本発明の第二の参考形態に係る食品盛り付けシステム１Ｂは、食品３の把持力３ａ及び推奨把持力３ｂをオペレータ２に知らせるので、オペレータ２による食品３の把持動作を好適に支援することができる。

なお、スレーブシステム７の制御部２４０が、ＡＩサーバ９の機械学習結果を受信し、食品３の種類の判別規則と、食品の種類と推奨把持力とを関連付けたデータベースと、を記憶している構成であってもよい。この場合には、制御部２４０は、撮影部２２０の撮影結果及び判別規則に基づいて食品３の種類を判別し、食品３の種類の判別結果を用いて前記データベースを参照することによって食品３の種類に対応する推奨把持力を読み出す。そして、制御部２４０は、手指検出部１０の検出結果に基づいてロボットアーム２１０に食品３を把持させる際に、手指検出部１０の検出結果に基づく力ではなく読み出された推奨把持力に基づいて食品３を把持させることができる。かかる把持制御は、反力検出部２３０の検出結果を用いたフィードバック制御とすることも可能である。

≪表示画面例：容器に盛り付けられた食品≫
また、図７に示すように、制御部４０は、食品３が容器４に盛り付けられた状態において、盛り付け結果を評価し、評価結果３ｄを撮影画像に合成して表示部２０に表示させる。制御部４０は、食品３の盛り付け結果の評価規則４１ｃを予め記憶しており、かかる評価規則４１ｃを用いて実際の盛り付け結果を評価する。本参考形態において、評価結果３ｄは、〇（合格、例えば、１００点満点で８０点以上）×（不合格、例えば、１００点満点で８０点未満）として表示される。また、制御部４０は、評価結果３ｄが不合格である場合に、食品３の推奨状態３ｅを撮影画像に合成して表示部２０に表示させ、オペレータ２に対して盛り付けの是正作業を指示する。

このように、本発明の第二の参考形態に係る食品盛り付けシステム１Ｂは、食品３の盛り付け結果を評価し、評価結果３ｄをオペレータ２に知らせるので、オペレータ２による食品３の盛り付け作業を好適に支援することができる。
また、食品盛り付けシステム１Ｂは、評価結果３ｄが不合格である場合には、是正作業をオペレータ２に指示するので、オペレータ２による食品３の盛り付け作業を好適に支援することができる。

＜第三の参考形態＞
続いて、本発明の第三の実施形態に係る食品盛り付けシステムについて、第二の参考形態に係る食品盛り付けシステム１Ｂとの相違点を中心に説明する。

≪報酬算出及び作業適性判定≫
図４に示すように、本発明の第三の参考形態に係る食品盛り付けシステム１Ｃにおいて、サーバ８は、マスタシステム５の手指検出部１０の検出結果、並びに、スレーブシステム７のロボットアーム２１０の動作結果、撮影部２２０の撮影結果及び反力検出部２３０の検出結果の少なくとも一つ（本参考形態では、全部）を受信し、受信したデータをオペレータ２の作業履歴として記憶する。

サーバ８は、かかる作業履歴（盛り付け作業の質、回数等）及び予め記憶された報酬基準に基づいて、オペレータ２の報酬（月給等）を算出する。また、サーバ８は、かかる作業履歴（盛り付け作業の質、単位時間当たりの回数等）に基づいて、オペレータ２の作業適性、すなわち、食品３の種類ごとの作業能力を判定する。ここで、盛り付け作業の質は、推奨盛り付け状態を示す画像と、実際の食品３の盛り付け結果の画像とを比較（例えば、画像マッチング）することによって、複数段階（１００点満点等）で算出可能である。また、オペレータ２の報酬は、盛り付け作業の質が高い程、作業回数が多い程、高くなるように算出される。

サーバ８は、スレーブシステム７と盛り付け対象の食品３の種類との関係を予め記憶している。サーバ８は、マスタシステム５の操作部３０のログイン操作があった場合に、当該マスタシステム５のオペレータ２の作業適性に基づいてオペレータ２にスレーブシステム７を割り当てる。本参考形態では、サーバ８は、ログイン操作時に空いているスレーブシステム７の中から、オペレータ２の作業能力に適合する食品３に対応するスレーブシステム７を、ログイン操作したオペレータ２（マスタシステム５）に割り当てる。

このように、本発明の第三の参考形態に係る食品盛り付けシステム１Ｃは、オペレータ２の盛り付け作業の作業履歴に基づいて報酬を算出するので、オペレータ２の実力等に応じた好適な報酬を算出することができる。
また、食品盛り付けシステム１Ｃは、オペレータ２の作業適性を判定し、判定結果に基づいてオペレータ２（マスタシステム５）をスレーブシステム７に割り当てるので、複数のオペレータ２の作業の分担を好適に行うことができる。

＜第一の実施形態＞
続いて、本発明の第一の実施形態に係る食品盛り付けシステムについて、第三の参考形態に係る食品盛り付けシステム１Ｃとの相違点を中心に説明する。

図８、図９及び図１０に示すように、本発明の第一の実施形態に係る食品盛り付けシステム１Ｄのスレーブシステム７Ｄにおいて、ロボットアーム２１０のハンド部２１２Ｄは、人の手を模している。すなわち、ハンド部２１２Ｄは、アーム部２１１の先端部に取り付けられる掌部２１２ａと、掌部に取り付けられる五本の指部２１２ｂと、を備える（図８及び図１０参照）。

また、食品盛り付けシステム１Ｄのマスタシステム５Ｄにおいて、手指検出部１０Ｄは、オペレータ２の掌の位置を検出する掌位置検出部１１と、オペレータ２の掌の姿勢（向き）を検出する掌姿勢検出部１２と、を備える（図１０参照）。また、手指検出部１０Ｄは、オペレータ２の五指のそれぞれに関して、関節の角度を検出する関節角検出部１３を備える（図１０参照）。

≪事前に行われる機械学習の例≫
食品盛り付けシステム１Ｄは、食品盛り付け学習システム（物品配置学習システム）として、食品３の種類の判別規則、推奨把持位置、推奨把持力及び盛り付け結果の評価規則を盛り付け作業に先立って事前に機械学習する。すなわち、食品盛り付けシステム１Ｄのマスタシステム５Ｄ及びスレーブシステム７Ｄは、食品盛り付けの熟練者であるオペレータ２によって、前記した基本動作例を複数回（例えば、数千回以上）繰り返す。オペレータ２は反力発生部５０によって発生される反力を感じながら、スレーブシステム７Ｄを操作することによって食品３の盛り付けを行う。スレーブシステム７Ｄの制御部２４０は、撮影部２２０（２２０Ｘ，２２０Ｙ）によるハンド部２１２Ｄが食品３を把持した状態の撮影結果と、反力検出部２３０によるハンド部２１２Ｄが食品３を把持した状態の反力の検出結果と、をサーバ８を介してＡＩサーバ９へ送信する。

ＡＩサーバ９は、食品の食品名及び画像を組み合わせたデータに基づいて機械学習を行うことによって、食品３の種類の判別規則を生成する。また、ＡＩサーバ９は、食品３の把持の成功時（及び失敗時）を示す画像又は映像（撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果）の把持位置の位置データに基づいて機械学習を行うことによって、食品３の推奨把持位置を決定する。また、ＡＩサーバ９は、食品３の推奨把持位置での把持の成功時（及び失敗時）における反力検出部２３０の検出結果に基づいて機械学習を行うことによって、食品３の推奨把持位置における推奨把持力及び把持力最大値を算出する。また、ＡＩサーバ９は、食品３の盛り付けの成功時及び失敗時を示す画像（撮影部２２０（２２０Ｘ，２２０Ｙ）の撮影結果に仮評価結果（成功／失敗）を関連付けたもの）の各食品３の位置データに基づいて機械学習を行うことによって、食品３の盛り付け結果の評価規則を生成する。

さらに、食品盛り付けシステム１Ｄは、食品３の種類ごとに、ロボットアーム２１０の推奨把持直前位置姿勢、推奨配置直前位置姿勢及び推奨配置動作を盛り付け作業に先立って事前に機械学習する。ここで、推奨把持直前位置姿勢とは、ロボットアーム２１０が食品３を把持する直前にとることが推奨されるハンド部２１２Ｄの位置及び姿勢である。また、推奨配置直前位置姿勢とは、ロボットアーム２１０が食品３を配置する直前にとることが推奨されるハンド部２１２Ｄの位置及び姿勢である。かかる推奨配置直前位置姿勢は、既に配置された他の食品３にハンド部２１２Ｄが干渉しない位置に決定される。

また、推奨配置動作は、ロボットアーム２１０が食品３を配置する際に推奨される動作である。かかる推奨配置動作は、各指部２１２ｂの開く動作の速度、タイミング、掌部２１２ａの動作の速度、タイミング等を組み合わせたものである。物品として特に食品３を配置する食品盛り付けシステム１Ｄでは、食品３の種類（形状、固さ、表面のくっつきやすさ等）によって、推奨される配置動作が異なる。例えば、食品３がパスタである場合には、ふんわりとした盛り付けを実現するために、ハンド部２１２Ｄの掌部２１２ａを小刻みに揺らしながら指部２１２ｂを開くことが考えられる。

例えば、ＡＩサーバ９は、熟練のオペレータ２がマスタシステム５Ｄを操作した際のスレーブシステム７Ｄにおける食品３の把持及び配置動作を含む一連の映像を表示部に表示させる。評価者は、かかる映像を見て、食品３の種類と成功／失敗のタグ付けを行うことができる。また、評価者は、かかる映像を見て、推奨把持位置を指定することができる。なお、ＡＩサーバ９は、食品３の種類の判別、成功／失敗の判定、推奨把持位置の決定を自動的に行う構成であってもよい。

ＡＩサーバ９は、スレーブシステム７Ｄの制御部２４０によって送信された、掌部２１２ａの位置検出部、掌部２１２ａの姿勢検出部及び各指部２１２ｂの関節角検出部の検出結果に基づいて、推奨把持直前位置姿勢、推奨配置直前位置姿勢及び推奨配置動作を機械学習することができる。また、ＡＩサーバ９は、スレーブシステム７Ｄの制御部２４０によって送信された撮影部２２０の撮影結果に基づいて、推奨把持直前位置姿勢、推奨配置直前位置姿勢及び推奨配置動作を機械学習することができる。

ＡＩサーバ９による機械学習によって得られた食品３の種類の判別手法、推奨把持力、推奨把持位置、食品３の盛り付け結果の評価規則、推奨把持直前位置姿勢、推奨配置直前位置姿勢及び推奨配置動作は、サーバ８を介してマスタシステム５Ｄの制御部４０へ送信される。また、推奨把持力及び推奨配置動作は、サーバ８を介してスレーブシステム７Ｄの制御部２４０へ送信される。すなわち、マスタシステム５Ｄの制御部４０及びスレーブシステム７Ｄの制御部２４０は、機械学習によって得られた学習済みモデルを保持しており、保持された学習済みモデルに基づいて各種処理を実行することができる。

＜動作例＞
続いて、本発明の第一の実施形態に係る食品盛り付けシステム１Ｄの動作例について、図１１のフローチャート並びに図１２及び図１３の画面例を参照して説明する（適宜図１０参照）。

≪表示動作例≫
本実施形態において、制御部４０は、食品３の種類の判別規則４１ａ及び盛り付け結果の評価規則４１ｃを記憶部４１に記憶しているとともに、食品３の種類と、推奨把持位置と、推奨把持力と、推奨把持直前位置姿勢と、推奨配置直前位置姿勢と、推奨配置動作と、を関連付けたデータベース４１ｂを記憶部４１に記憶している。制御部４０は、食品載置部１２０に用意された食品３が撮影された撮影画像を表示部２０に表示させる際に、前記した機械学習結果すなわち判別規則４１ａに基づいて、食品３の種類を判別する。

≪表示画面例：食品載置部に用意された食品≫
図１２に示すように、制御部４０は、食品３の種類の判別結果に基づいて、推奨把持位置３ｆ及びハンド部２１２Ｄの推奨把持直前位置姿勢３ｇを撮影部２２０の撮影画像に合成して表示部２０に表示させる。ここで、制御部４０は、食品３の種類の判別結果を用いて前記データベース４１ｂを参照し、食品３の種類と関連付けられた推奨把持位置３ｆ及び推奨把持直前位置姿勢３ｇを読み出す。本実施形態において、推奨把持位置３ｆは、ハンド部２１２Ｄの指部ごとに、食品３の把持すべき位置を示すマーカとして表示される。また、推奨把持直前位置姿勢３ｇは、仮想線として表示される。オペレータ２は、かかる合成画像を見ながらマスタシステム５を操作し、ハンド部２１２Ｄを推奨把持直前位置姿勢３ｇに合わせようとする。制御部２４０は、マスタシステム５の操作結果（手指検出部１０の検出結果）に基づいて、ロボットアーム２１０を制御する（ステップＳ１でＮｏ→ステップＳ２）。制御部２４０は、ハンド部２１２Ｄが推奨把持直前位置姿勢３ｇであると判定した場合（ステップＳ１でＹｅｓ）に、マスタシステム５の操作結果によらずに、予め設定された推奨把持力に基づいて、ハンド部２１２Ｄに食品３を把持させる（ステップＳ３）。

なお、制御部２４０は、ハンド部２１２Ｄが推奨把持直前位置姿勢３ｇである場合において、手指検出部１０によってオペレータ２の把持動作が検出された場合に、かかる把持動作によらずに、予め設定された推奨把持力に基づいてハンド部２１２Ｄに食品３を把持させる構成であってもよい。

また、図１３に示すように、制御部４０は、食品３の種類の判別結果に基づいて、ハンド部２１２Ｄの推奨配置直前位置姿勢３ｈ及び食品３の推奨配置位置３ｉを撮影部２２０の撮影画像に合成して表示部２０に表示させる。食品３の把持後、オペレータ２は、かかる合成画像を見ながらマスタシステム５を操作し、ハンド部２１２Ｄを推奨配置直前位置姿勢３ｈに合わせようとする。制御部２４０は、マスタシステム５の操作結果（手指検出部１０の検出結果）に基づいて、ロボットアーム２１０を制御する（ステップＳ４でＮｏ→ステップＳ５）。制御部２４０は、ハンド部２１２が推奨配置直前位置姿勢３ｈであると判定した場合（ステップＳ４でＹｅｓ）に、マスタシステム５の操作結果によらずに、予め設定された推奨配置動作に基づいて、ハンド部２１２Ｄに食品３を配置させる（ステップＳ６）。

なお、制御部２４０は、ハンド部２１２Ｄが推奨配置直前位置姿勢３ｈである場合において、手指検出部１０によってオペレータ２の配置動作が検出された場合に、かかる配置動作によらずに、予め設定された推奨配置動作に基づいてハンド部２１２Ｄに食品３を配置させる構成であってもよい。

また、制御部２４０は、ステップＳ５の実行中において、オペレータ２によるマスタシステム５の操作によらずに、推奨把持力で食品３を把持し続ける構成であってもよい。

本実施形態における配置対象である食品３は、工業製品（ボルト等）と比較して、形状、柔らかさ等にバラツキがあったり、ハンド部２１２Ｄにくっつきやすかったりする。食品盛り付けシステム１Ｄは、熟練したオペレータ２の把持動作及び配置動作を機械学習することによって食品３の種類ごとに好適な推奨把持動作（推奨把持位置及び推奨把持力）及び推奨配置動作を設定し、機械学習後にはオペレータ２の熟練度によらずに好適な把持動作及び配置動作を実行することができる。

本発明の第一の実施形態に係る食品盛り付けシステム１Ｄは、オペレータ２によるマスタシステム５Ｄの把持操作によらずに、予め設定された推奨把持力に基づいて、ハンド部２１２Ｄに食品３を把持させる。したがって、食品盛り付けシステム１Ｄは、オペレータ２の熟練度によらずに、食品３を好適に把持することができる。
また、食品盛り付けシステム１Ｄは、オペレータ２が反力を感じながらマスタシステム５Ｄを操作した結果に基づいて推奨把持力を算出するので、推奨把持力を好適に設定することができる。
また、食品盛り付けシステム１Ｄは、実際の配置作業段階においては、反力検出部２３０及び反力発生部５０を省略することができる。

また、食品盛り付けシステム１Ｄは、オペレータ２によるマスタシステム５Ｄの配置操作によらずに、予め設定された推奨配置動作に基づいて、ハンド部２１２Ｄに食品３を配置させる。したがって、食品盛り付けシステム１Ｄは、オペレータ２の熟練度によらずに、食品３を好適に配置することができる。
また、食品盛り付けシステム１Ｄは、食品３の特性に応じた好適な配置を行うことができる。

＜他の動作例＞
続いて、本発明の第一の実施形態に係る食品盛り付けシステム１Ｄの他の動作例について、図１４を参照して説明する（適宜図１０等参照）。
図１４に示すように、制御部２４０は、３本の指部２１２ｂ（親指部２１２ｂ１、人差し指部２１ｂ２及び中指部２１２ｂ３）に食品３の推奨把持位置３ｆを把持させるとともに、２本の指部２１２ｂ（薬指部２１２ｂ４及び小指部２１２ｂ５）に食品３の推奨支持位置３ｊを支持させる。

ここで、推奨支持位置３ｊは、食品３を下から支持するのに推奨される位置であり、推奨把持位置３ｆ等と同様に機械学習によって食品３の種類ごとに決定されている。

この場合、前記したステップＳ３（図１１参照）において、始めに、制御部２４０は、３本の指部２１２ｂ（親指部２１２ｂ１、人差し指部２１ｂ２及び中指部２１２ｂ３）に食品３の推奨把持位置３ｆを把持させる。
続いて、制御部２４０は、アーム部２１１を制御することによって食品３を所定高さまで持ち上げた後、２本の指部２１２ｂ（薬指部２１２ｂ４及び小指部２１２ｂ５）に食品３の推奨支持位置３ｊを支持させる。

また、前記したステップＳ５（図１１参照）において、始めに、制御部２４０は、２本の指部２１２ｂ（薬指部２１２ｂ４及び小指部２１２ｂ５）に食品３の支持を解除させる。
続いて、制御部２４０は、アーム部２１１を制御することによって食品３を所定高さまで下げた後、中指部２１２ｂ３に食品３の把持を解除させる。
続いて、制御部２４０は、アーム部２１１を制御することによって食品３を推奨配置位置の高さまで下げた後、親指部２１２ｂ１及び人差し指部２１２ｂ２に食品３の把持を解除させる。

かかる動作例によると、食品３を下から支持した状態で運ぶことが可能となり、動作の途中で食品３を落とすことを防止することができる。なお、食品３の把持は、２本の指部２１２ｂ（親指部２１２ｂ１及び人差し指部２１２ｂ２）によっても可能であり、食品３の支持は、１本の指部２１２ｂ（薬指部２１２ｂ４又は小指部２１２ｂ５）によっても可能である。

なお、制御部２４０は、把持動作及び配置動作において、食品３が指部２１２ｂ（薬指部２１２ｂ４及び小指部２１２ｂ５）によって支持された状態では、支持されていない状態よりも把持力を弱める構成であってもよい。これにより、把持による食品３の変形をより好適に防止することができる。
ここで、推奨把持力は、弱める前の把持力であってもよく、弱めた後の把持力であってもよく、両方にそれぞれ設定されていてもよい。

＜変形量に基づく把持成功の判定＞
また、制御部２４０は、撮影部２２０の撮影結果等に基づいて、食品３の把持前と把持後との変形量を算出する。
制御部２４０は、指部２１２ｂ（親指部２１２ｂ１、人差し指部２１２ｂ２及び中指部２１２ｂ３）によって把持された食品３の変形量が許容変形量以下である場合に、把持成功と判定する。また、制御部２４０は、食品３の変形量が許容変形量よりも大きい場合に、把持失敗と判定し、把持動作をやり直す。

ここで、許容変形量は、食品３の種類ごとに推奨把持位置に対応付けられており、推奨把持位置３ｆ等と同様に機械学習によって決定されている。

かかる判定手法によると、強く把持し過ぎることによる食品３の潰れ等を好適に防止することができる。

＜第二の実施形態＞
続いて、本発明の第二の実施形態に係る食品盛り付けシステムについて、第一の実施形態に係る食品盛り付けシステム１Ｄとの相違点を中心に説明する。

図１５に示すように、本発明の第二の実施形態に係る食品盛り付けシステム１Ｅにおいて、スレーブシステム７Ｅは、温度検出部２５１と、湿度検出部２５２と、冷却部２５３と、を備える。

温度検出部２５１は、ハンド部２１２Ｄによって把持された食品３の温度（表面温度）を検出し、検出結果を制御部２４０へ出力する。湿度検出部２５２は、ハンド部２１２Ｄによって把持された食品３の湿度（表面湿度）を検出し、検出結果を制御部２４０へ出力する。冷却部２５３は、ハンド部２１２Ｄによって把持された食品３を冷ますためのものであり、例えば、食品３に空気を吹き付けるファン等によって実現される。

なお、湿度検出部２５２は、食品３の湿度に相関するパラメータとして、食品３の表面の電気抵抗値を検出するセンサであってもよい。

制御部２４０は、温度検出部２５１によって検出された食品３の温度が所定温度（例えば、２０℃）以上である場合には、例えば前記したステップＳ５の実行中に、冷却部２５３を駆動制御することによって食品３を冷却する。また、制御部２４０は、温度検出部２５１によって検出された食品３の温度が所定温度未満である場合には、食品３の推奨配置動作（ステップＳ６）を実行可能とする。

また、制御部２４０は、湿度検出部２５２によって検出された食品３の湿度が所定湿度以上である場合には、例えば前記したステップＳ５の実行中に、アーム部２１１及びハンド部２１２Ｄを駆動制御する（例えば、ハンド部２１２Ｄを振動させる）ことによって、食品３の水気を切る。かかるアーム部２１１及びハンド部２１２の動作内容に関しては、制御部２４０に予め設定されている。また、制御部２４０は、湿度検出部２５２によって検出された食品３の湿度が所定湿度未満である場合には、食品３の推奨配置動作（ステップＳ６）を実行可能とする。

本発明の第二の実施形態に係る食品盛り付けシステム１Ｅは、食品３の温度及び湿度に応じた動作を実行してから推奨配置動作を実行するので、食中毒を好適に予防することができる。

以上、本発明の参考形態及び実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜変更可能である。例えば、制御部４０は、前記した評価規則に基づいて、全ての食品３が容器４に盛り付けられた完成品の状態において総合的な盛り付け結果を評価し、評価結果を表示部２０に表示させる構成であってもよい。また、スレーブシステム７は、ハンド部２１２に設けられた加熱部を備える構成であってもよい。この場合には、制御部２４０は、操作部３０の操作結果、又は、制御部４０による食品３の種類の判定結果に基づいて加熱部を制御し、食品３の表面に焼き色を付けることができる。

また、スレーブシステム７の制御部２４０又はサーバ８は、当該スレーブシステム７が盛り付ける食品３の種類を予め記憶しており、当該食品３の種類を対応するマスタシステム５の制御部４０へ送信する構成であってもよい。この場合には、マスタシステム５の制御部４０は、画像に基づく食品３の種類の判定を行わず、制御部２４０又はサーバ８によって送信された食品３の種類を用いてデータベースを参照することによって、食品３の種類に応じた推奨把持位置及び推奨把持力を表示部２０に表示させることができる。また、制御部２４０は、機械学習によって食品３の種類ごとに得られた、推奨把持位置及び推奨把持力を含む推奨配置動作に基づいてロボットアーム２１０を制御することによって、ロボットアーム２１０に食品３の推奨配置位置を推奨把持力で把持させる構成であってもよい。また、参考形態として、制御部４０は、機械学習によって得られた、食品３の種類ではなく色、形状、大きさ等と推奨把持位置等との関係に基づいて、推奨把持位置等を決定する構成であってもよい。

また、マスタシステム５は、オペレータ２の腕の関節角度を検出する腕関節角度検出部を備え、スレーブシステム７の制御部２４０は、かかる腕関節角度検出部の検出結果に基づいて、ロボットアーム２１０のアーム部２１１を制御する構成であってもよい。

また、本発明の物品配置システムは、前記した食品盛り付けシステム１Ａ〜１Ｅ以外の、マスタ−スレーブシステムを用いて物品を配置するシステムに適用可能である。

１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ 食品盛り付けシステム（物品配置システム）
２ オペレータ
３ 食品（物品）
４ 容器
５，５Ｄ マスタシステム
７，７Ｄ，７Ｅ スレーブシステム
８ サーバ（制御部）
９ ＡＩサーバ（制御部）
１０，１０Ｄ 手指検出部
２０ 表示部
４０ 制御部
２１０ ロボットアーム
２２０ 撮影部
２３０ 反力検出部

Claims (4)

1. オペレータの指の動作を検出する手指検出部と、
   表示部と、
   を有するマスタシステムと、
   前記手指検出部の検出結果に基づいて動作するロボットアームと、
   物品及び当該物品を把持する前記ロボットアームを撮影する撮影部と、
   を有するスレーブシステムと、
   前記撮影部の撮影結果を前記表示部に表示させる制御部と、
   を備え、
   前記制御部は、
   前記物品の種類に対応する前記ロボットアームの推奨把持直前位置姿勢を前記表示部に表示させるとともに、
   前記ロボットアームが前記推奨把持直前位置姿勢である場合に、推奨把持力に基づいて前記ロボットアームに前記物品の推奨把持位置を把持させ、
   前記推奨把持位置及び前記推奨把持直前位置姿勢は、前記物品の種類ごとに前記撮影部によって撮影された、前記ロボットアームによって把持された当該物品の画像を機械学習することによって前記物品の種類ごとに決定されており、
   前記推奨把持力は、前記ロボットアームが前記物品を把持した際に当該物品から当該ロボットアームに作用するとともにマスタシステムにおいて発生される反力を機械学習することによって前記物品の種類ごとに算出されている
   ことを特徴とする物品配置システム。
2. オペレータの指の動作を検出する手指検出部と、
   表示部と、
   を有するマスタシステムと、
   前記手指検出部の検出結果に基づいて動作するロボットアームと、
   物品及び当該物品を把持する前記ロボットアームを撮影する撮影部と、
   を有するスレーブシステムと、
   前記撮影部の撮影結果を前記表示部に表示させる制御部と、
   を備え、
   前記制御部は、
   前記物品の種類に対応する前記ロボットアームの推奨配置直前位置姿勢を前記表示部に表示させるとともに、
   前記ロボットアームが前記推奨配置直前位置姿勢である場合に、推奨配置動作に基づいて前記ロボットアームを制御することによって、前記物品を推奨配置位置に配置させ、
   前記推奨配置位置及び前記推奨配置直前位置姿勢は、前記物品の種類ごとに前記撮影部によって撮影された、前記ロボットアームによって把持された当該物品の画像を機械学習することによって前記物品の種類ごとに決定されており、
   前記推奨配置動作は、当該ロボットアームに作用する反力を発生可能なマスタシステムの操作に伴う前記ロボットアームによる前記物品の配置動作を機械学習することによって前記物品の種類ごとに決定されている
   ことを特徴とする物品配置システム。
3. オペレータの指の動作を検出する手指検出部と、
   表示部と、
   を有するマスタシステムと、
   前記手指検出部の検出結果に基づいて動作するロボットアームと、
   食品及び当該食品を把持する前記ロボットアームを撮影する撮影部と、
   を有するスレーブシステムと、
   前記撮影部の撮影結果を前記表示部に表示させる制御部と、
   を備え、
   前記制御部は、
   前記食品の種類に対応する前記ロボットアームの推奨把持直前位置姿勢を前記表示部に表示させるとともに、
   前記ロボットアームが前記推奨把持直前位置姿勢である場合に、推奨把持力に基づいて前記ロボットアームの２本の指部に前記食品の推奨把持位置を把持させるとともに、前記ロボットアームの他の指部に前記食品の推奨支持位置を支持させ、
   前記推奨把持位置、前記推奨支持位置及び前記推奨把持直前位置姿勢は、前記食品の種類ごとに前記撮影部によって撮影された、前記ロボットアームによって把持及び支持された当該食品の画像を機械学習することによって前記食品の種類ごとに決定されており、
   前記推奨把持力は、前記ロボットアームが前記食品を把持した際に当該食品から当該ロボットアームに作用するとともにマスタシステムにおいて発生される反力を機械学習することによって前記食品の種類ごとに算出されている
   ことを特徴とする食品盛り付けシステム。
4. 前記制御部は、２本の前記指部によって把持された前記食品の変形量が許容変形量以下である場合に、把持成功と判定する
   ことを特徴とする請求項３に記載の食品盛り付けシステム。

Images