JP2020011311A

JP2020011311A - 食品供給装置及び制御プログラム

Info

Publication number: JP2020011311A
Application number: JP2018133504A
Authority: JP
Inventors: 哲也沢登; Tetsuya SAWANOBORI; 泰徳利光; Yasunori Toshimitsu
Original assignee: Connected Robotics Inc
Current assignee: Connected Robotics Inc
Priority date: 2018-07-13
Filing date: 2018-07-13
Publication date: 2020-01-23
Anticipated expiration: 2038-07-13
Also published as: JP6462171B1

Abstract

【課題】顧客が装置の前に立つと顧客の存在を認識して食品の盛り付けを開始し、完成した食品を顧客に直接手渡す動作が可能な食品供給装置及び制御プログラムを提供する。【解決手段】ロボットアームを用いて自動で半固形状態の食品を盛り付けて提供する食品供給システム１の食品供給装置１００は、供給サーバ１１０と、検知部１２０と、ロボットアーム１３０と、コーン収容部１４０と、アラーム出力部１５０と、制御部１６０とを備える。供給サーバ１１０は、供給サーバ１１０の状態を表示する状態表示ディスプレイ１１４ｂを備える。検知部１２０は、顧客を検知し、供給サーバ１１０内のソフトクリームの状態を検知する。ロボットアーム１３０は、盛り付け容器をコーン収容部１４０から取り出し、供給サーバ１１０からソフトクリームを注入し、顧客に提供する。【選択図】図１

Description

本開示は、例えばソフトクリームのような半固形状態の食品を盛り付けて提供する食品供給装置及び制御プログラムに関する。

従来、例えばソフトクリームを注文に沿って調理する無人ソフトクリーム調理提供システムのように、各種サービスを提供するシステムが知られている（例えば、特許文献１参照。）。特許文献１に開示されている無人ソフトクリーム調理提供システムは、２つのアームを有する垂直多関節ロボットにより構成され、顧客の注文を受けてソフトクリーム用コーンを取り出し、ソフトクリームサーバへ移動させてソフトクリームを出し、成形して顧客に提供する装置である。

特開２０１２−０１８６６１号公報

ところで、このような無人ソフトクリーム調理提供システムは、人手によるソフトクリーム提供の手間を削減するという効果もあるが、ロボットがソフトクリームを提供する、という珍しさによるエンターテインメントの要素も大きい。そのためには、顧客の存在を認識してソフトクリームの盛り付けを開始し、完成したソフトクリームを顧客に直接手渡すような動作をすることにより、さらに顧客を楽しませることが可能となる。

そこで、本開示では、顧客が装置の前に立つと顧客の存在を認識してソフトクリーム等の食品の盛り付けを開始し、完成したソフトクリームをロボットアームにより顧客に直接手渡す動作が可能であり、ロボットアームのエンターテインメント性及びインタラクション性を高めることが可能な食品供給装置及び制御プログラムについて説明する。

本開示の一態様における食品供給装置は、顧客に対して、半固形状態の食品を盛り付けて提供する食品供給装置であって、食品を供給するサーバと、顧客を検知し、サーバにおける食品の状態を検知する検知部と、検知部の検知結果に基づき、食品を盛り付ける盛り付け容器を取り出し、盛り付け容器をサーバの位置に移動して盛り付け容器を保持し、サーバが動作すると食品を盛り付け容器に盛り付け、食品が盛り付けられた盛り付け容器を顧客に提供するロボットアームと、検知部の検知結果を判定し、ロボットアームの動作を制御する制御部と、を備える。

本開示の一態様における制御プログラムは、顧客に対して、ロボットアームを動作させ、半固形状態の食品を盛り付けて提供する食品供給装置を制御する制御プログラムであって、顧客を検知する顧客検知ステップと、食品を供給するサーバにおける食品の状態を検知する食品検知ステップと、ロボットアームを動作させ、食品を盛り付ける盛り付け容器を取り出してサーバの位置に移動させる移動ステップと、ロボットアームを動作させ、サーバが動作すると食品を盛り付け容器に盛り付ける盛り付けステップと、ロボットアームを動作させ、食品が盛り付けられた盛り付け容器を顧客に提供する提供ステップと、を電子計算機に実行させる。

本開示によれば、顧客を検知する検知部を備え、ロボットアームの動作により食品が盛り付けられた盛り付け容器を顧客に提供する。そのため、顧客が装置の前に立つと、顧客の存在を検知してロボットアームが自動で動作し、食品を提供することが可能になる。これにより、ロボットアームのエンターテインメント性を高めることが可能であり、インタラクション性を高めることが可能である。

本開示の一実施形態に係る食品供給システム１を示す機能ブロック構成図である。図１の食品供給装置１００の外観の例を示す斜視図である。図２の操作パネル１１４及び近傍に配置されるＡＲマーカー１１５の例を示す拡大正面図である。図１の検知部１２０で検知される顧客の画像の例を示す模式図である。図２の前腕部１３４に取り付けられる検知部１２０及び眼球１３７の例を示す斜視図である。図２の手首部１３５及び保持部１３８の例を示す図である。図６の荷重センサ１３９で検知された荷重と経過時間との関係を示すグラフである。図２の載置部１４２の外観の例を示す斜視図である。図８の載置部１４２の動作の例を示す正面図である。図１の食品供給装置１００が行う食品供給処理を示すフローチャートである。本開示の一実施形態に係るコンピュータ３００の構成の例を示す機能ブロック構成図である。

以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。

（実施形態１）
＜構成＞
図１は、本開示の実施形態１に係る食品供給システム１を示す機能ブロック構成図である。この食品供給システム１は、例えば、ソフトクリームのような半固形状態の食品を盛り付けて提供するシステムであり、例としてソフトクリームを自動で盛り付けて顧客に提供するソフトクリーム供給システムを示している。

食品供給システム１は、食品供給装置１００と、サーバ装置２００と、ネットワークＮＷと、を有している。食品供給装置１００と、サーバ装置２００とは、ネットワークＮＷを介して接続される。ネットワークＮＷは、インターネット、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等により構成される。

図２は、図１の食品供給装置１００の外観を示す斜視図である。食品供給装置１００は、ロボットアームを用いて、ソフトクリームのような半固形状態の食品を、コーンのような盛り付け容器に盛り付けて提供する装置であり、テーブルのような載置台Ｔに載置されて稼働するように構成されている。食品供給装置１００は、図１に示すように、供給サーバ（サーバ）１１０と、検知部１２０と、ロボットアーム１３０と、コーン収容部（盛り付け容器収容部）１４０と、アラーム出力部１５０と、制御部１６０とを備え、例えば、ＵＳＢ（登録商標）やＬＡＮにより相互に通信可能に接続されている。なお、ここでは盛り付け容器をコーンとして説明しているが、紙コップやグラスのような容器、すでに他の食品が盛り付けられている皿等であっても良い。

供給サーバ１１０は、ソフトクリームのような半固形状態の食品が充填され、制御部１６０の制御による外部からの操作により所定の流量で押し出し、盛り付け容器に注入する装置である。この供給サーバ１１０は、図２に示すように、本体部１１１と、押出部１１２と、押出操作部１１３と、操作パネル１１４とが設けられている。

本体部１１１は、供給サーバ１１０の本体であり、図示を省略する上面または背面からソフトクリームの原材料となる乳製品や砂糖等が充填され、所定の温度で冷却しながら攪拌することで半固形状態のソフトクリームが製造され、この状態で保持される。また、この本体部１１１の内部には、押出操作部１１３の操作によりソフトクリームを押出部１１２から押し出す機構が設けられている。

押出部１１２は、本体部１１１に充填されているソフトクリームが押し出される箇所であり、例えば丸形や星形の形状の孔が設けられ、本体部１１１内のソフトクリームを押し出す機構によりソフトクリームが押し出される。

押出操作部１１３は、ソフトクリームを盛り付け容器に注入するために操作するための箇所であり、例えばレバー状に設けられている。この押出操作部１１３を引くことでソフトクリームが押し出され、押出部１１２から下方に流れ落ちるようになっている。また、この押出操作部１１３は、制御部１６０により制御され、盛り付け容器が押出部１１２の下方に移動されると自動で引かれるようになっている。

操作パネル１１４は、供給サーバ１１０にソフトクリームの製造を行わせ、温度調整等を行うために設けられている。このような供給サーバ１１０では、ソフトクリームの原材料は常温で充填され、供給サーバ１１０内で冷却しながらソフトクリームの製造を行うので、定期的にソフトクリームの製造を行う必要があり、その際に操作するための操作パネルが設けられている。

図３は、図２の操作パネル１１４及び近傍に配置されるＡＲマーカー１１５の例を示す拡大正面図である。操作パネル１１４は、操作ボタン１１４ａと、状態表示ディスプレイ１１４ｂとが設けられている。操作ボタン１１４ａは、供給サーバ１１０の各種操作を行うボタンであり、例えば供給サーバ１１０の電源のオン／オフを行う電源ボタンや、設定温度を上下させる温度調整ボタン等からなる。状態表示ディスプレイ１１４ｂは、供給サーバ１１０の動作状態等を表示する箇所であり、例えば液晶ディスプレイ等により構成されている。状態表示ディスプレイ１１４ｂには、例えば、ソフトクリームを供給可能な状態であることを示す表示や、ソフトクリームが不足していて充填が必要であることを示す表示や、ソフトクリームを製造中であることを示す表示が行われる。

後述する検知部１２０では、状態表示ディスプレイ１１４ｂが参照されて供給サーバ１１０内のソフトクリームの状態が検知される。このとき、検知部１２０は後述するようにロボットアーム１３０の可動部分に取り付けられるため、現在検知している物がどの方向であるかを認識するのは困難である。そのため、３次元空間における位置及び姿勢を算出するための目印であるＡＲマーカー１１５が、状態表示ディスプレイ１１４ｂの近傍、例えば操作パネル１１４に隣接する位置に設けられている。このＡＲマーカー１１５を基準とする状態表示ディスプレイ１１４ｂの相対位置から、状態表示ディスプレイ１１４ｂの位置及び姿勢が求められる。ＡＲマーカー１１５は、カメラ等に対して、現実には存在しないものを存在するかのように表示させる装置であり、注目してほしい情報を表示させる等の目的で使用されるものである。

検知部１２０は、制御部１６０の制御により、顧客が食品供給装置１００の前に立つと顧客の存在を検知し、前述のようにＡＲマーカー１１５を目印として状態表示ディスプレイ１１４ｂを参照し、供給サーバ１１０内のソフトクリームの状態を検知する装置である。この検知部１２０は、例えばＣＣＤ（Charge Coupled Device）等の撮影装置と、撮影した画像を画像データに変換する変換装置とを備えるデジタルカメラ等により構成され、所定の時間間隔で画像の撮影及び画像データへの変換を行っている。検知部１２０は、広範囲の方向を検知することを可能にするため、例えば、ロボットアーム１３０の前腕部に配置される。

前述のように検知部１２０では、ＡＲマーカー１１５を目印として状態表示ディスプレイ１１４ｂを参照し、供給サーバ１１０内のソフトクリームの状態を検知する。具体的には、例えば、状態表示ディスプレイ１１４ｂに「ＳＴＡＮＤＢＹ」と表示されている場合に、供給サーバ１１０がソフトクリームを供給可能な状態であると検知し、状態表示ディスプレイ１１４ｂに「ＭＩＸＯＵＴ」と表示されている場合に、供給サーバ１１０内にソフトクリームが不足していて充填が必要である状態であると検知し、状態表示ディスプレイ１１４ｂに「ＦＲＥＥＺＩＮＧ」と表示されている場合に、供給サーバ１１０内でソフトクリームを製造中の状態であると検知する。

図４は、図１の検知部１２０で検知される顧客の画像の例を示す模式図である。検知部１２０は、最初は食品供給装置１００の前方向を撮影しており、顧客が食品供給装置１００の前に立つと、顧客を撮影するように設定されている。図４に示すように、撮像Ｆに顧客Ｈが撮影されると、その撮像データを解析して画像認識を行い、顧客Ｈの顔の位置を算出する。そのとき、サーバ装置２００に撮像データが送信され、サーバ装置２００に格納されている撮像データから解析された学習済みモデルに基づいて顔の認識が行われる。このとき、顧客Ｈの年齢、性別や表情を認識しても良く、その年齢、性別や表情の判定結果に基づき、ロボットアーム１３０等の動作を変化させても良い。

ロボットアーム１３０は、制御部１６０の制御により、人間の腕のように関節を支点として各種動作を行い、ソフトクリームの盛り付け容器を保持し、運ぶ等の動作を行う装置であり、ソフトクリームを顧客に提供するための一連の動作、例えばコーンのような盛り付け容器をコーン収容部１４０から取り出し、供給サーバ１１０の位置に移動してソフトクリームを注入し、顧客の位置に移動して顧客に提供する、という動作を行うために設けられている。

ロボットアーム１３０は、図２に示すように、基台Ｄの上に配置され、回動部１３１と、上腕部１３２と、継手部１３３と、前腕部１３４と、手首部１３５とから構成されている。

回動部１３１は、ロボットアーム１３０が基台Ｄに回転自在に載置されている箇所であり、上腕部１３２の一端が回動部１３１との角度を変更自在に接続されている。回動部１３１には、サーボモータが内蔵されており、制御部１６０の制御によりサーボモータが駆動して回動部１３１が回動し、回動部１３１と上腕部１３２との角度を変更させるように構成されている。

継手部１３３は、上腕部１３２の他端と前腕部１３４の一端とを回動自在に接続する箇所である。継手部１３３には、サーボモータが内蔵されており、制御部１６０の制御によりサーボモータが駆動して前腕部１３４を回動させるように構成されている。

手首部１３５は、前腕部１３４の他端部分に接続され、回動自在に可動する箇所である。手首部１３５には、サーボモータが内蔵されており、制御部１６０の制御によりサーボモータが駆動して前腕部１３４との角度を変更自在に回動させるように構成されている。

図５は、図２の前腕部１３４に取り付けられる検知部１２０及び眼球１３７の例を示す斜視図である。図２に示す前腕部１３４には、前述の検知部１２０と、顧客の方向を向いて所定の動作を行う眼球１３７が、支持部１３６を介して取り付けられている。前述のように検知部１２０は、広範囲の方向を検知することを可能にするため、ソフトクリームの盛り付け等の動作を行うロボットアーム１３０の先端方向を検知するため、このように前腕部１３４に取り付けられている。

眼球１３７は、顧客の方向を見つめているように見せることで顧客と対話しているように感じさせるための装置であり、ロボットアーム１３０のエンターテインメント性及びインタラクション性を高めるために設けられている。この眼球１３７は、制御部１６０の制御によりロボットアーム１３０が静止中及び動作中に所定の動作、例えば空間中の一点（例えば、食品供給装置１００の前に立つ顧客の顔の位置）を見つめるような動作を行う。これは、実際の生物の眼球の動きでも顔が動いても眼が一点を見つめることがあり、このような動作をさせることで顧客を注目しているように見せるためである。そのため、検知部１２０で検知した顧客の顔の一点を３次元座標で算出し、眼球１３７の位置が変化しても眼球１３７から顧客の顔の一点までの方向ベクトルを常時計算し、眼球１３７がその方向を向くような制御が行われる。

図６は、図２の手首部１３５及び保持部１３８の例を示す図であり、手首部１３５及び保持部１３８を示す拡大斜視図（ａ）、及び側面方向断面図（ｂ）である。図２に示す手首部１３５の先端側には、図６（ａ）に示すような保持部１３８が設けられている。保持部１３８は、ロボットアーム１３０の先端に設けられて盛り付け容器を保持する箇所であり、例えば円錐状で上方向に広がるような形状である盛り付け容器としてのコーンを保持するため、上下に開口が設けられた筒状であり、上部が上方向に広がる円錐状であり、下部が円柱状に形成されている。

また、図６（ｂ）に示すように、ロボットアーム１３０内部における手首部１３５と保持部１３８との間には、荷重センサ１３９が設けられている。荷重センサ１３９は、保持部１３８における荷重の変化を検知するセンサであり、保持部１３８にコーンが保持されたこと、コーンにソフトクリームが注入されたこと、及び完成したソフトクリームを顧客が取り出したことを検知するための装置である。この荷重センサ１３９は、例えば荷重を電気信号に変換するロードセル（Load cell）により構成されている。

例えば、保持部１３８にコーンが載置されると、荷重センサ１３９は荷重の増加を検知する。すると、ロボットアーム１３０全体の動作を制御して保持部１３８を移動させ、供給サーバ１１０の押出部１１２の下方に移動させる。

また、保持部１３８におけるコーンにソフトクリームが注入されると、荷重センサ１３９は荷重の増加を検知する。ソフトクリームが所定時間だけ盛り付けられて荷重センサが所定の荷重の増加を検知し、コーンの内側にソフトクリームが注入されると、コーンの上方に螺旋状に巻き付けて円錐状に突出させて盛り付けるため、最初は、保持部１３８を図６（ａ）に示す矢印Ａ，Ｂ方向（水平方向）に回転させるように、ロボットアーム１３０全体の動作を制御して移動させる。すると、ソフトクリームが徐々に上方に盛り上がるため、保持部１３８を矢印Ｃ方向（上下方向）に移動させる。その後、ソフトクリームの重量が完成時の重量を示す所定の値に達すると、供給サーバ１１０によるソフトクリームの注入を終了する。これにより、コーンの上方にソフトクリームが美しく盛り付けられる。

図７は、図６の荷重センサ１３９で検知された荷重と経過時間との関係を示すグラフであり、縦軸が検知した荷重の数値を示し、横軸が時間の変化を示している。供給サーバ１１０は、ソフトクリームを所定の流量で押し出す装置であるが、残りのソフトクリームによる圧力やソフトクリームの温度、粘度により所定時間の流量に差があることがある。図７に示すように、異なる条件でソフトクリームを注入した際の荷重センサ１３９による荷重の変化を測定すると、折れ線Ｌ１，Ｌ２のような差異が見られた。

折れ線Ｌ１，Ｌ２のような差異は、前述のようにソフトクリームをコーンに美しく盛り付ける際に影響を与えるものである。そのため、定期的に荷重センサ１３９による荷重の検知を行い、測定結果である折れ線Ｌ１，Ｌ２に対して最小二乗法を用いてフィッティングを行い、直線Ｌ３，Ｌ４のように直線近似式を求めることでソフトクリームの所定時間の流量を算出している。この手法でソフトクリームの所定時間の流量を予測し、ロボットアーム１３０が矢印Ａ〜Ｃ方向に動作するときの移動速度を変化させるように制御することにより、ソフトクリームを美しく盛り付けることを可能にしている。

さらに、保持部１３８に載置されているソフトクリームを顧客が取り出すと、荷重センサ１３９は荷重の減少を検知する。すると、ロボットアーム１３０全体の動作を制御して保持部１３８を移動させ、初期状態に移動させる。

コーン収容部１４０は、盛り付け容器としてのコーンが複数積層され、制御部１６０の制御によりコーンを下部から１つずつ取り出し可能な装置である。例えば、ロボットアーム１３０の保持部１３８がコーン収容部１４０の下方に移動すると、コーンを１つ下方に落下させて保持部１３８に保持される。このコーン収容部１４０は、側面部１４１と、載置部１４２とが設けられている。なお、コーン収容部１４０に積層可能な盛り付け容器はコーンに限られず、紙コップ等でも良い。

側面部１４１は、複数の載置部１４２を支持するための部材であり、２つの板状部材が平行して直立するように形成されている。

図８は、図２の載置部１４２の外観の例を示す斜視図である。載置部１４２は、コーンが載置される箇所であり、コーンの水平方向の断面形状である円形に合わせて、図８に示すように円形の環状に形成され、側面部１４１に対して垂直方向に設けられてコーンが１つまたは複数載置されるように構成されている。この載置部１４２は、半円形の環状に形成されている半円部１４２ａ，１４２ｂが略中央の位置から左右対称に設けられてそれぞれが対面するように配置され、制御部１６０の制御により互いに離隔する方向に移動することで載置部１４２が開き、コーンが下方に落下するように構成されている。

図９は、図８の載置部１４２の動作の例を示す正面図であり、載置部１４２からコーンが落下して保持部１３８に載置される状態を図（ａ）〜図（ｇ）で示している。図９（ａ）に示すように、載置部１４２にコーンＣＯが例えば５個載置されている状態で、保持部１３８が載置部１４２の下方に移動し、載置部１４２の筒状部材にコーンＣＯが挿入された状態に位置される（図９（ｂ））。この状態で、半円部１４２ａ，１４２ｂが互いに離隔する方向に開くと（図９（ｃ））、コーンＣＯがそれぞれ落下する（図９（ｄ））。

コーンＣＯがちょうど１個分落下した状態で半円部１４２ａ，１４２ｂが閉じられると、コーンＣＯが１つだけ保持部１３８に載置された状態になり、このコーンＣＯの１つ上のコーンＣＯが載置部１４２に保持された状態になる（図９（ｄ））。この状態でロボットアーム１３０が動作して保持部１３８が移動することにより、コーンＣＯが取り出される（図９（ｆ）、図９（ｇ））。

アラーム出力部１５０は、例えば食品供給装置１００が動作できない状態の場合に、制御部１６０の制御により音声等でアラームを出力する装置であり、ブザー等により構成されている。食品供給装置１００が動作できない状態とは、例えば、検知部１２０による供給サーバ１１０内のソフトクリームの状態の検知結果が、ソフトクリームが不足していて充填が必要である状態の場合である。この場合、アラーム出力部１５０のアラームにより食品供給装置１００のメンテナンスを行う作業者がソフトクリームの原材料の充填を行い、ソフトクリームを製造させる。

また、食品供給装置１００が動作できない状態の例として、顧客が手を伸ばしてロボットアーム１３０に接触するおそれがある場合がある。このように、顧客が手を伸ばしたことを検知するために、検知部１２０をロボットアーム１３０の前腕部１３４以外に、複数設置しても良い。

制御部１６０は、供給サーバ１１０、検知部１２０、ロボットアーム１３０、コーン収容部１４０、及びアラーム出力部１５０の各動作を制御する装置であり、ＰＣ（Personal Computer）等により構成されている。具体的には、供給サーバ１１０によるソフトクリームの押し出しを制御し、検知部１２０による顧客の検知及び状態表示ディスプレイ１１４ｂの参照によるソフトクリームの状態検知を制御し、ロボットアーム１３０の動作及び眼球１３７の動作を制御し、コーン収容部１４０によるコーンの取り出し（落下）を制御し、アラーム出力部１５０によるアラーム出力を制御する。

また、制御部１６０は、検知部１２０により検知された顧客の撮像データに基づき、顧客の顔の位置を算出する。前述のように、顧客の年齢、性別や表情を認識しても良く、その年齢、性別や表情の判定結果に基づき、眼球１３７の動作を変化させても良い。

サーバ装置２００は、顧客の撮像を解析するサーバ装置であり、記憶部２１０と、制御部２２０とを備えている。

記憶部２１０は、各種制御処理や制御部２２０内の機能を実行するためのプログラム、入力データ等を記憶するものであり、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等から構成される。また、記憶部２１０は、後述する解析部２２１にて解析されてトレーニングされた、顧客Ｈの顔の位置を認識するための形状や色の学習済みモデルを記憶している。

制御部２２０は、記憶部２１０に記憶されているプログラムを実行することにより、サーバ装置２００の全体の動作を制御するものであり、ＣＰＵ（Central Processing Unit）等から構成される。制御部２２０の機能として、解析部２２１を備えている。この解析部２２１は、記憶部２１０に記憶されているプログラムにより起動されて実行される。

解析部２２１は、例えば、食品供給装置１００の前に立つ顧客Ｈの撮像データを大量に取得し、例えばディープラーニングによる学習が行われ、個別の画像を判定するための学習済みモデルの構築が行われる。顧客の撮像データから、主に顔における眼の位置を認識するためのトレーニングが行われることで、顧客の顔を認識できるようにしている。

＜処理の流れ＞
以下、図１０を参照しながら、食品供給装置１００が行うソフトクリームの盛り付け処理（食品供給処理）の一例を説明する。図１０は、図１の食品供給装置１００が行う食品供給処理を示すフローチャートである。

ソフトクリームの盛り付け処理の前に、供給サーバ１１０にソフトクリームの原材料となる乳製品や砂糖等が充填され、所定の温度で冷却しながら攪拌されて半固形状態のソフトクリームが製造され、供給サーバ１１０内に保持される。また、コーン収容部１４０の載置部１４２には、１つまたは複数のコーンが載置される。ロボットアーム１３０に取り付けられている検知部１２０及び眼球１３７は、顧客がソフトクリームを受け取る方向（例えば、図２に示すロボットアーム１３０の正面方向）を向いている。

ステップＳ１０１の処理として、顧客が食品供給装置１００の前に立つと、検知部１２０により顧客の存在が検知され、撮像データから解析された学習済みモデルに基づいて顧客の顔の認識が行われる。

ステップＳ１０２の処理として、制御部１６０の制御により、ロボットアーム１３０の前腕部１３４に取り付けられている眼球１３７による所定の動作、例えば検知部１２０により検知された顧客の顔の位置を見つめるような動作が行われる。

ステップＳ１０３の処理として、制御部１６０の制御により、ロボットアーム１３０の回動部１３１、継手部１３３、及び手首部１３５のサーボモータが駆動し、前腕部１３４に取り付けられている検知部１２０の検知する方向が、供給サーバ１１０のＡＲマーカー１１５を目印として状態表示ディスプレイ１１４ｂの方向へ移動される。

ステップＳ１０４の処理として、検知部１２０により供給サーバ１１０の状態表示ディスプレイ１１４ｂが参照され、供給サーバ１１０内のソフトクリームの状態が検知される。供給サーバ１１０がソフトクリームを供給可能な状態である場合、ステップＳ１０５へ進む。供給サーバ１１０内にソフトクリームが不足していて充填が必要である場合、アラーム出力部１５０により音声等でアラームが出力され、充填が完了してソフトクリームを供給可能な状態になると、ステップＳ１０５へ進む。

ステップＳ１０５の処理として、制御部１６０の制御により、ロボットアーム１３０の回動部１３１、継手部１３３、及び手首部１３５のサーボモータが駆動し、保持部１３８がコーン収容部１４０の載置部１４２の下方に移動される。

ステップＳ１０６の処理として、制御部１６０の制御により、コーン収容部１４０の載置部１４２が左右に開き、コーンが下方に落下して保持部１３８に載置される。

ステップＳ１０７の処理として、ロボットアーム１３０の荷重センサ１３９が保持部１３８にコーンが載置されたことを検知すると、制御部１６０の制御により、ロボットアーム１３０の回動部１３１、継手部１３３、及び手首部１３５のサーボモータが駆動し、コーンが載置されている状態の保持部１３８が供給サーバ１１０の押出部１１２の下方に移動される。

ステップＳ１０８の処理として、制御部１６０の制御により、供給サーバ１１０の押出操作部１１３が操作され、ソフトクリームが押出部１１２から下方に流れ落ちる。これにより、コーンへのソフトクリームの注入が開始される。

ステップＳ１０９の処理として、ロボットアーム１３０の荷重センサ１３９が保持部１３８のコーンにソフトクリームが注入されて荷重が増加したことを検知し、制御部１６０によりソフトクリームの流量が算出されてコーンの内側にソフトクリームが注入されたと判定すると、制御部１６０の制御により、ロボットアーム１３０の回動部１３１、継手部１３３、及び手首部１３５のサーボモータが駆動し、保持部１３８が水平方向に回転させるように移動される。ソフトクリームが徐々に上方に盛り上がると、保持部１３８が上下方向に移動させる。

ステップＳ１１０の処理として、ロボットアーム１３０の荷重センサ１３９では、保持部１３８のコーンに注入されたソフトクリームの重量が、完成時の重量を示す所定の値に達したか否かが判定される。達したと判定された場合、ステップＳ１１１へ進み、達していないと判定された場合、ソフトクリームの注入が継続される。

ステップＳ１１１の処理として、制御部１６０の制御により、供給サーバ１１０の押出操作部１１３が操作され、ソフトクリームの押し出しが終了される。これにより、コーンへのソフトクリームの注入が終了される。

ステップＳ１１２の処理として、制御部１６０の制御により、ロボットアーム１３０の回動部１３１、継手部１３３、及び手首部１３５のサーボモータが駆動し、ソフトクリームが盛り付けられたコーンが載置されている状態の保持部１３８が、顧客が立っている方向に移動される。

ステップＳ１１３の処理として、ロボットアーム１３０の荷重センサ１３９では、保持部１３８のソフトクリームが盛り付けられたコーンの重量が減少し、顧客が保持部１３８に載置されているソフトクリームを取り出したか否かが判定される。取り出したと判定された場合、ステップＳ１１４へ進み、取り出していないと判定された場合、顧客が立っている位置で保持部１３８がそのまま静止される。

ステップＳ１１４の処理として、制御部１６０の制御により、ロボットアーム１３０の回動部１３１、継手部１３３、及び手首部１３５のサーボモータが駆動し、初期状態に移動される。

以上のように、本実施形態に係る食品供給装置は、食品供給装置の前に立つ顧客を検知する検知部を備え、検知した顧客に対してソフトクリームを盛り付けて提供する。また、ロボットアームに眼球が取り付けられ、顧客の方向を見つめているように見せることができる。そのため、顧客と対話しながらソフトクリームを提供しているように感じさせることが可能である。これにより、ロボットアームのエンターテインメント性を高めることが可能であり、インタラクション性を高めることが可能である。

また、検知部により供給サーバの状態表示ディスプレイを参照して供給サーバの状態を検知する。これにより、供給サーバがソフトクリームを供給可能な状態であるか否かを判定することが可能であり、ソフトクリームが不足しているとき等、ソフトクリームを供給可能な状態ではない場合にアラームを出力させることが可能である。

さらに、コーン収容部を備え、円形の環状に形成されて複数のコーンが載置される載置部が設けられている。これにより、自動制御によりコーンを１つずつ取り出すことが可能になる。

また、ロボットアームに荷重センサが設けられ、ロボットアームの保持部における荷重の変化を検知することが出来る。そのため、保持部にコーンが保持されたこと、コーンにソフトクリームが注入されたこと、及び完成したソフトクリームを顧客が取り出したことを検知することが可能になる。これにより、コーンを確実に保持した状態でソフトクリームを注入することが可能であり、ソフトクリームの流量に応じてロボットアームを動作させるのでソフトクリームを美しく盛り付けることが可能であり、顧客がソフトクリームを取り出した後でロボットアームを初期状態に戻すことが可能である。

（実施形態２（プログラム））
図１１は、コンピュータ３００の構成の例を示す機能ブロック構成図である。コンピュータ３００は、ＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、インタフェース３０４を備える。

ここで、実施形態に係る制御部１６０を構成する各機能を実現するための制御プログラムの詳細について説明する。制御部１６０は、電子計算機としてのコンピュータ３００に実装される。そして、制御部１６０の各構成要素の動作は、プログラムの形式で補助記憶装置３０３に記憶されている。ＣＰＵ３０１は、プログラムを補助記憶装置３０３から読み出して主記憶装置３０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ３０１は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置３０２に確保する。

当該プログラムは、具体的には、コンピュータ３００において、顧客を検知する顧客検知ステップと、食品を供給するサーバにおける食品の状態を検知する食品検知ステップと、ロボットアームを動作させ、食品を盛り付ける盛り付け容器を取り出してサーバの位置に移動させる移動ステップと、ロボットアームを動作させ、サーバが動作すると食品を盛り付け容器に盛り付ける盛り付けステップと、ロボットアームを動作させ、食品が盛り付けられた盛り付け容器を顧客に提供する提供ステップと、をコンピュータによって実現する制御プログラムである。

なお、補助記憶装置３０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース３０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ３００に配信される場合、配信を受けたコンピュータ３００が当該プログラムを主記憶装置３０２に展開し、上記処理を実行してもよい。

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置３０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）
であってもよい。

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することができる。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

１食品供給システム、１００食品供給装置、１１０供給サーバ、１１１本体部、１１２押出部、１１３押出操作部、１１４操作パネル、１１４ａ操作ボタン、１１４ｂ状態表示ディスプレイ、１１５ＡＲマーカー、１２０検知部、１３０ロボットアーム、１３１回動部、１３２上腕部、１３３継手部、１３４前腕部、１３５手首部、１３６支持部、１３７眼球、１３８保持部、１３９荷重センサ、１４０コーン収容部、１４１側面部、１４２載置部、１５０アラーム出力部、１６０制御部、２００サーバ装置、２１０記憶部、２２０制御部、２２１解析部、３００コンピュータ、ＮＷネットワーク

本開示の一態様における食品供給装置は、顧客に対して、半固形状態の食品を盛り付けて提供する食品供給装置であって、食品を供給するサーバと、顧客を検知し、サーバにおける食品の状態を検知する検知部と、検知部の検知結果に基づき、食品を盛り付ける盛り付け容器を取り出し、盛り付け容器をサーバの位置に移動して盛り付け容器を保持し、サーバが動作すると食品を盛り付け容器に盛り付け、食品が盛り付けられた盛り付け容器を顧客に提供するロボットアームと、検知部の検知結果を判定し、ロボットアームの動作を制御する制御部と、を備え、ロボットアームは、盛り付け容器を保持する保持部を備え、保持部には、盛り付け容器及び食品の荷重を検知する荷重センサが設けられ、制御部は、荷重センサが所定の時間間隔で食品の荷重を検知した検知結果に基づき、食品の流量を予測してロボットアームの動作を制御する。

本開示の一態様における制御プログラムは、顧客に対して、ロボットアームを動作させ、半固形状態の食品を盛り付けて提供する食品供給装置を制御する制御プログラムであって、顧客を検知する顧客検知ステップと、食品を供給するサーバにおける食品の状態を検知する食品検知ステップと、ロボットアームを動作させ、食品を盛り付ける盛り付け容器を取り出してサーバの位置に移動させる移動ステップと、ロボットアームを動作させ、サーバが動作すると食品を盛り付け容器に盛り付け、盛り付け容器を保持する保持部に設けられた盛り付け容器及び食品の荷重を検知する荷重センサにより、所定の時間間隔で検知した検知結果に基づき、食品の流量を予測してロボットアームの動作を制御する盛り付けステップと、ロボットアームを動作させ、食品が盛り付けられた盛り付け容器を顧客に提供する提供ステップと、を電子計算機に実行させる。

Claims

顧客に対して、半固形状態の食品を盛り付けて提供する食品供給装置であって、
前記食品を供給するサーバと、
前記顧客を検知し、前記サーバにおける前記食品の状態を検知する検知部と、
前記検知部の検知結果に基づき、前記食品を盛り付ける盛り付け容器を取り出し、前記盛り付け容器を前記サーバの位置に移動して前記盛り付け容器を保持し、前記サーバが動作すると前記食品を前記盛り付け容器に盛り付け、前記食品が盛り付けられた前記盛り付け容器を前記顧客に提供するロボットアームと、
前記検知部の検知結果を判定し、前記ロボットアームの動作を制御する制御部と、を備える食品供給装置。
前記ロボットアームは、前記盛り付け容器を保持する保持部を備え、
前記保持部には、前記盛り付け容器及び前記食品の荷重を検知する荷重センサが設けられ、
前記制御部は、前記荷重センサの検知結果を判定し、前記ロボットアームの動作を制御する、請求項１に記載の食品供給装置。
前記荷重センサは、前記サーバの位置における前記盛り付け容器及び前記食品の荷重を検知し、
前記制御部は、前記盛り付け容器に前記食品が盛り付けられ、前記盛り付け容器及び前記食品の荷重が増加したと判定した場合、前記ロボットアームを動作させて前記盛り付け容器の位置を移動させる、請求項２に記載の食品供給装置。
前記制御部は、前記盛り付け容器に前記食品が盛り付けられ、前記盛り付け容器及び前記食品の荷重が増加したと判定した場合、前記ロボットアームを動作させ、前記盛り付け容器の位置を水平方向に移動させ、前記食品が所定時間だけ盛り付けられると前記盛り付け容器の位置を上下方向に移動させ、所定の時間間隔で前記食品の荷重を検知することで前記食品の流量を予測して前記盛り付け容器の位置の移動速度を制御する、請求項３に記載の食品供給装置。
前記荷重センサは、前記顧客の位置における前記盛り付け容器及び前記食品の荷重を検知し、
前記制御部は、前記顧客が前記盛り付け容器及び前記食品を取り出したことにより、前記盛り付け容器及び前記食品の荷重が減少したと判定した場合、前記ロボットアームを動作させて初期状態の位置を移動させる、請求項２から請求項４のいずれか１項に記載の食品供給装置。
前記盛り付け容器が複数積層され、前記盛り付け容器を下部から１つずつ取り出し可能な盛り付け容器収容部を備え、
前記制御部は、前記食品を提供するときに、前記ロボットアームを前記盛り付け容器収容部の下方へ移動させると前記盛り付け容器を取り出させる、請求項１から請求項５のいずれか１項に記載の食品供給装置。
前記盛り付け容器収容部は、前記盛り付け容器の水平方向の断面形状に合わせて環状に形成されて前記盛り付け容器を載置する載置部が設けられ、前記制御部の制御により前記載置部の略中央の位置から水平方向に開き、
前記制御部は、前記ロボットアームを前記盛り付け容器収容部の下方へ移動させると、前記載置部が開いて前記盛り付け容器を落下させて前記ロボットアームに保持させる、請求項６に記載の食品供給装置。
前記検知部は、前記顧客の顔を検知し、
前記制御部は、前記検知部が前記顧客の顔を検知した場合、前記顧客が存在していると判定する、請求項１から請求項７のいずれか１項に記載の食品供給装置。
前記制御部は、前記検知部の撮像から画像認識を行って前記顧客の顔の位置を算出し、前記ロボットアームに取り付けられた眼球を前記顧客の方向に向けて所定の動作を行わせる、請求項８に記載の食品供給装置。
前記食品を供給できない場合にアラームを出力するアラーム出力部を備え、
前記制御部は、前記検知部の検知結果が、前記サーバにおける前記食品が不足している状態と判定した場合、前記アラーム出力部にアラームを出力させる、請求項１から請求項８のいずれか１項に記載の食品供給装置。
前記サーバの状態表示ディスプレイの近傍に、３次元空間における位置及び姿勢を算出するための目印であるＡＲマーカーが配置され、
前記制御部は、前記検知部が前記サーバにおける前記ＡＲマーカーを検知すると、その位置及び姿勢と、前記ＡＲマーカーからの前記サーバの状態表示ディスプレイの相対位置と、から前記サーバの状態表示ディスプレイを読み取らせる、請求項１０に記載の食品供給装置。
前記サーバは、前記ロボットアームの動作により下方に前記盛り付け容器が移動すると、前記制御部の制御により前記食品の供給を開始する、請求項１から請求項１１のいずれか１項に記載の食品供給装置。
前記検知部は、１または複数のカメラにより構成されている、請求項１から請求項１２のいずれか１項に記載の食品供給装置。
顧客に対して、ロボットアームを動作させ、半固形状態の食品を盛り付けて提供する食品供給装置を制御する制御プログラムであって、
前記顧客を検知する顧客検知ステップと、
前記食品を供給するサーバにおける前記食品の状態を検知する食品検知ステップと、
前記ロボットアームを動作させ、前記食品を盛り付ける盛り付け容器を取り出して前記サーバの位置に移動させる移動ステップと、
前記ロボットアームを動作させ、前記サーバが動作すると前記食品を前記盛り付け容器に盛り付ける盛り付けステップと、
前記ロボットアームを動作させ、前記食品が盛り付けられた前記盛り付け容器を前記顧客に提供する提供ステップと、を電子計算機に実行させる、制御プログラム。