JP2019217103A - 介助システム、介助方法及び介助プログラム - Google Patents

Abstract

【課題】身体を動かすことが困難な対象者であっても自発的に食事を摂れるようにする技術を提供する。【解決手段】本発明の一側面に係る介助システムは、深度情報を含む撮影画像を取得する撮影装置、対象者まで食物を運搬するロボット装置、及びロボット装置の動作を制御する制御装置を備える。制御装置は、撮影装置から得られる撮影画像を解析することで対象者の口の位置を算出し、対象者の口の位置を算出した結果に基づいて、ロボット装置に対して対象者の口元まで食物を運搬させる。そして、制御装置は、得られた撮影画像を解析することで対象者が口を開けているか否かを判定し、対象者が口を開けていると判定した場合に、ロボット装置に対して対象者の口の中に食物を入れさせる。【選択図】図８

Description

本発明は、介助システム、介助方法及び介助プログラムに関する。

近年、様々な行動の支援を要する対象者（例えば、要介護者）のために、種々の行動を介助するシステムが開発されている。例えば、特許文献１及び２では、食事を支援する食事支援装置が提案されている。この食事支援装置によれば、操作部のレバーを利用者が操作することで、容器に盛り付けられた食物を把持機構部に把持させ、把持させた食物を利用者の口元に運ぶことができる。

特開２００６−０００４２７号公報 特開２００６−０００４２８号公報

本件発明者らは、特許文献１及び２で提案される食事支援装置等、従来の食事を介助するシステムには次のような問題点があることを見出した。すなわち、従来のシステムでは、把持機構による食物の運搬は、対象者の口元で停止する。したがって、このようなシステムを利用して食事を行う場合には、対象者は、少なくとも頭部を自発的に動かして、食物の停止した位置まで自身の口を運ぶことになる。そのため、身体を動かす分だけ対象者に負担がかかってしまうという問題点があることを本件発明者らは見出した。また、身体を動かすことができない者は、このようなシステムを利用しても、自発的に食事を行うのは困難であるという問題点があることを本件発明者らは見出した。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、身体を動かすことが困難な対象者であっても自発的に食事を摂れるようにする技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る介助システムは、対象者を被写体として撮影すると共に、当該被写体までの深度を取得するように構成された撮影装置と、前記対象者まで食物を運搬するように構成されたロボット装置と、前記ロボット装置の動作を制御するように構成された制御装置と、を備える。そして、前記制御装置は、前記撮影装置により前記対象者を撮影することで生成された撮影画像であって、当該撮影画像内の前記対象者に対して得られた深度を示す深度情報を含む撮影画像を取得するステップと、取得した前記撮影画像を解析することで、前記深度情報から前記対象者の口の位置を算出するステップと、前記対象者の口の位置を算出した結果に基づいて、前記対象者の口元まで前記食物を運搬するように前記ロボット装置の動作を制御するステップと、取得した前記撮影画像を解析することで、前記対象者が口を開けているか否かを判定するステップと、前記ロボット装置が前記対象者の口元まで前記食物を運搬した後、前記対象者が口を開けていると判定した場合に、前記対象者の口の中に前記食物を入れるように前記ロボット装置の動作を制御するステップと、を実行するように構成される。

当該構成に係る介助システムでは、制御装置は、まず、撮影装置により得られる撮影画像に基づいて、食事を提供する対象となる対象者の口の位置を特定する。撮影画像には、被写体までの深度を示す深度情報が含まれている。そのため、制御装置は、この深度情報を利用することで、実空間における対象者の口の位置を算出することができる。続いて、制御装置は、対象者の口の位置を算出した結果に基づいて、対象者の口元まで食物を運搬させるようにロボット装置の動作を制御する。次に、制御装置は、取得した撮影画像を解析することで、対象者が口を開けているか否かを判定する。そして、対象者が口を開けていると判定した場合に、制御装置は、対象者の口の中に食物を入れさせるようにロボット装置の動作を制御する。

したがって、当該構成に係る介助システムによれば、対象者は、口を開ける動作を行うだけで、ロボット装置に対して、口の中に食物を入れる動作を実行させることができる。つまり、対象者は、口の中に食物を入れるロボット装置の動作を利用することで、身体を動かすことなく、自発的に食事を摂ることができるようになる。よって、当該構成に係る介助システムによれば、身体を動かすことが困難な対象者であっても自発的に食事を摂れるようにすることができる。

なお、ロボット装置の構成は、食物を運搬可能であれば、特に限定されなくてもよい。ロボット装置には、例えば、食物を運搬可能に構成された公知のロボットアームが用いられてもよい。また、撮影装置の構成は、深度情報を取得可能であれば、特に限定されなくてもよい。撮影装置には、例えば、公知の距離センサ、深度カメラ等が用いられてもよい。撮影装置は、深度を取得可能に構成された深度センサ及び二次元画像を取得可能に構成されたＲＧＢカメラの組み合わせ等のように複数の装置により構成されてもよい。

上記一側面に係る介助システムにおいて、前記制御装置は、取得した前記撮影画像を解析することで、前記対象者の視線の方向及び動きを推定するステップと、前記視線の方向を推定した結果に基づいて、前記視線が所定の方向を向いているか否かを判定するステップと、前記対象者の動きを推定した結果に基づいて、前記食物を要求するための所定の動きを前記対象者が行っているか否かを判定するステップと、前記視線が前記所定の方向を向いており、かつ前記所定の動きを前記対象者が行っていると判定した場合に、前記食物の運搬を開始させるように前記ロボット装置の動作を制御するステップと、を更に実行するように構成されてもよい。当該構成によれば、食物を要求するための所定の動きを対象者が行ったことに応じて、当該対象者の口の中に食物を運ぶ一連の動作をロボット装置に実行させることができる。

上記一側面に係る介助システムにおいて、前記所定の方向は、前記食物の存在する方向であってよい。当該構成によれば、対象者が食物を見たことに応じて、当該対象者の口の中に食物を運ぶ一連の動作をロボット装置に実行させることができる。

上記一側面に係る介助システムにおいて、前記制御装置は、前記対象者が前記所定の動きを一定時間以上行っていないかどうかを判定するステップと、前記対象者が前記所定の動きを一定時間以上行っていないと判定した場合に、前記対象者の食事が終了したと認定し、当該食事が終了したことを知らせるための通知を出力するステップと、を更に実行するように構成されてもよい。当該構成によれば、食物を要求するための所定の動きを対象者が一定時間以上行っていないことに応じて、当該対象者の食事が終了したことを検知することができ、また、対象者を見守る介護者等に対して、当該対象者の食事が終了したことを知らせることができる。

上記一側面に係る介助システムにおいて、前記制御装置は、前記食物が残っているか否かを判定するステップと、前記食物が残っていないと判定した場合に、前記対象者の食事が終了したと認定し、当該食事が終了したことを知らせるための通知を出力するステップと、を更に実行するように構成されてもよい。当該構成によれば、食物が残っていないことに応じて、対象者の食事が終了したことを検定することができ、また、対象者を見守る介護者等に対して、当該対象者の食事が終了したことを知らせることができる。

上記一側面に係る介助システムにおいて、前記制御装置は、取得した前記撮影画像を解析することで、前記対象者の視線の方向を推定するステップと、推定した前記視線の方向にある食物を取得するように前記ロボット装置の動作を制御するステップと、を更に実行するように構成されてよい。当該構成によれば、対象者が食物を見たことに応じて、当該対象者の視線の方向にある食物を当該対象者の口の中に運ぶ一連の動作をロボット装置に実行させることができる。

上記一側面に係る介助システムにおいて、前記制御装置は、取得した前記撮影画像を解析することで、前記対象者の咀嚼回数を測定するステップと、測定した前記対象者の咀嚼回数を記録するステップと、を更に実行するように構成されてよい。当該構成によれば、対象者に食事を提供している間に、対象者の咀嚼回数を計測し、計測した咀嚼回数の履歴を作成することができる。これにより、食事の際に対象者が適切な咀嚼を行っているか否かを監視することができる。

上記一側面に係る介助システムにおいて、前記制御装置は、取得した前記撮影画像を解析することで、前記対象者の状態を推定するステップと、前記対象者の状態を推定した結果に基づいて、前記対象者が異常状態にあるか否かを判定するステップと、前記対象者が異常状態にあると判定した場合に、前記対象者が異常状態にあることを知らせるための通知を出力するステップと、を更に実行するように構成されてよい。当該構成に係る介助システムは、ロボット装置により対象者に食事を提供している間、当該対象者に異常状態が発生していないかを監視する。これにより、当該構成に係る介助システムによれば、対象者に対して安全に食事を提供することができる。

上記一側面に係る介助システムにおいて、前記制御装置は、取得した前記撮影画像を解析することで、前記対象者の状態として前記対象者の表情の種別を推定してもよく、推定した前記対象者の表情の種別が、前記異常状態に対応付けられた所定の種別であるか否かを判定することで、前記対象者が異常状態にあるか否かを判定してもよい。当該構成によれば、対象者に異常状態が発生していないかどうかを適切に監視することができる。

上記一側面に係る介助システムにおいて、前記制御装置は、取得した前記撮影画像を解析することで、前記対象者の状態として、前記対象者が前記食物を口から吐き出したか否かを推定してもよく、前記対象者が前記食物を口から吐き出したか否かに基づいて、前記対象者が異常状態にあるか否かを判定してもよい。当該構成によれば、対象者に異常状態が発生していないかどうかを適切に監視することができる。

なお、上記各形態に係る介助システムの別の態様として、本発明の一側面は、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

例えば、本発明の一側面に係る介助方法は、対象者を被写体として撮影すると共に、当該被写体までの深度を取得するように構成された撮影装置、前記対象者まで食物を運搬するように構成されたロボット装置、及び前記ロボット装置の動作を制御するように構成された制御装置による情報処理方法であって、前記制御装置が、前記撮影装置により前記対象者を撮影することで生成された撮影画像であって、当該撮影画像内の前記対象者に対して得られた深度を示す深度情報を含む撮影画像を取得するステップと、取得した前記撮影画像を解析することで、前記深度情報から前記対象者の口の位置を算出するステップと、前記対象者の口の位置を算出した結果に基づいて、前記対象者の口元まで前記食物を運搬するように前記ロボット装置の動作を制御するステップと、取得した前記撮影画像を解析することで、前記対象者が口を開けているか否かを判定するステップと、前記ロボット装置が前記対象者の口元まで前記食物を運搬した後、前記対象者が口を開けていると判定した場合に、前記対象者の口の中に前記食物を入れるように前記ロボット装置の動作を制御するステップと、を実行する、情報処理方法である。

また、例えば、本発明の一側面に係る介助プログラムは、対象者まで食物を運搬するように構成されたロボット装置の動作をコンピュータに制御させるためのプログラムであって、前記コンピュータに、前記対象者を被写体として撮影すると共に、当該被写体までの深度を取得するように構成された撮影装置により前記対象者を撮影することで生成された撮影画像であって、当該撮影画像内の前記対象者に対して得られた深度を示す深度情報を含む撮影画像を取得するステップと、取得した前記撮影画像を解析することで、前記深度情報から前記対象者の口の位置を算出するステップと、前記対象者の口の位置を算出した結果に基づいて、前記対象者の口元まで前記食物を運搬するように前記ロボット装置の動作を制御するステップと、取得した前記撮影画像を解析することで、前記対象者が口を開けているか否かを判定するステップと、前記ロボット装置が前記対象者の口元まで前記食物を運搬した後、前記対象者が口を開けていると判定した場合に、前記対象者の口の中に前記食物を入れるように前記ロボット装置の動作を制御するステップと、を実行させるための、プログラムである。

本発明によれば、身体を動かすことが困難な対象者であっても自発的に食事できるようにする技術を提供することができる。

図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る制御装置のハードウェア構成の一例を模式的に例示する。 図３Ａは、実施の形態に係る深度情報の一例を例示する。 図３Ｂは、実施の形態に係る深度情報の一例を例示する。 図３Ｃは、実施の形態に係る深度を模式的に例示する。 図４は、実施の形態に係るロボット装置の一例を模式的に例示する。 図５は、実施の形態に係る制御装置のソフトウェア構成の一例を模式的に例示する。 図６は、実施の形態に係る制御装置の処理手順の一例を示すフローチャートである。 図７は、実施の形態に係る制御装置の処理手順であって、運搬開始を判定する処理手順の一例を示すフローチャートである。 図８は、実施の形態に係る制御装置の処理手順であって、運搬を制御する処理手順の一例を示すフローチャートである。 図９は、実施の形態に係る制御装置の処理手順であって、対象者に異常状態にあるか否かを判定する処理手順の一例を示すフローチャートである。 図１０は、実施の形態に係る制御装置の処理手順であって、食事が終了したか否かを判定する処理手順の一例を示すフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

§１ 構成例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る介助システム１００の利用場面の一例を模式的に例示する。図１で例示される介助システム１００は、撮影装置２、ロボット装置３、及び制御装置１を備えている。

撮影装置２は、対象者Ｕを被写体として撮影すると共に、被写体までの深度を取得するように構成される。対象者Ｕは、介助システム１００による食事の提供を受ける者である。対象者Ｕは、特に限定されなくてもよく、例えば、要介護者、患者、施設入居者等であってよい。ロボット装置３は、対象者Ｕまで食物Ｆを運搬するように構成される。食物Ｆの種類は、実施の形態に応じて適宜選択されてよい。食物Ｆは、例えば、固形物、流動物、又はこれらの組み合わせであってよい。更に、図１に例示されるように、食物Ｆは、容器Ｂに盛り付けられていてよく、ロボット装置３は、容器Ｂから食物Ｆを取得し、取得した食物Ｆを対象者Ｕまで運搬するように構成されてよい。

制御装置１は、当該ロボット装置３の動作を制御するように構成される。具体的には、制御装置１は、まず、撮影装置２により対象者Ｕを撮影することで生成された撮影画像であって、当該撮影画像内の対象者Ｕに対して得られた深度を示す深度情報を含む撮影画像を取得する。続いて、制御装置１は、取得した撮影画像を解析することで、深度情報から対象者Ｕの口の位置を算出する。そして、制御装置１は、対象者Ｕの口の位置を算出した結果に基づいて、対象者Ｕの口元まで食物Ｆを運搬させるようにロボット装置３の動作を制御する。

更に、制御装置１は、取得した撮影画像を解析することで、対象者Ｕが口を開けているか否かを判定する。そして、制御装置１は、ロボット装置３が対象者Ｕの口元まで食物Ｆを運搬した後、対象者Ｕが口を開けていると判定した場合に、対象者Ｕの口の中に食物Ｆを入れさせるようにロボット装置３の動作を制御する。

したがって、本実施形態に係る介助システム１００によれば、対象者Ｕは、口を開ける動作を行うだけで、ロボット装置３に対して、口の中に食物Ｆを入れる動作を実行させることができる。つまり、対象者Ｕは、ロボット装置３によって口の中に食物Ｆを入れてもらうことで、身体を動かすことなく、自発的に食事を摂ることができるようになる。よって、本実施形態に係る介助システム１００によれば、身体を動かすことが困難な対象者Ｕであっても自発的に食事を摂れるようにすることができる。

§２ 構成例
［ハードウェア構成］
＜制御装置＞
次に、図２を用いて、本実施形態に係る制御装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る制御装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係る制御装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。

本実施形態では、記憶部１２は、制御部１１（ＣＰＵ）により実行される介助プログラム８１等の各種情報を記憶する。介助プログラム８１は、ロボット装置３の動作を制御する後述の情報処理（図６）を制御装置１に実行させるためのプログラムである。介助プログラム８１は、当該情報処理の一連の命令を含む。詳細は後述する。

外部インタフェース１３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１３の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、制御装置１は、外部インタフェース１３を介して、撮影装置２及びロボット装置３に接続される。これにより、制御装置１は、撮影装置２から撮影画像を取得することができる。また、制御装置１は、ロボット装置３に指令を送信することで、ロボット装置３の動作を制御することができる。

なお、制御装置１と外部装置（例えば、撮影装置２、ロボット装置３）との接続手段は、このような例に限定されなくてもよい。例えば、制御装置１及び外部装置それぞれが、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等の通信インタフェースを備えている場合、制御装置１は、ネットワークを介して外部装置に接続してもよい。

入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置１４及び出力装置１５を利用することで、制御装置１を操作することができる。

ドライブ１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記介助プログラム８１は、この記憶媒体９１に記憶されていてもよい。

記憶媒体９１は、コンピュータその他装置、機械等が、記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。制御装置１は、この記憶媒体９１から、上記介助プログラム８１を取得してもよい。

ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、制御装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。外部インタフェース１３、入力装置１４、出力装置１５及びドライブ１６の少なくともいずれかは省略されてもよい。制御装置１は、複数台の情報処理装置により構成されてもよい。この場合、各情報処理装置のハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、制御装置１には、提供されるサービス専用に設計された情報処理装置の他、コントローラ、汎用のＰＣ（Personal Computer）等が用いられてもよい。

＜撮影装置＞
次に、撮影装置２の構成の一例について説明する。撮影装置２の構成は、対象者Ｕの口の位置を特定するのに利用可能な深度情報及び撮影画像を取得可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。撮影装置２には、例えば、公知の距離センサ、深度カメラ等が用いられてもよい。また、撮影装置２は、深度を取得可能に構成された深度センサ及び二次元画像を取得可能に構成されたＲＧＢカメラの組み合わせ等のように複数の装置により構成されてもよい。撮影装置２の具体例として、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINE、インテル社のRealSense等を挙げることができる。撮影装置２は、対象者Ｕを撮影可能な場所に適宜配置される。

図３Ａ及び図３Ｂは、深度情報を含む撮影画像の一例を示す。図３Ａは、口を閉じた対象者を撮影することで得られた撮影画像の一例を示す。図３Ｂは、口を開けた対象者を撮影することで得られた撮影画像の一例を示す。図３Ａ及び図３Ｂで例示される撮影画像では、各画素の濃淡値が、当該各画素の深度に応じて定められている。具体的には、画素の色が黒いほど、当該画素に写る対象が撮影装置２に近いことを示す。一方、画素の色が白いほど、当該画素に写る対象が撮影装置２から遠いことを示す。

本実施形態では、深度情報を含む撮影画像は、撮影範囲内の被写体の深度が二次元状に分布するように構成されている。この深度情報を含む撮影画像によれば、撮影範囲内の被写体の実空間（三次元空間）内での位置を特定することができる。ただし、撮影画像の構成は、被写体の実空間内での位置（特に、対象者Ｕの口の位置）を特定可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、撮影画像は、深度情報と共に、ＲＧＢ画像を含んでもよい。この撮影画像は、動画像であってもよいし、静止画像であってもよい。

ここで、図３Ｃを用いて、本実施形態に係る撮影装置２により測定される深度を詳細に説明する。図３Ｃは、本実施形態に係る深度として採用可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３Ｃで例示されるように、被写体の深さは、例えば、センサ（撮影装置２）と被写体（対象者Ｕ）との直線の距離Ａ１で表現されてもよいし、センサの被写体に対する水平軸から下ろした垂線の距離Ａ２で表現されてもよい。すなわち、本実施形態に係る深度として、距離Ａ１及び距離Ａ２のいずれが採用されてもよい。

なお、以下では、説明の便宜のため、距離Ａ２が、本実施形態に係る深度として採用されるものとする。ただし、距離Ａ１と距離Ａ２とは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ａ２を深度として採用した以下の説明は、距離Ａ１を深度として採用したケースにそのまま適用することができる。

＜ロボット装置＞
次に、図４を用いて、ロボット装置３の構成の一例について説明する。図４は、本実施形態に係るロボット装置３の構成の一例を模式的に例示する。図４に例示されるロボット装置３は、いわゆるロボットハンドであり、基台部３１、一対の関節部（３２、３３）、一対のリンク部材（３４、３５）、及びハンド部（エンドエフェクタ）３６を備えている。

第１関節部３２は、基台部３１と第１リンク部材３４との間に配置され、基台部３１と第１リンク部材３４の一端部とを連結する。第２関節部３３は、第１リンク部材３４と第２リンク部材３５との間に配置され、第１リンク部材３４の他端部と第２リンク部材３５の一端部とを連結する。第２リンク部材３５の他端部にはハンド部３６が連結しており、ハンド部３６には、スプーン４０が取り付けられている。各部材の形状、材料及び寸法はそれぞれ、実施の形態に応じて適宜決定されてよい。

第１関節部３２は、例えば、サーボモータ（不図示）を備えることで、基台部３１と第１リンク部材３４との間の角度を変更可能に構成される。同様に、第２関節部３３は、例えば、サーボモータ（不図示）を備えることで、第１リンク部材３４と第２リンク部材３５との間の角度を変更可能に構成される。ロボット装置３は、例えば、サーボドライバ（不図示）を備えることで、各関節部（３２、３３）の角度を変更可能に構成される。これにより、ロボット装置３は、各関節部（３２、３３）の角度を制御することで、スプーン４０により容器Ｂの盛り付けられた食物Ｆを取得したり、取得した食物Ｆを対象者Ｕまで運搬したりすることができるように構成されている。

具体例として、ロボット装置３は、対象者Ｕの手前に配置され、食物Ｆの盛り付けられた容器Ｂは、ロボット装置３と対象者Ｕとの間に配置されてよい。この場合、ロボット装置３は、各関節部（３２、３３）の角度を制御して、対象者Ｕより手前にある容器Ｂから食物Ｆを取得してもよい。そして、ロボット装置３は、各関節部（３２、３３）の角度を制御して、ハンド部３６を対象者Ｕの方に伸ばすことで、取得した食物Ｆを対象者Ｕまで運搬してもよい。

なお、ロボット装置３の構成は、このような例に限定されなくてもよく、食物Ｆを運搬可能であれば、実施の形態に応じて適宜選択されてよい。ロボット装置３には、食物Ｆを運搬可能に構成された公知のロボットハンドが用いられてよい。加えて、ロボット装置３の制御方式は、特に限定されなくてもよく、当該ロボット装置３の構成に応じて適宜選択されてよい。

また、食物Ｆを運搬する方法は、スプーン４０を利用する方法に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、食物Ｆの運搬には、スプーン４０以外の道具（例えば、フォーク等）が用いられてもよい。また、例えば、食物Ｆの運搬には道具を用いるのではなく、ハンド部３６が食物Ｆを直接取得可能に形成されてもよい。

更に、容器Ｂの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。容器Ｂは、ロボット装置３と一体に形成されていてもよいし、ロボット装置３と別体に形成されていてもよい。容器Ｂがロボット装置３と別体に形成される場合、容器Ｂは、ロボット装置３（例えば、基台部３１）に固定されていてもよいし、ロボット装置３から離れて配置されてもよい。

［ソフトウェア構成］
次に、図５を用いて、本実施形態に係る制御装置１のソフトウェア構成の一例について説明する。図５は、本実施形態に係る制御装置１のソフトウェア構成の一例を模式的に例示する。

制御装置１の制御部１１は、記憶部１２に記憶された介助プログラム８１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された介助プログラム８１をＣＰＵにより解釈して、介助プログラム８１に含まれる一連の命令に基づいた情報処理を実行する。これにより、図５に示されるとおり、本実施形態に係る制御装置１は、ソフトウェアモジュールとして、画像取得部１７１、視線方向推定部１７２、動き推定部１７３、開始判定部１７４、取得制御部１７５、位置算出部１７６、運搬制御部１７７、開閉判定部１７８、咀嚼計測部１７９、状態推定部１８０、異常判定部１８１、異常通知部１８２、終了判定部１８３、及び終了通知部１８４を備えるコンピュータとして動作する。

画像取得部１７１は、撮影装置２により対象者Ｕを撮影することで生成された撮影画像であって、当該撮影画像内の対象者Ｕに対して得られた深度を示す深度情報を含む撮影画像を取得する。視線方向推定部１７２は、取得した撮影画像を解析することで、対象者Ｕの視線の方向を推定する。動き推定部１７３は、取得した撮影画像を解析することで、対象者Ｕの動きを推定する。

開始判定部１７４は、対象者Ｕの視線の方向及び動きを推定した結果に基づいて、当該対象者Ｕに対して食物Ｆの運搬を開始するか否かを判定する。そして、対象者Ｕに対して食物Ｆの運搬を開始すると判定した場合に、開始判定部１７４は、食物Ｆの運搬を開始させるようにロボット装置３の動作を制御する。取得制御部１７５は、容器Ｂに盛り付けられた食物Ｆを取得させるようにロボット装置３の動作を制御する。

位置算出部１７６は、取得した撮影画像を解析することで、深度情報から対象者Ｕの口の位置を算出する。運搬制御部１７７は、対象者Ｕの口の位置を算出した結果に基づいて、対象者Ｕの口元まで食物Ｆを運搬させるようにロボット装置３の動作を制御する。また、開閉判定部１７８は、取得した撮影画像を解析することで、対象者Ｕが口を開けているか否かを判定する。ロボット装置３が対象者Ｕの口元まで食物Ｆを運搬した後、対象者Ｕが口を開けていると判定した場合に、運搬制御部１７７は、対象者Ｕの口の中に食物Ｆを入れさせるようにロボット装置３の動作を制御する。

咀嚼計測部１７９は、取得した撮影画像を解析することで、対象者Ｕの咀嚼回数を測定し、測定した対象者Ｕの咀嚼回数を記録する。状態推定部１８０は、取得した撮影画像を解析することで、対象者Ｕの状態を推定する。異常判定部１８１は、対象者Ｕの状態を推定した結果に基づいて、対象者Ｕが異常状態にあるか否かを判定する。対象者Ｕが異常状態にあると判定した場合に、異常通知部１８２は、対象者Ｕが異常状態にあることを知らせるための通知を出力する。

終了判定部１８３は、対象者Ｕの食事が終了したか否かを判定する。対象者Ｕの食事が終了したと判定した場合に、終了通知部１８４は、対象者Ｕの食事が終了したことを知らせるための通知を出力する。

なお、制御装置１の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、制御装置１の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、制御装置１のソフトウェア構成に関して、実施の形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

§３ 動作例
次に、図６を用いて、制御装置１の動作例について説明する。図６は、制御装置１の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「介助方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

［開始処理］
制御装置１の以下の処理手順を開始するトリガは、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、要介護者、患者、施設入居者等の身体を動かすことの困難な対象者Ｕが食事を摂るのに介助システム１００を利用するケースでは、この対象者Ｕを見守る介護者、看護師、施設職員等のユーザが介助システム１００の各装置１〜３を起動する。次に、ユーザは、ロボット装置３が食物Ｆを取得可能な所定の位置に、食物Ｆを盛り付けた容器Ｂを配置する。そして、ユーザは、入力装置１４を操作することで、制御装置１に以下の情報処理の実行を開始させる。これにより、制御装置１は、以下の情報処理の実行を開始してもよい。

［ステップＳ１１］
ステップＳ１１では、制御部１１は、食物Ｆの運搬を開始するか否かを判定する。食物Ｆの運搬を開始するトリガは、実施の形態に応じて適宜選択されてよい。本実施形態では、対象者Ｕの視線の方向及び動きそれぞれが所定の条件を満たしていることが食物Ｆの運搬開始のトリガであり、制御部１１は、以下の処理手順により、食物Ｆの運搬を開始するか否かを判定する。

図７は、食物Ｆの運搬を開始するか否かを判定するサブルーチンの一例を示すフローチャートである。なお、以下で説明するサブルーチンの処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明するサブルーチンの処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１１１）
ステップＳ１１１では、制御部１１は、画像取得部１７１として動作し、撮影装置２により対象者Ｕを撮影することで生成された撮影画像を取得する。本実施形態では、制御部１１は、外部インタフェース１３を介して撮影装置２から撮影画像を直接的に取得する。撮影画像は、動画像であってもよいし、静止画像であってもよい。撮影画像を取得すると、制御部１１は、次のステップＳ１１２に処理を進める。

なお、撮影画像を取得する経路は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、他のコンピュータ、ＮＡＳ（Network Attached Storage）等の装置を介して、撮影装置２により生成された撮影画像を取得してもよい。後述する他のステップの撮影画像を取得する処理（ステップＳ１３１、ステップＳ１３４、ステップＳ１５１、ステップＳ１６３）においても同様である。

（ステップＳ１１２及びＳ１１３）
ステップＳ１１２では、制御部１１は、視線方向推定部１７２として動作し、取得した撮影画像を解析することで、対象者Ｕの視線の方向を推定する。視線の方向を推定する解析方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部１１は、公知の解析方法により、対象者Ｕの視線の方向を推定してもよい。

例えば、制御部１１は、エッジ抽出、パターンマッチング等の公知の解析方法により、撮影画像内において対象者Ｕの目の写る範囲を抽出してもよい。そして、制御部１１は、この抽出した範囲に写る目の形状に基づいて、対象者Ｕの視線の方向を推定してもよい。対象者Ｕの視線の方向の推定が完了すると、制御部１１は、次のステップＳ１１３に処理を進める。

ステップＳ１１３では、制御部１１は、動き推定部１７３として動作し、取得した撮影画像を解析することで、対象者Ｕの動きを推定する。対象者Ｕの動きを推定する解析方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部１１は、公知の解析方法により、対象者Ｕの動きを推定してもよい。

例えば、制御部１１は、エッジ抽出、パターンマッチング等の公知の解析方法により、撮影画像内において対象者Ｕの写る範囲を抽出してもよい。このとき、制御部１１は、対象者Ｕの頭部、肩部等の身体部位の写る範囲を区別して抽出してもよい。また、制御部１１は、頭部の写る範囲内において、目、口、鼻等の顔の器官の写る範囲を区別して抽出してもよい。制御部１１は、これにより抽出される身体部位、顔の器官等を追跡することで、対象者Ｕの動きを推定することができる。

対象者Ｕの動きを推定した結果を表現する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。対象者Ｕの動きを推定した結果は、１枚の撮影画像から導出される対象者Ｕの状態（例えば、ある時点で口が開いている）で表現されてもよい、連続する複数枚の撮影画像から導出される対象者Ｕの連続的な動き（例えば、口を開閉する動きを行っている）で表現されてもよい。対象者Ｕの動きの推定が完了すると、制御部１１は、次のステップＳ１１４に処理を進める。

なお、ステップＳ１１２及びＳ１１３を処理するタイミングはそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ステップＳ１１３の処理を実行した後に、ステップＳ１１２の処理を実行してもよい。また、例えば、制御部１１は、取得した撮影画像内で顔の器官の写る範囲を抽出した後、この抽出した結果を共通で利用して、ステップＳ１１２及びＳ１１３の処理を実行してもよい。

（ステップＳ１１４及びＳ１１５）
ステップＳ１１４では、制御部１１は、開始判定部１７４として動作し、対象者Ｕの視線の方向を推定した結果に基づいて、対象者Ｕが所定の方向を見ているか否か、換言すると、対象者Ｕの視線が所定の方向を向いているか否かを判定する。

対象者Ｕの視線が所定の方向を向いているか否かを判定する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ステップＳ１１２で推定した対象者Ｕの視線の方向が所定の方向と所定の誤差範囲内で一致しているか否かを照合する。ステップＳ１１２で推定した視線の方向が所定の方向と一致している場合に、制御部１１は、対象者Ｕの視線が所定の方向を向いていると判定してもよい。一方、ステップＳ１１２で推定した視線の方向が所定の方向と一致していない場合、制御部１１は、対象者Ｕの視線が所定の方向を向いていないと判定してもよい。

対象者Ｕの視線が所定の方向を向いていると判定した場合（図７のＹＥＳ）、制御部１１は、次のステップＳ１１５に処理を進める。一方、対象者Ｕの視線が所定の方向を向いていないと判定した場合（図７のＮＯ）、制御部１１は、食物Ｆの運搬を開始しないと認定する。そして、制御部１１は、ステップＳ１１１に戻って、当該ステップＳ１１１から処理を繰り返す。

「所定の方向」は、対象者Ｕが食物Ｆを要求しているか否かを判定する基準となる。「所定の方向」は、実施の形態に応じて適宜設定されてよい。所定の方向は、例えば、食物Ｆの存在する方向であってもよいし、ロボット装置３の存在する方向であってもよい。対象者Ｕが食物Ｆを要求しているか否かを適切に判定するためには、所定の方向は、食物Ｆの存在する方向に設定されるのが好ましい。複数の方向それぞれが「所定の方向」として設定されてもよい。

この「所定の方向」を示す情報は、適宜与えられてよい。例えば、所定の方向を示す情報は、記憶部１２に保持されることで、予め与えられていてもよい。また、例えば、所定の方向が、食物Ｆの存在する方向である場合、制御部１１は、食物Ｆの写る撮影画像を解析することで、対象者Ｕに対して食物Ｆの存在する方向を推定してもよい。この食物Ｆの写る撮影画像は、ステップＳ１１１で取得した撮影画像であってもよいし、他の撮影装置により生成された他の撮影画像であってもよい。また、赤外線センサ等の他のセンサによる検知結果に基づいて、制御部１１は、対象者Ｕに対して食物Ｆの存在する方向を推定してもよい。

次のステップＳ１１５では、制御部１１は、開始判定部１７４として動作し、対象者Ｕの動きを推定した結果に基づいて、食物Ｆを要求するための所定の動きを対象者Ｕが行っているか否かを判定する。

食物Ｆを要求するための所定の動きを対象者Ｕが行っているか否かを判定する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ステップＳ１１３で推定した対象者Ｕの動きを示す情報が所定の動きを示す情報と所定の誤差範囲内で一致しているか否かを照合する。ステップＳ１１３で推定した対象者Ｕの動きを示す情報が所定の動きを示す情報と一致している場合に、制御部１１は、食物Ｆを要求するための所定の動きを対象者Ｕが行っていると判定してもよい。一方、ステップＳ１１３で推定した対象者Ｕの動きを示す情報が所定の動きを示す情報と一致していない場合、制御部１１は、食物Ｆを要求するための所定の動きを対象者Ｕは行っていないと判定してもよい。

食物Ｆを要求するための所定の動きを対象者Ｕが行っていると判定した場合（図７のＹＥＳ）、制御部１１は、食物Ｆの運搬を開始すると認定し、次のステップＳ１１６に処理を進める。一方、食物Ｆを要求するための所定の動きを対象者Ｕは行っていないと判定した場合（図７のＮＯ）、制御部１１は、食物Ｆの運搬を開始しないと認定する。そして、制御部１１は、ステップＳ１１１に戻って、当該ステップＳ１１１から処理を繰り返す。

「所定の動き」は、上記「所定の方向」と同様に、対象者Ｕが食物Ｆを要求しているか否かを判定する基準となる。「所定の動き」は、実施の形態に応じて適宜設定されてよい。所定の動きは、例えば、口を開ける、口を開閉する、目を開閉する、片目を閉じる等の顔の器官の動きであってもよいし、頭部を動かす、肩を動かす等の身体部位の動きであってもよい。なお、対象者Ｕの負担を軽減する観点から、所定の動きには、口を開ける、口を開閉する、目を開閉する、片目を閉じる等の顔の器官の動きが設定されるのが好ましい。複数の動きそれぞれが「所定の動き」として設定されてもよい。

この「所定の動き」を示す情報は、適宜与えられてよい。例えば、所定の動きを示す情報は、記憶部１２に保持されることで、予め与えられていてもよい。また、例えば、制御部１１は、所定の動きを行う対象者Ｕを撮影装置２により撮影させ、ステップＳ１１３と同様の方法で、得られた撮影画像を解析することで、所定の動きを示す情報を取得してもよい。

なお、ステップＳ１１４及びＳ１１５を処理するタイミングはそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部１１は、ステップＳ１１２の処理を実行した後の任意のタイミングで、ステップＳ１１４の処理を実行してよい。同様に、制御部１１は、ステップＳ１１３の処理を実行した後の任意のタイミングで、ステップＳ１１５の処理を実行してよい。

（ステップＳ１１６）
対象者Ｕの視線が所定の方向を向いており、かつ所定の動きを対象者Ｕが行っていると判定した場合に、制御部１１は、対象者Ｕに対して食物Ｆの運搬を開始すると認定し、本ステップＳ１１６の処理を実行する。ステップＳ１１６では、制御部１１は、食物Ｆの運搬を開始させるようにロボット装置３の動作を制御する。

食物Ｆの運搬を開始させるための制御方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部１１は、食物Ｆの運搬を開始する指令をロボット装置３に送信する。この指令は、開始のトリガのみにより構成されてもよいし、ハンド部３６を所定の位置に移動させる等の準備動作を指示する命令により構成されてもよい。ロボット装置３は、制御装置１から受信した指令に基づいて、各関節部（３２、３３）の動作を制御する。これにより、制御部１１は、ロボット装置３に対して食物Ｆの運搬を開始させることができる。

以上により、食物Ｆの運搬を開始するか否かを判定するサブルーチンの処理は完了する。当該サブルーチンの処理が完了すると、制御部１１は、次のステップＳ１２に処理を進める。なお、ステップＳ１１４又はＳ１１５により、一定時間以上継続して食物Ｆの運搬を開始しないと認定される場合、制御部１１は、対象者Ｕの食事は終了したと判定してもよい。この場合、制御部１１は、ステップＳ１２〜Ｓ１７の処理を省略し、ステップＳ１８に処理を進めてもよい。

［ステップＳ１２］
図６に戻り、ステップＳ１２では、制御部１１は、取得制御部１７５として動作し、容器Ｂに盛り付けられた食物Ｆを取得させるようにロボット装置３の動作を制御する。

食物Ｆを取得させるための制御方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部１１は、食物Ｆを取得する指令をロボット装置３に送信する。ロボット装置３は、制御装置１から受信した指令に基づいて、各関節部（３２、３３）を駆動する。これにより、制御部１１は、食物Ｆを取得する動作をロボット装置３に実行させることができる。ロボット装置３に食物Ｆを取得させると、制御部１１は、次のステップＳ１３に処理を進める。

なお、食物Ｆを取得する動作における各関節部（３２、３３）の駆動量及び駆動順序は適宜決定されてよい。食物Ｆの位置が固定値である場合には、各関節部（３２、３３）の駆動量及び駆動順序は予め決定されていてもよい。また、撮影装置２、撮影装置２と同様に深度を取得可能に構成された他の撮影装置、その他の種類のセンサ（例えば、赤外線センサ）等のセンサにより、食物Ｆの位置を測定可能である場合、制御部１１は、センサにより食物Ｆの位置を測定し、食物Ｆの位置を測定した結果に基づいて、各関節部（３２、３３）の駆動量及び駆動順序を決定してもよい。ロボット装置３は、制御装置１により決定された駆動量及び駆動順序に従って各関節部（３２、３３）を駆動することで、食物Ｆを取得する動作を実行することができる。

また、取得する食物Ｆは適宜決定されてよい。配膳された食物Ｆの種類が一つである場合には、制御部１１は、配膳された食物Ｆを取得する動作をロボット装置３に実行させてよい。一方、配膳された食物Ｆの種類が複数である場合には、制御部１１は、配膳された複数種類の食物Ｆの中から取得する食物Ｆを選択し、選択した食物Ｆを取得する動作をロボット装置３に実行させてよい。

ここで、取得する食物Ｆを選択する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、取得する食物Ｆの順番が予め設定されていてもよい。この場合、制御部１１は、予め設定された順番に従って、取得する食物Ｆを決定することができる。

また、例えば、対象者Ｕの視線の方向に基づいて、取得する食物Ｆが決定されてもよい。この場合、制御部１１は、画像取得部１７１として動作し、撮影装置２により対象者Ｕを撮影することで生成された撮影画像を取得する。続いて、制御部１１は、視線方向推定部１７２として動作し、取得した撮影画像を解析することで、対象者Ｕの視線の方向を推定する。これらの処理には、上記ステップＳ１１１及びＳ１１２の処理結果がそのまま利用されてもよい。或いは、撮影画像を取得する処理及び視線の方向を推定する処理はそれぞれ、上記ステップＳ１１１及びＳ１１２とは別個に実行されてもよい。

次に、制御部１１は、対象者Ｕの視線の方向を推定した結果に基づいて、対象者Ｕの視線の方向にある食物Ｆを特定する。そして、制御部１１は、取得制御部１７５として動作し、推定した視線の方向にある食物Ｆを取得する指令をロボット装置３に送信する。これにより、制御部１１は、対象者Ｕの視線の方向にある食物Ｆを取得する動作をロボット装置３に実行させることができる。

［ステップＳ１３］
ステップＳ１３では、制御部１１は、取得した食物Ｆを対象者Ｕの口に運搬させるようにロボット装置３の動作を制御する。本実施形態では、制御部１１は、以下の処理手順により、食物Ｆの運搬の動作を制御する。

図８は、対象者Ｕの口に食物Ｆを運搬する動作を制御するサブルーチンの一例を示すフローチャートである。なお、以下で説明するサブルーチンの処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明するサブルーチンの処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１３１）
ステップＳ１３１では、制御部１１は、上記ステップＳ１１１と同様に、画像取得部１７１として動作し、撮影装置２により対象者Ｕを撮影することで生成された撮影画像であって、当該撮影画像内の対象者Ｕに対して得られた深度を示す深度情報を含む撮影画像を取得する。このステップＳ１３１は、上記ステップＳ１１１と共通に実行されてもよいし、上記ステップＳ１１１とは別個に実行されてもよい。撮影画像を取得すると、制御部１１は、次のステップＳ１３２に処理を進める。

（ステップＳ１３２）
ステップＳ１３２では、制御部１１は、位置算出部１７６として動作し、取得した撮影画像を解析することで、深度情報から対象者Ｕの口の位置を算出する。

深度情報に基づいて対象者Ｕの口の位置を算出する方法は、実施の形態に応じて適宜決定されてよい。制御部１１は、公知の解析方法により、対象者Ｕの口の位置を算出してもよい。例えば、制御部１１は、エッジ抽出、パターンマッチング等の公知の解析方法により、取得した撮影画像内において対象者Ｕの口の写る範囲を抽出してもよい。続いて、制御部１１は、深度情報を参照することで、抽出した範囲の画素に対して得られた深度を取得してもよい。取得される深度は、対象者Ｕの口の位置を示し得る。そのため、これらの一連の処理により、制御部１１は、対象者Ｕの口の位置を算出することができる。対象者Ｕの口の位置を算出すると、制御部１１は、次のステップＳ１３３に処理を進める。

（ステップＳ１３３）
ステップＳ１３３では、制御部１１は、運搬制御部１７７として動作し、対象者Ｕの口の位置を算出した結果に基づいて、対象者Ｕの口元まで食物Ｆを運搬させるようにロボット装置３の動作を制御する。

対象者Ｕの口元まで食物Ｆを運搬させるための制御方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部１１は、対象者Ｕの口元まで食物Ｆを運搬する指令をロボット装置３に送信する。ロボット装置３は、制御装置１から受信した指令に基づいて、各関節部（３２、３３）を駆動する。これにより、制御部１１は、対象者Ｕの口元まで食物Ｆを運搬する動作をロボット装置３に実行させることができる。ロボット装置３に対して対象者Ｕの口元まで食物Ｆを運搬させると、制御部１１は、次のステップＳ１３４に処理を進める。

なお、対象者Ｕの口元まで食物Ｆを運搬する動作における各関節部（３２、３３）の駆動量及び駆動順序は、対象者Ｕの口元の位置に基づいて適宜決定されてよい。この対象者Ｕの口元の位置は、ステップＳ１３２の推定結果に基づいて適宜決定されてよい。例えば、対象者Ｕの口から所定の距離だけ手前の位置が口元の位置として決定されてもよい。所定の距離は、設定値（閾値）により与えられてもよいし、ユーザにより指定されてもよい。一例として、制御部１１は、ステップＳ１３２で推定した対象者Ｕの口の位置から所定の距離を減算又は加算することで、対象者Ｕの口元の位置を決定してもよい。そして、制御部１１は、決定した口元の位置にスプーン４０のつぼの部分が配置されるように、各関節部（３２、３３）の駆動量及び駆動順序を決定してもよい。ロボット装置３は、制御装置１により決定された駆動量及び駆動順序に従って各関節部（３２、３３）を駆動することで、対象者Ｕの口元に食物Ｆを運搬する動作を実行することができる。

（ステップＳ１３４）
ステップＳ１３４では、制御部１１は、上記ステップＳ１３１と同様に、画像取得部１７１として動作し、撮影装置２により対象者Ｕを撮影することで生成された撮影画像を取得する。このステップＳ１３４は、上記ステップＳ１３１と共通に実行されてもよいし、上記ステップＳ１３４とは別個に実行されてもよい。撮影画像を取得すると、制御部１１は、次のステップＳ１３５に処理を進める。

（ステップＳ１３５）
ステップＳ１３５では、制御部１１は、開閉判定部１７８として動作し、取得した撮影画像を解析することで、対象者Ｕが口を開けているか否かを判定する。

対象者Ｕが口を開けているか否かを判定する方法は、実施の形態に応じて適宜決定されてよい。制御部１１は、公知の解析方法により、対象者Ｕが口を開けているか否かを判定してもよい。例えば、制御部１１は、エッジ抽出、パターンマッチング等の公知の解析方法により、取得した撮影画像内において対象者Ｕの口の写る範囲を抽出してもよい。続いて、制御部１１は、抽出した範囲に写る口の大きさ及び形状の少なくとも一方に基づいて、対象者Ｕが口を開けているか否かを判定してもよい。

具体例として、図３Ａ及び図３Ｂに例示されるとおり、対象者Ｕが口を閉じている場合に比べて、対象者Ｕが口を開けている場合には、撮影画像内において対象者Ｕの口の写る範囲は大きくなる。そのため、制御部１１は、抽出した範囲の大きさが閾値以上であるか否かを比較してもよい。この場合、抽出した範囲の大きさが閾値以上である場合に、制御部１１は、対象者Ｕは口を開けていると判定してもよい。一方、抽出した範囲の大きさが閾値未満である場合には、制御部１１は、対象者Ｕは口を閉じていると判定してもよい。

これにより、対象者Ｕが口を開けているか否かを判定すると、制御部１１は、次のステップＳ１３６に処理を進める。

（ステップＳ１３６）
ステップＳ１３６では、制御部１１は、開閉判定部１７８として動作し、ステップＳ１３５の判定結果に基づいて、条件分岐の処理を実行する。ステップＳ１３５において、対象者Ｕが口を開けていると判定した場合には（図８のＹＥＳ）、制御部１１は、次のステップＳ１３７に処理を進める。一方、対象者Ｕが口を開けていない（口を閉じている）と判定した場合には（図８のＮＯ）、制御部１１は、ステップＳ１３１に戻り、当該ステップＳ１３１から処理を繰り返す。なお、処理を繰り返す範囲は、このような例に限定されなくてもよい。例えば、制御部１１は、ステップＳ１３４から処理を繰り返すようにしてもよい。

（ステップＳ１３７）
ロボット装置３が対象者Ｕの口元まで食物Ｆを運搬した後、対象者Ｕが口を開けていると判定した場合に、制御部１１は、本ステップＳ１３７の処理を実行する。ステップＳ１３７では、制御部１１は、運搬制御部１７７として動作し、対象者Ｕの口の中に食物Ｆを入れさせるようにロボット装置３の動作を制御する。

対象者Ｕの口の中に食物Ｆを入れさせるための制御方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部１１は、対象者Ｕの口の中に食物Ｆを入れる指令をロボット装置３に送信する。ロボット装置３は、制御装置１から受信した指令に基づいて、各関節部（３２、３３）を駆動する。これにより、制御部１１は、対象者Ｕの口の中に食物Ｆを入れる動作をロボット装置３に実行させることができる。

なお、対象者Ｕの口の中に食物Ｆを入れる動作における各関節部（３２、３３）の駆動量及び駆動順序は、対象者Ｕの口の位置に基づいて適宜決定されてよい。制御部１１は、ステップＳ１３２の処理結果又は新たに取得した撮影画像に対して口の位置を算出した結果に基づいて、対象者Ｕの口の中の位置を適宜決定してもよい。そして、制御部１１は、決定した口の中の位置にスプーン４０のつぼの部分が配置されるように、各関節部（３２、３３）の駆動量及び駆動順序を決定してもよい。更に、制御部１１は、スプーン４０のつぼの部分を上唇に押し付けるように、又はスプーン４０を下に向けるように、各関節部（３２、３３）の駆動量及び駆動順序を決定してもよい。ロボット装置３は、制御装置１により決定された駆動量及び駆動順序に従って各関節部（３２、３３）を駆動することで、対象者Ｕの口の中に食物Ｆを入れる動作を実行することができる。

以上により、対象者Ｕの口に食物Ｆを運搬する動作を制御するサブルーチンの処理は完了する。当該サブルーチンの処理が完了すると、制御部１１は、次のステップＳ１４に処理を進める。

［ステップＳ１４］
図６に戻り、ステップＳ１４では、口の中に運ばれた食物Ｆを対象者Ｕが咀嚼している間、制御部１１は、画像取得部１７１として動作し、撮影装置２により対象者Ｕを撮影することで生成された撮影画像を取得する。そして、制御部１１は、咀嚼計測部１７９として動作し、取得した撮影画像を解析することで、対象者Ｕの咀嚼回数を測定する。

咀嚼回数を計測する方法は、実施の形態に応じて適宜決定されてよい。制御部１１は、公知の解析方法により、対象者Ｕの咀嚼回数を計測してもよい。例えば、制御部１１は、エッジ抽出、パターンマッチング等の公知の解析方法により、取得した撮影画像内において対象者Ｕの顎の写る範囲を抽出してもよい。そして、制御部１１は、対象者Ｕが咀嚼をしている間、この顎の動きを追跡することで、咀嚼回数を計測してもよい。例えば、制御部１１は、顎を上下に往復する動きに応じて、対象者Ｕが食物Ｆを咀嚼した回数をカウントしてもよい。これにより、対象者Ｕの咀嚼回数を測定すると、制御部１１は、次のステップＳ１５に処理を進める。

［ステップＳ１５］
ステップＳ１５では、制御部１１は、対象者Ｕに異常状態が発生しているか否かを判定する。異常状態が発生しているか否かを監視する方法は、実施の形態に応じて適宜決定されてよい。本実施形態では、制御部１１は、以下の処理手順により、対象者Ｕに異常状態が発生しているか否かを監視する。

図９は、対象者Ｕに異常状態が発生しているか否かを監視するサブルーチンの一例を示すフローチャートである。なお、以下で説明するサブルーチンの処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明するサブルーチンの処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１５１）
ステップＳ１５１では、制御部１１は、上記ステップＳ１３４と同様に、画像取得部１７１として動作し、撮影装置２により対象者Ｕを撮影することで生成された撮影画像を取得する。撮影画像を取得すると、制御部１１は、次のステップＳ１３５に処理を進める。

（ステップＳ１５２）
ステップＳ１５２では、制御部１１は、状態推定部１８０として動作し、取得した撮影画像を解析することで、対象者Ｕの状態を推定する。

推定する対象者Ｕの状態の種類は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、取得した撮影画像を解析することで、対象者Ｕの状態として対象者Ｕの表情の種別を推定してもよい。対象者Ｕの表情の種別の推定には、画像に写る顔の表情を解析する公知の方法が用いられてよい。

また、例えば、制御部１１は、取得した撮影画像を解析することで、対象者Ｕの状態として、対象者Ｕが食物Ｆを口から吐き出したか否かを推定してもよい。対象者Ｕが食物Ｆを口から吐き出したか否かの推定には、パターンマッチング等の公知の解析方法が用いられてよい。

本ステップＳ１５２では、制御部１１は、対象者Ｕの表情の種別、及び対象者Ｕが食物Ｆを口から吐き出したか否かの両方を推定してもよいし、いずれか一方のみを推定してもよい。対象者Ｕの状態の推定が完了すると、制御部１１は、次のステップＳ１５３に処理を進める。

（ステップＳ１５３）
ステップＳ１５３では、制御部１１は、異常判定部１８１として動作し、対象者Ｕの状態を推定した結果に基づいて、対象者Ｕが異常状態にあるか否かを判定する。

対象者Ｕが異常状態にあるか否かを判定する方法は、ステップＳ１５２において推定した対象者Ｕの状態の種類に応じて適宜決定されてよい。例えば、対象者Ｕの状態として対象者Ｕの表情の種別を推定した場合、制御部１１は、推定した対象者Ｕの表情の種別が、異常状態に対応付けられた所定の種別であるか否かを判定することで、対象者Ｕが異常状態にあるか否かを判定することができる。異常状態に対応付けられる表情の種別は、例えば、苦しんでいる表情、悲しんでいる表情等から適宜選択されてよい。この場合、推定した対象者Ｕの表情の種別が、異常状態に対応付けられた所定の種別と一致している、換言すると、対象者Ｕが所定の表情をしている場合に、制御部１１は、対象者Ｕが異常状態にあると判定してもよい。一方、そうではない場合、制御部１１は、対象者Ｕは異常状態にはないと判定してもよい。

また、例えば、対象者Ｕの状態として、対象者Ｕが食物Ｆを口から吐き出したか否かを推定した場合、制御部１１は、対象者Ｕが食物Ｆを口から吐き出したか否かを推定した結果に基づいて、対象者Ｕが異常状態にあるか否かを判定することができる。すなわち、対象者Ｕが食物Ｆを口から吐き出したと推定した場合に、制御部１１は、対象者Ｕが異常状態にあると判定してもよい。一方、対象者Ｕが食物Ｆを口から吐き出していないと推定した場合に、制御部１１は、対象者Ｕは異常状態にはないと判定してもよい。

対象者Ｕが異常状態にあると判定した場合（図９のＹＥＳ）、制御部１１は、次のステップＳ１５４に処理を進める。一方、対象者Ｕは異常状態にはないと判定した場合、制御部１１は、次のステップＳ１５４を省略し、サブルーチンの処理を完了する。

（ステップＳ１５４）
ステップＳ１５４では、制御部１１は、異常通知部１８２として動作し、対象者Ｕが異常状態にあることを知らせるための通知を出力する。

当該通知の出力先及び出力方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、対象者Ｕが異常状態にあることを知らせるメッセージを出力装置１５に出力してもよい。出力装置１５がディスプレイを含む場合、制御部１１は、このメッセージを記載した画面をディスプレイに表示させてもよい。また、出力装置１５がスピーカを含む場合、制御部１１は、スピーカを介して音声によりこのメッセージを再生させてよい。

また、例えば、制御装置１が通信インタフェース（不図示）を備える場合、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、対象者Ｕが異常状態にあることを知らせるメッセージを送信してもよい。なお、メッセージの送信先は、対象者Ｕを見守る介護者、看護師、施設職員等のユーザの所持するユーザ端末（例えば、携帯電話）に設定されてよい。送信先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されていてもよい。

これにより、対象者Ｕが異常状態にあることを知らせるための通知を出力すると、制御部１１は、対象者Ｕに異常状態が発生しているか否かを監視するサブルーチンの処理を完了する。上記ステップＳ１５４の処理を実行して、又は上記ステップＳ１５４の処理を省略して、当該サブルーチンの処理が完了すると、制御部１１は、次のステップＳ１６に処理を進める。

［ステップＳ１６］
図６に戻り、ステップＳ１６では、制御部１１は、対象者Ｕの食事を終了するか否かを判定する。食事を終了するか否かを判定する方法は、実施の形態に応じて適宜決定されてよい。本実施形態では、制御部１１は、以下の処理手順により、対象者Ｕの食事を終了するか否かを判定する。

図１０は、対象者Ｕの食事を終了するか否かを判定するサブルーチンの一例を示すフローチャートである。なお、以下で説明するサブルーチンの処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明するサブルーチンの処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１６１）
ステップＳ１６１では、制御部１１は、終了判定部１８３として動作し、食物Ｆが残っているか否かを判定する。食物Ｆが残っているか否かを判定する方法は、実施の形態に応じて適宜選択されてよい。容器Ｂ内の食物Ｆの存在は、例えば、撮影装置２、撮影装置２とは異なる他の撮影装置、その他の種類のセンサ（例えば、赤外線センサ）等のセンサによって監視されていてもよい。この場合、制御部１１は、このセンサの出力に基づいて、食物Ｆが残っているか否かを判定することができる。食物Ｆが残っているか否かを判定すると、制御部１１は、次のステップＳ１６２に処理を進める。

（ステップＳ１６２）
ステップＳ１６２では、制御部１１は、終了判定部１８３として動作し、ステップＳ１６１の判定結果に基づいて、条件分岐の処理を実行する。食物Ｆが残っていると判定した場合（図１０のＹＥＳ）、制御部１１は、次のステップＳ１６３に処理を進める。一方、食物Ｆが残っていないと判定した場合（図１０のＮＯ）、制御部１１は、ステップＳ１６８に処理を進める。

（ステップＳ１６３〜Ｓ１６５）
ステップＳ１６３では、制御部１１は、上記ステップＳ１１１と同様に、画像取得部１７１として動作し、撮影装置２により対象者Ｕを撮影することで生成された撮影画像を取得する。ステップＳ１６４では、制御部１１は、上記ステップＳ１１３と同様に、動き推定部１７３として動作し、取得した撮影画像を解析することで、対象者Ｕの動きを推定する。

ステップＳ１６５では、制御部１１は、終了判定部１８３として動作し、対象者Ｕの動きを推定した結果に基づいて、対象者Ｕが所定の動きを一定時間以上行っていないかどうかを判定する。対象者Ｕが所定の動きを行っているか否かを判定する方法は、上記ステップＳ１１５と同様であってよい。例えば、対象者Ｕの動きを推定した結果、一定時間以上継続して、対象者Ｕの動きの中に所定の動きが観測されない場合には、制御部１１は、対象者Ｕが所定の動きを一定時間以上行っていないと判定してもよい。一定時間は、固定値であってもよいし、ユーザにより指定されてもよい。一方、一定時間が経過する前に、対象者Ｕの動きの中に所定の動きが観測された場合には、制御部１１は、対象者Ｕは一定時間内に所定の動きを行ったと判定してもよい。対象者Ｕが所定の動きを一定時間以上行っていないかどうかを判定すると、制御部１１は、次のステップＳ１６６に処理を進める。

（ステップＳ１６６）
ステップＳ１６６では、制御部１１は、終了判定部１８３として動作し、ステップＳ１６５の判定結果に基づいて、条件分岐の処理を実行する。対象者Ｕが所定の動きを一定時間以上行っていないと判定した場合（図１０のＹＥＳ）、制御部１１は、ステップＳ１６８に処理を進める。一方、対象者Ｕが一定時間内に所定の動きを行ったと判定した場合（図１０のＮＯ）、制御部１１は、ステップＳ１６７に処理を進める。

（ステップＳ１６７及びステップＳ１６８）
ステップＳ１６７では、制御部１１は、終了判定部１８３として動作し、対象者Ｕの食事は終了していないと認定する。一方、ステップＳ１６８では、制御部１１は、終了判定部１８３として動作し、対象者Ｕの食事は終了したと認定する。

ステップＳ１６７及びＳ１６８のいずれか一方により、対象者Ｕの食事が終了したか否かの認定を行うと、制御部１１は、対象者Ｕの食事を終了するか否かを判定するサブルーチンの処理を完了する。当該サブルーチンの処理が完了すると、制御部１１は、次のステップＳ１７に処理を進める。

［ステップＳ１７］
図６に戻り、ステップＳ１７では、制御部１１は、終了判定部１８３として動作し、ステップＳ１７の認定結果に基づいて、条件分岐の処理を実行する。ステップＳ１６８を実行して、対象者Ｕの食事は終了したと認定した場合（図６のＹＥＳ）、制御部１１は、次のステップＳ１８に処理を進める。一方、ステップＳ１６７を実行して、対象者Ｕの食事は終了していないと認定した場合（図６のＮＯ）、制御部１１は、ステップＳ１２に戻り、当該ステップＳ１２から処理を繰り返す。なお、処理を繰り返す範囲は、このような例に限定されなくてもよい。例えば、制御部１１は、ステップＳ１１から処理を繰り返してもよい。この場合、ステップＳ１６３及びＳ１６４の処理結果は、次の繰り返しで実行されるステップＳ１１１及びＳ１１３の処理に利用されてよい。

［ステップＳ１８］
ステップＳ１８では、制御部１１は、終了通知部１８４として動作し、対象者Ｕの食事が終了したことを知らせるための通知を出力する。当該通知の出力先及び出力方法は、上記ステップＳ１５４と同様に、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、対象者Ｕの食事が終了したことを知らせるメッセージを出力装置１５に出力してもよい。また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、対象者Ｕの食事が終了したことを知らせるメッセージを送信してもよい。当該通知を出力すると、制御部１１は、次のステップＳ１９に処理を進める。

［ステップＳ１９］
ステップＳ１９では、制御部１１は、咀嚼計測部１７９として動作し、ステップＳ１４により測定した対象者Ｕの咀嚼回数を記録する。咀嚼回数を記録する方法は、実施の形態に応じて適宜決定されてよい。例えば、制御部１１は、ステップＳ１４により測定した対象者Ｕの咀嚼回数を示す履歴情報を生成し、生成した履歴情報を記憶部１２、ＮＡＳ等の記憶装置に格納してもよい。なお、ステップＳ１９を実行するタイミングは、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部１１は、ステップＳ１４の処理を実行した後の任意のタイミングで、ステップＳ１９の処理を実行してもよい。これにより、咀嚼回数の記録が完了すると、制御部１１は、本動作例に係る処理手順を終了する。

［特徴］
以上のとおり、本実施形態に係る介助システム１００によれば、ステップＳ１３の処理により、対象者Ｕは、口を開ける動作を行うだけで、ロボット装置３に対して、口の中に食物Ｆを入れる動作を実行させることができる。つまり、対象者Ｕは、ロボット装置３によって口の中に食物Ｆを入れてもらうことで、身体を動かすことなく、自発的に食事を摂ることができるようになる。よって、本実施形態に係る介助システム１００によれば、身体を動かすことが困難な対象者Ｕであっても自発的に食事を摂れるようにすることができる。

また、本実施形態に係る介助システム１００は、ステップＳ１１の処理により、対象者Ｕが食物Ｆの方を見て、かつ食物Ｆを要求するための所定の動き（例えば、顔の器官を動かす）を対象者Ｕが行ったことに応じて、ロボット装置３に食物Ｆの運搬を開始させる。これにより、対象者Ｕの所望のタイミングに、食物Ｆを提供することができるようになる。

また、本実施形態に係る介助システム１００は、ステップＳ１２の処理において、対象者Ｕの視線の方向にある食物Ｆをロボット装置３に取得させることができる。これにより、対象者Ｕが食物Ｆを見たことに応じて、対象者Ｕの視線の方向にある食物Ｆを当該対象者Ｕの口の中に運ぶ一連の動作をロボット装置３に実行させることができる。すなわち、ロボット装置３に対して、対象者Ｕの所望する食物Ｆを提供させることができる。

また、本実施形態に係る介助システム１００は、ステップＳ１４の処理により、対象者Ｕの咀嚼回数を測定し、ステップＳ１９の処理により、測定した咀嚼回数を記録することができる。これにより、食事の際に対象者Ｕが適切な咀嚼を行っているか否かを監視することができる。

また、本実施形態に係る介助システム１００は、ステップＳ１５の処理により、対象者Ｕが食事を摂っている間に、当該対象者Ｕに異常状態が発生していないかどうかを監視することができる。これにより、本実施形態に係る介助システム１００によれば、対象者Ｕに対して安全に食事を提供することができる。

また、本実施形態に係る介助システム１００は、ステップＳ１６の処理において、食物Ｆが残っているか否か、及び所定の動きを対象者Ｕが一定時間以上行っていないかどうかに基づいて、対象者Ｕの食事が終了したか否かを判定する。そして、介助システム１００は、ステップＳ１８の処理により、食事の終了を知らせるための通知を出力する。これにより、対象者Ｕの食事の終了を適切に検知することができ、また、対象者Ｕを見守る介護者等に対して、当該対象者Ｕの食事が終了したことを知らせることができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、制御部１１は、ステップＳ１１により、対象者Ｕの視線の方向及び動きに基づいて、食物Ｆの運搬を開始するか否かを判定する。また、制御部１１は、ステップＳ１２により、食物Ｆを取得する動作をロボット装置３に実行させている。これらの動作を実行しなくてもよい場合には、上記ステップＳ１１及びＳ１２の少なくとも一方は省略されてもよい。この場合、制御装置１のソフトウェア構成において、視線方向推定部１７２、動き推定部１７３、開始判定部１７４、及び取得制御部１７５は、適宜省略されてよい。

また、食物Ｆの運搬開始のトリガは、上記実施形態の例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、食物Ｆの運搬開始のトリガから、対象者Ｕの視線の方向及び動きの少なくとも一方は省略されてよい。この場合、上記ステップＳ１１２及びＳ１１４の組み合わせ、又は上記ステップＳ１１３及びＳ１１５の組み合わせは省略されてよい。また、例えば、制御部１１は、所定時間の間隔で、食物Ｆを運搬する動作をロボット装置３に実行させてもよい。また、例えば、入力装置１４がマイクロフォンを含む場合、制御部１１は、音声入力に基づいて、食物Ｆの運搬を開始するか否かを判定してもよい。また、例えば、入力装置１４がボタンを含む場合、制御部１１は、ボタン操作に応じて、食物Ｆを運搬する動作をロボット装置３に実行させてもよい。

＜４．２＞
上記実施形態では、食物が残っているか否か、及び所定の動きを対象者Ｕが一定時間以上行っていないかどうかに基づいて、対象者Ｕの食事が終了したか否かを判定している。これらの食事が終了したか否を判定する処理の少なくとも一方は省略されてもよい。すなわち、ステップＳ１６１〜Ｓ１６２の一連の処理、及びステップＳ１６３〜Ｓ１６６の一連の処理の少なくとも一方は省略されてもよい。

また、ステップＳ１６による食事が終了したか否かを判定する処理を実行するタイミングは、上記実施形態の例に限定されなくてもよい。ステップＳ１６の処理は、食物Ｆの運搬を開始した後の任意のタイミングで実行されてよい。ステップＳ１６１〜Ｓ１６２の一連の処理、及びステップＳ１６３〜Ｓ１６６の一連の処理の順序は入れ替わってもよい。

また、ステップＳ１６３〜Ｓ１６６の一連の処理では、対象者Ｕが所定の動きを行っていないことに基づいて、食事が終了したか否かを判定している。上記ステップＳ１１と同様に、この食事が終了したか否かの判定においても、対象者Ｕが食物Ｆを見ているか否かが考慮されてもよい。すなわち、ステップＳ１６６の前までに、制御部１１は、上記ステップＳ１１２と同様に、対象者Ｕの視線の方向を推定してもよい。そして、ステップＳ１６６では、制御部１１は、対象者Ｕの視線の方向の推定結果及び動きの推定結果に基づいて、一定時間以上継続して、対象者Ｕが食物Ｆを見ていない、又は所定の動きを行っていないかどうかを判定する。一定時間以上継続して、対象者Ｕが食物Ｆを見ていない、又は／及び所定の動きを行っていないと判定した場合に、制御部１１は、ステップＳ１６８に処理を進め、対象者Ｕの食事は終了したと認定してもよい。一方、一定時間内に、対象者Ｕが食物Ｆを見て、及び／又は所定の動きを行ったと判定した場合、制御部１１は、ステップＳ１６７に処理を進め、対象者Ｕの食事は終了していないと認定してもよい。

また、対象者Ｕの食事の終了は、上記実施形態以外の方法で検知されてもよい。上記実施形態以外の方法として、例えば、制御部１１は、所定時間の経過により、食事の終了を検知してもよい。また、例えば、入力装置１４がマイクロフォンを含む場合、制御部１１は、音声入力に基づいて、食事の終了を検知してもよい。また、例えば、入力装置１４がボタンを含む場合、制御部１１は、ボタン操作に応じて、食事の終了を検知してもよい。

＜４．３＞
上記実施形態では、制御部１１は、ステップＳ１４の処理により、対象者Ｕの咀嚼回数を測定している。咀嚼回数を監視しない場合には、この咀嚼回数を測定する処理は省略されてもよい。すなわち、上記ステップＳ１４及びＳ１９の処理は省略されてよい。この場合、制御装置１のソフトウェア構成において、咀嚼計測部１７９は省略されてもよい。また、ステップＳ１４を実行するタイミングは、上記実施形態の例に限定されなくてもよい。制御部１１は、対象者Ｕの口の中に食物Ｆを入れた後の任意のタイミングで、上記ステップＳ１４の処理を実行してもよい。

＜４．４＞
上記実施形態では、制御部１１は、ステップＳ１５の処理により、対象者Ｕに異常状態が発生しているか否かを監視している。異常状態の発生を監視しない場合には、この対象者Ｕに異常状態が発生しているか否かを監視する処理は省略されてもよい。すなわち、上記ステップＳ１５の処理は省略されてよい。この場合、制御装置１のソフトウェア構成において、状態推定部１８０、異常判定部１８１及び異常通知部１８２は省略されてもよい。また、ステップＳ１５を実行するタイミングは、上記実施形態の例に限定されなくてもよい。制御部１１は、任意のタイミングで、上記ステップＳ１５の処理を実行してもよい。

また、対象者Ｕが異常状態にあるか否かを判定する方法は、上記実施形態の例に限定されなくてもよい。上記実施形態以外の方法として、例えば、入力装置１４がマイクロフォンを含む場合、制御部１１は、音声入力に基づいて、対象者Ｕが異常状態にあるか否かを判定してもよい。例えば、対象者Ｕが苦しんでいる声を発している、助けを求める言葉を発している等の所定の音声が入力された場合に、制御部１１は、対象者Ｕが異常状態にあると判定してもよい。また、例えば、入力装置１４がボタンを含む場合、制御部１１は、ボタン操作に応じて、対象者Ｕが異常状態にあると判定してもよい。

＜４．５＞
上記実施形態では、制御部１１は、例えば、ステップＳ１１１、ステップＳ１３１等の様々な処理において、撮影画像を取得している。また、制御部１１は、例えば、ステップＳ１１２、ステップＳ１３２等の様々な処理において、撮影画像内に写る対象者Ｕの顔の器官を解析している。これらの処理は、個々に実行されるのではなく、他の処理に並列に実行されてもよい。例えば、制御部１１は、撮影装置２から継続的に撮影画像を取得し、取得した撮影画像に対して顔の器官を解析する処理を実行してもよい。制御部１１は、これにより得られる情報をＲＡＭ等に保持し、保持した情報を適宜参照することで、例えば、ステップＳ１１４等の解析結果を利用する処理を実行してもよい。

１…制御装置、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１４…入力装置、１５…出力装置、１６…ドライブ、
１７１…画像取得部、１７２…視線方向推定部、
１７３…動き推定部、１７４…開始判定部、
１７５…取得制御部、１７６…位置算出部、
１７７…運搬制御部、１７８…開閉判定部、
１７９…咀嚼計測部、１８０…状態推定部、
１８１…異常判定部、１８２…異常通知部、
１８３…終了判定部、１８４…終了通知部、
２…撮影装置、
３…ロボット装置、
３１…基台部、３２…第１関節部、３３…第２関節部、
３４…第１リンク部材、３５…第２リンク部材、
３６…ハンド部（エンドエフェクタ）、４０…スプーン、
Ｕ…対象者、Ｆ…食物、Ｂ…容器

Claims (12)

1. 対象者を被写体として撮影すると共に、当該被写体までの深度を取得するように構成された撮影装置と、
   前記対象者まで食物を運搬するように構成されたロボット装置と、
   前記ロボット装置の動作を制御するように構成された制御装置と、
   を備え、
   前記制御装置は、
   前記撮影装置により前記対象者を撮影することで生成された撮影画像であって、当該撮影画像内の前記対象者に対して得られた深度を示す深度情報を含む撮影画像を取得するステップと、
   取得した前記撮影画像を解析することで、前記深度情報から前記対象者の口の位置を算出するステップと、
   前記対象者の口の位置を算出した結果に基づいて、前記対象者の口元まで前記食物を運搬するように前記ロボット装置の動作を制御するステップと、
   取得した前記撮影画像を解析することで、前記対象者が口を開けているか否かを判定するステップと、
   前記ロボット装置が前記対象者の口元まで前記食物を運搬した後、前記対象者が口を開けていると判定した場合に、前記対象者の口の中に前記食物を入れるように前記ロボット装置の動作を制御するステップと、
   を実行する、
   介助システム。
2. 前記制御装置は、
   取得した前記撮影画像を解析することで、前記対象者の視線の方向及び動きを推定するステップと、
   前記視線の方向を推定した結果に基づいて、前記視線が所定の方向を向いているか否かを判定するステップと、
   前記対象者の動きを推定した結果に基づいて、前記食物を要求するための所定の動きを前記対象者が行っているか否かを判定するステップと、
   前記視線が前記所定の方向を向いており、かつ前記所定の動きを前記対象者が行っていると判定した場合に、前記食物の運搬を開始させるように前記ロボット装置の動作を制御するステップと、
   を更に実行する、
   請求項１に記載の介助システム。
3. 前記所定の方向は、前記食物の存在する方向である、
   請求項２に記載の介助システム。
4. 前記制御装置は、
   前記対象者が前記所定の動きを一定時間以上行っていないかどうかを判定するステップと、
   前記対象者が前記所定の動きを一定時間以上行っていないと判定した場合に、前記対象者の食事が終了したと認定し、当該食事が終了したことを知らせるための通知を出力するステップと、
   を更に実行する、
   請求項２又は３に記載の介助システム。
5. 前記制御装置は、
   前記食物が残っているか否かを判定するステップと、
   前記食物が残っていないと判定した場合に、前記対象者の食事が終了したと認定し、当該食事が終了したことを知らせるための通知を出力するステップと、
   を更に実行する、
   請求項１から４のいずれか１項に記載の介助システム。
6. 前記制御装置は、
   取得した前記撮影画像を解析することで、前記対象者の視線の方向を推定するステップと、
   推定した前記視線の方向にある食物を取得するように前記ロボット装置の動作を制御するステップと、
   を更に実行する、
   請求項１から５のいずれか１項に記載の介助システム。
7. 前記制御装置は、
   取得した前記撮影画像を解析することで、前記対象者の咀嚼回数を測定するステップと、
   測定した前記対象者の咀嚼回数を記録するステップと、
   を更に実行する、
   請求項１から６のいずれか１項に記載の介助システム。
8. 前記制御装置は、
   取得した前記撮影画像を解析することで、前記対象者の状態を推定するステップと、
   前記対象者の状態を推定した結果に基づいて、前記対象者が異常状態にあるか否かを判定するステップと、
   前記対象者が異常状態にあると判定した場合に、前記対象者が異常状態にあることを知らせるための通知を出力するステップと、
   を更に実行する、
   請求項１から７のいずれか１項に記載の介助システム。
9. 前記制御装置は、
   取得した前記撮影画像を解析することで、前記対象者の状態として前記対象者の表情の種別を推定し、
   推定した前記対象者の表情の種別が、前記異常状態に対応付けられた所定の種別であるか否かを判定することで、前記対象者が異常状態にあるか否かを判定する、
   請求項８に記載の介助システム。
10. 前記制御装置は、
    取得した前記撮影画像を解析することで、前記対象者の状態として、前記対象者が前記食物を口から吐き出したか否かを推定し、
    前記対象者が前記食物を口から吐き出したか否かに基づいて、前記対象者が異常状態にあるか否かを判定する、
    請求項８又は９に記載の介助システム。
11. 対象者を被写体として撮影すると共に、当該被写体までの深度を取得するように構成された撮影装置、前記対象者まで食物を運搬するように構成されたロボット装置、及び前記ロボット装置の動作を制御するように構成された制御装置による介助方法であって、
    前記制御装置が、
    前記撮影装置により前記対象者を撮影することで生成された撮影画像であって、当該撮影画像内の前記対象者に対して得られた深度を示す深度情報を含む撮影画像を取得するステップと、
    取得した前記撮影画像を解析することで、前記深度情報から前記対象者の口の位置を算出するステップと、
    前記対象者の口の位置を算出した結果に基づいて、前記対象者の口元まで前記食物を運搬するように前記ロボット装置の動作を制御するステップと、
    取得した前記撮影画像を解析することで、前記対象者が口を開けているか否かを判定するステップと、
    前記ロボット装置が前記対象者の口元まで前記食物を運搬した後、前記対象者が口を開けていると判定した場合に、前記対象者の口の中に前記食物を入れるように前記ロボット装置の動作を制御するステップと、
    を実行する、
    介助方法。
12. 対象者まで食物を運搬するように構成されたロボット装置の動作をコンピュータに制御させるための介助プログラムであって、
    前記コンピュータに、
    前記対象者を被写体として撮影すると共に、当該被写体までの深度を取得するように構成された撮影装置により前記対象者を撮影することで生成された撮影画像であって、当該撮影画像内の前記対象者に対して得られた深度を示す深度情報を含む撮影画像を取得するステップと、
    取得した前記撮影画像を解析することで、前記深度情報から前記対象者の口の位置を算出するステップと、
    前記対象者の口の位置を算出した結果に基づいて、前記対象者の口元まで前記食物を運搬するように前記ロボット装置の動作を制御するステップと、
    取得した前記撮影画像を解析することで、前記対象者が口を開けているか否かを判定するステップと、
    前記ロボット装置が前記対象者の口元まで前記食物を運搬した後、前記対象者が口を開けていると判定した場合に、前記対象者の口の中に前記食物を入れるように前記ロボット装置の動作を制御するステップと、
    を実行させるための、
    介助プログラム。