JP2006000427A - 食事支援装置 - Google Patents

Abstract

【課題】不定形・不定色である食物を認識して把持動作することで利用者の食事が円滑に進むことを支援する。
【解決手段】食物を把持する把持機構部３６と、容器１２及び容器１２に盛り付けられた食物の画像を全体画像として取得する撮像部１８とを備え、全体画像から容器の地色を色見本として抽出し、全体画像から色見本とは異なる色の領域を抽出してその領域に対して把持を行うように把持機構部３６を制御することで、容器１２に盛り付けられた食物を把持して利用者の口元へ運んで利用者の食事を支援する食事支援装置により上記課題を解決できる。
【選択図】図１

Description

本発明は、食物を利用者の口元に運ぶ食事支援装置に関する。

上肢に障害をもつ利用者が食事をする際に、食物が盛り付けられた容器から利用者の口元まで食物を運んで食事の支援を行う食事支援装置が開発されている。

これまで、スプーンとフォークとからなる食物把持部が取り付けられたアームをジョイスティック等のコントローラを用いて利用者が顎等で操作して容器に盛り付けられた食物を把持し、利用者の口元まで運ぶ食事支援装置が開発されている。このような食事支援装置では、予め形状が定められた容器に食物を盛り付けておき、利用者がジョイスティックのレバーを傾けることによって食べたい食物の位置を指定して、その位置に盛り付けられた食物を食物把持部で把持して利用者の口元まで搬送させる。そして、搬送された食物に利用者の口が触れたことをセンサで感知し、食物を食事把持部から解放させて利用者に食物を提供する。また、利用者の口が食事把持部から離れると、アームによって食事把持部を待機位置まで移動させて次の食物の指定がなされるまで待機させる。

また、利用者からの食物の位置の指定を受けることなく、予め定められた手順に沿って容器の各位置に対して把持動作し、各位置に盛り付けられた食物を順に把持して、利用者の口元まで搬送する自動モードを備える食事支援装置も開発されている。

特開２００４−８１５６７号公報 特開２００３−６２０１９号公報

しかしながら、食物は容器に整然と盛り付けられるものではなく、食物が盛られた位置と食物が盛られていない位置とが混在した状態となっている。従って、容器の各位置に対して予め定められた順序に沿って把持を行わせると、食物が盛り付けられていない位置にも把持を試みることとなるため、利用者が円滑に食事を進めることができない問題があった。

このような問題を解決するためには、容器に盛り付けられた食物の位置を検出し、食物がある位置に対して把持を行わせることが考えられる。しかしながら、把持対象である食物は、種類、調理方法等によって色や形が異なるものであり、このように不定形、不定色である食物を検出することは難しい。よって、従来の食事支援装置では、食物を検出して把持を行う機能は搭載されていなかった。

本発明は、上記従来技術の問題を鑑み、不定形・不定色である食物を簡単な処理で検出することにより無駄な把持動作をなくし、利用者の食事をより円滑に進めることを可能とする食事支援装置を提供することを目的とする。

本発明は、容器に盛り付けられた食物を把持して利用者の口元へ運ぶことによって、利用者の食事を支援する食事支援装置であって、食物を把持する把持機構部と、前記容器及び前記容器に盛り付けられた食物の画像を全体画像として取得する撮像部と、を備え、前記全体画像から容器の地色を色見本として抽出して記憶し、前記全体画像から前記色見本とは異なる色の領域を抽出し、当該領域に対して把持を行うように前記把持機構部を制御することを特徴とする。

ここで、食物が盛り付けられていない領域として予め定められた領域を前記全体画像から抽出し、当該予め定められた領域において所定の割合以上を占める色を前記色見本とすることも好ましい。さらに、所定のタイミングで前記色見本を更新することが好ましい。

本発明によれば、不定形・不定色である食物が容器に不規則に盛り付けられている場合においても利用者は食事をより円滑に進めることができる。

本発明の実施の形態における食事支援装置は、図１に示すように、本体部１０、容器１２、搬送部１４、操作部１６及び撮像部１８を含んで構成される。図２に、本実施の形態における食事支援装置の機能ブロック図を示す。

本体部１０には、入力インターフェース（Ｉ／Ｆ）２０、演算器２２、記憶部２４、入出力インターフェース（Ｉ／Ｆ）２６、モード切替スイッチ２８、報知手段３０が組み込まれている。入力Ｉ／Ｆ２０は、操作部１６及びモード切替スイッチ２８と情報伝達可能に接続されており、操作部１６及びモード切替スイッチ２８からの指示信号又はモード信号を受けて、信号フォーマットの変換等の前処理を行ったうえで演算器２２に受け渡す。演算器２２は、記憶部２４に格納されている制御プログラムを実行することによって食事支援装置全般の制御を行う。演算器２２で行われる制御については後述する。記憶部２４は、演算器２２で実行される制御プログラム及び制御に利用される各種データを格納及び保持する。記憶部２４に格納されているプログラム又はデータは演算器２２によって適宜読み出されて使用することができる。入出力Ｉ／Ｆ２６は、撮像部１８及び搬送部１４からの信号を受けて、演算器２２に受け渡す。モード切替スイッチ２８は、食事支援装置に備わる手動モード、半自動モード及び自動モードのうちいずれか１つを選択するためスイッチである。モード切替スイッチ２８で選択されたモードは、モード信号として入力Ｉ／Ｆ２０を介して演算器２２へ入力される。報知手段３０は、例えば、ランプやブザーなどを含んで構成され、食事支援装置に異常が発生した場合に演算器２２からの信号を受けて、利用者や利用者を介護する介護者等に異常を報知するために用いられる。

容器１２は食事を盛り付けるために用いられる。容器１２は、複数の分割領域に区画される。本実施の形態では、図１に示すように、４つの分割領域１２ａ〜１２ｄに区画されているものとして説明を行うが、これに限定されるものではなく、必要に応じて適宜分割数を増減させても良い。また、容器１２の地色は、４つの分割領域１２ａ〜１２ｄにおいて同色とする。なお、容器１２の地色は単色であるのが好ましい。また、食事を行う際には、容器１２は食事支援装置の本体部１０に設けられた突き当て部３２にセットされる。これによって、搬送部１４及び撮像部１８との空間的な相対位置が常に一定に維持され、把持動作や撮像を一定の位置関係で行うことが可能となる。

搬送部１４は、搬送機構部３４及び把持機構部３６を含んで構成される。搬送機構部３４は、把持機構部３６を移動させるためのアームから構成される。搬送機構部３４は、図１の例に示すように、４軸の回転駆動部３４ｅによって接続されたアーム３４ａ〜３４ｄから構成することが好適である。搬送機構部３４は、入出力Ｉ／Ｆ２６を介して演算器２２からの制御信号を受け、アーム３４ａ〜３４ｄをモータ等の駆動部を駆動させることによって把持機構部３６を容器１２の領域や利用者の口元に運ぶ。把持機構部３６は、食物を把持するための把持部材３８を含んで構成される。把持部材３８は、図１の例に示すように、フォークとスプーンの組み合わせで構成することが好適である。また、把持機構部３６は、図２に示すように、駆動部３６ａ、接触検出部３６ｂ、把持検出部３６ｃ及び後退位置検出部３６ｄを含んで構成される。駆動部３６ａは、入出力Ｉ／Ｆ２６を介して演算器２２から制御信号を受けて把持部材３８のフォークとスプーンを駆動する。制御信号に基づいて、容器１２の食物の位置まで把持部材３８を移動させると、フォークを上に設け、スプーンを下に設けることによって食物をすくうようにして把持する。このとき、感圧センサ等で構成される接触検出部３６ｂによって把持部材３８に食物が接触したことを検知すると、検知信号を演算器２２に送信する。演算器２２は、検知信号を受けて、食物を把持させる制御信号を駆動部３６ａに送信する。駆動部３６ａは、制御信号を受けて、フォークとスプーンとを駆動して食物を挟み込むようにして把持する。さらに、角度センサ等で構成される把持検出部３６ｃによって食物が把持されたことを検知し、検知信号を演算器２２に送信する。演算器２２は、検知信号を受けて、把持部材３８を利用者の口元まで移動させる制御信号を搬送機構部３４に送信する。搬送機構部３４は、制御信号を受けて、把持部材３８を利用者の口元まで搬送する。利用者が口元まで運ばれた把持部材３８に口を接触させると、接触検出部３６ｂにおいて接触が検知され、検知信号が演算器２２へ送信される。演算器２２は、把持部材３８が口元位置にあり、利用者の口の接触を示す検知信号を受けると、フォークを後退させる制御信号を駆動部３６ａに送信する。駆動部３６ａは、制御信号を受けると、フォークを後退させることでスプーンとフォークをずらす。このとき、位置センサ等で構成される後退位置検出部３６ｄにおいてフォークの後退位置を検出し、所定の位置までフォークが後退したことを検知し、検知信号を演算器２２に送信する。演算器２２は、検知信号を受けて、フォークの後退を停止させる制御信号を駆動部３６ａに送信する。駆動部３６ａは、制御信号を受けて、フォークの後退を停止させる。このような動作により、利用者へ食物を食べやすい状態で提供する。但し、把持部材３８はフォークとスプーンに限定されるものではない。

操作部１６は、利用者が搬送部１４の動きを指定するために用いるものであり、ここではレバー４０を備えるジョイスティックとしている。利用者がレバー４０を倒すと、操作部１６に内蔵されたセンサでその方向が感知され、方向を示す指示信号として本体部１０の入力Ｉ／Ｆ２０へ送信される。レバー４０の操作方向としては、図１に示すように、例えば奥Ａ、右Ｂ、手前Ｃ、左Ｄの４方向とする。また、レバー４０を押し込むことによってスイッチがオンされる構造となっており、利用者に意思決定を求めた場合にレバー４０が押し込まれると決定の意思を示す信号が本体部１０の入出力Ｉ／Ｆ２６へ送信される。レバー４０は、上肢に障害がある利用者が顎等で操作し易い形状とすることが好ましい。なお、操作部１６はジョイスティックに限定されるものではなく、利用者の頭部に装着されるレーザポインタ等を用いても良い。

撮像部１８は、カメラ４２及び入出力インターフェース（Ｉ／Ｆ）４４を含んで構成される。カメラ４２は、被写体の色を認識できるカラーカメラであり、例えば、カラーのＣＣＤ撮像素子とすることができる。カメラ４２は、固定用の器具を用いて容器１２に対して所定の相対位置となるように固定され、容器１２の全体像を上方から撮像できる位置に設置される。撮像部１８は、入出力Ｉ／Ｆ２６及び入出力Ｉ／Ｆ４４を介して演算器２２からの撮像を指示する制御信号を受けると、カメラ４２によって容器１２及びそこに盛り付けられた食物の画像を撮像する。撮像された画像データは、入出力Ｉ／Ｆ４４及び入出力Ｉ／Ｆ２６を介して、演算器２２に送信される。

次に、本実施の形態における食事支援装置の制御について説明する。食事支援装置は、図３に示すフローチャートに沿って制御される。フローチャートの各工程は、記憶部２４に保持されているコンピュータで実行可能な制御プログラムを演算器２２において実行することによって行われる。以下の処理は、容器１２に食物が盛り付けられ、食事支援装置の本体部１０の突き当て部３２に容器１２がセットされている状態で行われる。

ステップＳ１０では、初期設定の処理が行われる。食事支援装置の主電源がオンされると副電源がオンされるのを待つ。本実施の形態では、操作部１６のレバー４０が副電源を兼ねており、レバー４０がいずれかの方向に操作されることによって副電源がオンされる。主電源及び副電源がオンされると、演算器２２は装置全体の初期設定処理を行う。初期設定処理では、搬送機構部３４及び把持機構部３６を試動作させて、動作範囲の各位置の初期認識を行う。また、把持動作回数を記録する把持カウンタＧ（ｍ，ｎ）の各要素を０に設定する。把持カウンタＧ（ｍ，ｎ）については後述する。

ステップＳ１２では、口元位置の調整処理が行われる。利用者又はその付添い人は、操作部１６のレバー４０を操作することによって搬送機構部３４及び把持機構部３６を操作し、利用者が食物を摂取し易い位置である口元位置に把持部材３８を移動させる。把持部材３８が丁度良い位置に来たところでレバー４０を押し込むことによって制御信号が演算器２２へ送信され、その位置が口元位置として設定される。

ステップＳ１４では、搬送機構部３４及び把持機構部３６が待機位置へ移動される。待機位置は、搬送機構部３４のアーム３４ａ〜３４ｂが折り畳まれ、把持機構部３６の把持部材３８が利用者側を向いている状態として予め設定された位置である。

ステップＳ１６では、容器１２の分割領域の選択が行われる。演算器２２は、モード切替スイッチ２８の設定状態を確認する。操作モードが手動モード又は半自動モードに設定されている場合、利用者が操作部１６のレバー４０を倒すことによって分割領域１２ａ〜１２ｄのいずれか１つが選択される。例えば、レバー４０の傾倒方向が奥Ａ、右Ｂ、手前Ｃ又は左Ｄに倒された場合に分割領域１２ａ，１２ｂ，１２ｃ又は１２ｄがそれぞれ選択されるように設定しておくことが好適である。また、操作モードが自動モードに設定されている場合、利用者が操作部１６のレバー４０を奥Ａに倒すことによって動作開始の指示を行う。すなわち、自動モードにおいては、後の把持対象となる食物の決定処理に基づいて分割領域の選択が行われるため、この時点では動作開始の指示を行うだけで良いからである。

ステップＳ１８では、分割領域の選択が行われたか否かが判断される。分割領域の選択又は動作開始の指示が行われていない場合にはステップＳ１６に処理を戻して選択又は指示が行われるまで待機する。分割領域の選択又は動作開始の指示が行われた場合にはステップＳ２０に処理を移行させる。また、このステップにおいて、利用者が食事を終了したい場合には食事支援装置を停止させることもできる。

ステップＳ２０では、操作モードが手動モードであるか否かが判定される。演算器２２は、モード切替スイッチ２８が手動モードに設定されていればステップＳ２６に処理を移行させ、自動モード又は半自動モードに設定されていればステップＳ２２に処理を移行させる。

ステップＳ２２では、容器１２及び容器１２に盛り付けられた食物の画像を取得し、その画像データに基づいて把持位置を決定する。把持位置は、容器１２の分割領域１２ａ〜１２ｄ内をさらに細かく区分けした配膳位置のいずれか１つに決定される。本実施の形態では、図４に示すように、各分割領域１２ａ〜１２ｄをそれぞれ９つの配膳位置（ｍ，ｎ）（ｍは各分割領域を示す１〜４の整数，ｎは各分割領域における配膳位置を示す１〜９の整数）に分割し、いずれかの位置を把持位置として決定する。図４では、分割領域１２ａを９つの配膳位置に分割した例を示している。なお、ステップＳ２２はサブルーチン化されており、図５に示すフローチャートに沿って処理される。

以下に、操作モードが、自動モード又は半自動モードの場合における把持位置決定の処理を説明する。ステップＳ２２−１では、容器１２及び容器１２に盛り付けられた食物を含む全体画像ＩＭ１が取得される。演算器２２は、撮像部１８へ撮像信号を送信する。撮像部１８は、撮像信号を受信すると、図６に示すように、容器１２の上方に設置されたカメラ４２により容器１２及び容器１２に盛り付けられた食物を含むカラー画像を撮像し、全体画像ＩＭ１として演算器２２へ送信する。図６では、便宜上、異なる色を異なるハッチングで示している。

ステップＳ２２−２では、色見本画像ＩＭ２が抽出される。色見本画像ＩＭ２は、容器１２の中から食物が盛り付けられていない分割領域、すなわち容器１２の地色が全面的に露出している分割領域の画像である。図６を例とすると、全体画像ＩＭ１のうち分割領域１２ｃの位置を予め設定しておく。そして、容器１２の分割領域１２ｃには食物を盛り付けず、容器１２の地色が露出された状態としておくことによって、全体画像ＩＭ１から予め設定された分割領域１２ｃを切り出して色見本画像ＩＭ２とすることができる。このように、全体画像ＩＭ１の一部を色見本画像ＩＭ２として抽出することは、容器１２の色むらや汚れ、影の影響等、実際の状況を取り込んで実環境に即した画像処理を行うことができる点で利点がある。

ステップＳ２２−３では、色見本画像ＩＭ２から色見本が抽出される。演算器２２では、色見本画像ＩＭ２を構成する全画素について、各画素の色相ｈと彩度ｓを算出する。本実施の形態では、色相ｈ及び彩度ｓはいずれも２５６階調で表現されるものとして処理を行っている。そして、色見本画像ＩＭ２において色相ｈと彩度ｓの組み合わせ毎にその出現頻度Ｃ（ｈ，ｓ）を求める。出現頻度Ｃ（ｈ，ｓ）の初期値は０とする。例えば、色相ｈ＝１２０及び彩度ｓ＝８０の画素が存在していた場合、Ｃ（１２０，８０）の値を１だけ増加させる。そして、色見本画像ＩＭ２の全画素について出現頻度Ｃ（ｈ，ｓ）を調べた後に、出現頻度Ｃ（ｈ，ｓ）が所定の閾値以上であれば色見本Ｄ（ｈ，ｓ）を１に設定し、出現頻度Ｃ（ｈ，ｓ）が所定の閾値より小さければ色見本行列Ｄ（ｈ，ｓ）を０に設定する。これにより、色相ｈと彩度ｓとの組み合わせ毎に０又は１の値を有する色見本行列Ｄ（ｈ，ｓ）を得ることができる。色見本行列Ｄ（ｈ，ｓ）の値が１である色相ｈ及び彩度ｓの組み合わせは容器１２の地色であると判断し、色見本行列Ｄ（ｈ，ｓ）の値が０である色相ｈ及び彩度ｓの組み合わせは容器１２の地色ではないと判断することができる。

なお、色見本の抽出方法は上記の処理に限定されるものではない。例えば、食事が盛り付けられる前の容器１２の全体又は分割領域１２ａ〜１２ｄを撮像し、その画像データを構成する画素群のうち出現頻度が高い色を色見本として取得する方法がある。この場合、容器１２の地色は分割領域毎に異ならせることもでき、食物の種類に応じて盛り付けする分割領域を選択することでより食物を認識し易くすることができる。また、図４に示した分割領域１２ａ〜１２ｄを区画する境界部１２ｅをエッジ抽出処理や予め設定された領域として抽出し、その境界部１２ｅの色を色見本として取得する方法がある。この場合、境界部１２ｅの色は容器１２の分割領域１２ａ〜１２ｄにおける地色と同じとする。さらに、容器１２に盛られた食物を把持して取り除いた後に、その配膳位置の色から色見本を取得する方法もある。

色見本となる容器１２の地色は、食物には無い色であることが好ましいが、食物と完全に同一でなければ問題はない。また、容器１２の地色は、単色であっても複数色で構成されていても、色見本を抽出する領域と食物が盛り付けられている領域とで使用されている色の比率が同じであればよい。

また、本実施の形態では、ステップＳ１８で分割領域の選択又は動作開始の指示がなされる度に色見本画像ＩＭ２及び色見本行列Ｄ（ｈ，ｓ）を求める処理を行い、色見本を更新している。これにより、食事を進めている最中に容器１２への光の照射の加減による画像上の色の変化の影響に対応することが可能となる。但し、更新のタイミングはこれに限定されるものではなく、ステップＳ１８で分割領域の選択又は動作開始の指示が所定回数実行される毎に更新を行っても良い。また、把持機構部３６が待機位置に移動されたタイミングで更新を行っても良い。また、食事をする環境の変化が殆どない場合には、食事支援装置の電源が投入された際に、一回の食事に対して一度だけ色見本画像ＩＭ２及び色見本行列Ｄ（ｈ，ｓ）を求める処理を行っても良い。

また、本実施の形態では、ＨＳＢ方式で表現される色の属性である色相・彩度・明度のうち、色相と彩度を利用している。色の表現方法はこれに限られるものではないが、照明等により食事をする環境が変化すると、明度は大きく影響を受ける。本実施の形態では、このような不都合を排除するために、色相と彩度によって色を表現する方法を採用したものである。

ステップＳ２２−４では、操作モードの判定が行われる。演算器２２は、モード切替スイッチ２８が半自動モードに設定されていればステップＳ２２−５に処理を移行させ、モード切替スイッチ２８が自動モードに設定されていればステップＳ２２−８に処理を移行させる。

まず、操作モードが半自動モードに設定されている場合の処理をＳ２２−５からＳ２２−７にて説明する。ステップＳ２２−５では、部分画像ＩＭ３が取得される。操作モードが手動モード又は半自動モードに設定されている場合、ステップＳ１８において分割領域１２ａ〜１２ｄのいずれか１つの領域が選択されているはずであるので、図７に示すように、全体画像ＩＭ１から選択された分割領域の画像を部分画像ＩＭ３として切り出す。本実施の形態では、部分画像ＩＭ３は縦２５６画素×横２５６画素の画像として抽出されたものとして説明する。なお、図７では、便宜上異なる色を異なるハッチングで示している。

ステップＳ２２−６では、部分画像ＩＭ３を２値化した２値画像ＩＭ４を生成する。まず、部分画像ＩＭ３を構成する各画素に対応する縦２５６画素×横２５６画素の２値画像ＩＭ４の各画素の画素値を０に初期化する。次いで、部分画像ＩＭ３を構成する画素の中から選択した注目画素の色相ｈ及び彩度ｓを各２５６階調で求める。そして、注目画素の色相ｈ及び彩度ｓに対応する色見本行列Ｄ（ｈ，ｓ）の値が１であるか否かを調べる。色相ｈ及び彩度ｓに対応する色見本行列Ｄ（ｈ，ｓ）の値が１であった場合には注目画素に対応する２値画像ＩＭ４の画素値は１に変更し、色相ｈ及び彩度ｓに対応する色見本行列Ｄ（ｈ，ｓ）の値が０であった場合には注目画素に対応する２値画像ＩＭ４の画素値は０に維持する。食物が盛り付けられた分割領域の地色は、色見本で表される色であるので、各画素について色見本に含まれた色であるか否かを調べることにより容器の地色を表している画素か食物を表している画素かを大別できる。

例えば、部分領域３４ａの部分画像ＩＭ３における画素（縦５０，横５０）の色相が１２０及び彩度が８０であった場合、色見本行列Ｄ（１２０，８０）が１であった場合には２値画像ＩＭ４の画素（縦５０，横５０）を１に設定する。

部分画像ＩＭ３の全画素について注目画素として順次選択し、上記処理を行うことによって、２値画像ＩＭ４を生成することができる。すなわち、２値画像の画素値が０である画素は部分画像ＩＭ４の対応する画素が容器の地色とは異なる色であることを示し、２値画像の画素値が１である画素は部分画像ＩＭ４の対応する画素が容器の地色と等しい色であることを示している。

ステップＳ２２−７では、ノイズ処理等の後処理が行われる。例えば、２値画像ＩＭ４に対して縮小拡大処理及び面積処理を実施することが好適である。

次に、自動モードに設定されている場合の処理をＳ２２−８からＳ２２−１１にて説明する。ステップＳ２２−８では、部分画像ＩＭ３が取得される。操作モードが自動モードに設定されている場合、ステップＳ１８において分割領域１２ａ〜１２ｄの選択が行われていないので、全体画像ＩＭ１から各分割領域の画像をそれぞれ部分画像ＩＭ３として切り出す。本実施の形態では、食物が盛り付けられている分割領域１２ａ，１２ｂ及び１２ｄについて部分画像ＩＭ３ａ，ＩＭ３ｂ，ＩＭ３ｄが各々縦２５６画素×横２５６画素の画像として抽出される。

ステップＳ２２−９では、部分画像ＩＭ３を２値化した２値画像ＩＭ４を生成する。まず、上記ステップＳ２２−６と同様に、部分画像ＩＭ３ａを構成する各画素に対応する縦２５６画素×横２５６画素の２値画像ＩＭ４ａの各画素の画素値を０に初期化する。次いで、部分画像ＩＭ３ａを構成する画素の中から選択した注目画素の色相ｈ及び彩度ｓを各２５６階調で求める。そして、注目画素の色相ｈ及び彩度ｓに対応する色見本行列Ｄ（ｈ，ｓ）の値が１であるか否かを調べる。色相ｈ及び彩度ｓに対応する色見本行列Ｄ（ｈ，ｓ）の値が１であった場合には注目画素に対応する２値画像ＩＭ４の画素値は１に変更し、色相ｈ及び彩度ｓに対応する色見本行列Ｄ（ｈ，ｓ）の値が０であった場合には注目画素に対応する２値画像ＩＭ４ａの画素値は０に維持する。

部分画像ＩＭ３ａの全画素について注目画素として順次選択し、上記処理を行うことによって２値画像ＩＭ４ａを生成することができる。同様に、部分画像ＩＭ３ｂ及びＩＭ３ｄについても２値画像ＩＭ４ｂ及びＩＭ４ｄを各々生成する。このように、部分画像ＩＭ３の各画素について色見本にある色であるのか否かを求めることで、色見本にない色情報を持つ画素の集まりを食物として認識することかできる。

ステップＳ２２−１０では、ノイズ処理等の後処理が行われる。例えば、２値画像ＩＭ４に対して縮小拡大処理及び面積処理を実施することが好適である。

ステップＳ２２−１１では、各２値画像の中から１つを代表の２値画像ＩＭ４として選択する。部分画像ＩＭ３ａ，ＩＭ３ｂ及びＩＭ３ｄに対応する２値画像ＩＭ４ａ，ＩＭ４ｂ及びＩＭ４ｄを構成する全画素について画素値が０である頻度を調査し、最も頻度が高い画像を代表の２値画像ＩＭ４として選択する。すなわち、容器の地色と異なる色を有する画素が最も多い画像を代表の２値画像とする。

ステップＳ２２−５〜Ｓ２２−７、又は、ステップＳ２２−８〜Ｓ２２−１１の処理の後、ステップＳ２２−１２に処理を移行させる。ステップＳ２２−１２では、把持機構部３６を移動させる把持位置を決定する。演算器２２は、取得された２値画像ＩＭ４の配膳位置毎に把持動作の有効性の予測値Ｆ（ｍ，ｎ）を算出する。ここで、ｍは分割領域の位置を示し、例えば、分割領域１２ａ，１２ｂ，１２ｃ，１２ｄに対して１，２，３，４をそれぞれ対応付けられている。ｎは配膳位置の位置を示す。本実施の形態では、図４に示したように、分割領域１２ａ〜１２ｄはそれぞれ９つの配膳位置に分割されており、左上、中央上、右上、左中央・・・と順に１〜９の整数で表す。有効性の予測値Ｆ（ｍ，ｎ）は、次に示すパラメータＰ１（ｍ，ｎ），Ｐ２（ｍ，ｎ），Ｐ３（ｍ，ｎ）及びＰ４（ｍ，ｎ）を算出することによって決定される。そして、この予測値Ｆ（ｍ，ｎ）の値が大きい配膳位置（ｍ，ｎ）に対して把持動作を試みることで、確実に食物を把持することができる。

まず、２値画像ＩＭ４から各配膳位置に対応する配膳位置画像ＩＭ５が切り出される。本実施の形態では、図８に示すように、９つの配膳位置（ｍ，ｎ）に対応した９つの配膳位置画像ＩＭ５−１〜ＩＭ５−９が抽出される。

パラメータＰ１（ｍ，ｎ）は、各配膳位置画像ＩＭ５−１〜ＩＭ５−９を構成する画素の画素値が０である割合を百分率で表した値とする。つまり、各配膳位置の中で食物らしい画素が占める割合である。例えば、配膳位置（１，１）に対応する配膳位置画像ＩＭ５−１において、全画素数７２２５に対して画素値が０である画素の数が３０００であったとするとパラメータＰ１（１，１）＝０．４１５となる。パラメータＰ１（ｍ，ｎ）は、配膳位置（ｍ，ｎ）に食物があるであろう確度の予測値を示す。このＰ１（ｍ，ｎ）が大きい値である程、配膳位置（ｍ，ｎ）に食物が存在する可能性が高いため、把持動作の有効性の予測値Ｆ（ｍ，ｎ）が大きい値となるようにする。

パラメータＰ２（ｍ，ｎ）は、Ｐ１（ｍ，ｎ）が予め定められた閾値以上であるか否かによって決定される。Ｐ１（ｍ，ｎ）が閾値以上であった場合にはＰ２（ｍ，ｎ）は１に設定され、Ｐ１（ｍ，ｎ）が閾値より小さい場合にはＰ２（ｍ，ｎ）は０に設定される。パラメータＰ２（ｍ，ｎ）は、配膳位置（ｍ，ｎ）に食物があるであろう確度の予測値を２値化したものである。このＰ２（ｍ，ｎ）が１に設定された配膳位置（ｍ，ｎ）について把持動作の有効性の予測値Ｆ（ｍ，ｎ）が大きい値となるようにする。

パラメータＰ３（ｍ，ｎ）は、把持カウンタＧ（ｍ，ｎ）と等しい値とする。把持カウンタＧ（ｍ，ｎ）の更新処理については後述する。パラメータＰ３（ｍ，ｎ）は、配膳位置（ｍ，ｎ）に対して既に把持が試みられた回数（把持の試行履歴）を示す。

パラメータＰ４（ｍ，ｎ）は、ｎが２，３，５，６，８，９の場合に左隣の配膳位置のパラメータＰ２（ｍ，ｎ−１）の値が１であれば０に設定され、左隣の配膳位置のパラメータＰ２（ｍ，ｎ−１）の値が０であれば１に設定される。また、ｎが１，４，７の場合は、左隣に配膳位置がないのでＰ４（ｍ，ｎ）＝１に設定される。パラメータＰ４（ｍ，ｎ）は、把持機構部３６によって食物を把持する際に邪魔になる食物が周囲に存在するか否かを示す。すなわち、本実施の形態では、把持部材３８が把持対象となる食物の左から一定距離だけ離れた位置に移動され、そこに垂直に把持部材３８が下ろされ、そこから把持対象となる食物の左縁まで平行移動させるように把持部材３８を動かした上で、把持部材３８のフォークとスプーンで挟み込むようにして食物を把持する。つまり、把持位置の少し左側からスプーンで食物をすくい集め、その上でフォークを挟むことによって食物を把持する。従って、把持したい食物の左側の配膳位置に別の食物が盛り付けられている場合にはその食物も把持してしまう可能性があり、把持する食物の量が意図する量よりも多くなってしまったり、把持した食物を口元まで運ぶ際にこぼしてしまったりする可能性が高くなる。そこで、注目した配膳位置（ｍ，ｎ）の左隣の配膳位置（ｍ，ｎ−１）に食物が存在する可能性が高い場合にはパラメータＰ４（ｍ，ｎ）を０として把持が困難であるとし、注目した配膳位置（ｍ，ｎ）の左隣の配膳位置（ｍ，ｎ−１）に食物が存在する可能性が低い場合にはパラメータＰ４（ｍ，ｎ）を１として把持が容易であるとする。

従って、パラメータＰ４（ｍ，ｎ）は、把持機構部３６の把持部材３８がいずれの方向から食物を把持する構造となっているのかによって設定方法を変更することが好適である。例えば、把持部材３８が手前から奥へ向かって食物を把持する構造となっている場合には、注目する配膳位置（ｍ，ｎ）の手前の配膳位置（ｍ，ｎ＋３）のパラメータＰ２（ｍ，ｎ＋３）の値が１であればパラメータＰ４（ｍ，ｎ）を０に設定し、注目する配膳位置（ｍ，ｎ）の手前の配膳位置（ｍ，ｎ＋３）のパラメータＰ２（ｍ，ｎ＋３）の値が０であればパラメータＰ４（ｍ，ｎ）を１に設定する。

このように算出されたパラメータＰ１（ｍ，ｎ），Ｐ２（ｍ，ｎ），Ｐ３（ｍ，ｎ），Ｐ４（ｍ，ｎ）を用いて数式（１）に基づいて有効性の予測値Ｆ（ｍ，ｎ）を算出する。ここで、Ｐ５は所定の定数である。

数式（１）における第１項の分子Ｐ１（ｍ，ｎ）＋Ｐ２（ｍ，ｎ）は、現在の画像を処理した結果により決定される。ここで、Ｐ１（ｍ，ｎ）は単なる百分率であるが、Ｐ２（ｍ，ｎ）を加算することによって、Ｐ１（ｍ，ｎ）がある一定の割合以上であった場合を最も優先し、他のパラメータの影響を受け難くしている。特に、Ｐ１（ｍ，ｎ）の値の差が小さく、かつ、Ｐ２（ｍ，ｎ）を決定する閾値の前後に値が分布している場合に顕著となる。

例えば、Ｐ２（ｍ，ｎ）を決める閾値が０．４０であった場合、Ｐ１（ｍ，１）＝０．３９及びＰ１（ｍ，２）＝０．４１であったとすると、Ｐ１（ｍ，１）＋Ｐ２（ｍ，１）＝０．３９となり、Ｐ１（ｍ，２）＋Ｐ２（ｍ，２）＝１．４１となる。このように、Ｐ１（ｍ，ｎ）に大きな差がない場合にも、閾値以上である場合には有効性の予測値Ｆ（ｍ，ｎ）が高くなり、他のパラメータの影響を受け難くなる。

また、数式（１）における第１項の分母１＋Ｐ３（ｍ，ｎ）は、これまでの把持動作の履歴により決定される。すなわち、配膳位置（ｍ，ｎ）に対して過去に把持動作が行われた回数が多いほど有効性の予測値Ｆ（ｍ，ｎ）を低くする。照明の反射や、調味料、容器の汚れ等により、実際には食物が無いにも拘らず、Ｐ１（ｍ，ｎ）の値が大きくなることがある。Ｐ３（ｍ，ｎ）は、そのような配膳位置（ｍ，ｎ）に対して繰り返し把持動作することを防ぐためのものである。

また、数式（１）における第２項のＰ４（ｍ，ｎ）×Ｐ５は、把持動作の邪魔となる食物が存在しない配膳位置を優先することを示している。Ｐ５はＰ４（ｍ，ｎ）をＦ（ｍ，ｎ）にどれだけ重くするかを決める係数であり、把持機構部３６の構造に応じて適宜に定められる値である。

各配膳位置画像ＩＭ５−１〜ＩＭ５−９に対して有効性の予測値Ｆ（ｍ，ｎ）を各々算出する。そして、有効性の予測値Ｆ（ｍ，ｎ）が最も高い配膳位置を把持位置として決定する。把持位置は、有効性の予測値Ｆ（ｍ，ｎ）が最も高い配膳位置の左脇に設定する。ステップＳ２２−１２にて把持位置が決定されるとメインルーチンのステップＳ２２に処理を戻す。

このように、Ｆ（ｍ，ｎ）は画像処理によって解析された食物の位置を、把持動作の過去の履歴や他の食物との位置関係によって補正した値であるといえる。これによって、複数回の把持動作を行う場合に、画像に写った光などの反射や影の影響を低減することができる。

以上のようにして把持位置が決定されると、次いでステップＳ２４の処理へ移行する。ステップＳ２４では、決定された把持位置に対して把持部材３８を自動で移動させる。

また、ステップＳ２０にて操作モードが手動モードと判定された場合にはステップＳ２６の処理に移行させる。ステップＳ２６では、操作部１６が操作されたか否かが判定される。このときの操作は、手動モードにおいて行われる利用者による食物の選択操作であって、操作部１６の操作によって、先に選択された分割領域内において利用者が食べたいとする食物の位置に把持部材３８の位置を合わせる操作を意味する。把持食物の選択入力が行われた場合にはステップＳ２８に処理を移行させる。操作部１６の操作が行われず、所定の時間が経過した場合にはステップＳ３０に処理を移行させる。

ステップＳ２８では、操作部１６の操作に基づいて把持部材３８を容器１２上で移動させる。利用者が操作部１６のレバー４０を奥Ａ、右Ｂ、手前Ｃ、左Ｄのいずれかの方向に傾けることによって、レバー４０の操作方向に対応する方向に把持部材３８を移動させる。移動が終了するとステップＳ２６に戻って更なる操作を待機する。

ステップＳ３０では、実際に食物の把持が行われる。手動、半自動又は自動で把持対象の食物の左脇に移動させられた把持部材３８が下降させられ、そこから把持対象となる食物の左縁まで平行移動させるように把持部材３８を動かした上で、把持部材３８のフォークとスプーンで挟み込むようにして食物を把持する。そして、食物を把持した状態で配膳位置から離れるように把持部材３８を上昇させる。

ステップＳ３２では、把持カウンタＧ（ｍ，ｎ）が更新される。２値画像ＩＭ４として選択された分割領域に対応するｍ、及び、その分割領域内で把持位置とされた配膳位置ｎに対応する把持カウンタＧ（ｍ．ｎ）の値が１だけ増加される。

ステップＳ３４では、把持部材３８で把持された食物が利用者の口元まで搬送される。ステップＳ３６では、利用者に対して食物が供与される。そして、ステップＳ３８では、把持機構部３６が待機位置に移動される。その後、ステップＳ１６に処理を戻し、上記処理を繰り返す。

実際の把持動作の一例を次に示す。以下の説明では、既に６回の把持動作が行われ、配膳された食物が既に幾つか把持及び搬送されて取り除かれている状態であるとする。このときの容器１２を撮像した全体画像ＩＭ１から切り出された分割領域１２ａの部分画像ＩＭ３を図９に示す。図９の部分画像ＩＭ３では、食物の画像５０と共に、光が反射した画像５２が写し込まれているとする。この部分画像ＩＭ３から２値画像ＩＭ４を生成する。また、図１０に、分割領域１２ａ（ｍ＝１）の配膳位置ｎ（ｎ＝１〜９の整数）に対応する配膳位置画像ＩＭ５−１〜ＩＭ５−９を示す。

ここで、図１０の配膳位置画像ＩＭ５−１〜ＩＭ５−９に基づいて、各配膳位置画像ＩＭ５−１〜ＩＭ５−９において容器１２の地色とは異なる色を有する領域の割合からＰ１（１，ｎ）＝［０．７，０．５，０．９，０，０，０，０．４，０．３，０］が求められる。Ｐ２（ｍ，ｎ）を決定する閾値が０．４である場合、Ｐ２（１，ｎ）＝［１，１，１，０，０，０，１，０，０］となる。また、各配膳位置ｎの左側に他の食物があるか否かを示すパラメータＰ４（ｍ，ｎ）は、Ｐ４（１，ｎ）＝［１，０，０，１，１，１，１，０，１］となる。把持履歴を示すパラメータＰ３（ｍ，ｎ）は、Ｐ（１，ｎ）＝［０，１，１，１，１，０，０，０，１］であったとする。また、Ｐ５＝０．２５とする。

すると、有効性の予測値Ｆ（ｍ，ｎ）は、Ｆ（１，ｎ）＝［１．９５，０．７５，０．９５，０．２５，０．２５，０．２５，１．６５，０．３，０．２５］となり、把持をするのに最も有効な配膳位置と予測されるのはｎ＝１（左上）の配膳位置と決定される。

ここで、光の反射の領域５２に対応するｎ＝２，３の配膳位置では、既に把持が一度試みられており、パラメータＰ３（１，２）及びＰ３（１，３）により有効性の予測値Ｆ（１，２）及びＦ（１，３）の値が小さくなっている。すなわち、光の反射等による誤った把持動作が繰り返されることを防ぐことができる。

本実施の形態では、操作モードが自動モード又は半自動モードである場合には、Ｆ（ｍ，ｎ）の値が最も大きい配膳位置に対して把持部材３８を移動させ、手動モードである場合は、操作部で指示された位置に対して把持部材３８を移動させ、食物の把持及び運搬を行う。これとは別のモードを設け、自動モード又は半自動モードのときと同様にＦ（ｍ，ｎ）を求めて、操作部１６に操作によって移動させられた把持部材３８の位置から近い配膳位置であり、かつ、Ｆ（ｍ，ｎ）の値が高い配膳位置に把持部材３８を位置決めし、食物の把持及び運搬を行っても良い。

以上のように、本実施の形態によれば、一般家庭や施設等で上肢に障害がある利用者が食事をする際に、色情報を用いた画像処理を行うことで、容器に盛り付けられた不定形・不定色である食物の位置を適確に検出し、また、複数の配膳位置毎に把持動作の有効性を考慮するため、無意味な把持動作を繰り返すことなく利用者へ食物を提供することができる。これにより、利用者は円滑に食事を行うことができる。

本発明の実施の形態における食事支援装置の外観を示す図である。 本発明の実施の形態における食事支援装置の機能ブロック図である。 本発明の実施の形態における食事支援方法のフローチャートを示す図である。 本発明の実施の形態における食事支援装置の容器の分割領域及び配膳位置を示す図である。 本発明の実施の形態におけるステップＳ２０のサブルーチンのフローチャートを示す図である。 本発明の実施の形態における容器の全体画像の例を示す図である。 本発明の実施の形態における部分画像の例を示す図である。 本発明の実施の形態における配膳位置画像の例を示す図である。 本発明の実施の形態における部分画像の例を示す図である。 本発明の実施の形態における配膳位置画像の例を示す図である。

符号の説明

１０ 本体部、１２ 容器、１２ａ〜１２ｄ 分割領域、１２ｅ 境界部、１４ 搬送部、１６ 操作部、１８ 撮像部、２０ 入力インターフェース、２２ 演算器、２４ 記憶部、２６ 入出力インターフェース、２８ モード切替スイッチ、３０ 報知手段、３２ 突き当て部、３４ 搬送機構部、３４ａ〜３４ｄ アーム、３４ｅ 回転駆動部、３６ 把持機構部、３６ａ 駆動部、３６ｂ 接触検出部、３６ｃ 把持検出部、３６ｄ 後退位置検出部、３８ 把持部材、４０ レバー、４２ カメラ、４４ 入出力インターフェース、５０ 食物の画像、５２ 光の反射した画像。

Claims (4)

1. 容器に盛り付けられた食物を把持して利用者の口元へ運ぶことによって、利用者の食事を支援する食事支援装置であって、
   食物を把持する把持機構部と、
   前記容器及び前記容器に盛り付けられた食物の画像を全体画像として取得する撮像部と、を備え、
   前記全体画像から容器の地色を色見本として抽出して記憶し、
   前記全体画像から前記色見本とは異なる色の領域を抽出し、当該領域に対して把持を行うように前記把持機構部を制御することを特徴とする食事支援装置。
2. 請求項１に記載の食事支援装置において、
   前記全体画像から食事が盛り付けられていない領域として予め定められた領域を抽出し、当該予め定められた領域において所定の割合以上を占める色を前記色見本とすることを特徴とする食事支援装置。
3. 請求項１又は２に記載の食事支援装置において、
   所定のタイミングで前記色見本を更新することを特徴とする食事支援装置。
4. 請求項１〜３のいずれか１つに記載の食事支援装置において、
   前記撮像部は食物が盛り付けられていない容器を撮像した画像を取得し、当該画像から前記容器の地色を前記色見本として抽出して記憶することを特徴とする食事支援装置。
   
   

Images