JP2018033624A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】 誤嚥の原因となる料理ごとの一口量や咀嚼回数基準が分からない。
【解決手段】 カメラ映像から料理と一口量や咀嚼回数など食事動作を認識して、料理ごとの標準の１口量から１口量と咀嚼回数の個人ごとの基準を動的に作成して、作成した基準と実際の１口量との比較から課題を推定し出力する。
【選択図】 図３

Description

本発明は、食べ物の誤嚥を招く食事基準を個人ごとに作成する技術に関する。

介護施設などでの食事の際に、介護対象者の誤嚥による窒息、誤嚥性肺炎などが問題となっている。このような食べ物による窒息（誤嚥）を防ぐために重要なことは、「食べ物は食べやすい大きさにして、よく噛んで食べる。」である。（非特許文献１）
このような誤嚥の原因となる嚥下障害を判定するために、センサーやカメラ映像などで咀嚼動作や嚥下動作を分析して嚥下機能の低下を判定するものが提案されている。（特許文献１）
また咀嚼回数の基準として、料理別咀嚼回数ガイドでは全部で２０３種の料理別咀嚼回数が記載されている。（非特許文献２）
同様に咀嚼に関しては、食事の仕方管理の観点で、料理の摂取カロリー、咀嚼時間の管理を行い、カロリーオーバーや咀嚼時間不足を警告するものが提案されている。これは、料理映像での料理の減り方からカロリー摂取量と料理の減らない時間を咀嚼時間としている。この咀嚼時間不足の判定基準はユーザが登録する。（特許文献２）

食品安全委員会 食べ物による窒息事故を防ぐために 平成２０年５月２日 斉藤 滋：料理別咀嚼回数ガイド，風人社，２００２

特開２０１２−７５７５８ 特開２０１０−３３３２６

嚥下障害ではなくとも、誤嚥は発生しうる。そして毎日嚥下障害を判定する検査を受けることは現実的ではない。また従来の手法（特許文献２）では、咀嚼時間をユーザが設定する際にどの程度の咀嚼時間を設定するかが分からず、設定する咀嚼時間が短いと効果が期待できない。また料理別咀嚼回数ガイド（非特許文献２）では全部で２０３種類の料理別咀嚼回数が掲載されているが、全ての料理が掲載されているわけではない。掲載されていない料理の咀嚼回数は基準がない。また同じ料理でも複数の食材が使われており、食べる料理の食材ごとに咀嚼回数基準も異なる。

本発明では、一口量や咀嚼回数などの食事行動基準を個人ごとに推定して、食事対象者や介護者へ課題を出力することで誤嚥予防の支援することを目的とする。

本発明に係る情報処理装置は以下の構成を備える。即ち、カメラ映像から食事動作と料理とを認識する認識手段と、１回に口に入れる量を前記カメラ映像から推定する推定手段と、個人ごとに前記一口量を料理ごとに記憶手段に記憶させる手段と、料理ごとの標準の一口量と前記記憶手段に記憶された一口量とに基づいて個人ごとの一口量の基準を作成する作成手段と、前記一口量の基準と、監視しているカメラ映像から推定された前記一口量とを比較する比較手段と、前記比較手段で得られた結果から課題を出力する出力手段。

日常の食事映像から対象者に負担をかけずに、誤嚥に対する注意すべき一口量や咀嚼回数などの食事行動基準に対する課題を食事対象者または介護者が認識可能となる。 またこれにより誤嚥予防の支援となる。

実施形態に係る構成を示すブロック図である。 実施形態に係る表示例である。 実施形態に係る処理手順を示すフローチャートである。 実施形態に係る処理手順を示すフローチャートである。 実施形態に係る処理手順を示すフローチャートである。 実施形態１に係る咀嚼回数ガイドのデータ例である。 実施形態１に係る食事行動のデータ例である。 実施形態１に係る咀嚼回数統計データ例である。 実施形態１に係る一口量のデータ例である。 実施形態に係る献立表の例である。

＜実施形態１＞
実施の形態について説明する。図１（ａ）は食事管理装置（以下、「情報処理装置」とも記載する。）の構成例を示すブロック図である。食事管理装置は、ＣＰＵであるデータ処理部１１５、記憶部１１１、表示部１１６、キーボードやマウスやタッチパネルなどの入力部１１３、ネットワークＩ／Ｆ部１１７、でカメラ部１１８構成される。カメラは次に説明するネットワーク上のカメラを使用することも可能である。

また、図１（ｂ）は、システム例を示すブロック図である。食事管理装置から結果を出力するＮ台の端末１５１から１５２と、データを処理する食事管理装置１６１と食事管理装置へ映像を入力するＭ台のカメラ１７１から１７２とがネットワークに接続されている。ネットワークは有線でも無線でもかまわない。食事管理装置はクラウドコンピュータでもかまわない。また複数台でもかまわない。また、食事管理装置への映像入力は端末上のカメラでもかまわない。

食事管理システムでの実施形態を説明する。まず、前提条件について説明する。

画像認識は、基本的には、認識する映像に属性をタギングした教師データをもとに機械学習により学習したモデルを利用して、カメラ映像から認識して属性を抽出する。属性間の時間や属性の回数を計測する。属性としては、料理種別、食具種別、食器種別、一口量種別、咀嚼開始、咀嚼終了、嚥下開始、嚥下終了、誤嚥時の特徴的な状態・動作（むせ、咳、顔面紅潮、チアノーゼなど）の開始終了などがある。咀嚼回数は上唇と下顎先端の距離変化から計測してもよい。図７は、カメラ映像から画像認識によって得られた食事対象者の食事に関するデータでの具体例である。一口目は味噌汁で量は１０ｍｌ、咀嚼回数は０回、口に入れて嚥下まで２秒、流し込みはなし、姿勢評価は３、むせやその他特徴動作はなし。二口目は、おかゆで量は１５ｍｌ、咀嚼回数１０回、口に入れて嚥下まで１２秒、流し込みなしで、特徴動作もなし。全部嚥下できなかったため、ふたたび咀嚼回数１０回、口に入れて嚥下まで２４秒、お茶で流し込み、口に入れてむせまで２４秒、１０秒継続、特徴動作は顔面紅潮。このように認識結果がデータとして記憶される。姿勢評価は、誤嚥しにくい食事姿勢の複数の注意点をいくつクリアしているかを評価とする。

本実施形態の概要をユーザインターフェース（ＵＩ）の表示例である図２に基づき説明する。

図２（ａ）は食事前のユーザインタフェースの例である。食事前に料理を認識する。

基準は過去の蓄積されたデータと咀嚼ガイドの料理を基に料理ごとまたは料理の食材ごとの一口量や咀嚼回数などの基準を作成する。

食事中は、食事対象者の食事動作と料理残量を分析して、基準の範囲外の食事行動を検出した場合、必要に応じて、図２（ｂ）のようにメッセージを表示して注意を促す。

食事終了時は、図２（ｃ）のように食事開始から終了までの課題をメッセージ表示する。

本実施形態の食事管理システムについて図３のフローチャートとデータの例に沿って説明する。このフローチャートは、データ処理部（ＣＰＵ）１１５が制御プログラムを実行することにより実現される。

まず、料理画像分析、基準生成処理（Ｓ３００）ではカメラ画像を取得して料理を認識して、食事基準を動的に生成する。詳細は後述する。

食事動作認識処理（Ｓ３０１）では、カメラ画像から食べた料理と料理の残量、食具や食具で口に運んだ量の認識や口に運ぶ動作、咀嚼動作、嚥下動作、誤嚥特徴動作を認識する。この認識結果に基づき一口量の推定や咀嚼回数、咀嚼時間、嚥下までの時間など測定する。さらに摂食・嚥下の動作には５段階がある。

先行期（認知期） 食物の性状を認知することにより、食べ方・唾液分泌・姿勢といった摂食に必要な準備を整える段階。
準備期（咀嚼期） 咀嚼して、食塊を形成する段階。
口腔期 食塊を口から喉に送る段階。
咽頭期 さらに喉から食道へ送る、「ゴックン」という段階。
食道期 絞り込むような食道の運動により食塊を胃まで運ぶ段階。

これらの段階を認識することも誤嚥に対する課題を抽出するために重要である。誤嚥特徴動作とは、むせ、咳、よだれ、顔面紅潮、チアノーゼなど誤嚥を起こした時の特徴動作である。同時に音声でガラガラ声になったり，声がかすれたりなど音声特徴も利用することが可能である。さらに赤外線画像による体温変化も併用することも可能である。また、食事姿勢を認識して評価することも可能である。これらの認識にはステレオカメラの画像を利用することでより高精度の認識や推定が可能になる。

一口量、咀嚼回数判定処理（Ｓ３０２）では、料理画像分析、基準生成処理（Ｓ３００）で作成した基準と食事動作認識処理（Ｓ３０１）で推定した一口量や認識した咀嚼回数を比較して、設定された範囲内であるか否かを判定する。範囲外である場合、出力処理（Ｓ３０３）へ進む。範囲内の場合、食事終了判定処理（Ｓ３０４）へ進む。範囲の閾値はシステムが予め設定する。またはユーザが設定しても構わない。

逐次出力処理（Ｓ３０３）では、一口量、咀嚼回数判定処理（Ｓ３０２）で範囲外であると判定された課題に対して出力する。出力先は、食事管理装置本体の表示部（１１６）や食事対象者と関連付けられた端末（１５１）など１つまたは複数に出力する。具体的には、逐次出力処理で出力される課題は、一口量（多すぎと少なすぎ）と咀嚼回数（少なすぎ、多すぎ）に対する課題が出力される。

食事終了判定処理（Ｓ３０４）では、食事が終了したか否かを判定する。判定条件は、カメラ画像から食事対象者が一定時間以上席をはなれたことを認識する。または、料理が片付けられたことを認識する。または、食事管理装置に対して端末や入力部（１１３）から終了が入力される。

最終出力処理（Ｓ３０５）では、今回の食事（食事開始から食事終了まで）に対する課題推定してまとめて出力される。出力先は、逐次出力処理（Ｓ３０３）と同様である。過去の蓄積されたデータと比較して変化が閾値以上であれば、課題として変化も課題として出力する。具体的には、一口量と咀嚼回数に対する課題と総食事時間（短すぎ、長すぎ）、姿勢（良くない）、一定期間での変化（咀嚼時間、嚥下までの時間、むせる確率などがＸか月前と比較してＹ倍）に対する課題が出力される。

本実施形態の料理画像分析、基準生成処理（Ｓ３００）について図４の詳細フローチャートとデータの例に沿って説明する。

まず、料理認識処理（Ｓ４００）ではカメラ画像から料理種類、量を認識する。料理の食材も認識することでさらに効果を上げることが可能である。料理の種別、量、食材を高精度に認識するために図１０のような献立表データを利用して料理の種別、量を認識する。さらに献立表に記載されている食器をあらかじめ登録することで高確率で認識が可能となる。

標準料理データ取得処理（Ｓ４０１）では、標準料理の咀嚼回数基準として料理別咀嚼回数ガイドデータを取得する。図６は、料理と咀嚼回数の具体的なデータ例である。

個人統計データ処理（Ｓ４０２）では、過去の食事行動の認識結果から各料理または各料理の食材ごとの一口量や咀嚼回数などの食事行動を個人ごとに統計処理する。具体的には図８のように各個人ごとに咀嚼回数ガイドライン掲載の料理に対して一口量で補正した咀嚼回数を記憶されている。

標準料理に対する個人咀嚼比率計算処理（Ｓ４０３）では、各個人の咀嚼回数の傾向として標準料理に対する各個人の咀嚼回数比率を計算する。下記の式で計算される。

ＳＦ（ａ）：ａさんの咀嚼回数比率
Ｓ（ａ，ｎ）：ａさんの咀嚼ガイド掲載料理ｎでの平均咀嚼回数
ＳＳ（ｎ）：咀嚼ガイド掲載料理ｎでの咀嚼回数基準
ｆ（ａ，ｎ）：ａさんの咀嚼ガイド掲載料理ｎでの口数合計

具体的には図８のように咀嚼ガイド掲載料理１の咀嚼回数平均を咀嚼ガイド掲載料理１の基準咀嚼回数で割った値を咀嚼ガイド掲載料理１の咀嚼回数比率として計算し、各料理の咀嚼回数比率の加重平均を個人の咀嚼回数比率として計算する。Ａさんの場合、咀嚼ガイド掲載料理１の咀嚼回数平均は２８回、咀嚼ガイド掲載料理１の基準咀嚼回数が４１回、咀嚼ガイド掲載料理１の咀嚼回数比率が０．６８で、咀嚼ガイド掲載料理１の口数合計が２８５０である。各料理の加重平均が０．７０となる。ここでは各標準料理の咀嚼回数比率の加重平均から個人ごとの咀嚼回数比率を求めたが、これに限定するものではない。たとえば、各標準料理の咀嚼回数比率を個人ごとの一口量で補正した値を利用したり、誤嚥特徴動作が検出されなかったデータのみを利用して咀嚼回数比率を求めたりしてもよい。

標準料理判定処理（Ｓ４０４）では、料理認識処理（Ｓ４００）で認識した料理が標準料理データ取得処理（Ｓ４０１）で取得した標準料理データと比較して一致判定を行う。標準料理の場合、つまり咀嚼回数ガイドに掲載されている料理の場合、Ｓ４０６へ進む。標準料理ではない標準外料理の場合、Ｓ４０４へ進む。

対象標準外料理咀嚼回数基準作成処理（Ｓ４０５）では、標準料理に対する個人咀嚼比率計算処理（Ｓ４０３）で得られた各個人ごとの咀嚼回数比率で過去の対象料理に対する咀嚼回数を補正して、平均を計算する。下記の式で計算される。

ＳＡ（ｂ）：料理ｂに対する咀嚼回数基準
Ｓ（ｂ，ｍ）：ｍさんの咀嚼ガイド非掲載料理ｂでの平均咀嚼回数
ＳＦ（ｍ）：ｍさんの咀嚼回数比率（咀嚼ガイド掲載料理咀嚼回数比率の加重平均）
Ｍ：対象者数

具体的には図８のようにＡさんの咀嚼ガイド掲載料理咀嚼回数比率の加重平均は０．７０で、Ｂさんの咀嚼ガイド掲載料理咀嚼回数比率の加重平均は０．９５である。咀嚼回数ガイドに非掲載の対象料理のＡさんの一口咀嚼回数平均は５０回でＡさんの咀嚼ガイド掲載料理咀嚼回数比率の加重平均である０．７０で割った値７１回が咀嚼回数ガイドに非掲載対象料理の咀嚼回数補正値である。Ｂさんに対する咀嚼回数ガイドに非掲載対象料理の咀嚼回数補正値は６８回である。各個人の咀嚼回数ガイドに非掲載対象料理の咀嚼回数補正値の平均値６９回を咀嚼回数ガイドに非掲載対象料理の咀嚼回数基準とする。ここでは単純に対象料理に対する各個人の咀嚼回数比率で補正した咀嚼回数の平均を基準としたが、これに限定するものではない。たとえば、嚥下障害がある人は対象から外したり、単純平均ではなく分布から最大頻度の咀嚼回数を基準にすることも可能である。

料理別咀嚼回数ガイドデータから咀嚼回数取得処理（Ｓ４０６）では、標準料理データから一致した料理に対する咀嚼回数を取得して咀嚼回数基準とする。

一口量基準作成処理（Ｓ４０７）では、対象者の過去の統計データから対象料理の一口量の基準を作成する。一口量の基準は一口量ごとに過去の総回数を特徴動作回数で割った特徴動作発生確率を計算して、閾値以下で最も多い量を基準とする。具体的には図９のようにスプーン（大）山盛り相当量に対して総回数が６４２回で特徴動作回数は５０回、発生回数は０．０８０となり、閾値を０．００５とした場合、一口量としてスプーン（大）山盛り相当量は適さないことが推定される。スプーン（中）並盛り相当慮では、総回数は７５２０回、特徴動作回数は３回で発生確率は０．００４となり閾値以下であるため、一口量としてスプーン（中）並盛り相当量は適していると推定される。スプーン（中）並盛り相当は一口量として適した一口量の最大値となり一口量としてスプーン（中）並盛り相当量が基準となる。

本実施形態の食事動作認識処理（Ｓ３０１）の一口量推定について図５の詳細フローチャートとデータの例に沿って説明する
スプーン利用判定処理（Ｓ５００）では、食具としてスプーンを利用して、料理を口に運んでいるか否かを判定する。

残量判断処理（Ｓ５０１）では、料理の残量が半分以下か否かを判断する。

食具による推定処理（Ｓ５０２）では、スプーンや箸などで口に入れる量を推定する。スプーン上にある料理の量を推定する。食具をあらかじめ登録することで推定精度が上がる。

料理残量の差分による推定処理（Ｓ５０３）では、口に入れる料理の残量の差分を認識することで一口量を推定する。残量推定に関しては、例えば平皿の場合、素材の量に対する面積比からの推定や深みのある食器の場合、食器の深さに対する平面積を利用して推定する。また、献立表の食材の量や盛られている食器などを利用することで高精度な推定することも可能である。

食具と料理残量の差分による推定の平均処理（Ｓ５０４）では、食具による推定処理（Ｓ５０２）による推定量と料理残量の差分による推定処理（Ｓ５０３）による推定量の平均値を推定量とする。

ここでは、ヒューリスティックな処理であるが、機械学習によって重みを決定することも可能である。

このように日常の食事映像から対象者に負担をかけずに、誤嚥に対する注意すべき一口量や咀嚼回数などの食事行動基準に対する課題を食事対象者またはカメラ映像で監視している介護者が認識可能となる。またこれにより誤嚥予防の支援となる。

以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Ｓ３００ 料理画像分析、基準生成処理
Ｓ３０１ 食事動作認識処理
Ｓ３０２ 一口量、咀嚼回数判定処理
Ｓ３０３ 逐次出力処理
Ｓ３０４ 食事終了判定処理
Ｓ３０５ 最終出力処理

Claims (8)

1. カメラ映像から食事動作と料理とを認識する認識手段と、
   １回に口に入れる一口量を前記カメラ映像から推定する推定手段と、
   個人ごとに前記一口量を料理ごとに記憶する記憶手段と、
   料理ごとの標準の一口量と前記記憶手段に記憶された一口量とに基づいて個人ごとの一口量の基準を作成する作成手段と、
   前記一口量の基準と、監視しているカメラ映像から推定された前記一口量とを比較する比較手段と
   前記比較手段で得られた結果から得られた課題を出力する出力手段と、
   を有することを特徴とする情報処理装置。
2. 前記食事動作は咀嚼動作であり、前記作成手段は、前記個人ごとの基準としてさらに咀嚼回数の基準を作成することを特徴とする請求項１項記載の情報処理装置。
3. 前記食事動作は咀嚼動作、嚥下動作、誤嚥特徴動作である請求項１または２記載の情報処理装置。
4. 標準料理の咀嚼回数基準に対する蓄積された標準料理の咀嚼回数の比率を計算する手段を更に備え、前記作成手段は、標準外料理として蓄積された咀嚼回数を前記標準料理の咀嚼回数比率で補正して基準を作成することを特徴とする請求項２記載の情報処理装置。
5. 前記出力手段は、食事中に出力する請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記出力する課題は、一口量、または、咀嚼回数、または、総食事時間、または、食事姿勢、または、これらの一定期間での変化である請求項３記載の情報処理装置。
7. カメラ映像から食事動作と料理とを認識する認識工程と、
   １回に口に入れる量を前記カメラ映像から推定する推定工程と、
   個人ごとに前記一口量を料理ごとに記憶手段に記憶する工程と、
   料理ごとの標準の一口量と前記記憶手段に記憶された一口量とに基づいて個人ごとの一口量の基準を作成する作成工程と、
   前記一口量の基準と、監視しているカメラ映像から推定された前記一口量とを比較する比較工程と、
   前記比較工程で得られた結果から課題を出力する出力工程と、
   を有することを特徴とする情報処理方法。
8. カメラ映像から食事動作と料理とを認識する認識手段と、
   １回に口に入れる量を前記カメラ映像から推定する推定手段と、
   個人ごとに前記一口量を料理ごとに記憶手段に記憶させる手段と、
   料理ごとの標準の一口量と前記記憶手段に記憶された一口量とに基づいて個人ごとの一口量の基準を作成する作成手段と、
   前記一口量の基準と、監視しているカメラ映像から推定された前記一口量とを比較する比較手段と、
   前記比較手段で得られた結果から課題を出力する出力手段と、として機能させるためのプログラム。
   

Images