JP2008204105A - 自動食事摂取量計測システム及び自動食事摂取量計測方法 - Google Patents

Abstract

【課題】食事の摂取量の計測を食材ごとに、簡単に行うことができ、且つ、食器の形状や食物の配置等によらず、より正確に食事の摂取量を計測することのできる自動食事量計測システム及び自動食事量計測方法を提供する。
【解決手段】食膳を撮影するための撮像装置と、該撮像装置により撮影された画像から、予め食器ごとに対応する色相が記録してある食器データベースに従い、前記食器を抽出するための食器抽出手段と、前記食器ごとに食物の色相を検知し、該色相ごとの画素数を計測することにより、予め食材ごとに対応する色相が記録してある食材データベースに従い、該食材ごとの量を計測するための食物抽出手段と、食前の食膳の画像から前記食物抽出手段により抽出された食材ごとの量と、食後の食膳の画像から前記食物抽出手段により抽出された食材ごとの量を比較することにより、食事摂取量を計測する食事摂取量計測手段を有する。
【選択図】図４

Description

本発明は、病院内や介護施設内等（以下、単に院内という）において入院患者や高齢者等が食事を摂取した際の摂取量を計測する自動食事摂取量計測システム及び自動食事摂取量計測方法に関する。

現在、例えば病院等における入院患者の食事管理に関する一般的な方法としては、個々の患者に対し、栄養士等の判定者が、食膳について、食前状態と食後状態を目で確認し、食物成分表と照らし合わせて食事の摂取量を計測する方法を挙げることができる。

このような方法の場合、判定者が目視で食物の残量から患者の食事摂取量を決定しているため、計測基準が判定者によって異なり、計測値があいまいとなるといった問題がある。また、個々の患者の食事をすべて判定者の目で計測するために作業効率も低い。加えて、判定者が入院患者数、食事のメニュー数、さらには、患者ごとに異なる食事摂取量等を記録しなければならない場合は、さらに膨大な手間と時間が費やされることとなる。

上記実情に鑑み、下記特許文献１において、食前および食後の画像を比較し、ニューラルネットワーク（ＮＮ）を用いて食事摂取量を算出する方法が開示されている。具体的には、
１)撮像装置でトレイ上の各食器に食物が載った一人分の食膳をその食前状態と食後状態について夫々撮影する、
２)食前状態と食後状態の画像夫々から食器を抽出し、予め入力した食器データベースに照らして、食器の種類をＮＮに入力して判別する、
３)食前状態と食後状態の画像夫々から食器上の食物を抽出し、食前と食後の食物部分の変化量を面積で求め、ＮＮに入力し、予め作成した食物データベースに照らして食事摂取量を算出する、
といったステップを経ることで、患者ごとの食事摂取量及び摂取カロリーを計測している。
これにより、判定者の目で食事摂取量を計測するよりも、簡単且つ正確に食事摂取量を計測することができる。

しかしながら、ニューラルネットワークは、想定した範囲内の処理を行うのには優れているが、想定外の処理を行う場合、好適に機能しない場合が往々にしてある。そのため、食器や食物の抽出にＮＮを使用している特許文献１に記載の食事摂取量計測方法では、予め作成しているデータベース内の食物の配置等の状態と大幅に異なる状態で食物が食器内で散在している場合等、ＮＮが食物を未知画像として認識してしまうため、この場合も、計測結果が不正確なものとなるといった問題が生じる。

また、下記特許文献２において、食肉成分測定装置が開示されている。特許文献２に記載の食肉成分測定装置では、基本的には重量を計測することによりたんぱく質等の成分を測定するが、そのとき、画像処理により赤身部位と脂質部位を分類することで、赤身部位脂質部位をノイズとして画素単位で抽出し、重量を計測することができる。即ち、食肉全体の重量からノイズとなる脂質部位の重量を差し引き、脂質部位を除いた赤身部位のみを食肉全体と仮定して、重量成分でのたんぱく質の計測を実施しているものである。
引用文献２に記載の食肉成分測定装置により、例えば、院内での食事摂取量を計測しようとした場合、食材が食肉に限定されるだけでなく、脂質部位の摂取量や栄養素を計測することもできない。つまり、部位（及び食材）ごとの摂取量及び栄養素を計測することができないといった問題が生じる。

特開２００５−７０９０８号公報 特許第３４７２７９７号公報

本発明は、上記問題に鑑みてなされたものであり、食事の摂取量の計測を食材ごとに、簡単に行うことができ、且つ、食器の形状や食物の配置等によらず、より正確に食事の摂取量を計測することのできる自動食事量計測システム及び自動食事量計測方法を提供することを解決課題とする。

請求項１に係る発明は、食器と、食器上に存在する一以上の食材から構成される食物からなる食膳について、食前状態と食後状態の画像を比較して食事摂取量を計測するための自動食事摂取量計測システムであって、前記食膳を撮影するための撮像装置と、該撮像装置により撮影された画像から食事摂取量を計測するための処理装置を有し、前記処理装置が、前記画像中の前記食器の色相を検知し、予め前記食器ごとに対応する色相が記録してある食器データベースに従い、前記食器を抽出するための食器抽出手段と、前記食器ごとに前記食物の色相を検知し、該色相ごとの画素数を計測することにより、予め前記食材ごとに対応する色相が記録してある食材データベースに従い、該食材ごとの量を計測するための食物抽出手段と、食前の食膳の画像から前記食物抽出手段により抽出された食材ごとの量と、食後の食膳の画像から前記食物抽出手段により抽出された食材ごとの量を比較することにより、食事摂取量を計測する食事摂取量計測手段を有することを特徴とする自動食事摂取量計測システムに関する。

請求項２に係る発明は、前記食器抽出手段が、前記食器について、互いに直角な二方向の長さにおいて、夫々最大値を検知し、前記食器の形状を楕円として検知することを特徴とする請求項１記載の自動食事摂取量計測システムに関する。

請求項３に係る発明は、前記撮像装置が、前記食膳を多方向から撮影することを特徴とする請求項１又は２記載の自動食事量計測システムに関する。

請求項４に係る発明は、前記撮像装置が、撮影時に前記食膳を照射するための光源を有し、該光源が無反射光源であり、間接光として食膳を照射することを特徴とする請求項１乃至３いずれか記載の自動食事摂取量計測システムに関する。

請求項５に係る発明は、前記食器の深さ方向に、深さを認識するための目印が付してあることを特徴とする請求項１乃至４いずれか記載の自動食事摂取量計測システムに関する。

請求項６に係る発明は、前記食事摂取量計測手段により計測された食事摂取量に基づき、該食事摂取量に対応した栄養素の摂取量を計測することを特徴とする請求項１乃至５いずれか記載の自動食事摂取量計測システムに関する。

請求項７に係る発明は、食器と、食器上に存在する一以上の食材から構成される食物からなる食膳について、食前状態と食後状態の画像を撮影し、該画像を比較して食事摂取量を計測する自動食事摂取量計測方法であって、食前と食後について夫々、前記食膳を撮像し画像を得るステップ、前記画像中の前記食器の色相を検知し、予め前記食器ごとに対応する色相が記録してある食器データベースに従い、前記食器を抽出するステップ、前記食器ごとに前記食物の色相を検知し、該色相ごとの画素数を計測することにより、予め前記食材ごとに対応する色相が記録してある食材データベースに従い、該食材ごとの量を計測するステップを順に行い、食前の食膳の画像から計測した食材ごとの量と、食後の食膳の画像から計測した食材ごとの量を比較することにより、食事摂取量を計測することを特徴とする自動食事摂取量計測方法に関する。

請求項８に係る発明は、前記食事摂取量に基づき、該食事摂取量に対応した栄養素の摂取量を計測することを特徴とする請求項７記載の自動食事摂取量計測方法に関する。

請求項１に係る発明によれば、処理装置が、前記画像中の前記食器の色相を検知し、予め前記食器ごとに対応する色相が記録してある食器データベースに従い、前記食器を抽出するための食器抽出手段を有することにより、食器を正確に抽出することができる。また、食器上の食物の色相を検知し、色相ごとの画素数を計測することにより、予め食材ごとに対応する色相が記録してあるデータベースに従い、食材ごとの量を計測するための食物抽出手段を有することにより、食器の形状や食材の食器内での位置によらずに食材を認識し、抽出することができる。
加えて、食前の食膳の画像から食物抽出手段により抽出された食材ごとの量と、食後の食膳の画像から食物抽出手段により抽出された食材ごとの量を比較することにより、食事摂取量を計測する食事摂取量計測手段を有することにより、自動的に食事摂取量を計測するので、簡単に食事摂取量を計測することができる。また、食器の形状や食材の食器内での位置によらずに食材を認識し、抽出することができるため、より正確に食事摂取量を計測することができる。

請求項２に係る発明によれば、食器抽出手段が、食器について、互いに直角な二方向の長さにおいて、夫々最大値を検知し、食器の形状を楕円として検知することにより、縦長の形状の食器等も好適に検知でき、食器の形状を高精度に特定することができる。

請求項９に係る発明によれば、撮像装置が、食膳を多方向から撮影することにより、三次元的に食膳を撮影することができ、より正確に摂取量の計測を行うことができる。

請求項４に係る発明によれば、撮像装置が、撮影時に食膳を照射するための光源を有し、該光源が無反射光源であり、間接光として食膳を照射することにより、撮影時の光量を一様にすることができ、食器や食物の抽出の精度を向上させることができる。

請求項５に係る発明によれば、食器の深さ方向に、深さを認識するための目印が付してあることにより、食器の形状が不定形であっても、食物の摂取量を容易に算出することができる。

請求項６に係る発明によれば、食事摂取量計測手段により計測された食事摂取量に基づき、該食事摂取量に対応した栄養素の摂取量を計測することにより、食事管理を多面的に行うことができる。

請求項７に係る発明によれば、食前と食後について夫々、食膳を撮像し画像を得るステップ、画像中の食器の色相を検知し、予め前記食器ごとに対応する色相が記録してある食器データベースに従い食器を抽出するステップ、食物の色相を検知し、該色相ごとの画素数を計測することにより、予め食材ごとに対応する色相が記録してあるデータベースに従い、該食材ごとの量を計測するステップを順に行うことにより、食器の形状や食材の食器内での位置に無関係に食材を認識し、抽出することができる。
また、食前の画像から計測した食材ごとの量と、食後の食膳の画像から計測した食材ごとの量を比較することにより、食事摂取量を計測することで、自動的に食事摂取量を計測するので、簡単に食事摂取量を計測することができる。また、食器の形状や食材の食器内での位置によらずに食材を認識し、抽出することができるため、より正確に食事摂取量を計測することができる。

請求項８に係る発明によれば、食事摂取量に基づき、該食事摂取量に対応した栄養素の摂取量を計測することにより、食事管理を多面的に行うことができる。

以下に、本発明に係る自動食事摂取量計測システムについて説明する。

図１は本発明の実施例に係る自動食事摂取量計測システム１００を示す図であり、自動食事摂取量計測システム１００は、撮像装置２と処理装置３よりなる。そして、撮像装置２内に食前と食後の食膳Ａを収納し、撮影した画像を処理装置３で処理・比較することで、食事摂取量を計測するものである。また、図２は食膳Ａの一例を示す図であり、図３は、食器の深さを認識するための目印が付された食器の一例を示した図である。
なお、食膳とは、食器と食器上の食物からなるものをいい、食物とは、一以上の食材から構成されているもの（料理等）をいう。また、食材には、煮込む等して食材同士が一体となったもの（カレールー等）も含まれる。

撮像装置２は、前面を開放した筐体４を備え、筐体４内部に収納された食膳Ａを撮影するためのものである。

筐体４内には、食膳ＡがトレイTごと収納可能である。食膳Ａは通常、図２に示す如く、トレイTとこのトレイT上に載置される複数の種類の食器Ｂを備え、各食器Ｂには食物Ｃが収容もしくは載置されている。

また、天井４ａには、撮影用の撮像素子８が下向きに取り付けられており、撮像素子８としては、カラーの画像を得ることができるものが用いられる。また、図では撮像素子は一個しか設けられていないが、複数設けた方が好ましい。複数の撮像素子を設けることにより、食膳Ａを例えば、平面（食膳Ａを上から見た図）、側面、正面の三方向からのように、多方向から撮影し、例えば食器の深さ方向も認識することができ、三次元的に、より正確な計測を行うことができるからである。
また、筐体４内の天井４ａの下面の四隅には、光源６が設けられている。光源６は、撮影する際に筐体４内を照射するためのものである。
また、光源６は、筐体内部の仕切り板で隠すことで、直接トレイ内を照射しないようにする（間接光とする）ことが好ましく、加えて、無反射光源を使用することも好ましい。これにより、光量を一様に照射することができ、食器や食物の抽出の精度を向上させることができるからである。
また、この筐体４の前面開放部には蓋板５が開閉可能に配備されている。
なお、撮像素子８により撮影された画像は、処理装置３へ送信されるが、当該送信はＵＳＢポートで接続して行えばよい。

処理装置３は、撮像装置２内の撮像素子８により撮影された画像を処理し、食事摂取量を計測するためのものである。具体的には、食前の画像と食後の画像を比較することにより食事摂取量を計測する。

処理装置３は、食器抽出手段１１、食物抽出手段１２、食事摂取量算出手段１３を有している。

食器抽出手段１１は、撮像装置２により撮影された画像から、食器を抽出するためのものである。
食器抽出手段１１には、予め、食器についてのデータ（色・形等）が記録してあるデータベースを有している。そして、撮影された画像について、濃度ヒストグラムを作成し、色相を検知し、抽出した色相をデータベースと対応させて、食器Ｂを特定する。
また、食器データベースに予め記憶させておく食器のデータとして、抽出対象となる食膳に実際に使われる食器を登録しておくことが好ましい。これにより、抽出対象となる食器を、実際に使用する食器のみに予め限定することができるため、食器Bの特定をより確実に行うことができる。

また、食器Bに対応する色相を検知した後、楕円方程式を用いて、食器の形状を近似することで食器を特定することもできる。
具体的には、食器Bに対応する色相を検知した後、画像に互いに直角となるｘ軸、ｙ軸を設け、各食器Ｂに対応する色相において、それぞれｘ軸における最大値、最小値、ｙ軸における最大値、最小値を求める。そして、求めた最大値、最小値から、各食器Ｂのｘ軸方向の最長長さ（最大値と最小値の間の長さ、つまりｘ軸方向における食器Ｂの最も長い部分の長さ）、ｙ軸方向の最長長さを求める。
ｘ軸方向、ｙ軸方向において、夫々最長長さを求めた後、食器Ｂの形状を楕円として検知する。
つまり、例えば、ｘ軸方向の最長長さをｘ１、ｙ軸方向の最長長さをｙ１とした場合、食器Ｂの形状を縦の長さｘ１、横の長さｙ１の楕円として近似して検知する。
従来は食器を円として認識していたため（例えば、上記特許文献１）、例えば、長方形の形の食器を用いた場合、短辺又は長辺を直径とする円の食器として誤認識する場合もあったが、直交する二辺の長さを食器形状のパラメータとし楕円として認識することにより、食器の形状を高精度に認識することができる。
また、従来は、食器のエッジ部分の色の変化が他の部分に比して大きいといった特徴を利用して、 エッジの形状を特定するエッジ抽出を行うという方法を用いて食器抽出を行っていたが、楕円方程式を用いた上記方法の場合、エッジ抽出よりも演算速度がアルゴリズム的に速くなり、迅速な処理を実現することもできる。

食物抽出手段１２は、食器Ｂ内の食物Ｃを抽出するためものである。
具体的には、食器Ｂごとに食物Ｃについて濃度ヒストグラムを作成し、色相を検知する。食物抽出手段１２には、予め、食材（食物を構成する材料）ごとに対応する色相が記録してある食材データベースを有し、その対応関係に従い、抽出した色相から、食材を特定する。そして、色相ごとの面積（画素数）を計測することにより、食材の量を計測する。

具体的には、Ｒ，Ｇ，Ｂ（赤・緑・青）の色の３原色毎の濃度ヒストグラムを作成し、色相ごとの対象を、目的の食材として食器Ｂから抽出することが挙げられる。
例えば、食器内にトマト（赤）とキャベツ（緑）が混在するとき、トマトを抽出する場合は、赤の色相で濃度ヒストグラムを作成する。そして、一定のしきい値以上のもののみをトマトとして抽出する。トマト以外のキャベツ及び食器は、赤の色相の濃度値がしきい値より低く、背景となるため、トマトのみを抽出することができる。同様に、キャベツを抽出する場合は、緑の濃度ヒストグラムを作成し、適当なしきい値により、キャベツのみを抽出する。このとき、トマト及び食器は背景となるため、抽出されない。
これにより、ある特定の色相の面積を計測することにより、対応する食材の量を計測することができる。
なお、上記例では、トマトを赤、キャベツを緑としたが、３原色が混合した色を有する食材の場合、３原色夫々について、しきい値を設定し、３原色すべてがしきい値以上の値を示す部分を特定の食材として検知すればよい。

また、色相ごとの画素数を計測することより、食器の位置、ならびに、食材の食器内での位置に無関係に食材を認識し、抽出することができる。
また、画素単位で食器内の食材の量を計測するので、例えば、食前はきれいに盛り付けられていた食材が、食後には、食器内で位置を変えていたり、食器内で散在していたりした場合でも、食材ごとに適切に抽出することができる。

また、食器Ｂとして、一定の高さを有するものを用いる場合、食器Ｂに目印Ｂ１を設けることが好ましい（図３参照）。目印Ｂ１は、食器の深さ方向の位置を認識するためのものである。これにより、撮像素子で撮影した画像から食器の目印と食材の喫水との位置関係で摂取量を計測することも可能となる。特に、目印と食事量の対応は予め食器の形状毎に対応を計算することができるので、食器が円柱状あるいは円錐状さらには不定形であっても減少量の計算が可能となる。なお、この場合、撮像素子を複数設けて、目印Ｂ１部分を計測することができるようにすることが好ましい。具体的には、撮像素子により、食膳の平面（上方向から見た図）、正面、側面の三方向を撮影する等が挙げられる。
また、目印Ｂ１の設け方としては、食器の内側をカラーマーカーで同心円状に色分けしたり、明確な形状の目盛を印画したりすることが挙げられる。

なお、食材データベースに予め記憶させておく食材のデータも、食器データベースに記憶させておく食器のデータと同様に、実際に計測する食物及び食材等を登録しておくことが好ましい。これにより、食材Bの特定をより確実に行うことができる。

食事摂取量算出手段１３は、食前と食後の画像において、食物抽出手段１２により抽出された食材の量（画素数）を比較することで、食材摂取量を計測するためのものである。
具体的には、同一の色相について、食前と食後の画素数の減少を計測する。画素数の減少は、計測した色相に対応する食材の減少を示すため、画素数の減少が、食材の摂取量となる。
また、食材ごとの栄養素を記憶させておくこともできる。それにより、食材ごとの摂取量から、食材ごとの栄養素の摂取量を算出し、栄養素ごとの全体の摂取量を計測することもできる。栄養素としては、たんぱく質、脂質、炭水化物、各種ビタミン、コレステロール、食物繊維等が挙げられ、また、カロリー等も含まれる。

次いで、自動食事摂取量計測システムの処理手順について、説明する。

自動食事摂取量計測システムを用いて食事摂取量を計測する場合、前処理として、食器データベースに、抽出対象となる食器を、食材データベースに抽出対象となる食物及び食材を予め登録しておく。なお、データベースに登録されていない食器及び食材は、抽出されずに、排除される。
このとき、計測する食事（食膳Ａ）に実際に使われた食器及び食材（又はメニュー）を登録しておくことが好ましい。これにより、食器B及び食材Cをより確実に特定することができる。
また、各人ごとに食膳が異なる場合は、各人ごとの食膳のデータを登録すればよい。これにより、各人ごとの食事管理を行うことができる。また、各人ごとに食事管理を行う場合、身長・体重・病状・体調等を含む各人の個人データとあわせて管理することにより、各人ごとの管理が容易となる。

次いで、実際の自動食事摂取量計測システムの処理手順について説明する。
図４（ａ）は、処理装置３の食前における処理手順を示すフローチャートであり、図４（ｂ）は、処理装置３の食後の処理手順を示すフローチャートである。

食前の処理としては、図４（ａ）に示す如く、まず、撮像装置２内の複数の撮像素子８により食前の食膳Ａが撮影され、撮影された画像が処理装置３に送信される（ステップａ１）。そして、当該画像から食器Bだけが抽出される（ステップａ２）。続いて、夫々の食器Bごとに、食器Ｂ上の食物Cが夫々抽出され、各食物Cの食材ごとの面積（画素数）が算出される（ステップａ３）。ステップａ３終了後、撮像装置２内より食膳を取出し、食事を行う。

食事終了後（食後）、図２（ｂ）に示す如く、食後の食膳Ａを撮像装置２内に収納することにより、撮像素子８によって食膳Ａが撮影され、撮影された画像が処理装置３に送信される（ステップｂ１）。そして、当該画像から食器Bだけが抽出される（ステップｂ２）。さらに、各食器上に残っている食物Cが夫々抽出され、食物Cの食材ごとの面積（食後の残量の面積（画素数））が算出される（ステップｂ３）。ここまでのステップｂ１〜ｂ３までは、上記のステップａ１〜ａ３と共通する。最後に、食前の食物Cの食材の面積（画素数）と食後に残っている食物Ｃの食材の面積（画素数）とが比較され、両者の面積（画素数）の差から、食事の摂取量が算出される（ステップｂ４）。

以下、ステップａ１〜ａ３及びステップｂ１〜ｂ４について、夫々説明する。

（ステップａ１）
ステップａ１では、撮像装置２内の複数の撮像素子８により食事前の食膳Ａを撮影するステップである。
撮像素子８により撮影された画像は、カラー画像であり、処理装置３に送られる。この画像と、食後に撮影した食膳の画像を比較することにより、食事摂取量を計測する。

（ステップａ２）
ステップａ２では、処理装置３の食器抽出手段１１により行われ、撮像装置２により撮影された画像から食器を抽出するステップである。

食器の抽出は、撮影された画像について濃度ヒストグラムを作成し、色相を検知し、予め登録している食器についてのデータ（色・形等）と対応させて食器Ｂを特定することにより行う。
また、食器の形状は楕円方程式を用いて近似することもできる。具体的には、画像面に互いに直角となるｘ軸、ｙ軸を設け、各食器Ｂのｘ軸方向の最長長さ、ｙ軸方向の最長長さを求める。そして、ｘ軸方向の最長長さ、ｙ軸方向の最長長さに基づいて、食器Ｂの形状を楕円として検知する。
つまり、例えば、ｘ軸方向の最長長さをｘ１、ｙ軸方向の最長長さをｙ１とした場合、食器Ｂの形状を縦の長さｘ１、横の長さｙ１の楕円として近似して検知する。

（ステップａ３）
食器抽出後、食物抽出手段１２により、食器Ｂごとに食器Ｂ上の食物Ｃを抽出する。より詳しくいうと、食物Ｃについて濃度ヒストグラムを作成し、色相ごとに抽出し、抽出した色相をもとに、食材を特定する。
例えば、トマトを抽出する場合、予めトマトに対応する色相の範囲を定めておき、トマトに対応する色相が表示されているところに、実際にトマトが存在すると認識する。

上記手法では、画像の画素単位で食器ならびに食材の抽出を行っている。そのため、食器の位置、ならびに、食材の食器内での位置に無関係に食材を認識し、抽出することができる。

また、一定の高さを有する食器Ｂを用いる場合には、食器Ｂに目印Ｂ１を設けることができる（図３参照）。この目印Ｂ１は、食器の深さ方向の位置を認識するためのものである。
これにより、撮像素子で撮影した画像から目印Ｂ１と食材の喫水との位置関係で摂取量を計測することも可能となる。特に、目印Ｂ１と食事量の対応は予め食器の形状毎に対応を計算することができるので、食器が円柱状あるいは円錐状さらには不定形であっても減少量の計算が可能となる。
なお、ステップａ３により抽出されたデータは、後のステップに利用されるため保存しておく。

ステップａ３終了後、患者は撮像装置２の筐体４内から、食膳を取出し、食事を行う。
食事終了後、食べ終わった食膳を撮像装置２の筐体４内に戻す。そして、食前と同様に、食膳Ａが撮影されて、処理装置により食物の面積が求められる（ステップｂ１〜ｂ３）。なお、ステップｂ１〜ｂ３は、食前のステップａ１〜ａ３までと同様の処理動作であるため、詳しい説明は省略するが、ステップｂ３において、ステップａ３と同様に、食物を抽出する際、画素単位で食器内の食材の量を計測するので、例えば、食前と食後の食材の位置が食器内で大きく変化していたとしても、食材ごとに適切に抽出することができる。

（ステップｂ４）
食後の食膳について、食材ごとに面積を求めた後（ステップｂ３の後）、食事摂取量算出手段１３により、食材ごとに食前の食材の面積（画素数）と、食後の食材の面積（画素数）を比較し、食事摂取量を計測する。具体的には、食材ごとに食前の面積から食後の面積を引いて、食事摂取量を計測する。
また、食事摂取量から摂取カロリーを計測することもできる。摂取カロリーを求めることにより、患者の健康管理をより的確に行うことができる。

（試験例）
以下、本発明の自動食事摂取量計測システムに係る試験例を示すことで、本発明の効果をより明確なものとする。

（試験例１）
まず、食材及び食器の抽出処理について検証する。
本検証は、本発明に係る自動食事摂取量計測システム（以下、試験システムと称す）と、従来の食事摂取量計測システム（以下、比較システムと称す）を比較することにより行った。
試験システムとは、対象（食器及び食材）の抽出において、Ｒ、Ｇ、Ｂ（赤・緑・青）の色相ごとの濃度ヒストグラムを作成し、色相ごとに適当なしきい値で背景と対象に二値化し、対象を背景からエッジ抽出により抽出するシステムである。
一方、比較システムとは、対象（食材及び食器）の抽出において、市販の画像処理ライブラリを使用したシステムであり、具体的には、Ｒ、Ｇ、Ｂ（赤・緑・青）の色相の濃度値を加算平均（Ｒ、Ｇ、Ｂの色相の濃度値を夫々１／３にし、加算）してモノトーン画像とし、適当なしきい値で背景と対象を二値化し、対象を背景からエッジ抽出により抽出するシステムである。

上記試験システム及び比較システムを用い、食器に食材を載置し、食器抽出及び食材抽出を行い、その結果を比較した。
また、試験例１において、食器をお椀と大皿の２種類、食材を１１種類用いて、試験を行った。
下記表１は、試験システムと比較システムにおいて、抽出テストを夫々について合計３３０回行ったときの抽出成功率を示した表である。なお、抽出成功率（％）は（抽出成功回数／全抽出回数）×１００で計算した。また、図５は、図５（ａ）の撮像装置で撮影した画像（原画像）に対して、抽出に成功したときの処理画像（図５（ｂ））と、抽出に失敗したときの処理画像（図５（ｃ））を示している。

表１で示す如く、試験システムを用いた場合は比較システムを用いた場合に比して、高い確率で食材の抽出に成功していることがわかる。このように、試験システムが比較システムより抽出の成功率（抽出精度）が高い理由は、試験システムが、比較システムとは異なり、色相ごとの細かいエッジ抽出が可能であるという点に起因する。

（試験例２）
次いで、食材の抽出の際に、データベースに登録していない食材（未登録食材）が食器上に載置された場合についての処理について検証する。具体的には、未登録食材が抽出されない確率、換言すると、未登録食材を排除する排除率を比較する。

試験例２は、上記した試験システムと比較システムを用い、食器を１種類（大皿）、食材を６種類（豚カツ、レタス、ハム、コロッケ、キャベツ、トマト）用いて行った。そして、６種類の食材うち１つを登録食材とし、他の５つの食材（未登録食材）を食器上に載置し、夫々５回（計２５回）計測を行った。
下記表２は、試験システムと比較システムにおける夫々の排除率を示した表である。

表２に示す如く、比較システムを用いた場合は未登録食材の排除率がすべて０％であるのに対し、試験システムを用いた場合では、高い確率で未登録食材を排除することがわかる。未登録食材は、本来抽出されず、排除されるものであるため、排除率が高いほうが好ましい。排除率が高いことにより、登録したもののみ抽出することができ、食後の食膳に、食前の食膳にはない食材等が混入していたとしても、正確に食事の摂取量（減少量）を計測することができるからである。

本発明に係る食事摂取量計測システム及び食事摂取量計測方法は、病院や老人ホーム等の食事管理に好適に利用可能である。

本発明の実施例に係る食事摂取量計測システムを示す図である。 食膳の一例を示す図である。 食器の一例を示す図である。 （ａ）は、処理装置の食前における処理手順を示すフローチャートであり、（ｂ）は、処理装置の食後の処理手順を示すフローチャートである。 （ａ）が撮像装置で撮影した画像、（ｂ）が食材の抽出に成功したときの画像、（ｃ）が抽出に失敗したときの画像を示す。

符号の説明

Ａ 食膳
Ｂ 食器
Ｂ１ 目印
Ｃ 食材
２ 撮像装置
３ 処理装置
６ 光源
８ 撮像素子
１１ 食器抽出手段
１２ 食物抽出手段
１３ 食事摂取量計測手段

Claims (8)

1. 食器と、食器上に存在する一以上の食材から構成される食物からなる食膳について、食前状態と食後状態の画像を比較して食事摂取量を計測するための自動食事摂取量計測システムであって、
   前記食膳を撮影するための撮像装置と、該撮像装置により撮影された画像から食事摂取量を計測するための処理装置を有し、
   前記処理装置が、
   前記画像中の前記食器の色相を検知し、予め前記食器ごとに対応する色相が記録してある食器データベースに従い、前記食器を抽出するための食器抽出手段と、
   前記食器ごとに前記食物の色相を検知し、該色相ごとの画素数を計測することにより、予め前記食材ごとに対応する色相が記録してある食材データベースに従い、該食材ごとの量を計測するための食物抽出手段と、
   食前の食膳の画像から前記食物抽出手段により抽出された食材ごとの量と、食後の食膳の画像から前記食物抽出手段により抽出された食材ごとの量を比較することにより、食事摂取量を計測する食事摂取量計測手段
   を有することを特徴とする自動食事摂取量計測システム。
2. 前記食器抽出手段が、前記食器について、互いに直角な二方向の長さにおいて、夫々最大値を検知し、前記食器の形状を楕円として検知することを特徴とする請求項１記載の自動食事摂取量計測システム。
3. 前記撮像装置が、前記食膳を多方向から撮影することを特徴とする請求項１又は２記載の自動食事量計測システム。
4. 前記撮像装置が、撮影時に前記食膳を照射するための光源を有し、該光源が無反射光源であり、間接光として食膳を照射することを特徴とする請求項１乃至３いずれか記載の自動食事摂取量計測システム。
5. 前記食器の深さ方向に、深さを認識するための目印が付してあることを特徴とする請求項１乃至４いずれか記載の自動食事摂取量計測システム。
6. 前記食事摂取量計測手段により計測された食事摂取量に基づき、該食事摂取量に対応した栄養素の摂取量を計測することを特徴とする請求項１乃至５いずれか記載の自動食事摂取量計測システム。
7. 食器と、食器上に存在する一以上の食材から構成される食物からなる食膳について、食前状態と食後状態の画像を撮影し、該画像を比較して食事摂取量を計測する自動食事摂取量計測方法であって、
   食前と食後について夫々、
   前記食膳を撮像し画像を得るステップ、
   前記画像中の前記食器の色相を検知し、予め前記食器ごとに対応する色相が記録してある食器データベースに従い、前記食器を抽出するステップ、
   前記食器ごとに前記食物の色相を検知し、該色相ごとの画素数を計測することにより、予め前記食材ごとに対応する色相が記録してある食材データベースに従い、該食材ごとの量を計測するステップ
   を順に行い、
   食前の食膳の画像から計測した食材ごとの量と、食後の食膳の画像から計測した食材ごとの量を比較することにより、食事摂取量を計測することを特徴とする自動食事摂取量計測方法。
8. 前記食事摂取量に基づき、該食事摂取量に対応した栄養素の摂取量を計測することを特徴とする請求項７記載の自動食事摂取量計測方法。

Images