JP2006201893A - 栄養素算出方法およびそのシステム - Google Patents

Abstract

【課題】食事により摂取した栄養素およびその量を食事内容の映像データから自動的に算定して、日常の栄養摂取情報として時系列的にデータベースに蓄積し、その情報をシステム利用者が日常の健康管理・増進に活かすことができる栄養素算出方法およびそのシステムを提供することである。
【解決手段】本発明に係る栄養素算出方法およびそのシステムは、基準物体を含む食事内容の映像データからまずテンプレートマッチングにより食器を抽出し、さらに食器内の食事内容映像データのテクスチャ特徴を計測することにより自動的に料理名や食品名を推定し、推定した料理名や食品名から摂取した栄養素およびその量を算定することを特徴としている。
【選択図】 図１

Description

本発明は、食事摂取情報をもとに個人が健康管理・増進を行う上で必要な栄養素摂取情報を自動的に取得する方法とそのシステムに関する。

食事は個人の健康管理・増進において最も基本的で重要な因子であるにもかかわらず、病院などの施設を除き日常の食生活で適切に栄養管理される場面は意外と少ない。その理由として、昨今の食事メニューが多彩になり健康を維持・増進するために必要な栄養素がどの程度含まれているのか判断しにくくなっていることが挙げられよう。

そこで、最近個人の日常の栄養管理を支援するシステムが提案されている。例えば、非特許文献１および非特許文献2には、食事の内容を専用の携帯端末のカメラで撮影しその映像データをインターネット経由でサービスサイトに送信すると、栄養士が含まれている栄養素を判断し、足りない栄養素などの情報をシステムの利用者に返すサービスが開示されている。

深見正恵、中尾美穂、清水純子、丸山長子、布井清秀「画像による栄養計算システムウェルナビを利用した栄養調査の1考察」 糖尿病、第46巻第2号、p.168、2003 酒井陽子、樋口則子、大部正代、横川泰、赤司朋之「カメラ付携帯情報端末を用いた食事量の画像分析の試み」 糖尿病、第46巻第2号、p.168、2003

しかし、健康管理・増進のためには栄養素の摂取情報は生活習慣としてある期間にわたり時系列的に蓄積する必要があり、システムの利用者が増えてくると人手での分析には限界がでてくる。

従って本発明の課題は、食事により摂取した栄養素およびその量を食事内容映像データから自動的に算定して、日常の栄養摂取情報として時系列的にデータベースに蓄積し、その情報をシステム利用者が日常の健康管理・増進に活かすことができる栄養素算出方法およびそのシステムを提供することである。

前記の課題を解決するためになされた本発明に係る栄養素算出方法およびそのシステムは、基準物体を含む食事内容の映像データからまずテンプレートマッチングにより食器を抽出し、さらに食器内の食事内容映像データのテクスチャ特徴を計測することにより自動的に料理名や食品名を推定し、推定した料理名や食品名から摂取した栄養素およびその量を算定することを特徴としている。

日常の食事内容の映像データは、家庭において撮影手段を具備した携帯電話などの携帯端末を用いて撮影し、インターネット経由で栄養素算出システムが稼動している栄養素算出サーバに送信できるので、システムの利用者は日常の栄養摂取情報を簡便に入手することができ、自分自身の日常の健康管理・増進に活かすことができる。

図１に、本発明に係る栄養素算出方法およびそのシステムにおいて栄養素およびその量を取得するための処理の流れを示す。システム利用者は撮影機能を具備した携帯電話など携帯端末により食事内容を撮影し、インターネット経由で映像データとして栄養素量算出サーバに送信する。ここで食事内容を撮影するときは、１つ以上の既知の大きさ、色彩、形を持った基準物体を同時に撮影する（図２参照）。これらの基準物体の映像は、送信された映像データをもとに栄養素算出サーバにおいて画像処理プログラムにより栄養素およびその量を推定するときの基準となる。システム利用者が携帯電話など携帯端末のカメラで食事内容を撮影するときは被写体までの距離、角度、光量などが一定でなく、基準物体がないと栄養素およびその量の推定は難しい。映像データから基準物体上に置かれている食器をテンプレートマッチングにより抽出する。食器のテンプレートは、あらかじめ円形や長方形の食器を中心に数十種類を用意し、映像データとテンプレートとの一致率の高いものを食器として抽出する。

次に、テンプレートマッチングによって抽出された食器を基準として食器内の食事内容データにおけるテクスチャ特徴を抽出する。テクスチャ特徴として濃度ヒストグラム、ランレングス行列、同時生起行列から計測される２０種類のテクスチャ特徴を赤、緑、青の３原色の色彩それぞれについて計測する。これにより、食器内の食事内容データから計６０種類のテクスチャ特徴量を計測する。以下にこれらのテクスチャ特徴につき具体的に説明する。

（１） 濃度ヒストグラム：
抽出された食事内容の画像に対して、濃度ヒストグラムH(l)（濃淡レベル数がLのとき、l=0, 1, 2, …, L-1）求め、頻度の総数で各濃度レベルの頻度を割って、総画素数が1となるように正規化する。正規化された濃度ヒストグラムをP(l)とし、P(l)から数1に示されるような5種類のスカラー量をテクスチャ特徴とする。

（2）ランレングス行列：
ある方向（θ）に連続して並ぶ同一の濃淡レベルの画素列をラン、その長さをランレングスといい、θ方向に関して各濃度レベルl（l=0, 1, 2, …, L-1）のランレングスr（r=1, 2, …, R）の出現頻度P_θ(l, r)を抽出された食事内容の画像について求め、スカラー量として数2に示される5種類を計測する。

（3）同時生起行列：
ある画素iから変位δだけ相対的に離れた画素jについて、それらの画素対の濃淡レベルがそれぞれL_i、L_jである確率P_δ(L_i,
L_j)を同時生起行列といい、同時生起行列から計算されるスカラー量として数3に示される10種類を計測する。

次に、食器内の食事内容映像データから計測された上記６０種類のテクスチャ特徴をニューラルネットワークの入力変数として使用し、ニューラルネットワークによる解析結果から料理名や食品名が推定される。即ち入力層におけるユニット数６０、出力層のユニット数５００（料理名や食品名を出力）とし、適宜隠れ層を設けたトポロジーのニューラルネットワークを構築して推定を行う。ニューラルネットワークは予め約５００種類の名前の判った料理や食品の映像データから計測された上記６０種類のテクスチャ特徴で学習され、重みづけが設定されている。ニューラルネットワークは、料理名や食品名の正解率がある値以上になるように学習されているものとする。

このようにして、料理名や食品名が推定されると、そこから食事により摂取した栄養素およびその量を算出するデータベースを参照することにより、最終的にシステム利用者が食事により摂取した栄養素およびその量が算出される。

摂取した栄養素およびその量の算出が行われると、自動的にデータベースに値が格納される。データベースに格納された栄養素およびその量は、いつでもシステム利用者がインターネット経由で携帯電話など携帯端末により参照することができる。

以下、本発明の実施例を示す。本実施例におけるシステム利用者の約１ヶ月間に亘る食事内容が携帯電話カメラにより撮影された映像として栄養素算出サーバに送信され、映像データが解析された。ここで、システム利用者から送信された食事内容の映像には、既知の大きさ、色彩、形をもった基準物体としてお盆が同時に撮影されている。この基準物体はシステムのサービスプロバイダーから事前にシステム利用者に配布されている。まず基準物体（お盆）上に置かれている食器をテンプレートマッチングにより抽出した。食器のテンプレートは円形や長方形を中心に数十種類用意されているが、基準物体が同時に撮影された映像データから食器の大きさを推定し、テンプレートの大きさを適時変化させることによりテンプレートマッチングの精度を向上させた。そして、大きさを変化させた各テンプレートとの一致率が８０％以上のものをそれぞれ食器として抽出した。

次に、抽出された食器内の食事内容映像データそれぞれについて、前記６０種類のテクスチャ特徴を計測した。以下、食事内容映像データが目玉焼きであった場合の具体的な計測方法と結果について述べる。まず、食事内容映像データを赤、緑、青の3原色に分類し、それぞれについてすでに説明した２０種類のテクスチャ特徴を計測した。例えば、食事内容映像データから赤色を抽出し、赤色ヒストグラムからテクスチャ特徴を計測した。MENは濃淡レベルの平均値を表わすが、目玉焼きは白身部分があり赤色の輝度値が高いためMENは高い値を示した。CNT1はヒストグラム分布が高い濃淡レベルに偏っていれば大きな値となるが、目玉焼きはヒストグラム分布が高い濃淡レベルに偏っているのでCNT1は高い値を示した。VAR1は平均値から離れた濃淡レベルの画素が多く存在すれば大きな値となるが、目玉焼きでは平均値から離れた赤色の画素は少ないのでVAR1は小さい値を示した。SKWは濃淡ヒスグラムの形が正規分布のような対称な形からどれだけ歪んでいるかを表わし、平均よりも小さい濃淡レベル側に長く尾を引くようなヒストグラムでは負の値を、また逆の場合は正の値となるが、目玉焼きでは平均よりも大きい濃淡レベル側に長く尾を引くようなヒストグラムとなるのでSKWは正の値となった。KRTは濃淡ヒストグラムの形が平均値付近にどれだけ集中しているかを表わすが、目玉焼きは平均値付近に赤色のヒストグラムが集中しているのでKRTは大きな値となった。これら濃度ヒストグラムの場合と同様に、ランレングス行列、同時生起行列からテクスチャ特徴を計測し、これを緑、青色の場合でも行い、計６０種類のテクスチャ特徴を計測した。

計測された前記６０種類のテクスチャ特徴を学習されたニューラルネットワークの入力変数として用い、料理名や食品名の推定を行った。ニューラルネットワークは約５００種類の名前の判っている料理名や食品名の映像データから計測されたそれぞれ６０種類のテクスチャ特徴で学習されている。ニューラルネットワークの学習条件は、学習係数０．０５、慣性定数０．８、最大学習回数１０万回、学習終了の目標誤差は１．０×１０^―３とした。使用したニューラルネットワークの大まかなフローチャートを図3に示す。まず、各結合係数ｗの値を乱数によって決定した。これは初期値を固定することによる局所最小値への落ち込みを回避するためである。その後、入力データパターンをネットワークに対して順方向に入力し出力値を得た。出力値と教師信号がある一定の値を下回っているもしくは、最大学習回数を超えたら学習を終了し、そうでない場合は勾配法によるｗの変更を行なった。その際、変更量が著しく小さい場合、局所最小値へ収束したとみなし、各中間層のうち、一番誤差の大きいものを不良として検出した。そして、不良として検出された中間層に結合している全てのｗの値をリセットすることでネットワークに外乱を与え、局所最小値からの脱出を行なった。しかし、局所的最小値ではなく大域的最小値に収束している可能性があるため、ｗのリセット前と後とのネットワークの誤差を比較し、リセット前の方が誤差が小さかった場合、ｗはリセットしないこととした。また、リセットを20回繰り返しても変更が行われない場合、大域的最小値に収束したとみなすことにした。

このようにしてニューラルネットワーク解析により料理名や食品名を推定し、そこから栄養素およびその量を算出するデータベースを参照することにより、最終的にシステム利用者が約１ヶ月間の食事により摂取した栄養素およびその量を算出した。

算出された栄養素から鉄分が不足していることが判明したので、システム利用者は健康増進を図るため鉄分を多く含む食品の摂取を開始した。開始後、再び約１ヶ月間にわたり携帯電話カメラにより撮影した食事内容が映像として栄養素量算出サーバに送信され、再度映像データが解析された。その結果、システム利用者の鉄分の摂取不足も解消され、バランスの取れた食事内容となっていることが確認され、これにより食生活改善による健康増進実施の効果が確認された。

本発明の栄養素算出方法およびそのシステムの概念を示す図である。 本発明の栄養素算出方法およびそのシステムにおいてシステム利用者の食事内容の映像データを取得する方法を示す図である。 本発明の栄養素算出方法およびそのシステムにおいて食事内容の映像データを解析するためのニューラルネットワークのフローチャートを示す図である。

符号の説明

１ 利用者携帯電端末
２ 栄養素算出サーバ
３ データベース
４ 基準物体
５ 食事内容
６ ニューラルネットワーク

Claims (6)

1. 個人の食事内容の映像データから個人が摂取した栄養素およびその量を算出する方法であって、該映像データから１つ以上の基準物体上に置かれている食器をテンプレートマッチングにより抽出し、該抽出された食器を基準として食事内容のテクスチャ特徴を抽出することを特徴とする栄養素算出方法およびそのシステム。
2. 前記食事内容のテクスチャ特徴は、前記映像データをもとに生成される濃度ヒストグラム、ランレングス行列、および同時生起行列から計測されるテクスチャ特徴であることを特徴とする請求項１に記載の栄養素算出方法およびそのシステム。
3. 前記濃度ヒストグラム、ランレングス行列、および同時生起行列から計測されるテクスチャ特徴は、赤、緑、青の３原色の色彩それぞれについて計測されるテクスチャ特徴であることを特徴とする請求項１および請求項２に記載の栄養素算出方法およびそのシステム。
4. 前記のテクスチャ特徴をニューラルネットワークの入力変数として使用し、ニューラルネットワークによる解析結果から料理名や食品名を推定することを特徴とする請求項１から請求項３に記載の栄養素算出方法およびそのシステム。
5. 前記食事内容の映像データは、撮影手段を具備した携帯電話などの携帯端末により撮影することにより取得され、インターネット経由で栄養素量算出サーバに送信され、該栄養素量算出サーバにて栄養素およびその量を算出することを特徴とする請求項１から請求項４に記載の栄養素算出方法およびそのシステム。
6. 前記栄養素算出サーバで算出された栄養素およびその量は、食事内容を送信した個人の栄養摂取情報としてデータベースに格納され、インターネット経由で食事内容の映像データを送信した個人の携帯電話など携帯端末で参照できることを特徴とする請求項１から請求項５に記載の栄養素算出方法およびそのシステム。

Images