JP2011221637A - 情報処理装置、情報出力方法及びプログラム - Google Patents

Abstract

【課題】食事の場所又は食品の購入場所の制約を受けることなく、食事に関するアドバイスを自動的にユーザに提供すること。
【解決手段】食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータを記憶している記憶部と、ユーザによる食事の内容を撮像した入力画像を取得する入力画像取得部と、前記入力画像を解析することにより、前記食事のエネルギー及び前記食事に含まれる１つ以上の栄養素の分量を導出する画像解析部と、ユーザの運動の量を算出する運動量算出部と、前記画像解析部による解析の結果及び前記運動量算出部による算出の結果を含む生活データを生成するデータ生成部と、前記モデルデータと前記生活データとの比較に基づいて、前記ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力する情報出力部と、を備える情報処理装置を提供する。
【選択図】図３

Description

本発明は、情報処理装置、情報出力方法及びプログラムに関する。

健康の維持若しくは増進、生活習慣病の予防、又は美容の向上などのために、食生活の適切なバランスを保つことは重要である。日本の厚生労働省及び農林水産省は、共同で「食事バランスガイド」を策定し、２００５年にこれを公表している。また、世界保健機関（ＷＨＯ）及び国連食糧農業機関（ＦＡＯ）は、２００３年に「食事、栄養と生活習慣病の予防」（Diet, Nutrition and the Prevention of Chronic Diseases）を報告している。「食事、栄養と生活習慣病の予防」においては、炭水化物、たんぱく質及び脂肪などの栄養素についての目標摂取量の範囲が、総エネルギー摂取量に対する割合として示されている。

しかし、一般の生活者が、日常の食事の内容から摂取したエネルギー及び栄養素の分量を正確に認識し、自らの食生活が適正か否かを判断することは容易でない。そこで、下記特許文献１は、個人の食生活の改善を支援するために、食事の内容を撮像した映像をセンタサーバにおいて蓄積し、当該映像を見たアドバイザから食生活の改善に関するアドバイスを提供することのできるシステムを提案している。また、下記特許文献２は、店舗又はレストランなどにおいてユーザが購入した食品についてのカロリー値などを含む食品データを取得し、当該食品データとユーザに関する生体情報とに応じて決定される食事のメニューをユーザに推奨する健康管理サービスのためのシステムを提案している。

特開２００３−８５２８９号公報 特開２００３−２９０１５５号公報

しかしながら、上記特許文献１に記載された手法では、食生活についてのアドバイスがアドバイザによる映像の目視に依存しているため、アドバイザが存在しない場合には、ユーザはアドバイスを受けることができない。また、上記特許文献２に記載された手法では、食品データを有する特定の店舗又はレストランでユーザが食品を購入した場合でなければ、推奨される食事のメニューに関する適切な情報は、ユーザに提供されない。

そこで、本発明は、食事の場所又は食品の購入場所の制約を受けることなく、食事に関するアドバイスを自動的にユーザに提供することのできる、新規かつ改良された情報処理装置、情報出力方法及びプログラムを提供しようとするものである。

本発明のある実施形態によれば、食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータを記憶している記憶部と、ユーザによる食事の内容を撮像した入力画像を取得する入力画像取得部と、上記入力画像を解析することにより、上記食事のエネルギー及び上記食事に含まれる１つ以上の栄養素の分量を導出する画像解析部と、ユーザの運動の量を算出する運動量算出部と、上記画像解析部による解析の結果及び上記運動量算出部による算出の結果を含む生活データを生成するデータ生成部と、上記モデルデータと上記生活データとの比較に基づいて、上記ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力する情報出力部と、を備える情報処理装置が提供される。

かかる構成によれば、食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータと、食事の内容を撮像した入力画像の解析結果及びユーザによる運動の量を含む生活データとの比較に基づいて、例えば食生活に関するアドバイスを表す情報がユーザに提供され得る。

また、上記画像解析部は、上記入力画像に映る上記食事のメニューを推定するためのメニュー別スコアを算出するスコア算出部と、上記メニュー別スコアに基づいて上記食事のメニューを推定するメニュー推定部と、上記メニュー推定部により推定されたメニューに対応するエネルギー及び１つ以上の栄養素の分量の値を決定する決定部と、を含んでもよい。

また、上記情報処理装置は、ユーザの位置を表す位置データを取得するデータ取得部、をさらに備え、上記メニュー推定部は、上記位置データにより表される位置と関連付けられているメニューリストを取得し、取得した上記メニューリストと上記メニュー別スコアとに基づいて、上記食事のメニューを推定してもよい。

また、上記情報処理装置は、上記食事に照射される赤外線を用いて検出される上記食事のエネルギー及び上記食事に含まれる１つ以上の栄養素の分量を表す赤外線検出データを取得するデータ取得部、をさらに備え、上記決定部は、上記データ取得部により取得される上記赤外線検出データをさらに用いて、上記メニュー推定部により推定されたメニューに対応するエネルギー及び１つ以上の栄養素の分量の値を決定してもよい。

また、上記記憶部は、複数のタイプのモデルデータを記憶しており、上記情報出力部は、上記複数のタイプのモデルデータのうちユーザにより指定された１つのモデルデータと上記生活データとを比較してもよい。

また、上記複数のタイプのモデルデータのうち少なくとも１つのモデルデータは、上記ユーザについての過去の生活データから生成されるデータであってもよい。

また、上記情報出力部は、上記モデルデータと上記生活データとの比較に基づいて、いずれかの栄養素がユーザにとって不足していると判断される場合には、不足している栄養素、又は当該栄養素を含む食品若しくは食事のメニューをユーザに出力してもよい。

また、上記情報出力部は、上記モデルデータと上記生活データとの比較に基づいて、エネルギーの消費量が不足していると判断される場合には、ユーザに運動を推奨してもよい。

また、上記情報出力部は、上記モデルデータと上記生活データとの比較に基づいて、上記ユーザに推奨すべき栄養素、食品又は運動に関する広告を出力してもよい。

また、本発明の別の実施形態によれば、食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータを記憶している記憶媒体を備える情報処理装置を用いて情報を出力するための情報出力方法であって、ユーザによる食事の内容を撮像した入力画像を取得するステップと、上記入力画像を解析することにより、上記食事のエネルギー及び上記食事に含まれる１つ以上の栄養素の分量を導出するステップと、上記ユーザの運動の量を算出するステップと、上記入力画像についての解析の結果及び上記ユーザの運動の量についての算出の結果を含む生活データを生成するステップと、上記モデルデータと上記生活データとの比較に基づいて、上記ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力するステップと、を含む情報出力方法が提供される。

また、本発明の別の実施形態によれば、食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータを記憶している記憶媒体を備える情報処理装置を制御するコンピュータを、ユーザによる食事の内容を撮像した入力画像を取得する入力画像取得部と、上記入力画像を解析することにより、上記食事のエネルギー及び上記食事に含まれる１つ以上の栄養素の分量を導出する画像解析部と、ユーザの運動の量を算出する運動量算出部と、上記画像解析部による解析の結果及び上記運動量算出部による算出の結果を含む生活データを生成するデータ生成部と、上記モデルデータと上記生活データとの比較に基づいて、上記ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力する情報出力部と、として機能させるための、プログラムが提供される。

以上説明したように、本発明に係る情報処理装置、情報出力方法及びプログラムによれば、食事の場所又は食品の購入場所の制約を受けることなく、食事に関するアドバイスを自動的にユーザに提供することができる。

一実施形態に係る情報処理システムの概要を示す模式図である。 第１の実施形態に係る端末装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 入力画像の第１の例について説明するための説明図である。 入力画像の第２の例について説明するための説明図である。 入力画像の第３の例について説明するための説明図である。 第１の実施形態に係る画像解析部の詳細な構成の一例を示すブロック図である。 第１の実施形態に係るスコア算出処理について説明するための説明図である。 第１の実施形態に係る摂取データ決定処理について説明するための説明図である。 第１の実施形態に係る運動量算出処理について説明するための説明図である。 第１の実施形態に係る生活データ生成処理について説明するための説明図である。 第１の実施形態に係るモデルデータについて説明するための説明図である。 出力情報の第１の例について説明するための説明図である。 出力情報の第２の例について説明するための説明図である。 出力情報の第３の例について説明するための説明図である。 第１の実施形態に係る情報出力処理の流れの一例を示すフローチャートである。 第１の実施形態に係る画像解析処理の流れの一例を示すフローチャートである。 第２の実施形態に係る端末装置の構成の一例を示すブロック図である。 第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第２の実施形態に係る画像解析部の詳細な構成の一例を示すブロック図である。 第２の実施形態に係るメニュー推定処理について説明するための説明図である。 第２の実施形態に係る摂取データ決定処理について説明するための説明図である。 第２の実施形態に係る画像解析処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．システムの概要
２．第１の実施形態
２−１．端末装置の構成例
２−２．情報処理装置の構成例
２−３．処理の流れ
２−４．第１の実施形態のまとめ
３．第２の実施形態
３−１．端末装置の構成例
３−２．情報処理装置の構成例
３−３．処理の流れ
３−４．第２の実施形態のまとめ

＜１．システムの概要＞
まず、図１を用いて、本発明の一実施形態に係るシステムの概要を説明する。図１は、本発明の一実施形態に係る情報処理システム１の概要を示す模式図である。図１を参照すると、情報処理システム１は、端末装置１００及び情報処理装置２００を含む。

端末装置１００は、典型的には、撮像機能、表示機能、及び情報処理装置２００との間で通信を行うための通信機能を有する携帯型の端末装置である。端末装置１００は、例えば、携帯電話端末、携帯情報端末、モバイルＰＣ（Personal Computer）、デジタルスチルカメラ、又はゲーム端末などであってよい。ユーザは、かかる端末装置１００を用いて日常の食事の内容を撮像する。そして、端末装置１００は、撮像された食事の画像を、情報処理装置２００へ送信する。

情報処理装置２００は、端末装置１００との間で通信を行うための通信機能を有する情報処理装置である。情報処理装置２００は、例えば、ＰＣ又はワークステーションなどの汎用的なコンピュータであってもよく、デジタル情報家電又はゲーム機器などのその他の種類の情報処理装置であってよい。情報処理装置２００は、端末装置１００から受信される入力画像を解析し、ユーザの食生活に関するデータを収集する。そして、情報処理装置２００は、収集したデータを用いて、ユーザにアドバイスすべき情報を生成し、生成した情報を端末１００へ送信する。

上述したような情報処理システム１の構成によれば、ユーザは、食事をする場所へ端末装置１００を携帯し、場所の制約を受けることなく、食事の内容を撮像した画像を情報処理装置２００へ供給することができる。さらに、本明細書において説明する２つの実施形態では、食事の内容を撮像した画像に加えて、端末装置１００に設けられるセンサを用いて計測される追加的なデータが、情報処理装置２００へ供給される。

＜２．第１の実施形態＞
［２−１．端末装置の構成例］
図２は、本発明の第１の実施形態に係る端末装置１００の構成の一例を示すブロック図である。図２を参照すると、端末装置１００は、撮像部１１０、センサ部１２０、通信部１３０、制御部１４０、記憶部１５０、入力部１６０及び表示部１７０を備える。

（撮像部）
撮像部１１０は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有する撮像モジュールとして実現され得る。撮像部１１０は、ユーザが日常の食事の内容を撮像するために使用される。上述したように、撮像部１１０により撮像される食事の内容についての画像は、端末装置１００から情報処理装置２００へ送信される。

（センサ部）
センサ部１２０は、例えば、ユーザの運動により生じる加速度を計測する加速度センサ、及びＧＰＳ（Global Positioning System）衛星からの信号を受信することによりユーザの位置を検出するＧＰＳセンサを含む。また、センサ部１２０は、さらに追加的なセンサとして、ユーザの体調を認識するための体温計、脈拍計又は血圧計などの生体センサを含んでもよい。センサ部１２０は、加速度センサを用いて計測した加速度データ、ＧＰＳセンサを用いて検出した位置データ、及び生体センサを用いて計測した生体データを含むセンサデータを、制御部１４０へ出力する。かかるセンサデータは、端末装置１００から情報処理装置２００へ送信される。このうち、加速度データ及び位置データの少なくとも一方は、情報処理装置２００がユーザの運動の量を算出するために用いられる。

（通信部）
通信部１３０は、端末装置１００が情報処理装置２００との間で通信するための通信インタフェースとして実現され得る。通信部１３０は、無線通信インタフェースであってもよく、有線通信インタフェースであってもよい。通信部１３０は、例えば、撮像部１１０により撮像された画像を情報処理装置２００へ送信する。また、通信部１３０は、例えば、センサ部１２０により計測されたセンサデータを周期的に情報処理装置２００へ送信する。また、通信部１３０は、例えば、情報処理装置２００から送信される情報を受信し、制御部１４０へ出力する。

（制御部）
制御部１４０は、ＣＰＵ（Central Processing Unit）などの制御装置を用いて、端末装置１００の機能全般を制御する。例えば、制御部１４０は、入力部１６０において撮像を指示するユーザ入力が検出されると、撮像部１１０に画像の撮像を指示する。また、制御部１４０は、センサ部１２０により周期的に計測されるセンサデータを記憶部１５０に記憶させる。そして、制御部１４０は、撮像部１１０により撮像された食事の画像、及び記憶部１５０に記憶されているセンサデータを、通信部１３０を介して情報処理装置２００へ送信する。また、制御部１４０は、情報処理装置２００から送信された情報が通信部１３０により受信されると、当該情報を表示部１７０に表示させる。

（記憶部）
記憶部１５０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、端末装置１００が動作するためのプログラム及びデータを記憶する。例えば、端末装置１００から情報処理装置２００へ送信される食事の画像及びセンサデータは、記憶部１５０により蓄積された後、ユーザの指示に応じて、又は数時間に１回若しくは１日に１回などの周期で、情報処理装置２００へ送信されてもよい。

（入力部）
入力部１６０は、ユーザによる指示又は情報入力を受け付けるためのユーザインタフェースを提供する。入力部１６０により提供されるユーザインタフェースは、ユーザが撮像部１１０を操作するためのボタン又はスイッチなどを含む。例えば、入力部１６０は、端末装置１００に設けられるレリーズボタン（撮像開始を指示するためのボタン）が押下されると、撮像開始を指示する操作信号を制御部１４０へ出力する。

（表示部）
表示部１７０は、端末装置１００に設けられる画面上に情報を出力するための画面インタフェースを提供する。例えば、表示部１７０は、制御部１４０による制御のもと、通信部１３０が情報処理装置２００から受信した情報を画面上に表示する。表示部１７０により表示される情報には、後にさらに説明するように、情報処理装置２００において生成される、ユーザに推奨すべき栄養素、食品又は運動に関する情報が含まれる。

［２−２．情報処理装置の構成例］
図３は、本実施形態に係る情報処理装置２００の構成の一例を示すブロック図である。図３を参照すると、情報処理装置２００は、通信部２１０、入力画像取得部２２０、画像解析部２３０、データ取得部２４０、運動量算出部２５０、データ生成部２６０、記憶部２７０及び情報出力部２８０を備える。

（通信部）
通信部２１０は、情報処理装置２００が端末装置１００との間で通信するための通信インタフェースとして実現され得る。通信部２１０は、無線通信インタフェースであってもよく、有線通信インタフェースであってもよい。通信部２１０は、例えば、端末装置１００において撮像された食事の画像及びセンサデータを端末装置１００から受信する。また、通信部２１０は、例えば、情報出力部２８０から入力される情報を端末装置１００へ送信する。

（入力画像取得部）
入力画像取得部２２０は、通信部２１０により端末装置１００から受信される画像を入力画像として取得する。入力画像取得部２２０により取得される入力画像は、ユーザによる食事の内容を撮像した画像である。入力画像取得部２２０は、取得した入力画像を、画像解析部２３０へ出力する。

図４Ａ〜図４Ｃは、入力画像の一例について説明するための説明図である。図４Ａを参照すると、ユーザが端末装置１００を用いて撮像した一例としての入力画像ＩＭ０１が示されている。入力画像ＩＭ０１には、プレートＦ０１及びプレートＦ０２が映っている。プレートＦ０１は、野菜が添えられたステーキのプレートである。プレートＦ０２は、ライスのプレートである。このように、入力画像は、１度の食事の内容の全体を写した画像であってもよい。

一方、図４Ｂ及び図４Ｃを参照すると、ユーザが端末装置１００を用いて撮像した他の例としての入力画像ＩＭ１１及びＩＭ１２がそれぞれ示されている。入力画像ＩＭ１１には、プレートＦ０１が映っている。また、入力画像ＩＭ１２には、プレートＦ０２が映っている。このように、入力画像は、１度の食事に含まれる個々のメニューごとに撮像された画像であってもよい。典型的には、メニューごとに撮像される入力画像を用いる方が、後に説明する画像解析処理におけるメニューの推定の精度は高まるものと考えられる。

（画像解析部）
画像解析部２３０は、入力画像取得部２２０により取得される入力画像を解析することにより、入力画像に映る食事のエネルギー及び当該食事に含まれる１つ以上の栄養素の分量を導出する。図５は、本実施形態に係る画像解析部２３０の詳細な構成の一例を示すブロック図である。図５を参照すると、画像解析部２３０は、スコア算出部２３２、識別関数記憶部２３３、メニュー推定部２３４、知識データベース（ＤＢ）２３５、及び決定部２３６を含む。

（１）スコア算出部
スコア算出部２３２は、入力画像に映る食事のメニューを推定するためのメニュー別スコアを算出する。スコア算出部２３２によるスコア算出処理は、公知の教師あり学習（例えば、ＳＶＭ（Support Vector Machine）又はニューラルネットワークに基づく学習など）により事前に獲得された識別関数を用いた処理であってよい。この場合、メニューの種類が既知である食事の画像から食事のメニューを識別するための識別関数が、事前の学習処理により獲得される。そして、未知の入力画像が新たに入力されると、スコア算出部２３２は、事前に獲得された上記識別関数を、当該未知の入力画像に適用する。

図６は、スコア算出部２３２によるスコア算出処理の一例について説明するための説明図である。図６の左には、入力画像ＩＭ１１が示されている。スコア算出部２３２は、かかる入力画像ＩＭ１１に事前に獲得された識別関数を適用することにより、当該入力画像ＩＭ１１についてのメニューごとのスコアを算出する。ここで算出されるスコアは、入力画像ＩＭ１１が各メニューＩＤ（Menu ID）により識別されるメニューを写した画像である確率を表す。例えば、図６の右において、メニューＩＤ＝Ｍ１（“Rice”）についてのスコアは０．０５、メニューＩＤ＝Ｍ２（“Stake”）についてのスコアは０．８５、メニューＩＤ＝Ｍｎ（“Noodle”）についてのスコアは０．００である。スコア算出部２３２は、このようなメニュー別スコアＤ１をメニュー推定部２３４へ出力する。

（２）識別関数記憶部
識別関数記憶部２３３は、図６を用いて説明した識別関数を記憶媒体を用いて予め記憶している。識別関数記憶部２３３は、後に説明する知識ＤＢ２３５又は記憶部２７０と物理的に同一の記憶媒体を用いて実現されてもよい。

（３）メニュー推定部
メニュー推定部２３４は、スコア算出部２３２により算出されるメニュー別スコアに基づいて、入力画像に映る食事のメニューを推定する。本実施形態において、メニュー推定部２３４は、スコア算出部２３２により算出されるメニュー別スコアが最も高いメニューＩＤに対応する食事のメニューを、入力画像に映る食事のメニューであると推定する。例えば、図６の例では、入力画像ＩＭ１１について算出されたメニュー別スコアは、メニューＩＤ＝Ｍ２（“Stake”）において最も高い値を示している。そのため、メニュー推定部２３４は、入力画像ＩＭ１１が食事のメニューとしてのステーキ（“Stake”）を映した画像であると推定する。なお、後に説明する第２の実施形態では、メニュー推定部２３４は、メニュー別スコアに加えて、他の補助的なデータにさらに基づいてメニューの推定を行う。

（４）知識ＤＢ
知識ＤＢ２３５は、画像解析部２３０によるメニューの決定のために使用される知識を記憶媒体を用いて記憶しているデータベースである。本実施形態において、知識ＤＢ２３５は、図７に例示するような栄養価テーブルＤ２を有する。栄養価テーブルＤ２は、図６に示したメニュー別スコアＤ１の各メニュー項目Ｍ１〜Ｍｎにそれぞれ対応するレコードを含む。また、栄養価テーブルＤ２のデータ項目は、各メニューに対応するエネルギー及び各メニューに含まれる１つ以上の栄養素の分量を表す。図７の例では、栄養価テーブルの第２列はエネルギー（カロリー値）、第３列は炭水化物の分量、第４列は脂肪の分量、第５列はたんぱく質の分量、第６列はビタミンＡの分量をそれぞれ表している。これら栄養価テーブルＤ２の各データ項目の値は、例えば、１つのメニューについて個々のユーザごとに個別に定義されてもよい。その場合には、個々のユーザがそれぞれ摂取する平均的な食事の量に応じた分量が栄養価テーブルＤ２において定義される。その代わりに、栄養価テーブルＤ２の各データ項目の値は、１つのメニューについて複数のユーザに共通する１つのレコードにより定義されてもよい。その場合には、ユーザに依存しない一般的な食事の量に応じた分量が栄養価テーブルＤ２において定義される。

（５）決定部
決定部２３６は、知識ＤＢ２３５の栄養価テーブルＤ２を用いて、メニュー推定部２３４により推定されたメニューに対応するエネルギー及び１つ以上の栄養素の分量の値を決定する。決定部２３６により決定されるデータ値は、ユーザにより摂取されたエネルギー及び栄養素の分量を表す摂取データとして、データ生成部２６０へ出力される。

図７は、本実施形態に係る決定部２３６による摂取データ決定処理について説明するための説明図である。図７の上段には、知識ＤＢ２３５に予め記憶されている上述した栄養価テーブルＤ２が示されている。また、図７の中段には、スコア算出部２３２により算出されたメニュー別スコアＤ１が示されている。かかるメニュー別スコアＤ１の中で、メニューＩＤ＝Ｍ２（以下、メニューＭ２という）のスコアが最も高い。そのため、メニュー推定部２３４は、上述したように、入力画像にメニューＭ２、即ちステーキが映っていると推定する。そうすると、決定部２３６は、メニューＭ２に対応するレコードを栄養価テーブルＤ２において検索する。そして、決定部２３６は、栄養価テーブルＤ２から取得されるメニューＭ２に対応するレコードを用いて、摂取データＤ３の各データ項目の値を決定する。図７の例では、摂取データＤ３の各データ項目の値は、栄養価テーブルＤ２のメニューＭ２に対応するレコードの値をそのまま用いて、エネルギー＝３５０ｋｃａｌ、炭水化物＝３．０ｇ、脂肪＝４０ｇ、たんぱく質＝２０ｇ、ビタミンＡ＝０．１ｍｇなどと決定されている。

（データ取得部）
データ取得部２４０は、通信部２１０により端末装置１００から受信されるセンサデータを取得する。本実施形態において、データ取得部２４０により取得されるセンサデータは、端末装置１００を携帯するユーザについて周期的に検出される時系列での一連の位置、加速度及び体温などを表す。データ取得部２４０は、かかるセンサデータのうち、位置データ及び加速度データを、運動量算出部２５０へ出力する。また、データ取得部２４０は、体温などの生体データを、データ生成部２６０へ出力する。

（運動量算出部）
運動量算出部２５０は、データ取得部２４０から入力されるセンサデータを用いて、前回のセンサデータの受信から今回のセンサデータの受信までの間にユーザにより行われた運動の量を算出する。

図８は、本実施形態に係る運動量算出部２５０による運動量算出処理について説明するための説明図である。図８の左には、一連のセンサデータＤ４が示されている。各センサデータＤ４は、タイムスタンプ、位置データ、加速度データ及び体温の値を示す生体データを含む。このうち、運動量算出部２５０は、主にタイムスタンプ、位置データ及び加速度データを運動量の算出のために使用する。

図８の右には、運動量算出部２５０により算出される運動データＤ５が示されている。運動データＤ５は、移動量、運動レベル及び消費エネルギーという３つのデータ項目を有する。運動量算出処理において、運動量算出部２５０は、まず、時間軸上で隣り合う２つのセンサデータの位置データの差分に相当するユーザの位置の変化を算出する。そして、運動量算出部２５０は、一連のセンサデータＤ４にわたるユーザの位置の変化を積算することにより、当該一連のセンサデータＤ４に対応する期間にわたるユーザの移動量を算出する。また、運動量算出部２５０は、例えば、その期間にわたるユーザの加速度の平均値を所定の閾値と比較することにより、ユーザの運動レベルを「高」、「中」及び「低」の３つのレベルに分類する。例えば、「高」はランニングに相当する運動レベル、「中」はウォーキングに相当する運動レベル、運動レベル「低」は静止状態に相当する運動レベルなどであってよい。そして、動量算出部２５０は、算出された移動量及び運動レベルから、例えば次式に従って、ユーザの消費エネルギーの概算値Ｅ_ｃ［ｋｃａｌ］を算出する。

なお、式（１）において、λは、所要時間及び運動レベルに応じた消費エネルギー係数である。ｗ_ｕｓｅｒは、ユーザの体重［ｋｇ］である。Ｄは、移動量［ｋｍ］である。

運動量算出部２５０は、このように算出されたユーザの運動の量を表す運動データＤ５を、データ生成部２６０へ出力する。

（データ生成部）
データ生成部２６０は、画像解析部２３０による解析の結果である摂取データ、及び運動量算出部２５０による算出の結果である運動データを含む生活データを生成する。

図９は、本実施形態に係るデータ生成部２６０による生活データ生成処理について説明するための説明図である。

図９の左上には、一定の期間（例えば１日）にわたって画像解析部２３０から出力される複数の摂取データＤ３が示されている。例えば、端末装置１００が朝・昼・晩の３回の食事ごとに１つずつの入力画像を送信した場合には、１日分の摂取データＤ３は３つのレコードを含む。データ生成部２６０は、このような一定の期間にわたる摂取データＤ３の各データ項目の値を通算することにより、生活データのうちの摂取量に関するデータ値を算出する。図９の例において、一例として、２０１０年３月３１日の生活データＤ６における摂取量は、摂取エネルギー＝２３００ｋｃａｌ、炭水化物＝４００ｇ、脂肪＝２２０ｇなどの値を示している。

また、図９の右上には、一定の期間（例えば１日）にわたって運動量算出部２５０から出力される複数の運動データＤ５が示されている。データ生成部２６０は、このような一定の期間にわたる運動データＤ５のデータ項目のうち、移動量及び消費エネルギーの値を通算することにより、生活データのうちの運動量に関するデータ値を算出する。図９の例において、一例として、２０１０年３月３１日の生活データＤ６における運動量は、移動量＝１．５ｋｍ、消費エネルギー＝１７００ｋｃａｌを示している。

さらに、データ生成部２６０は、補足情報として、端末装置１００から受信される体温及びユーザの体調などの補足情報を生活データＤ６に付加する。生活データＤ６における体温の値は、例えば、上記一定期間にわたってデータ取得部２４０により取得されるセンサデータに含まれる体温の平均値であってよい。また、生活データＤ６における体調の値は、体温などの生体データから推定される「良好」又は「良好でない」の２種類の値のいずれかであってよい。その代わりに、端末装置１００の入力部１６０を用いて、ユーザが明示的に任意の時点の体調を入力してもよい。

データ生成部２６０は、このように生成した生活データを記憶部２７０に記憶させると共に、情報出力部２８０へ出力する。

（記憶部）
記憶部２７０は、データ生成部２６０により生成される上述した生活データと比較されるべきモデルデータを記憶媒体を用いて予め記憶している。当該モデルデータは、一定期間にわたってユーザが摂取すべき食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及びユーザが行うべき運動の量についての目標値を表すデータである。

図１０は、本実施形態に係る記憶部２７０により記憶されるモデルデータについて説明するための説明図である。図１０を参照すると、記憶部２７０は、モデルＩＤ＝ＭＤ１からモデルＩＤ＝ＭＤｎまでの複数のタイプのモデルデータＤ７を記憶している。

このうち、モデルＩＤ＝ＭＤ１であるモデルデータ（以下、モデルＭＤ１などという）については、摂取エネルギー＝１８００ｋｃａｌ、炭水化物の摂取量＝３００ｇ、脂肪の摂取量＝１２０ｇ、移動量＝２．０ｋｍ、消費エネルギー＝１８００ｋｃａｌである。モデルＭＤ１は、例えば、ユーザについての過去の生活データから生成されるモデルデータである。モデルＭＤ１は、例えば、ユーザの体調が良好であった特定の日の生活データであってよい。その代わりに、モデルＭＤ１は、ユーザの体調が良好であった期間における日々の生活データを平均化したデータであってもよい。

また、モデルＭＤ２については、摂取エネルギー＝２０００ｋｃａｌ、炭水化物の摂取量＝３２０ｇ、脂肪の摂取量＝１００ｇ、移動量＝３．０ｋｍ、消費エネルギー＝２０００ｋｃａｌである。モデルＭＤ２は、例えば、理想的なモデルユーザの生活を表すモデルデータであってよい。モデルＭＤ２の各データ値は、例えば、栄養学的な知見に基づいて予め定義され得る。

また、モデルＭＤｎについては、摂取エネルギー＝１２００ｋｃａｌ、炭水化物の摂取量＝１８０ｇ、脂肪の摂取量＝４０ｇ、移動量＝２．０ｋｍ、消費エネルギー＝１８００ｋｃａｌである。モデルＭＤｎは、例えば、ユーザがダイエット（減量）を目標とする場合において生活データと比較されるモデルデータである。

記憶部２７０は、このような複数のタイプのモデルデータＤ７の中のいずれかを、端末装置１００のユーザからの指示に応じて選択的に情報出力部２８０へ出力する。

（情報出力部）
情報出力部２８０は、上述した複数のタイプのモデルデータのうちユーザにより指定されたいずれかのモデルデータと生活データとの比較に基づいて、ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力する。情報出力部２８０により出力される情報は、通信部２１０を介して端末装置１００へ送信され、端末装置１００の表示部１７０により画面上に表示される。情報出力部２８０により出力される情報は、例えば、ユーザの食生活にまつわる健康又は美容などの観点でのアドバイスに関する情報であってよい。例えば、情報出力部２８０は、モデルデータと生活データとの比較に基づいて、いずれかの栄養素がユーザにとって不足していると判断される場合には、不足している栄養素、又は当該栄養素を含む食品若しくは食事のメニューに関する情報を出力してもよい。また、例えば、情報出力部２８０は、モデルデータと生活データとの比較に基づいて、エネルギーの消費量が不足していると判断される場合には、ユーザに運動を推奨するための情報を出力してもよい。また、例えば、情報出力部２８０は、モデルデータと生活データとの比較に基づいてユーザに推奨すべきであると判断される栄養素、食品又は運動に関する広告を出力してもよい。

図１１Ａは、情報出力部２８０により出力される出力情報の第１の例について説明するための説明図である。

図１１Ａの上段には、情報出力部２８０により互いに比較される生活データＤ６ａ及びモデルデータＤ７ａが示されている。生活データＤ６ａは、２０１０年３月３１日の生活データであり、その日にユーザが２３００ｋｃａｌのエネルギーと０．１ｍｇのビタミンＡを摂取したことを示している。一方、モデルデータＤ７ａは、モデルＭＤ１についてのモデルデータであり、過去にユーザの体調が良好であった時に摂取されたエネルギーが１８００ｋｃａｌ、ビタミンＡの分量が０．６ｍｇであったことを示している。情報出力部２８０は、かかる生活データＤ６ａ及びモデルデータＤ７ａの比較に基づいて、ユーザにビタミンＡが不足していると判断し、ユーザにビタミンＡを摂取することを推奨するための情報を出力する。その結果、図１１Ａの下段には、端末装置１００の画面上に表示される一例としての情報表示画面Ｗ１が示されている。情報表示画面Ｗ１は、ユーザにビタミンＡを摂取することを推奨するメッセージを表示する画面である。

図１１Ｂは、情報出力部２８０により出力される出力情報の第２の例について説明するための説明図である。

図１１Ｂの上段には、情報出力部２８０により互いに比較される生活データＤ６ｂ及びモデルデータＤ７ｂが示されている。生活データＤ６ｂは、２０１０年４月１日の生活データであり、その日にユーザが２０００ｋｃａｌのエネルギーと１８０ｇの脂肪を摂取したこと、及び移動量１．０ｋｍ、消費エネルギー９００ｋｃａｌの運動をしたことを示している。一方、モデルデータＤ７ｂは、モデルＭＤ３についてのモデルデータであり、当該モデルにおいて１日に１９００ｋｃａｌのエネルギーと１２０ｇの脂肪の摂取、及び移動量２．５ｋｍ、消費エネルギー２０００ｋｃａｌの運動が推奨されることを示している。情報出力部２８０は、かかる生活データＤ６ｂ及びモデルデータＤ７ｂの比較に基づいて、ユーザによる脂肪の摂取が過剰であること、及びユーザによる運動が不足していることを認識する。そこで、情報出力部２８０は、脂肪の摂取が過剰であること、及び運動が推奨されることをユーザに通知するための情報を出力する。その結果、図１１Ｂの下段に示しているような情報表示画面Ｗ２が端末装置１００の画面上に表示される。

図１１Ｃは、情報出力部２８０により出力される出力情報の第３の例について説明するための説明図である。

図１１Ｃの上段には、情報出力部２８０により互いに比較される生活データＤ６ａ及びモデルデータＤ７ａが再び示されている。情報出力部２８０は、かかる生活データＤ６ａ及びモデルデータＤ７ａの比較に基づいて、図１１Ａに示したような情報の代わりに、ユーザに推奨すべき栄養素であるビタミンＡに関する広告を出力してもよい。例えば、図１１Ｃの下段に示しているような情報表示画面Ｗ３では、ビタミンＡを摂取するためのサプリメントに関する広告がユーザに呈示されている。また、サプリメントの広告の代わりに、例えば、ビタミンＡを含む食品に関する広告、又はビタミンＡを含む食品を提供する店舗若しくはレストランに関する広告などが情報表示画面Ｗ３において呈示されてもよい。さらに、図１１Ｂの例のように、ユーザによるエネルギーの消費量が不足していると判断される場合には、運動に関する広告（例えばスポーツクラブ又はフィットネスジムに関する広告）が呈示されてもよい。

［２−３．処理の流れ］
図１２は、本実施形態に係る情報処理装置２００による情報出力処理の流れの一例を示すフローチャートである。

図１２を参照すると、まず、情報処理装置２００の入力画像取得部２２０は、端末装置１００から通信部２１０を介して入力画像を取得する。また、情報処理装置２００のデータ取得部２４０は、端末装置１００から通信部２１０を介してセンサデータを取得する（ステップＳ１０２）。

次に、情報処理装置２００の画像解析部２３０は、入力画像取得部２２０により取得された入力画像について、図１３を用いて後に説明する画像解析処理を行う（ステップＳ１０４）。そして、記憶部２７０は、画像解析処理の結果として画像解析部２３０から入力される摂取データを記憶する（ステップＳ１０６）。

また、情報処理装置２００の運動量算出部２５０は、データ取得部２４０により取得されたセンサデータを用いて、ユーザによる運動の量を算出する（ステップＳ１０８）。そして、記憶部２７０は、運動量算出部２５０により算出されたユーザによる運動の量を表す運動データを記憶する（ステップＳ１１０）。

次に、データ生成部２６０により、生活データを生成するか否かが判定される（ステップＳ１１２）。例えば、処理の時点が一定の期間（例えば１日）ごとの生活データの生成のタイミングに該当する場合には、データ生成部２６０は、生活データを生成することを決定する。その場合、処理はステップＳ１１４へ進む。一方、生活データを生成しない場合には、処理はステップＳ１０２へ戻り、入力画像及びセンサデータの取得と摂取データ及び運動データの記憶が繰り返される。

ステップＳ１１４では、データ生成部２６０は、記憶部２７０において蓄積されている一定期間にわたる摂取データ及び運動データから、生活データを生成する（ステップＳ１１４）。次に、情報出力部２８０により、ユーザにアドバイスを提供するか否かが判定される（ステップＳ１１６）。ここで、ユーザにアドバイスを提供しない場合には、ステップＳ１１８はスキップされる。ユーザにアドバイスを提供する場合には、ステップＳ１１８において、情報出力部２８０により、モデルデータと生活データとの比較に基づいて、図１１Ａ〜図１１Ｃに例示したような端末装置１００のユーザへのアドバイスを含む情報が出力される（ステップＳ１１８）。

図１３は、本実施形態に係る情報処理装置２００の画像解析部２３０による画像解析処理の流れの一例を示すフローチャートである。

図１３を参照すると、まず、画像解析部２３０のスコア算出部２３２は、事前の学習処理により獲得された識別関数を入力画像に適用することにより、メニュー別スコアを算出する（ステップＳ２０２）。次に、メニュー推定部２３４は、スコア算出部２３２により算出されたメニュー別スコアに基づいて、入力画像に映る食事のメニューを推定する（ステップＳ２０４）。次に、決定部２３６は、メニュー推定部２３４により推定されたメニューに対応する栄養価テーブルのレコードを検索することにより、入力画像に映る食事のメニューについての摂取データの値を決定する（ステップＳ２０６）。

［２−４．第１の実施形態のまとめ］
ここまで、図１〜図１３を用いて、本発明の第１の実施形態について説明した。本実施形態によれば、食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータと、食事の内容を撮像した入力画像の解析結果及びユーザによる運動の量を含む生活データとの比較に基づいて、食生活に関するアドバイスがユーザに提供される。それにより、食事の場所又は食品の購入場所の制約を受けることなく、食事に関するアドバイスをユーザに提供することができる。

また、本実施形態において、上述した生活データに含まれる摂取エネルギー及び摂取した栄養素の分量の値は、入力画像から食事のメニューを推定し、当該食事のメニューに応じたエネルギー及び栄養素の分量の値を表す栄養価データを取得することにより決定される。従って、ユーザは、カメラ付携帯電話などの撮像機能を有する携帯端末を用いて食事の内容を撮像するだけで食事に関するアドバイスを受けることができる。

また、本実施形態において、食生活に関するアドバイスは、複数のタイプのモデルデータのうちユーザにより指定された１つのモデルデータと生活データとを比較することにより行われる。例えば、複数のタイプのモデルデータのうちの１つは、ユーザについての過去の生活データから生成されるデータである。それにより、ユーザが健康であった時の自分の生活の傾向と現在の生活とを容易に比較することが可能となる。また、例えば、理想的な生活の傾向を表すモデルと現在の生活との比較に基づくアドバイス、又はダイエットなどの特定の目的に合わせたアドバイスなど、食生活に関するアドバイスをユーザの希望に応じて適応させた上で提供することができる。

また、本実施形態において、食生活に関するアドバイスの一例は、ユーザにとって不足していると判断される栄養素、又は当該栄養素を含む食品若しくは食事のメニューについてのアドバイスである。また、本実施形態において、食生活に関するアドバイスの他の例は、エネルギーの消費量が不足していると判断される場合におけるユーザに運動を推奨するアドバイスである。即ち、本実施形態によれば、食生活から派生する運動に関するアドバイス、又はユーザの運動の状況から派生する食生活に関するアドバイスなど、多様なアドバイスをユーザに提供することができる。

また、本実施形態において、食生活に関するアドバイスの代わりに、ユーザに推奨すべき栄養素、食品又は運動に関する広告がユーザに提供され得る。従って、例えば企業又は店舗は、ユーザの食生活の状況からユーザのニーズを的確に把握し、個々のユーザに訴求する効果的な広告を提供することができる。

＜３．第２の実施形態＞
第１の実施形態では、入力画像に基づく食事のメニューの推定のために、事前の学習処理により獲得された識別関数を使用した。学習処理においては、多数の教師画像（メニューの種類が既知である食事の画像）を用いて学習処理を行うことにより、メニューの推定の精度を高めることができる。しかしながら、料理された食事の外観は、一般的に多様である。そのため、本節で説明する第２の実施形態のように、入力画像以外の情報を補助的に用いて摂取データを決定することも有益である。

［３−１．端末装置の構成例］
図１４は、本発明の第２の実施形態に係る端末装置３００の構成の一例を示すブロック図である。図１４を参照すると、端末装置３００は、撮像部１１０、センサ部１２０、赤外線処理部３２２、通信部１３０、制御部３４０、記憶部１５０、入力部１６０及び表示部１７０を備える。

（赤外線処理部）
赤外線処理部３２２は、近赤外線光を食品に照射し、炭水化物、脂肪及びたんぱく質に吸収される光と反射された光とを測定することにより、食品に含まれる上記栄養素の分量及びエネルギー量を検出する。赤外線処理部３２２は、例えば、「カロリーアンサー.com」（［online］，［２０１０年３月１５日検索］，インターネット＜URL： http://calorieanswer.com/＞）に掲載されている食品カロリー測定機を利用するものであってもよい。赤外線処理部３２２は、検出した各栄養素の分量及びエネルギー量の値を含む赤外線検出データを、制御部３４０へ出力する。

（制御部）
制御部３４０は、ＣＰＵなどの制御装置を用いて、端末装置３００の機能全般を制御する。例えば、制御部３４０は、入力部１６０において撮像を指示するユーザ入力が検出されると、撮像部１１０に画像の撮像を指示すると共に、赤外線処理部３２２に赤外線の照射を指示する。また、制御部３４０は、センサ部１２０により周期的に計測されるセンサデータを記憶部１５０に記憶させる。そして、制御部３４０は、撮像部１１０から入力される画像、赤外線処理部３２２から入力される赤外線検出データ、及び記憶部１５０に記憶されているセンサデータを、通信部１３０を介して情報処理装置４００へ送信する。また、制御部３４０は、情報処理装置４００から送信された情報が通信部１３０により受信されると、当該情報を表示部１７０に表示させる。

［３−２．情報処理装置の構成例］
図１５は、本実施形態に係る情報処理装置４００の構成の一例を示すブロック図である。図１５を参照すると、情報処理装置４００は、通信部２１０、入力画像取得部２２０、画像解析部４３０、データ取得部４４０、運動量算出部２５０、データ生成部２６０、記憶部２７０及び情報出力部２８０を備える。

（データ取得部）
データ取得部４４０は、通信部２１０により端末装置３００から受信される赤外線検出データ及びセンサデータを取得する。データ取得部４４０により取得されるセンサデータは、端末装置３００を携帯するユーザについて周期的に検出される時系列での一連の位置、加速度及び体温などを表す。また、データ取得部４４０により取得される赤外線検出データは、食事のエネルギー及び食事に含まれる１つ以上の栄養素の分量を表す。データ取得部４４０は、センサデータのうち、位置データ及び加速度データを、運動量算出部２５０へ出力する。また、データ取得部４４０は、体温などの生体データを、データ生成部２６０へ出力する。また、データ取得部４４０は、センサデータのうちの位置データを、画像解析部４３０のメニュー推定部４３４へ出力する。また、データ取得部４４０は、赤外線検出データを、画像解析部４３０の決定部４３６へ出力する。

（画像解析部）
画像解析部４３０は、入力画像取得部２２０により取得される入力画像を解析することにより、入力画像に映る食事のエネルギー及び当該食事に含まれる１つ以上の栄養素の分量を導出する。図１６は、本実施形態に係る画像解析部４３０の詳細な構成の一例を示すブロック図である。図１６を参照すると、画像解析部４３０は、スコア算出部２３２、識別関数記憶部２３３、メニュー推定部４３４、知識データベース（ＤＢ）２３５、及び決定部４３６を含む。

（１）メニュー推定部
メニュー推定部４３４は、データ取得部４４０から入力される位置データが表す位置と関連付けられているメニューリストを、インターネット上のサーバなどの外部の情報源から取得する。より具体的には、メニュー推定部４３４は、例えば、一般的な地図情報サービスが提供するＧＰＳ検索機能を利用し、入力画像が撮像された時点の位置データが表す位置の最も近傍のレストランを検索する。次に、メニュー推定部４３４は、検索されたレストランのホームページにアクセスし、当該レストランのメニューリストを取得する。そして、メニュー推定部４３４は、近傍のレストランの検索及びメニューリストの取得に成功した場合には、取得したメニューリストとスコア算出部２３２により算出されるメニュー別スコアとに基づいて、入力画像に映る食事のメニューを推定する。

図１７は、本実施形態に係るメニュー推定部４３４によるメニュー推定処理について説明するための説明図である。図１７の上段には、スコア算出部２３２において入力画像ＩＭに識別関数を適用することにより算出されるメニュー別スコアＤ１ａが示されている。メニュー別スコアＤ１ａにおいて、メニューＩＤ＝Ｍ１（“Rice”）についてのスコアは０．０５、メニューＩＤ＝Ｍ２（“Stake”）についてのスコアは０．８５、メニューＩＤ＝Ｍｎ（“Noodle”）についてのスコアは０．００である。また、図１７の中段の左には、外部の情報源において位置データ（１３５，１３５）と関連付けられているレストランＡのメニューリストＭＬが示されている。かかるメニューリストＭＬは、ステーキ（“Stake”）及び麺（“Noodle”）を含む。そこで、メニュー推定部４３４は、メニューリストＭＬに含まれる各メニューについてのメニュー別スコアＤ１ａの値に、所定の重みを加算する。図１７の例では、重みの値は０．１０である。その結果、補正後のメニュー別スコアＤ１ｂが算出される。補正後のメニュー別スコアＤ１ｂにおいて、メニューＩＤ＝Ｍ１（“Rice”）についてのスコアは０．０５、メニューＩＤ＝Ｍ２（“Stake”）についてのスコアは０．９５、メニューＩＤ＝Ｍｎ（“Noodle”）についてのスコアは０．１０である。そして、メニュー推定部４３４は、補正後のメニュー別スコアＤ１ｂにおいてスコアが最も高いメニューＩＤに対応する食事のメニューを、入力画像に映る食事のメニューであると推定する。

なお、メニュー推定部４３４は、近傍のレストランの検索又はメニューリストの取得に失敗した場合には、第１の実施形態に係るメニュー推定部２３４と同様、スコア算出部２３２により算出されるメニュー別スコアのみに基づいて、入力画像に映る食事のメニューを推定する。

（２）決定部
決定部４３６は、知識ＤＢ２３５の栄養価テーブル及びデータ取得部４４０から入力される赤外線検出データを用いて、メニュー推定部４３４により推定されたメニューに対応するエネルギー及び１つ以上の栄養素の分量の値を決定する。決定部４３６により決定されるデータ値は、ユーザにより摂取されたエネルギー及び栄養素の分量を表す摂取データとして、データ生成部２６０へ出力される。

図１８は、本実施形態に係る決定部４３６による摂取データ決定処理について説明するための説明図である。図１８の上段には、図７を用いて説明した第１の実施形態に係る摂取データ決定処理のように、知識ＤＢ２３５に予め記憶されている栄養価テーブルからメニュー推定部４３４により推定されたメニューに対応するレコードを抽出することにより決定された、補正前の摂取データＤ３ａが示されている。摂取データＤ３ａにおいて、エネルギー＝３５０ｋｃａｌ、炭水化物＝３．０ｇ、脂肪＝４０ｇ、たんぱく質＝２０ｇ、ビタミンＡ＝０．１ｍｇである。図１８の中段には、データ取得部４４０から入力される一例としての赤外線検出データＤ９が示されている。赤外線検出データＤ９において、エネルギー＝３９０ｋｃａｌ、炭水化物＝３．６ｇ、脂肪＝４２ｇ、たんぱく質＝１８ｇである。なお、赤外線を用いて検出不能なビタミンＡなどの栄養素に関する分量は、赤外線検出データＤ９には含まれない。決定部４３６は、かかる摂取データＤ３ａ及び赤外線検出データＤ９の双方にデータ項目を有するエネルギー及び栄養素について、データ値の平均を計算することにより、補正後の摂取データＤ３ｂを決定する。図１８の下段には、補正後の摂取データＤ３ｂが示されている。補正後の摂取データＤ３ｂにおいて、エネルギー＝３７０ｋｃａｌ、炭水化物＝３．３ｇ、脂肪＝４１ｇ、たんぱく質＝１９ｇ、ビタミンＡ＝０．１ｍｇである。

このように、本実施形態においては、入力画像以外の情報として端末装置３００の位置データ及び赤外線検出データを補助的に用いることにより、生活データを構成する摂取データの値が補正される。なお、他の実施形態として、位置データ及び赤外線検出データのいずれか一方のみを用いて、メニュー別スコア又は生活データを構成する摂取データの値が補正されてもよい。

［３−３．処理の流れ］
本実施形態に係る情報処理装置４００による情報出力処理の流れは、図１２に示した第１の実施形態に係る情報処理装置２００による情報出力処理の流れと同様であってよい。

図１９は、本実施形態に係る情報処理装置４００の画像解析部４３０による画像解析処理の流れの一例を示すフローチャートである。

図１９を参照すると、まず、画像解析部４３０のスコア算出部２３２は、事前の学習処理により獲得された識別関数を入力画像に適用することにより、メニュー別スコアを算出する（ステップＳ３０２）。次に、メニュー推定部４３４は、データ取得部４４０から入力される位置データにより表される端末装置３００の位置と関連付けられているメニューリストに応じて、スコア算出部２３２により算出されたメニュー別スコアを補正する（ステップＳ３０４）。次に、メニュー推定部４３４は、補正後のメニュー別スコアに基づいて、入力画像に映る食事のメニューを推定する（ステップＳ３０６）。次に、決定部４３６は、メニュー推定部４３４により推定されたメニューに対応する栄養価テーブルのレコードを検索することにより、入力画像に映る食事のメニューについての暫定的な摂取データの値を決定する（ステップＳ３０８）。次に、決定部４３６は、データ取得部４４０から入力される赤外線検出データを用いて、暫定的な摂取データの値を補正する（ステップＳ３１０）。

情報処理装置４００の情報出力部２８０は、このように補正された摂取データを含む生活データとモデルデータとの比較に基づいて、端末装置３００のユーザへのアドバイスを含む情報を出力する。

［３−４．第２の実施形態のまとめ］
ここまで、図１４〜図１９を用いて、本発明の第２の実施形態について説明した。本実施形態によれば、食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータと、食事の内容を撮像した入力画像の解析結果及びユーザによる運動の量を含む生活データとの比較に基づいて、食生活に関するアドバイスがユーザに提供される。そして、生活データを構成する摂取データの決定に際して、外部の情報源においてユーザの位置と関連付けられているメニューリストが取得され、当該メニューリストを補助的に用いて食事のメニューが推定される。それにより、メニューの推定の精度が向上する。また、本実施形態では、生活データを構成する摂取データは、食事に照射される赤外線を用いて検出される食事のエネルギー及び食事に含まれる１つ以上の栄養素の分量の値を用いて補正される。その結果、ユーザの食生活の傾向を表す生活データのうちの摂取データの正確さが向上する。従って、本実施形態によれば、より正確な生活データとモデルデータとの比較に基づく食生活に関するアドバイスをユーザに提供することが可能である。

なお、本明細書において説明した各実施形態における一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時に各装置のＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書では、端末装置１００又は３００と情報処理装置２００又は４００とがそれぞれ互いに異なる装置である例について主に説明した。しかしながら、本発明の範囲内において、例えば、端末装置１００及び情報処理装置２００（又は端末装置３００及び情報処理装置４００）の機能を有する物理的に１つの装置が実現されてもよいことは明白である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

２００，４００ 情報処理装置
２１０ 通信部
２２０ 入力画像取得部
２３０，４３０ 画像解析部
２３２ スコア算出部
２３４，４３４ メニュー推定部
２３６，４３６ 決定部
２４０，４４０ データ取得部
２５０ 運動量算出部
２６０ データ生成部
２７０ 記憶部
２８０ 情報出力部

Claims (11)

1. 食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータを記憶している記憶部と；
   ユーザによる食事の内容を撮像した入力画像を取得する入力画像取得部と；
   前記入力画像を解析することにより、前記食事のエネルギー及び前記食事に含まれる１つ以上の栄養素の分量を導出する画像解析部と；
   ユーザの運動の量を算出する運動量算出部と；
   前記画像解析部による解析の結果及び前記運動量算出部による算出の結果を含む生活データを生成するデータ生成部と；
   前記モデルデータと前記生活データとの比較に基づいて、前記ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力する情報出力部と；
   を備える情報処理装置。
2. 前記画像解析部は、
   前記入力画像に映る前記食事のメニューを推定するためのメニュー別スコアを算出するスコア算出部と；
   前記メニュー別スコアに基づいて前記食事のメニューを推定するメニュー推定部と；
   前記メニュー推定部により推定されたメニューに対応するエネルギー及び１つ以上の栄養素の分量の値を決定する決定部と；
   を含む、請求項１に記載の情報処理装置。
3. 前記情報処理装置は、ユーザの位置を表す位置データを取得するデータ取得部、をさらに備え、
   前記メニュー推定部は、前記位置データにより表される位置と関連付けられているメニューリストを取得し、取得した前記メニューリストと前記メニュー別スコアとに基づいて、前記食事のメニューを推定する、
   請求項２に記載の情報処理装置。
4. 前記情報処理装置は、
   前記食事に照射される赤外線を用いて検出される前記食事のエネルギー及び前記食事に含まれる１つ以上の栄養素の分量を表す赤外線検出データを取得するデータ取得部、
   をさらに備え、
   前記決定部は、前記データ取得部により取得される前記赤外線検出データをさらに用いて、前記メニュー推定部により推定されたメニューに対応するエネルギー及び１つ以上の栄養素の分量の値を決定する、
   請求項２に記載の情報処理装置。
5. 前記記憶部は、複数のタイプのモデルデータを記憶しており、
   前記情報出力部は、前記複数のタイプのモデルデータのうちユーザにより指定された１つのモデルデータと前記生活データとを比較する、
   請求項１に記載の情報処理装置。
6. 前記複数のタイプのモデルデータのうち少なくとも１つのモデルデータは、前記ユーザについての過去の生活データから生成されるデータである、請求項５に記載の情報処理装置。
7. 前記情報出力部は、前記モデルデータと前記生活データとの比較に基づいて、いずれかの栄養素がユーザにとって不足していると判断される場合には、不足している栄養素、又は当該栄養素を含む食品若しくは食事のメニューをユーザに出力する、請求項１に記載の情報処理装置。
8. 前記情報出力部は、前記モデルデータと前記生活データとの比較に基づいて、エネルギーの消費量が不足していると判断される場合には、ユーザに運動を推奨する、請求項１に記載の情報処理装置。
9. 前記情報出力部は、前記モデルデータと前記生活データとの比較に基づいて、前記ユーザに推奨すべき栄養素、食品又は運動に関する広告を出力する、請求項１に記載の情報処理装置。
10. 食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータを記憶している記憶媒体を備える情報処理装置を用いて情報を出力するための情報出力方法であって：
    ユーザによる食事の内容を撮像した入力画像を取得するステップと；
    前記入力画像を解析することにより、前記食事のエネルギー及び前記食事に含まれる１つ以上の栄養素の分量を導出するステップと；
    前記ユーザの運動の量を算出するステップと；
    前記入力画像についての解析の結果及び前記ユーザの運動の量についての算出の結果を含む生活データを生成するステップと；
    前記モデルデータと前記生活データとの比較に基づいて、前記ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力するステップと；
    を含む情報出力方法。
11. 食事のエネルギー、食事に含まれる１つ以上の栄養素の分量、及び運動の量についての目標値を表すモデルデータを記憶している記憶媒体を備える情報処理装置を制御するコンピュータを：
    ユーザによる食事の内容を撮像した入力画像を取得する入力画像取得部と；
    前記入力画像を解析することにより、前記食事のエネルギー及び前記食事に含まれる１つ以上の栄養素の分量を導出する画像解析部と；
    ユーザの運動の量を算出する運動量算出部と；
    前記画像解析部による解析の結果及び前記運動量算出部による算出の結果を含む生活データを生成するデータ生成部と；
    前記モデルデータと前記生活データとの比較に基づいて、前記ユーザに推奨すべき栄養素、食品又は運動に関する情報を出力する情報出力部と；
    として機能させるための、プログラム。
    

Images