JP2015225460A - 食事管理方法、食事管理システム及び食事管理端末 - Google Patents

Abstract

【課題】改善された食事管理方法、食事管理システム及び食事管理端末を提供する。
【解決手段】食事管理方法は、撮像部１１１により食事に関する画像を撮像する撮像ステップと、通知部により画像及び画像の撮像時刻に基づいて推定されたユーザの食生活に関する情報を通知する通知ステップとを含む。
【選択図】図１

Description

本発明は、食事管理方法、食事管理システム及び食事管理端末に関する。

従来、保健、医療及び福祉等の分野において利用される食事管理支援システムが知られている。例えば、特許文献１には、食事管理を受けている者が摂取した食事画像を参照して栄養解析を行う食事管理支援システムが記載されている。特許文献１に記載された食事管理支援システムでは、ユーザが食事を摂取する前に撮像した食事画像に基づいて栄養解析を行う。

特開２００７−１０２８２４号公報

従来知られている食事管理支援システムには、改善の余地がある。

上記目的を達成する本発明に係る食事管理方法は、
撮像部により食事に関する画像を撮像する撮像ステップと、
通知部により前記画像及び前記画像の撮像時刻に基づいて推定されたユーザの食生活に関する情報を通知する通知ステップとを含む。

制御部により前記食生活を推定する推定ステップをさらに含んでいてもよい。

前記画像は、食事を摂取する前の食前画像と、食事を摂取した後の食後画像とを含み、
前記食生活は、食事の摂取量及び食事の栄養バランスの少なくとも一方を含む食事の内容と、食事の所要時間とを含み、
前記推定ステップは、前記食前画像及び前記食後画像に基づいて前記食事の内容を推定すると共に、前記食前画像の撮像時刻及び前記食後画像の撮像時刻とに基づいて前記食事の所要時間を推定してもよい。

入力部により食事開始の入力を受け付ける入力ステップと、
前記入力ステップの後、前記撮像部により、１回目に撮像された画像を前記食前画像と決定し、２回目に撮像された画像を前記食後画像と決定する決定ステップとをさらに含んでいてもよい。

入力部により食事開始と食事終了との入力をそれぞれ受け付ける入力ステップと、
前記食事開始の入力の後に前記撮像部により最初に撮像された画像を前記食前画像と決定し、前記食事終了の入力の前に前記撮像部により最後に撮像された画像又は前記食事終了の入力の後に前記撮像部により最初に撮像された画像を前記食後画像と決定する決定ステップとをさらに含んでいてもよい。

入力部により食事の種別の入力を受け付ける入力ステップをさらに含み、
前記推定ステップは、前記入力ステップで入力された前記種別に基づいて前記食生活を推定してもよい。

前記推定ステップは、前記入力ステップで所定の種別が入力された場合、複数の前記画像に基づいて前記食生活を推定してもよい。

前記推定ステップは、ユーザの身体活動に関する情報に基づいて、前記食生活を推定してもよい。

検出部によりユーザの身体の状態に関する情報を検出する検出ステップをさらに含み、
前記推定ステップは、前記検出された身体の状態に基づいて前記身体活動に関する情報を推定すると共に、該身体活動に関する情報に基づいて、前記食生活を推定してもよい。

前記身体活動は、睡眠及び運動の少なくとも一方であってもよい。

上述したように本発明の解決手段を方法として説明してきたが、本発明はこれらに実質的に相当するシステム及び端末としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、本発明に係る食事管理システムは、
食事に関する画像を撮像する撮像部と、前記画像及び前記画像の撮像時刻に基づいてユーザの食生活を推定する制御部と、前記推定したユーザの食生活に関する情報を通知する通知部と、を少なくとも含む。

本発明に係る食事管理端末は、
食事に関する画像を撮像する撮像部と、
前記画像を該画像の撮像時刻と共にサーバに送信する送信部と、
前記画像及び前記画像の撮像時刻に基づいて推定されたユーザの食生活に関する情報を前記サーバから受信する受信部と、
前記ユーザの食生活に関する情報を通知する通知部とを備える。

上記のように構成された本発明によれば、改善された食事管理方法、食事管理システム及び食事管理端末を提供できる。

本発明の一実施の形態に係る食事管理システムの概略構成を示すブロック図である。 図１の端末装置における食事の記録処理の一例を示すフローチャートである。 図１の端末装置における食事の記録処理の一例を示すフローチャートである。 図１のサーバ装置における食生活の推定処理の一例を示すフローチャートである。 図１の端末装置における食事の記録処理の一例を示すフローチャートである。 図１の端末装置における食事の記録処理の一例を示すフローチャートである。 表示部が表示する食生活の推定結果の一例を示す図である。

以下、本発明の実施の形態について、図を参照して説明する。

図１は、本発明の一実施の形態に係る食事管理システムの概略構成を示すブロック図である。食事管理システム１００は、端末装置１１０とサーバ装置１２０とを含む。端末装置１１０とサーバ装置１２０とは、例えば、インターネット回線、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークを介して相互に通信可能に接続される。

端末装置１１０のユーザは、端末装置１１０の撮像部１１１を使用して、食事に関する画像を撮像する。端末装置１１０は、撮像した食事に関する画像をサーバ装置１２０に送信する。サーバ装置１２０では、サーバ制御部１２６が、受信した画像に基づいて、ユーザの食生活を推定する。食生活とは、生活のうち食事に関することである。食生活には、食事の内容、及び食事と時間との関係が含まれる。ユーザの食生活には、例えばユーザの食事の摂取量及びユーザが摂取した食事の栄養バランス等を含む食事の内容を含んでもよい。ユーザの食生活には、例えばユーザが食事を摂取した時間帯を含んでもよい。サーバ装置１２０は、推定した食生活に関する情報を端末装置１１０に送信する。食生活に関する情報を受信した端末装置１１０は、表示部１１３に受信した情報を表示する。ユーザは、表示部１１３に表示された情報を閲覧することにより、自らの食生活に関する情報を知ることができる。

端末装置１１０は、撮像部１１１と、検出部１１２と、表示部１１３と、入力部１１４と、記憶部１１５と、端末制御部１１６と、端末送信部１１７と、端末受信部１１８とを備える。端末装置１１０は、例えば食事管理システム１００に使用される専用の端末装置であってもよく、例えば携帯電話機等の電子機器であってもよい。

撮像部１１１は、例えばカメラにより構成される。撮像部１１１は、食事に関する画像を撮像する。すなわち、ユーザは、食事に関する画像を撮像することによって、自らの食事を端末装置１１０に記録する。

食事に関する画像には、例えば、食事を摂取する前の食前画像と、食事を摂取した後の食後画像とを含んでもよい。すなわち、食前画像は、ユーザに対して提供された料理が写った画像である。食後画像は、例えば、ユーザが料理を完食した場合、料理が提供されていた食器類が写った画像であり、ユーザが料理を食べ残した場合、食べ残した料理と食器類とが写った画像である。ユーザは、例えば食前及び食後に、それぞれ食前画像及び食後画像を撮像することにより、食事を、画像として端末装置１１０に記録する。ユーザの食生活は、撮像した画像に基づいて推定される。具体的な推定の方法は後述する。

ユーザは、１回の食事で食べる料理の画像を１枚の画像として撮像できない場合、複数回に分けて、料理の画像を撮像してもよい。１回の食事で食べる料理の画像を１枚の画像として撮像できない場合とは、例えば、コンパで食事を摂取する場合や、コース料理の食事を摂取する場合である。コンパの場合には、注文に応じて順次料理が提供される。コース料理では、コースに含まれる料理が、予め定められた順序で順次提供される。このような場合、ユーザは、料理が提供されるたびに、料理ごとに画像を撮像することにより、食事の記録を行う。

なお、コンパの場合には、提供された料理を、ユーザを含む複数人で食べることが想定される。この場合でも、ユーザは、提供された複数人分の料理の画像を撮像することにより、食事の記録を行う。ユーザの食生活は、撮像した複数人分の料理に基づいて推定されるが、具体的な推定の方法については後述する。

検出部１１２は、ユーザの身体の状態を検出するセンサである。ユーザの身体の状態とは、身体に関する物理的な状態であり、例えば体動、脈拍、体温等である。検出部１１２は、例えば加速度センサにより構成され、ユーザの身体の状態として体動を検出する。加速度センサは、端末装置１１０に作用する加速度の方向及び大きさ等の加速度に関する情報を検出する。例えば、ユーザが端末装置１１０を所持したまま歩行した場合、検出部１１２は、歩行によって端末装置１１０に作用する加速度に関する情報を検出する。例えば、ユーザが、睡眠時に、ユーザが寝ている布団等の上に端末装置１１０を置いている場合、検出部１１２は、ユーザの寝返りによって生じる布団の振動から、端末装置１１０に作用する加速度に関する情報を検出する。このようにして、検出部１１２は、ユーザの体動に関する情報を、加速度に関する情報として検出する。検出部１１２により検出された加速度に関する情報は、ユーザの動作の推定に使用される。ユーザの動作の推定の詳細は、後述する。検出部１１２は、例えば赤外線センサにより構成され、ユーザの身体の状態として脈拍を検出する。検出部１１２は、例えば温度センサにより構成され、ユーザの身体の状態として体温を検出する。検出部１１２は、端末装置１１０と別体としてもよく、ユーザが常に体の一部に装着できるように構成してもよい。検出部１１２は、上述した加速度センサ、赤外線センサ及び温度センサを少なくとも１つを備えていればよい。検出部１１２は、例えば、角速度センサ、地磁気センサ、湿度センサ、又は気圧センサを含んでもよい。検出部１１２は、上述のセンサのうち２つ以上を備えることにより、ユーザの身体の状態をより正確に検出することができる。

表示部１１３は、液晶ディスプレイ、有機ＥＬディスプレイ、又は無機ＥＬディスプレイ等の表示デバイスである。表示部１１３は、様々な情報を表示する。表示部１１３は、例えば、端末装置１１０がサーバ装置１２０から受信したユーザの食生活に関する情報を表示する。表示部１１３は、例えば、入力部１１４からのユーザの操作に基づいて、ユーザの食生活に関する情報を表示してもよい。表示部１１３は、例えば、ユーザが食事を終了するたびに、ユーザの食生活に関する情報を表示してもよい。

なお、表示部１１３は、食生活に関する情報をユーザに通知する通知部の一例である。端末装置１１０は、表示部１１３に代わり、又は表示部１１３と共に、他の手段により食生活に関する情報をユーザに通知してもよい。端末装置１１０は、例えば、スピーカを備え、スピーカから音声により食生活に関する情報を通知してもよい。

入力部１１４は、ユーザからの操作入力を受け付けるものであり、例えば、操作ボタン（操作キー）から構成される。入力部１１４は、例えば、タッチスクリーンにより構成され、表示部１１３の一部にユーザからの操作入力を受け付ける入力領域を表示して、ユーザによるタッチ操作入力を受け付けてもよい。ユーザは、入力部１１４を使用して、例えば、食事開始を入力できる。食事開始の入力は、例えば、ユーザが食事を開始するときに、タッチパネルとして構成された端末装置１１０の入力部１１４に表示された「食事開始」ボタンをタップすることにより行う。端末装置１１０の端末制御部１１６は、時計機能を利用して、食事開始が入力された時刻を、ユーザの食事開始時刻と認識してもよい。ユーザは、食事開始の入力と同様に、食事終了の入力を行うことができる。端末制御部１１６は、時計機能を利用して、食事終了が入力された時刻を、ユーザの食事終了時刻と認識してもよい。

ユーザは、入力部１１４を使用して、食事の種別を入力できる。本実施の形態において、食事の種別は、例えば、「コンパ・コース料理モード」と「食事モード」との２つの種別を有する。端末制御部１１６及びサーバ制御部１２６は、食事の種別に応じてそれぞれ異なる制御を行う。ユーザは、端末制御部１１６及びサーバ制御部１２６での制御方法を決定するために、入力部１１４から食事の種別を入力する。なお、以下、本実施の形態において、「コンパ・コース料理モード」は、コンパ又はコース料理等のように、１回の食事において順次料理が提供される食事の形態をいい、「食事モード」は、食事を開始するときに１回の食事の料理が全て提供されている食事の形態をいう。

ユーザは、「コンパ・コース料理モード」を選択した場合、撮像する料理を何人で摂取したかを、入力部１１４を使用して入力する。例えば、１０人でコンパを行った場合、ユーザは、「１０」と入力する。例えば、ユーザは、１人分のコース料理の画像を撮像する場合、「１」と入力する。入力した人数は、「コンパ・コース料理モード」における食生活の推定に使用される。

ユーザは、入力部１１４を使用して、ユーザの身長、体重、年齢及び性別等、食生活の管理を行うために必要なユーザ情報を入力できる。

ユーザは、入力部１１４を使用して、睡眠を行う場合に、「睡眠モード」の入力を行うことができる。ユーザが「睡眠モード」を入力した場合、端末制御部１１６は、検出部１１２が検出した振動を、ユーザの寝返りによって生じる布団の振動であると認識する。

ユーザは、入力部１１４を使用して、撮像モードのオン及びオフを制御できる。ユーザが「撮像モードオン」を入力した場合、端末制御部１１６が撮像部１１１を起動し、画像の撮像が可能となる。ユーザが「撮像モードオフ」を入力した場合、端末制御部１１６が撮像部１１１を停止する。端末制御部１１６は、ユーザによる「撮像モードオフ」の入力がない場合であっても、例えば「撮像モードオン」の状態で所定の時間ユーザが撮像部１１１を使用しない場合に、自動的に撮像モードをオフにしてもよい。端末制御部１１６は、ユーザによる「撮像モードオフ」の入力がない場合であっても、例えば「撮像モードオン」の状態でユーザが１枚画像を撮像した場合に、自動的に撮像モードをオフにしてもよい。

記憶部１１５は、例えば半導体メモリ、磁気メモリ等で構成でき、各種情報や端末装置１１０を動作させるためのプログラム等を記憶する。記憶部１１５は、例えば、撮像部１１１が撮像した食事に関する画像、検出部１１２が検出したユーザの体動に関する情報、及び入力部１１４から入力されたユーザ情報等を記憶する。記憶部１１５は、例えば、サーバ装置１２０から受信したユーザの食生活に関する情報を記憶する。

記憶部１１５は、ユーザが食事中であるか否かを示す食事中フラグに関する情報を記憶してもよい。食事中フラグは、例えば、ユーザが食事を行っていないと端末制御部１１６が判断する場合にオフ状態に、ユーザが食事を行っていると端末制御部１１６が判断する場合にオン状態に設定される。食事中フラグの設定については、図２において説明する。

端末制御部１１６は、端末装置１１０の全体の動作を制御するプロセッサである。端末制御部１１６は、例えば、撮像部１１１が食事に関する画像を撮像したとき、時計機能を利用して、当該画像を、画像の撮像時刻と対応付けて記憶部１１５に記憶させる。端末制御部１１６は、例えば、時計機能を利用して、検出部１１２により検出されたユーザの身体の状態に関する情報を、当該身体の状態を検出した時刻と対応付けて記憶部１１５に記憶させてもよい。端末制御部１１６は、記憶部１１５に記憶された情報を、データとして端末送信部１１７を介してサーバ装置１２０に送信する。端末制御部１１６は、定期的又は不定期的にデータを送信してもよい。例えば、端末制御部１１６は、毎日所定の時刻（例えば０時）にデータを送信してもよい。端末制御部１１６は、入力部１１４へのユーザの操作に基づいて、データを送信してもよい。端末制御部１１６は、ユーザが食事の記録を行うたびにデータを送信してもよい。

端末制御部１１６は、撮像部１１１が撮像した複数の画像から、食前画像と食後画像とを決定する。端末制御部１１６は、様々な方法により、食前画像と食後画像とを決定できる。

端末制御部１１６は、ユーザが入力部１１４から食事の種別として「食事モード」を入力した場合、例えば、入力部１１４に食事開始が入力された後、１回目に撮像された画像を食前画像と決定し、２回目に撮像された画像を食後画像と決定できる。この場合、ユーザは、食事開始の入力をした後、実際に食事を始める前に画像の撮像を行う。端末制御部１１６は、このようにして撮像された１回目の画像を食前画像と決定する。ユーザは、食事を終えた後、もう一度画像の撮像を行う。端末制御部１１６は、このようにして撮像された２回目の画像を食後画像と決定する。この方法により、端末制御部１１６は、自動的に食前画像及び食後画像を決定できる。

端末制御部１１６は、ユーザが入力部１１４から食事の種別として「食事モード」を入力した場合、例えば、入力部１１４に食事開始が入力された後に最初に撮像された画像を食前画像と決定し、入力部１１４に食事終了が入力される前に最後に撮像された画像を食後画像と決定する。この場合、ユーザは、食事開始の入力をした後、実際に食事を始める前に画像の撮像を行う。端末制御部１１６は、このようにして撮像された最初の画像を食前画像と決定する。ユーザは、食事を終えた後、画像の撮像を行い、その後、食事終了を入力する。すると、端末制御部１１６は、食事終了の入力前に最後に撮像された画像を食後画像と決定する。この方法によれば、ユーザが食事中に複数の画像を撮像しても、端末制御部１１６は、食前画像と食後画像とを自動的に決定できる。なお、端末制御部１１６は、食事終了が入力された後に最初に撮像された画像を食後画像と決定してもよい。この場合、ユーザは、食事を終えたときに、食事終了を入力し、その後、画像の撮像を行う。

端末制御部１１６は、ユーザが食事の記録を行うときの制限時間を管理できる。制限時間は、ユーザが食事を開始してから食事に関する画像を撮像できる時間を、所定の時間内に制限するものである。例えば、ユーザが食前画像を撮像したものの、食後画像を撮像し忘れた場合、端末制御部１１６は、食事の記録を終了する。例えば、食事を終了したときにユーザが食事終了を入力する必要がある場合であって、ユーザが食事終了の入力をし忘れた場合、端末制御部１１６は、制限時間を経過したときに、食事の記録を終了する。制限時間は、例えば３時間である。制限時間は、予め端末制御部１１６により決定されていてもよく、ユーザにより設定されてもよい。

端末送信部１１７は、端末装置１１０が有する情報をサーバ装置１２０に送信する。端末送信部１１７は、例えば、食事に関する画像と撮像時刻とを対応付けたデータ、ユーザの身体の状態に関するデータ、及びユーザ情報に関するデータ等を送信する。

端末受信部１１８は、サーバ装置１２０から送信される情報を受信する。端末受信部１１８は、例えば、サーバ装置１２０が推定したユーザの食生活に関する情報を受信する。なお、端末送信部１１７と端末受信部１１８とは、送受信機能を有する１つの端末通信部として構成してもよい。

サーバ装置１２０は、記憶部１２５と、サーバ制御部１２６と、サーバ送信部１２７と、サーバ受信部１２８とを備える。

記憶部１２５は、例えば半導体メモリ、磁気メモリ等で構成でき、各種情報やサーバ装置１２０を動作させるためのプログラム等を記憶する。例えば、記憶部１２５は、端末装置１１０から受信した各種情報を記憶する。記憶部１２５は、サーバ制御部１２６が推定したユーザの食生活に関する情報を記憶する。

記憶部１２５は、サーバ制御部１２６がユーザの食生活を推定するために必要な、基準となる基準情報を記憶する。基準情報は、例えば、好ましい栄養バランスに関する情報、好ましい食事の摂取量、好ましい食事の所要時間及び好ましい食事の摂取時間帯等に関する情報である。

サーバ制御部１２６は、サーバ装置１２０の全体の動作を制御するプロセッサである。サーバ制御部１２６は、端末装置１１０から受信した画像及び画像の撮像時刻に基づいて、記憶部１２５の基準情報を参照して、ユーザの食生活を推定する。このとき、サーバ制御部１２６は、ユーザが入力した食事の種別に応じたアルゴリズムを用いて、ユーザの食生活を推定する。サーバ制御部１２６は、推定した食生活に関する情報を端末装置１１０に送信する。このとき、サーバ制御部１２６は、端末装置１１０の表示部１１３に表示させるユーザに対する食生活のアドバイスを、推定した食生活に関する情報と共に、又は推定した食生活に関する情報に代えて、端末装置１１０に送信してもよい。

サーバ制御部１２６は、例えば、ユーザが「食事モード」を種別として入力した場合、端末装置１１０から受信した食前画像及び食後画像に基づいて、食事の摂取量及び栄養バランスの少なくとも一方を含む食事の内容を推定する。本実施の形態においては、サーバ制御部１２６は、食事の摂取量及び栄養バランスの双方を推定するとして説明する。

まず、サーバ制御部１２６が食事の摂取量を推定する方法について説明する。サーバ制御部１２６は、食前画像の画像分析により、食前の料理の量を推定する。料理の量は、例えば、画像分析に基づく料理の体積である。サーバ制御部１２６は、例えば、予め記憶部１２５が記憶する料理ごとの平均密度を参照して、画像分析により推定した料理の内容に基づき、料理の重さを料理の量として推定してもよい。次に、サーバ制御部１２６は、食後画像の画像分析により、ユーザが食べ残した料理の量を推定する。例えば、食後画像に食べ残した料理が移っていない場合には、サーバ制御部１２６は、ユーザが食べ残していないと判断する。サーバ制御部１２６は、食前画像の画像分析により推定した食前の料理の量から、食後画像の画像分析により推定したユーザが食べ残した料理の量の差を算出することにより、ユーザが実際に摂取した食事の摂取量を推定する。なお、サーバ制御部１２６は、例えば食前画像のみに基づいて、食前画像に写った料理をユーザが完食したと想定して、ユーザの食事の摂取量を簡便に推定してもよい。

サーバ制御部１２６は、推定した食事の摂取量に基づき、ユーザ情報、すなわちユーザの身長、体重、年齢及び性別等を参照して、食事の摂取量が適当であるか否かを判断する。サーバ制御部１２６は、例えば文章として表示部１１３に表示させるアドバイスを、端末装置１１０に送信する。サーバ制御部１２６は、例えば食事の摂取量が多いと判断した場合、「食事の量が多いです。もう少し食事の量を控えましょう」等のアドバイスを端末装置１１０に送信する。

次に、サーバ制御部１２６が食事の栄養バランスを推定する方法について説明する。サーバ制御部１２６は、受信した食前画像及び食後画像の画像分析を行う。例えば、サーバ制御部１２６は、食前画像の画像分析により、食事の色のバランス（色バランス）を分析する。食事に含まれる食材の色は、必ずしも食材が含む栄養素に対応するものではないが、食材の色によって、その食材が含む栄養素を推定できる。例えば、茶色の食材は、肉類のようにタンパク質を多く含む食材である可能性が高いことが推定できる。例えば、白色の食材は、米、パン及び麺類のように炭水化物を多く含む食材である可能性が高いことが推定できる。例えば、緑色の食材は、葉物野菜のようにミネラル及びビタミン類を多く含む可能性が高いことが推定できる。サーバ制御部１２６は、食材の色バランスを分析することにより、栄養バランスを推定する。

サーバ制御部１２６は、食前画像の画像分析の結果、例えば、基準情報における好ましい摂取量に対して緑色の食材が少ないと判断した場合、葉物野菜が不足していると判断する。この場合、サーバ制御部１２６は、食事の内容として、ミネラル及びビタミン類が不足しているという情報を端末装置１１０に送信する。このとき、サーバ制御部１２６は、例えば文章として表示部１１３に表示させるアドバイスを、端末装置１１０に送信する。上述の例では、サーバ制御部１２６は、例えば「葉物野菜が不足しています。もっと食事に取り入れるようにしましょう」等のアドバイスを端末装置１１０に送信する。

例えば、サーバ制御部１２６は、食後画像の画像分析により、ユーザが摂取した食事の栄養バランス及び摂取量等を分析できる。例えば、サーバ制御部１２６は、食前画像の色バランスの分析の結果、基準情報に照らして、栄養バランスが良いと判断したとする。サーバ制御部１２６は、食後画像の画像分析を行った結果、緑色の食材が残っていると判断したとする。この場合、サーバ制御部１２６は、ユーザが摂取した食事において、葉物野菜が不足していると判断する。サーバ制御部１２６は、食事の内容として、ミネラル及びビタミン類が不足しているという情報を端末装置１１０に送信する。このとき、サーバ制御部１２６は、例えば「葉物野菜が残っています。残さず食べるようにしましょう」等のアドバイスを端末装置１１０に送信する。

なお、サーバ制御部１２６は、食事の内容に関する他の情報を推定してもよく、例えば、食事のカロリーを推定してもよい。

サーバ制御部１２６は、例えば、ユーザが「コンパ・コース料理モード」を種別として入力した場合、端末装置１１０から受信した画像に基づいて、食事の内容を推定する。ここでは、一例として、サーバ制御部１２６が、食事の摂取量を推定する方法について説明する。サーバ制御部１２６は、「コンパ・コース料理モード」において、上述の「食事モード」と同様に、食前画像及び食後画像に基づいて、食事の摂取量を推定してもよいが、ここでは、食後画像を使用せずに食事の摂取量を推定する方法について説明する。

ユーザが種別として「コンパ・コース料理モード」を選択した場合、料理の画像は、料理が提供されるたびに、料理ごとに撮像されている。サーバ制御部１２６は、１回の食事として撮像された全ての画像を分析することにより、「コンパ・コース料理モード」において全体で摂取された料理の量を推定する。サーバ制御部１２６は、推定した全体の料理の量を、ユーザが入力した食事を摂取した人数で割り算を行うことにより、１人当たりが摂取した食事の量を推定する。例えば、１０人でコンパを行い、ユーザが食事を摂取した人数として「１０」と入力していた場合、サーバ制御部１２６は、推定した全体の料理の量を１０で割る演算を行う。サーバ制御部１２６は、このようにして算出した１人分の量を、ユーザの食事の摂取量として推定する。

サーバ制御部１２６は、「コンパ・コース料理モード」の場合、食事の所要時間の算出を行わなくてもよい。例えば、コンパは数時間にわたって行われることがあるため、コンパの所要時間を、食生活として管理される食事の所要時間として記録することが、必ずしも食生活の管理において適当であるとは限らないためである。

サーバ制御部１２６は、推定したユーザの食事の摂取量に基づき、上述の説明と同様に、食事の摂取量が適当であるか否かを判断し、表示部１１３に表示させるアドバイスを、端末装置１１０に送信する。

サーバ制御部１２６は、食前画像の撮像時刻及び食後画像の撮像時刻に基づいて、ユーザの食事の所要時間を算出する。ここで食事の所要時間は、ユーザが食事を開始してから、食べ終えるまでの時間であり、すなわち、食事に要した時間である。サーバ制御部１２６は、食後画像の撮像時刻と食前画像の撮像時刻との差を算出することにより、食事の所要時間を算出できる。

サーバ制御部１２６は、所定の所要時間閾値に基づいて、ユーザの食事の所要時間が短いか否かを判断できる。所定の所要時間閾値は、例えば、ユーザの過食を抑制できる時間である。具体的には、ユーザは、食事を開始してから約２０分経過すると、満腹中枢の働きにより満腹と感じる。ユーザは、満腹中枢が働き始める時間よりも短い時間で食事を終了すると、満腹感を得られないため、より多くの食事を摂取する可能性がある。従って、過食を抑制するためには、ユーザは、満腹中枢が働き始めるまで時間をかけて食事を摂取することが好ましい。そのため、サーバ制御部１２６は、例えば、ユーザが食事を開始して２０分以内に食べ終えた場合には、食事の所要時間が短いと判断できる。

サーバ制御部１２６は、ユーザの食生活を推定した内容として、食事の内容と、算出したユーザの食事の所要時間とを端末装置１１０に送信できる。このとき、サーバ制御部１２６は、食事の所要時間が短いか否かの判断についての情報を端末装置１１０に送信できる。サーバ制御部１２６は、食事の所要時間が短いと判断した場合、例えば「もっと時間をかけて食事を行いましょう」等のアドバイスを端末装置１１０に送信してもよい。このアドバイスには、食事にかける具体的な目標時間（例えば３０分）を含めてもよい。

サーバ制御部１２６は、ユーザの身体活動に関する情報を推定すると共に、身体活動に関する情報と画像の撮像時刻とに基づいて、食生活を推定できる。身体活動とは、睡眠や運動等、ユーザが生活において行う任意の活動である。サーバ制御部１２６は、検出部１１２が検出したユーザの身体の状態に関する情報を端末装置１１０から取得し、身体の状態に基づいて、身体活動に関する情報を推定する。

サーバ制御部１２６は、例えば、身体活動に関する情報として、睡眠に関する情報を推定すると共に、睡眠に関する情報と画像の撮像時刻とに基づいて、食生活を推定できる。端末装置１１０の検出部１１２が体動を検出する場合、サーバ制御部１２６は、端末装置１１０から取得した体動に関するデータに基づいて、ユーザの睡眠に関する情報を推定する。

ここで、サーバ制御部１２６による睡眠に関する情報の推定について具体的に説明する。人は、睡眠中に、ほぼ一定のサイクルでレム睡眠とノンレム睡眠との２つの睡眠状態を繰り返すことが知られている。睡眠状態がレム睡眠の場合、人は寝返りをうちやすい傾向にあり、ノンレム睡眠の場合、人は寝返りをうちにくい傾向にある。端末装置１１０の検出部１１２が体動を検出する場合、サーバ制御部１２６は、この傾向を利用して、ユーザの寝返りに起因する体動に基づき、ユーザの睡眠状態を推定する。すなわち、所定のサイクルで体動が検出される時間帯をノンレム睡眠と推定し、所定のサイクルで体動が検出されない時間帯をレム睡眠と推定する。２つの睡眠状態は、ほぼ一定のサイクルで繰り返される。そのため、サーバ制御部１２６は、２つの睡眠状態のサイクルを決定した後、２つの睡眠状態の時間帯に基づいて、遡ってユーザが入眠した時刻、すなわち実際に眠りに入った時刻を推定する。

端末装置１１０の検出部１１２が脈拍及び体温を検出する場合、睡眠に関する情報は、脈拍及び体温に基づいて推定してもよい。具体的には、睡眠中に人は脈拍が減少し、体温が低下する。サーバ制御部１２６は、脈拍および体温について予め所定の睡眠判定閾値を設定し、脈拍及び体温が所定の睡眠判定閾値よりも低くなった時刻を、実際に眠りに入った時刻と推定する。

これらの睡眠に関する情報の推定は、端末制御部１１６で推定してもよい。その場合、端末制御部１１６は推定した入眠時刻を、端末送信部１１７を介してサーバ装置１２０に送信する。

サーバ制御部１２６は、上述のようにして推定した入眠時刻と、食事に関する画像の撮像時刻とに基づいて、ユーザの食生活を推定する。この場合、サーバ制御部１２６が推定する食生活は、例えば、ユーザが食事を食べ終えてから睡眠をとるまでの時間に関する。具体的には、例えば、サーバ制御部１２６は、推定した入眠時刻と食後画像の撮像時刻との差を算出することにより、ユーザが食事を食べ終えてから睡眠をとるまでの時間を算出する。

サーバ制御部１２６は、所定の睡眠前時間閾値に基づいて、ユーザが食事を摂取してから睡眠をとるまでの時間が短いか否かを判断できる。所定の睡眠前時間閾値は、例えば、ユーザに内臓脂肪がつきやすい時間である。具体的には、食事を食べ終えてから約２時間以内に睡眠をとると、摂取した食事が睡眠の間に内臓脂肪として蓄積されやすい。内臓脂肪が蓄積されると、ユーザは、例えば、動脈硬化、高脂血症、高血圧及び糖尿病等の様々な疾患にかかりやすくなる。内臓脂肪の蓄積を抑制するために、ユーザは、睡眠を行う２時間以上前に食事を終了していることが好ましい。そこで、サーバ制御部１２６は、例えば、ユーザが食後画像の撮像時刻から２時間以内に入眠した場合には、食事を摂取してから睡眠をとるまでの時間が短いと判断できる。サーバ制御部１２６は、食事画像の分析により、食事の内容として、ユーザが摂取した食事の栄養バランス及び摂取量等を推定できる。

サーバ制御部１２６は、ユーザの食生活を推定した内容として、睡眠前に摂った食事の内容と、食事を摂取してから睡眠をとるまでの時間とを端末装置１１０に送信できる。このとき、サーバ制御部１２６は、食事を摂取してから睡眠をとるまでの時間が短いか否かの判断についての情報を端末装置１１０に送信できる。サーバ制御部１２６は、食事を摂取してから睡眠をとるまでの時間が短いと判断した場合、例えば「もっと早めに夕食を摂りましょう」等のアドバイスを端末装置１１０に送信してもよい。このアドバイスには、夕食を摂取する具体的な目標時間（例えば午後７時頃）を含めてもよい。

サーバ制御部１２６は、例えば、身体活動に関する情報として、運動に関する情報を推定すると共に、運動に関する情報と画像の撮像時刻とに基づいて、食生活を推定できる。端末装置１１０の検出部１１２が体動を検出する場合、サーバ制御部１２６は、端末装置１１０から取得した体動に関する情報に基づいて、ユーザの運動に関する情報を推定する。

ここで、サーバ制御部１２６による運動に関する情報の推定について具体的に説明する。サーバ制御部１２６は、検出部１１２によって検出されたユーザの体動の大きさに従って、運動の強度及び運動を行った運動時間を推定する。サーバ制御部１２６は、体動の大きさが所定の体動閾値を超えている場合にユーザが運動を行っていると判断する。サーバ制御部１２６は、体動の大きさが所定の体動閾値を継続して超えている時間をユーザの運動時間として推定する。また、サーバ制御部１２６は、体動の大きさが所定の体動閾値を超えた時刻及び下回った時刻を、それぞれ運動時間の開始時刻及び終了時刻として推定する。サーバ制御部１２６は、所定の体動閾値を複数設定し、複数の強度レベルの運動に対応する運動時間の開始時刻及び終了時刻を推定してもよい。

端末装置１１０の検出部１１２が脈拍及び体温を検出する場合、運動に関する情報は、脈拍及び体温に基づいて推定してもよい。具体的には、運動中に人は脈拍が増加し、体温が上昇する。サーバ制御部１２６は、脈拍及び体温について、予めユーザが運動をしているか否かを判定するための所定の運動判定閾値を設定し、脈拍及び体温が所定の運動判定閾値よりも大きくなった時刻を、運動を開始した時刻と推定する。

なお、上述した運動強度及び運動時間は、端末制御部１１６で推定してもよい。その場合、端末制御部１１６は推定した運動強度と運動時間とを、端末送信部１１７を介してサーバ装置１２０に送信する。

サーバ制御部１２６は、上述のようにして推定した運動時間と、食事に関する画像の撮像時刻とに基づいて、ユーザの食生活を推定する。この場合、サーバ制御部１２６が推定する食生活は、例えば、ユーザが食事を食べ終えてから運動を開始するまでの時間に関する。具体的には、例えば、サーバ制御部１２６は、推定した運動開始時刻と食後画像の撮像時刻との差を算出することにより、ユーザが食事を食べ終えてから運動を開始するまでの時間を算出する。

サーバ制御部１２６は、所定の食事後時間閾値に基づいて、ユーザが食事を食べ終えてから運動を開始するまでの時間が適切か否かを判断できる。所定の食事後時間閾値は、例えば、体が運動しやすい状態となる時間である。食事直後の運動は、胃腸や肝臓などの消化器官に負担がかかる。血糖が低い状態で運動すると、体は脂肪をエネルギー源にしようとして、血液中に脂肪酸を出すことになる。血液中の脂肪酸の量が増えると心臓など身体に悪い影響を及ぼす。具体的には、食事を食べ終えてから約２時間後から３時間後の間が、食事直後でもなく、血糖も程よく上がっていて、体が運動しやすい状態となる時間である。サーバ制御部１２６は、例えば、ユーザが食後画像の撮像時刻から２時間以内に運動を開始した場合には、食事を摂取してから運動を開始するまでの時間が短く適切ではないと判断できる。サーバ制御部１２６は、例えば、ユーザが食後画像の撮像時刻から３時間以上経ってから運動を開始した場合には、食事を摂取してから運動を開始するまでの時間が長く適切ではないと判断できる。

サーバ制御部１２６は、ユーザの食生活を推定した内容として、食事を摂取してから運動を開始するまでの時間を端末装置１１０に送信できる。このとき、サーバ制御部１２６は、食事を摂取してから運動を開始するまでの時間が適切か否かの判断についての情報を端末装置１１０に送信できる。サーバ制御部１２６は、食事を摂取してから運動を開始するまでの時間が適切ではないと判断した場合、例えば「運動の前の食事はもっと早めに摂りましょう」等のアドバイスを端末装置１１０に送信してもよい。このアドバイスには、運動前又は運動後における食事の量、食事の内容等を含めてもよい。例えば「空腹時は、糖質を含むバナナなどの食品を少量でも食べてから運動しましょう」等のアドバイスを端末装置１１０に送信してもよい。

サーバ制御部１２６が推定する食生活は、例えば、ユーザが運動を終了してから食事を摂取するまでの時間に関する。具体的には、例えば、サーバ制御部１２６は、推定した運動終了時刻と食前画像の撮像時刻との差を算出することにより、ユーザが運動を終了してから食事を摂取するまでの時間を算出する。

サーバ制御部１２６は、所定の運動後時間閾値に基づいて、ユーザが運動を終えてから食事を開始するまでの時間が適切か否かを判断できる。所定の運動後時間閾値は、例えば、運動により破壊された筋組織を修復しやすい時間である。運動により、筋組織が破壊された状態のまま放置しておくと、筋肉痛の原因となる。運動した後、早い時間にタンパク質を摂取すると、破壊された筋組織を修復しやすいため、筋組織を修復しやすい時間に食事を行うことが好ましい。具体的には、例えば、運動を終了してから１時間以内に食事を行うと、筋組織が修復されやすい。サーバ制御部１２６は、例えば、ユーザが運動後１時間以内に食事を開始した場合、筋組織が修復されやすく、適切であると判断できる。サーバ制御部１２６は、例えば、ユーザが運動を終了してから２時間経過後に食事を開始した場合、筋組織の修復がされにくく、適切ではないと判断できる。

サーバ制御部１２６は、ユーザの食生活を推定した内容として、食事の内容と、運動を終了してから食事を摂取するまでの時間とを端末装置１１０に送信できる。このとき、サーバ制御部１２６は、運動を終了してから食事を摂取するまでの時間が適切か否かの判断についての情報を端末装置１１０に送信できる。サーバ制御部１２６は、運動を終了してから食事を摂取するまでの時間が適切ではないと判断した場合、例えば「運動後は１時間以内に食事を摂りましょう」等のアドバイスを端末装置１１０に送信してもよい。このアドバイスには、運動後における食事の量、食事の内容等を含めてもよい。例えば「運動後の食事にタンパク質が足りません。運動後は肉、大豆などを食べて筋肉を修復しましょう」等のアドバイスを端末装置１１０に送信してもよい。

図１において、サーバ送信部１２７は、サーバ装置１２０が有する情報を端末装置１１０に送信する。サーバ送信部１２７は、例えば、サーバ制御部１２６が推定した食生活に関する情報を送信する。

サーバ受信部１２８は、端末装置１１０から送信される情報を受信する。サーバ受信部１２８は、例えば、食事に関する画像と撮像時刻とを対応付けたデータを受信する。サーバ受信部１２８は、例えば、ユーザの体動に関するデータを受信する。なお、サーバ送信部１２７とサーバ受信部１２８とは、送受信機能を有する１つのサーバ通信部として構成してもよい。

次に、端末装置１１０が行う食事の記録処理について説明する。図２は、図１の端末装置１１０における食事の記録処理の一例を示すフローチャートである。図２は、食事モードにおいて、端末制御部１１６が、入力部１１４に食事開始が入力された後、１回目に撮像された画像を食前画像と決定し、２回目に撮像された画像を食後画像と決定する場合の食事の記録処理を示すフローチャートである。このフローのスタートの段階では、端末制御部１１６は、記憶部１１５に記憶される食事中フラグをオフ状態に設定している。

まず、入力部１１４は、ユーザから食事の種別の入力を受け付ける（ステップＳ１０１）。端末制御部１１６は、入力された食事の種別が「食事モード」であるか否かを判断する（ステップＳ１０２）。

端末制御部１１６は、入力された食事の種別が「食事モード」ではなく、「コンパ・コース料理モード」であると判断した場合（ステップＳ１０２のＮｏ）、「コンパ・コース料理モード」で食事を記録する（ステップＳ１０３）。「コンパ・コース料理モード」の食事の記録の詳細については、図５及び図６において説明する。この場合、端末制御部１１６は、このフローを終了する。

端末制御部１１６は、入力された食事の種別が「食事モード」であると判断した場合（ステップＳ１０２のＹｅｓ）、「食事モード」で食事を記録する。この場合、入力部１１４は、ユーザから食事開始の入力を受け付ける（ステップＳ１０４）。端末制御部１１６は、食事時間の計測を開始する（ステップＳ１０５）。

次に、端末制御部１１６は、食事時間の計測を開始してから制限時間を経過したか否かを判断する（ステップＳ１０６）。

端末制御部１１６は、制限時間を経過したと判断した場合（ステップＳ１０６のＹｅｓ）、食事時間の計測を終了して（ステップＳ１１４）、このフローを終了する。

一方、端末制御部１１６は、制限時間を経過していないと判断した場合（ステップＳ１０６のＮｏ）、入力部１１４に「撮像モードオン」の入力が行われたか否かを判断する（ステップＳ１０７）。

端末制御部１１６は、ユーザにより「撮像モードオン」の入力が行われていないと判断した場合（ステップＳ１０７のＮｏ）、制限時間を経過したか否かを判断する（ステップＳ１０６）。端末制御部１１６は、「撮像モードオン」の入力が行われるまで、ステップＳ１０６及びステップＳ１０７を繰り返す。

端末制御部１１６は、ユーザにより「撮像モードオン」の入力が行われたと判断した場合（ステップＳ１０７のＹｅｓ）、撮像部１１１の撮像モードをオンにする（ステップＳ１０８）。撮像部１１１は、ユーザの操作により、食事に関する画像を撮像する（ステップＳ１０９）。

記憶部１１５は、撮像部１１１が撮像した画像を撮像時刻と対応付けて記憶する（ステップＳ１１０）。端末制御部１１６は、撮像部１１１の撮像モードをオフにする（ステップＳ１１１）。

次に、端末制御部１１６は、食事中フラグがオン状態であるか否かを確認する（ステップＳ１１２）。

端末制御部１１６は、食事中フラグがオフ状態の場合（ステップＳ１１２のＮｏ）、ステップＳ１０９において画像を撮像しているため、ユーザが既に食事を開始しているとして、食事中フラグをオン状態に設定する（ステップＳ１１３）。このフローは、ステップＳ１０６に戻る。

一方、端末制御部１１６は、食事中フラグがオン状態の場合（ステップＳ１１２のＹｅｓ）、食事時間の計測を終了し（ステップＳ１１４）、このフローを終了する。

図２のフローにおいては、ユーザの食事開始前は、食事中フラグがオフ状態である。ユーザが１回目に食事に関する画像を撮像したとき（ステップＳ１０９）、端末制御部１１６は、この画像を食前画像と決定する。食事中フラグをオン状態にする（ステップＳ１１３）。このフローがステップＳ１０６に戻り、２回目にユーザが食事に関する画像を撮像したとき（ステップＳ１０９）端末制御部１１６は、この画像を食後画像と決定する。このとき、食事中フラグはオン状態であるから、端末制御部１１６は、食事時間の計測を終了して（ステップＳ１１４）、このフローを終了する。端末装置１１０は、このようにして、食事モードにおいて、１回目に撮像された画像を食前画像と決定し、２回目に撮像された画像を食後画像と決定する。端末制御部１１６は、食前画像又は食後画像が撮像されているか否かにかかわらず、制限時間を経過した場合には、このフローを終了できる。

図３は、図１の端末装置１１０における食事の記録処理の他の一例を示すフローチャートである。図３は、食事モードにおいて、端末制御部１１６が、食事開始が入力された後に最初に撮像された画像を食前画像と決定し、食事終了が入力された後に最初に撮像された画像を食後画像と決定する場合の食事の記録処理を示すフローチャートである。このフローでは、図２のフローと異なり、食事中フラグは使用されない。

端末装置１１０の各機能部は、図３のフローチャートにおいて、図２のステップＳ１０１からステップＳ１１１と同様に、それぞれ対応する図３のステップＳ２０１からステップＳ２１１を実行する。ここでは、ステップＳ２０１からステップＳ２１１は、ステップＳ１０１からステップＳ１１１と同じであるため、説明を省略する。

端末制御部１１６は、ステップＳ２１１で、撮像部１１１の撮像モードをオフにすると、次に、ユーザにより、入力部１１４に食事終了の入力が行われたか否かを判断する（ステップＳ２１２）。

端末制御部１１６は、食事終了の入力が行なわれていないと判断した場合（ステップＳ２１２のＮｏ）、ユーザが食事を継続していると判断し、このフローはステップＳ２０６に戻る。このようにして、このフローは、ステップＳ２１２で端末制御部１１６が食事終了の入力が行なわれたと判断するまで、ステップＳ２０６からステップＳ２１２を繰り返す。

一方、端末制御部１１６は、食事終了の入力が行なわれたと判断した場合（ステップＳ２１２のＹｅｓ）、食事時間の計測を終了し（ステップＳ２１３）、このフローを終了する。

図３のフローにおいては、ユーザが食事を開始した後、自ら食事終了の入力を行うまで、ステップＳ２０６からステップＳ２１２を繰り返すことができる。つまり、ユーザは、例えば撮像した画像に料理が全て写りこんでいない等、適当な画像が撮像できていないと判断した場合、画像を撮像し直すことができる。

図２又は図３のフローチャートにより撮像された画像は、次にサーバ装置１２０に送信される。サーバ装置１２０は、受信した食前画像及び食後画像に基づいて、ユーザの食生活を推定する。

図４は、図１のサーバ装置１２０における食生活の推定処理の一例を示すフローチャートである。ここで、図４を参照して、サーバ装置１２０による食生活の推定処理について説明する。

まず、サーバ受信部１２８が、端末装置１１０から送信された画像に関する情報を受信する（ステップＳ３０１）。

次に、サーバ制御部１２６は、食前画像の撮像時刻及び食後画像の撮像時刻に基づいて、ユーザの食事の所要時間を算出する（ステップＳ３０２）。サーバ制御部１２６は、食前画像及び食後画像を分析することにより、ユーザが摂取した食事の内容を推定する（ステップＳ３０３）。

サーバ送信部１２７は、食事の所要時間及びユーザが摂取した食事の内容を含む食生活の推定結果を端末装置１１０に送信する（ステップＳ３０４）。ユーザは、端末装置１１０が受信した推定結果を、表示部１１３に表示させることにより確認することができる。

次に、図２のステップＳ１０３又は図３のステップＳ２０３における「コンパ・コース料理モード」の場合の食事の記録処理について説明する。

図５は、図１の端末装置１１０における食事の記録処理の一例を示すフローチャートである。具体的には、図５は、端末装置１１０が、「コンパ・コース料理モード」において、食事時間を管理する場合の記録処理の一例を示すフローチャートである。

図２のステップＳ１０３又は図３のステップＳ２０３において、端末制御部１１６が、「コンパ・コース料理モード」が入力されたと判断した場合、入力部１１４は、ユーザから「コンパ・コース料理モード」における食事を摂取する人数の入力を受け付ける（ステップＳ４０１）。受付に際し、端末制御部１１６は、例えば、人数の入力を促す画面を表示部１１３に表示させてもよい。

入力部１１４は、ユーザから食事開始の入力を受け付ける（ステップＳ４０２）。ステップＳ４０２からステップＳ４１１は、それぞれ図３のステップＳ２０４からステップＳ２１３に対応する。すなわち、各機能部は、それぞれ対応するステップと同じ処理を行う。そのため、ここでは、処理の詳細な説明を省略する。

食事時間を管理する場合の「コンパ・コース料理モード」では、ステップＳ４０４で端末制御部１１６が制限時間を経過したと判断するまで、又は、ステップＳ４１０で端末制御部１１６が食事終了の入力が行われたと判断するまで、ユーザは、ステップＳ４０４からステップＳ４１０を繰り返すことにより、食事に関する画像の撮像を行うことができる。このようにして、ユーザは、順次提供される料理を順次撮像することにより、摂取した食事全体の画像を記録できる。

図６は、図１の端末装置１１０における食事の記録処理の他の一例を示すフローチャートである。具体的には、図６は、端末装置１１０が、「コンパ・コース料理モード」において、食事時間を管理しない場合の記録処理の一例を示すフローチャートである。

図２のステップＳ１０３又は図３のステップＳ２０３において、端末制御部１１６は、「コンパ・コース料理モード」が入力されたと判断した場合、入力部１１４に「撮像モードオン」の入力が行われたか否かを判断する（ステップＳ５０１）。

端末制御部１１６は、ユーザにより「撮像モードオン」の入力が行われていないと判断した場合（ステップＳ５０１のＮｏ）、ユーザにより、入力部１１４に食事終了の入力が行われたか否かを判断する（ステップＳ５０６）。

一方、端末制御部１１６は、ユーザにより「撮像モードオン」の入力が行われたと判断した場合（ステップＳ５０１のＹｅｓ）、撮像部１１１の撮像モードをオンにする（ステップＳ５０２）。ステップＳ５０２からステップＳ５０５は、それぞれ図２のステップＳ１０８からステップＳ１１１に対応する。すなわち、各機能部は、それぞれ対応するステップと同じ処理を行う。そのため、ここでは、処理の詳細な説明を省略する。

端末制御部１１６は、ステップＳ５０５において撮像部１１１の撮像モードをオフにすると、次に、ユーザにより、入力部１１４に食事終了の入力が行われたか否かを判断する（ステップＳ５０６）。

端末制御部１１６は、食事終了の入力が行なわれていないと判断した場合（ステップＳ５０６のＮｏ）、ユーザが食事を継続していると判断し、このフローはステップＳ５０１に戻る。このようにして、このフローは、ステップＳ５０６で端末制御部１１６が食事終了の入力が行なわれたと判断するまで、ステップＳ５０１からステップＳ５０６を繰り返す。

一方、端末制御部１１６は、食事終了の入力が行なわれたと判断した場合（ステップＳ５０６のＹｅｓ）、このフローを終了する。

食事時間を管理しない場合の「コンパ・コース料理モード」では、ステップＳ５０６で端末制御部１１６が食事終了の入力が行われたと判断するまで、ユーザは、食事に関する画像の撮像を行うことができる。このようにして、ユーザは、順次提供される料理を順次撮像することにより、摂取した食事全体の画像を記録できる。制限時間を越える長時間のコンパであっても、ユーザは、提供された全ての料理の画像を撮像できる。

図７は、表示部１１３が表示する食生活の推定結果の一例を示す図である。図７（ａ）は、ある１日において、ユーザが食事を行った時間を示すチャートである。図７（ａ）において、斜線で示すＡ領域は、ユーザが食事を行った時間を示している。表示部１１３が表示する推定結果は、さらに他の情報を表示してもよく、例えば、ユーザの睡眠時間及び運動時間を表示してもよい。例えば、図７（ａ）に示すように、点で示すＢ領域は、ユーザが運動を行った時間を示しており、黒塗りで示すＣ領域は、ユーザの睡眠時間を示している。図７（ａ）を参照すると、表示された日において、ユーザは３回の食事を行ったことが理解できる。図７（ａ）を参照すると、食事を行った時間帯及び食事に要した時間も知ることができる。図７（ａ）を参照すると、食事を行った時間と、運動及び睡眠の時間との関係も理解することができる。

図７（ｂ）は、個別の食事に関する情報の表示の一例を示す図である。表示部１１３は、例えば、ユーザが、入力部１１４を使用して、図７（ａ）のチャートにおいて食事を示すいずれかのＡ領域を選択した場合に、図７（ｂ）に示す図を表示する。図７（ｂ）に示す例では、食事の食前画像と、その食事に対するアドバイスが表示されている。表示部１１３は、他の情報も表示できる。例えば、表示部１１３は、食後画像を表示してもよい。表示部１１３は、例えば食事の栄養バランスやカロリー等の情報を表示してもよい。

以上説明したように、食事管理システム１００は、栄養バランスや食事の摂取量等の食事の内容の他、食事に要した時間等を考慮した食生活を推定できる。食事管理システム１００は、例えば、食事を行った時間帯と入眠時間及び運動時間等の複数の要素に基づいて食生活を推定できる。食事管理システム１００は、このようにして推定した食生活に基づき、例えばアドバイス等の情報をユーザに提示できる。そのため食事管理システム１００は、有用な情報を提示できる。ユーザはこのようにして提示された情報に基づいて、食生活の改善を行うことができる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上記実施の形態では、サーバ装置１２０は、食事に関する画像のデータの提供元である端末装置１１０に、推定した食生活に関する情報を送信したが、本発明は、この形態に限られない。例えば、サーバ装置１２０は、撮像部１１１を有する専用の端末装置から食事に関する画像データを受信し、食生活の推定を行った後、専用の端末装置とは異なる他の端末装置に食生活に関する情報を送信してもよい。他の端末装置として、例えば、携帯電話機、携帯型ミュージックプレイヤ、ノートパソコン、タブレット端末、ゲーム機などの多岐にわたる任意の電子機器を使用することができる。

例えば、上記実施の形態では、サーバ制御部１２６は、検出部１１２が検出したユーザの身体の状態に基づいて、身体活動に関する情報を推定し、身体活動に関する情報に基づいて、食生活を推定すると説明した。しかし、食生活の推定を行う方法は、これに限定されない。例えば、ユーザが、端末装置１１０の入力部１１４から運動時間及び睡眠時間等の身体活動に関する情報を入力し、サーバ制御部１２６は、ユーザが入力した身体活動に基づいて、食生活を推定してもよい。この場合、端末装置１１０は、検出部１１２を備えていなくてもよい。

食生活の推定は、必ずしもサーバ装置１２０で行われていなくてもよい。例えば、撮像部を備える端末装置が、上述の実施形態におけるサーバ制御部１２６の機能を有する制御部を備えていてもよい。この場合、食事に関する画像を撮像した端末装置が、自ら食生活に関する情報を推定できる。

食生活の推定は、例えば管理栄養士等の専門化が行ってもよい。この場合、具体的には、管理栄養士が、端末装置１１０からサーバ装置１２０に送信された食事に関する画像を閲覧し、画像の情報から、ユーザの食事の内容を推定することができる。この場合、管理栄養士がユーザへのアドバイスを作成することができる。

ユーザに提示されるアドバイスは、既にユーザが摂取し終えた食事に関するものでなくてもよい。例えば、サーバ装置１２０は、推定した食事の内容において、揚げ物が多い場合には、「明日は油ものを控えましょう」等のように、将来の食事に関するアドバイスを表示部１１３に表示させることもできる。

１００ 食事管理システム
１１０ 端末装置
１１１ 撮像部
１１２ 検出部
１１３ 表示部
１１４ 入力部
１１５ 記憶部
１１６ 端末制御部
１１７ 端末送信部
１１８ 端末受信部
１２０ サーバ装置
１２５ 記憶部
１２６ サーバ制御部
１２７ サーバ送信部
１２８ サーバ受信部

Claims (12)

1. 撮像部により食事に関する画像を撮像する撮像ステップと、
   通知部により前記画像及び前記画像の撮像時刻に基づいて推定されたユーザの食生活に関する情報を通知する通知ステップと
   を含む食事管理方法。
2. 制御部により前記食生活を推定する推定ステップをさらに含む、請求項１に記載の食事管理方法。
3. 前記画像は、食事を摂取する前の食前画像と、食事を摂取した後の食後画像とを含み、
   前記食生活は、食事の摂取量及び食事の栄養バランスの少なくとも一方を含む食事の内容と、食事の所要時間とを含み、
   前記推定ステップは、前記食前画像及び前記食後画像に基づいて前記食事の内容を推定すると共に、前記食前画像の撮像時刻及び前記食後画像の撮像時刻とに基づいて前記食事の所要時間を推定する、
   請求項２に記載の食事管理方法。
4. 入力部により食事開始の入力を受け付ける入力ステップと、
   前記入力ステップの後、前記撮像部により、１回目に撮像された画像を前記食前画像と決定し、２回目に撮像された画像を前記食後画像と決定する決定ステップと
   をさらに含む、請求項３に記載の食事管理方法。
5. 入力部により食事開始と食事終了との入力をそれぞれ受け付ける入力ステップと、
   前記食事開始の入力の後に前記撮像部により最初に撮像された画像を前記食前画像と決定し、前記食事終了の入力の前に前記撮像部により最後に撮像された画像又は前記食事終了の入力の後に前記撮像部により最初に撮像された画像を前記食後画像と決定する決定ステップと
   をさらに含む、請求項３に記載の食事管理方法。
6. 入力部により食事の種別の入力を受け付ける入力ステップをさらに含み、
   前記推定ステップは、前記入力ステップで入力された前記種別に基づいて前記食生活を推定する、
   請求項２に記載の食事管理方法。
7. 前記推定ステップは、前記入力ステップで所定の種別が入力された場合、複数の前記画像に基づいて前記食生活を推定する、請求項６に記載の食事管理方法。
8. 前記推定ステップは、ユーザの身体活動に関する情報に基づいて、前記食生活を推定する、
   請求項２乃至請求項７のいずれか一項に記載の食事管理方法。
9. 検出部によりユーザの身体の状態に関する情報を検出する検出ステップをさらに含み、
   前記推定ステップは、前記検出された身体の状態に基づいて前記身体活動に関する情報を推定すると共に、該身体活動に関する情報に基づいて、前記食生活を推定する、
   請求項８に記載の食事管理方法。
10. 前記身体活動は、睡眠及び運動の少なくとも一方である、請求項８又は請求項９に記載の食事管理方法。
11. 食事に関する画像を撮像する撮像部と、前記画像及び前記画像の撮像時刻に基づいてユーザの食生活を推定する制御部と、前記推定したユーザの食生活に関する情報を通知する通知部と、を少なくとも含む食事管理システム。
12. 食事に関する画像を撮像する撮像部と、
    前記画像を該画像の撮像時刻と共にサーバに送信する送信部と、
    前記画像及び前記画像の撮像時刻に基づいて推定されたユーザの食生活に関する情報を前記サーバから受信する受信部と、
    前記ユーザの食生活に関する情報を通知する通知部と
    を備える食事管理端末。

Images