JP2019220051A

JP2019220051A - カロリー推定装置、カロリー推定方法、およびカロリー推定プログラム

Info

Publication number: JP2019220051A
Application number: JP2018118494A
Authority: JP
Inventors: 永田　尚志; Hisashi Nagata; 尚志永田; 伸佐分利; Shin Saburi
Original assignee: Nippon Telegraph and Telephone West Corp
Current assignee: Nippon Telegraph and Telephone West Corp
Priority date: 2018-06-22
Filing date: 2018-06-22
Publication date: 2019-12-26
Anticipated expiration: 2038-06-22
Also published as: JP6598930B1

Abstract

【課題】撮像情報から被写体のカロリーを高い精度で推定する、カロリー推定装置、カロリー推定方法、およびカロリー推定プログラムを提供する。【解決手段】料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、ユーザ端末から送信された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報に基づいて当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部とを備える。【選択図】図１

Description

本発明は、撮像情報から被写体のカロリーを推定するカロリー推定装置、カロリー推定方法、およびカロリー推定プログラムに関する。

近年、健康意識の高まりにより、様々な食事管理アプリケーションが開発されている。食事管理アプリケーションの中には、摂取する料理を撮影した撮像情報から当該料理のカロリーを推定するカロリー推定機能が搭載されたものがある。

このようなカロリー機能が搭載された食事管理アプリケーションを利用することにより、ユーザは栄養学の知識がなくても自身が摂取した料理のカロリーを簡易に記録することができる。

Multi-task CNNを用いた食材および調理手順情報を利用した食事画像カロリー推定第２０回画像の認識・理解シンポジウム電気通信大学情報理工学部総合情報学「簡単!栄養andカロリー計算」［平成３０年５月３０日検索］、インターネット〈URL: http://www.eiyoukeisan.com/calorie/nut_list/calorie.html〉，〈URL: https://www.eiyoukeisan.com/dietary_logs/multi_edit_food〉あすけん「カロリー計算」［平成３０年５月３０日検索］、インターネット〈URL: https://www.asken.jp/calculate/〉「カロリー管理アプリ『カロリー管理（痩せるアプリ）』で簡単ダイエット」［平成３０年５月３０日検索］、インターネット〈URL: https://jp.appbase.info/diet-app-calorie-management/〉「これで痩せる！カロリーを管理してダイエットに使えるアプリ4選」、株式会社ＬＩＧ、［平成３０年５月３０日検索］、インターネット〈URL: http://liginc.co.jp/life/useful-info/75162〉「ＦｏｏｄＬｏｇ」［平成３０年５月３０日検索］、インターネット〈URL: https://foo-log.co.jp/business-foodlog.html〉，〈URL: https://www.jst.go.jp/pr/jst-news/pdf/2012/2013_01_p12.pdf〉

上述したようなカロリー推定機能を利用する際、ユーザはまず摂取する料理を撮影し、生成された撮像情報を食事管理アプリケーションに入力する。そして、入力された撮像情報が当該食事管理アプリケーションのカロリー推定機能により解析され、当該料理の推定カロリーが算出される。

しかし、ユーザにより撮影される撮像情報は、都度焦点距離が異なるため撮像情報内における料理の大きさにばらつきがあり、算出されるカロリーの推定精度が低くなってしまうという問題があった。

本発明は上記事情を鑑みてなされたものであり、撮像情報から被写体のカロリーを高い精度で推定することが可能な、カロリー推定装置、カロリー推定方法、およびカロリー推定プログラムを提供することを目的とする。

上記の課題を解決するための、本発明のカロリー推定装置は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続された料理のカロリー推定装置において、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報に基づいて当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、前記撮像情報調整部で生成された登録画像情報と、前記学習データ記憶部に記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部とを備えることを特徴とする。

また、本発明のカロリー推定方法は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置が、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶ステップと、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報に基づいて当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整ステップと、前記撮像情報調整ステップで生成された登録画像情報と、前記学習データ記憶ステップにより記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定ステップとを有することを特徴とする。

また、本発明のカロリー推定プログラムは、請求項１から３に記載したカロリー推定装置としてコンピュータを機能させるためのコンピュータプログラムであることを特徴とする。

本発明のカロリー推定装置、カロリー推定方法、およびカロリー推定プログラムによれば、撮像情報から被写体のカロリーを高い精度で推定することができる。

本発明の一実施形態によるカロリー推定装置としての食事管理サーバを用いた食事管理システムの構成を示すブロック図である。本発明の一実施形態によるカロリー推定装置としての食事管理サーバで実行される学習データ処理の流れを示すフローチャートである。本発明の一実施形態によるカロリー推定装置としての食事管理サーバで実行される料理の撮像情報を縮小させるためのサイズ値の一例を示す表である。本発明の一実施形態によるカロリー推定装置としての食事管理サーバで実行されるリサイズ処理の流れを示すフローチャートである。本発明の一実施形態によるカロリー推定装置としての食事管理サーバで、同じ大きさの料理を異なる焦点距離で撮影した撮像情報をリサイズ処理して生成した基準画像情報を示す説明図である。本発明の一実施形態によるカロリー推定装置としての食事管理サーバで、異なる大きさの料理を異なる焦点距離で撮影した撮像情報をリサイズ処理して生成した基準画像情報を示す説明図である。本発明の一実施形態によるカロリー推定装置としての食事管理サーバを用いた食事管理システムをユーザが利用する際に実行される処理を示すシーケンス図である。発明の一実施形態によるカロリー推定装置としての食事管理サーバで生成されるユーザ別の食事情報の一例を示す表である。

〈一実施形態によるカロリー推定装置を用いた食事管理システムの構成〉
本発明の一実施形態によるカロリー推定装置を用いた食事管理システムの構成について、図１を参照して説明する。

本実施形態による食事管理システム１は、ユーザ端末１０と、料理情報Ｗｅｂサーバ２０と、カロリー推定装置としての機能を有する食事管理サーバ３０とが、通信ネットワーク４０を介して接続されて構成される。図１においては、食事管理システム１内に１台のユーザ端末１０が接続されている場合について示しているが、実際には複数のユーザ端末１０が通信ネットワーク４０に接続されている。

ユーザ端末１０は、例えばスマートフォンやタブレット端末等であり、タッチパネル１１と、カメラ装置１２と、端末通信部１３とを有し、食事管理アプリケーション１４が搭載されている。

タッチパネル１１は、ユーザの操作情報を入力するとともに、ユーザに提供する情報を表示する。カメラ装置１２は、撮像レンズを内蔵し、ユーザによりタッチパネル１１で撮影操作が行われると撮影処理を行い、撮影時の焦点距離情報を含むExif（Exchangeable image file format）情報を付加した撮像情報を生成する。端末通信部１３は、通信ネットワーク４０を介して食事管理サーバ３０との通信を行う。

食事管理アプリケーション１４は、登録要求部１４１と、ユーザ情報要求部１４２と、表示情報生成部１４３とを有する。登録要求部１４１は、ユーザによりタッチパネル１１で、カメラ装置１２により撮影された料理を食事情報として登録するための登録要求操作が行われると、該当する撮像情報とともに登録要求信号を端末通信部１３から食事管理サーバ３０宛てに送信する。

ユーザ情報要求部１４２は、ユーザによりタッチパネル１１で、ユーザの食事情報を閲覧するためのユーザ情報要求操作が行われると、端末通信部１３から食事管理サーバ３０宛てにユーザ情報要求信号を送信する。表示情報生成部１４３は、ユーザ情報要求信号に応答して食事管理サーバ３０から送信されたユーザの食事情報を表示させるための表示情報を生成し、タッチパネル１１に表示させる。

料理情報Ｗｅｂサーバ２０は、料理のカテゴリごとの撮像情報、当該撮像情報の被写体である料理のカロリー情報、および当該撮像情報の被写体である料理が何人前かを示す量の情報を含む料理Ｗｅｂサイト情報を保持する。当該料理Ｗｅｂサイト情報の撮像情報には、該当するExif情報が付加されている。

食事管理サーバ３０は、サーバ通信部３１と、Ｗｅｂサイト情報取得部３２と、撮像情報調整部３３と、学習データ記憶部３４と、登録要求取得部３５と、カロリー情報推定部３６と、ユーザ別情報登録部３７とを有する。

サーバ通信部３１は、通信ネットワーク４０を介して、ユーザ端末１０および料理情報Ｗｅｂサーバ２０と通信を行う。Ｗｅｂサイト情報取得部３２は、サーバ通信部３１を介して料理情報Ｗｅｂサーバ２０から料理Ｗｅｂサイト情報を取得する。撮像情報調整部３３は、取得された料理Ｗｅｂサイト情報内の撮像情報に付加されたExif情報に基づいて当該撮像情報の大きさを調整して、該当する料理カテゴリの基準画像情報を生成する。また撮像情報調整部３３は、後述する登録要求取得部３５で取得される撮像情報に付加されたExif情報に基づいて当該撮像情報の大きさを調整して、食事情報の登録処理対象とする登録画像情報を生成する。

学習データ記憶部３４は、Ｗｅｂサイト情報取得部３２で取得された料理Ｗｅｂサイト情報に関し、料理のカテゴリごとに、カロリー情報と、何人前かを示す量の情報と、撮像情報調整部３３で生成された基準画像情報とを対応付けて、学習データとして記憶する。

登録要求取得部３５は、サーバ通信部３１を介してユーザ端末１０から送信された登録要求信号およびこれに付加された撮像情報を取得する。カロリー情報推定部３６は、登録要求取得部３５で登録要求信号が取得されると、当該撮像情報に基づいて撮像情報調整部３３で生成された登録画像情報に対応する基準画像情報を学習データ記憶部３４に記憶された学習データの中から特定し、特定した基準撮像情報に対応するカロリー情報および量の情報を取得する。そして、取得した情報に基づいて、当該撮像情報内の料理の推定カロリー、および量の情報（何人前）を算出する。ユーザ別情報登録部３７は、カロリー情報推定部３６で算出された料理の推定カロリーおよび量の情報を、該当するユーザの食事情報として料理カテゴリとともに登録する。

〈一実施形態によるカロリー推定装置を用いた食事管理システムの動作〉
次に、本実施形態による食事管理システム１の動作について説明する。まず、ユーザが当該食事管理システム１を利用する前に、食事管理サーバ３０で実行される学習データ処理について、図２のフローチャートを参照して説明する。

［学習データ処理］
食事管理サーバ３０で学習データ処理が開始されると、Ｗｅｂサイト情報取得部３２からサーバ通信部３１、通信ネットワーク４０を介して料理情報Ｗｅｂサーバ２０にアクセスされ、様々な料理に関する料理Ｗｅｂサイト情報が取得される（Ｓ１）。取得された料理Ｗｅｂサイト情報には、料理のカテゴリごとの撮像情報、当該撮像情報の被写体である料理のカロリー情報、および当該撮像情報の被写体である料理が何人前かを示す量の情報が含まれている。

Ｗｅｂサイト情報取得部３２で様々な料理カテゴリに関する料理Ｗｅｂサイト情報が取得されると、撮像情報調整部３３により、取得された料理Ｗｅｂサイト情報内のｎ個の料理カテゴリそれぞれに関するｎ枚の撮像情報Ｐ(1)〜Ｐ(n）が取得される。取得されたｎ枚の撮像情報Ｐ(1)〜Ｐ(n)は、それぞれ撮影時の焦点距離が異なる。料理が撮影される際のカメラ装置の焦点距離について、以下に説明する。

一般的に、料理を撮影する際は、撮影者が座った状態で机上に置かれた料理を撮影すると想定されるため、カメラ装置のレンズと被写体である料理との距離（以下、「撮影距離」と記載する）はある程度限定される。

これに基づいて、料理が撮影される際の最大焦点距離は、以下のように算出される。料理を撮影する際は撮影者が座って撮影することに着目すると、撮影距離は最大で0.65m程度であると想定される。この最大撮影距離は、男女平均身長から人間工学に基づいて算出された、平均座高長とこれに適した机の高さとに基づいて算出されたものである。また、料理を撮像する際の撮影範囲は、一般的なランチョンマットの大きさに対応した、水平方向0.5m×垂直方向0.3m程度が想定される。また、35ｍフルサイズのカメラ装置の撮像センサの水平サイズは36mmであり、垂直サイズは24mmである。

一方、撮像情報の撮影範囲を示す水平方向の長さは以下の式（１）により算出され、垂直方向の長さは式（２）により算出することができる。

式（１）に、上述した最大撮影距離の想定値0.65ｍ、料理を撮影する際の撮影範囲の水平方向の長さの想定値0.5m、撮像センサの水平サイズ36ｍｍを代入すると、レンズの焦点距離が46.8mmとして算出される。このときの撮影範囲の垂直方向の長さは0.33ｍとなり、一般的なランチョンマットの大きさにほぼ対応する。また、式（２）に、上述した最大撮影距離の想定値0.65ｍ、料理を撮影する際の撮影範囲の垂直方向の長さの想定値0.3m、撮像センサの垂直サイズ24ｍｍを代入すると、レンズの焦点距離が52mmとして算出される。このときの撮影範囲の水平方向の長さは0.45ｍとなり、一般的なランチョンマットよりも小さくなってしまう。そのため、撮影範囲の水平方向、垂直方向ともに一般的なランチョンマットの大きさに対応する、式（１）により算出された焦点距離46.8ｍｍを基準とし、この焦点距離46.8mm以上で市販品に広く用いられている50ｍｍが、料理を撮影する際の最大焦点距離として算出される。また、料理が撮影される際の最小焦点距離は、例えば、35ｍフルサイズのカメラ装置による画角180度撮影時の焦点距離の最小限界値である「8mm」である。

一方、所定の被写体を同一の撮影距離により、異なる焦点距離で撮影した場合、焦点距離が短いときは撮影範囲が広くなるため撮像情報内での被写体が小さくなり、焦点距離が長いときには撮影範囲が狭くなるため撮像情報内での被写体の大きさが大きくなる。そのため、予め設定された基準の焦点距離よりも長い焦点距離で撮影した場合には、撮像情報を適宜縮小させることで、撮像情報内の被写体の大きさを当該基準の焦点距離で撮影した場合と同程度に揃えることができる。

一例として、図３に、35ｍ換算において基準の焦点距離を10mmとし、10mmを超える各焦点距離で撮影した撮像情報を、10mmの焦点距離で撮影した場合と被写体の大きさが同程度になるように縮小させるための撮像情報のサイズ値を示す。図３に示すように、撮像情報の画面の横：縦の比が３：２の場合、４：３の場合ともに、焦点距離10mmで撮影されたときの撮像情報のサイズ値を横1.00、縦1.00とすると、焦点距離が長くなるにつれて縦横ともにサイズ値が小さくなり、撮像情報の縮小率が高くなる。

本実施形態においては、上述した料理を撮影する際の最小焦点距離である「8mm」を基準の焦点距離として、撮像情報調整部３３において、料理Ｗｅｂサイト情報から取得された撮像情報Ｐ(1)〜Ｐ(n)の大きさが調整（リサイズ）される場合について説明する。つまり、撮像情報Ｐ(1)〜(n)のうち焦点距離が8mmを超える撮像情報が、当該基準の焦点距離8mmで撮影された場合と被写体の大きさが同程度になるように、リサイズ処理される。以下に、撮像情報(1)〜(n)のリサイズ処理について説明する。

まず、取得されたｎ枚の撮像情報Ｐ(1)〜Ｐ(n）の中から、処理対象とする撮像情報が選択される。処理対象とする撮像情報が選択される前の初期状態においては、処理対象の撮像情報Ｐを示す要素がi=0として設定されており（Ｓ２）、処理が開始されると当該要素がインクリメントされて（i=i+1）処理対象がＰ(1)に設定される（Ｓ３）。

撮像情報調整部３３において、当該撮像情報Ｐ(1)に対し、図４に示すようにリサイズ処理が実行される。リサイズ処理が開始されると、まず、当該撮像情報Ｐ(1)のExif情報から、撮影時の焦点距離情報が取得される（Ｓ４１）。そして、取得された焦点距離情報に基づいて、撮影時の焦点距離が、予め設定された最小焦点距離8mm以下であるか否かが判定される（Ｓ４２）。

撮像情報Ｐ(1)の撮影時の焦点距離が最小焦点距離8mm以下であると判定されたときには（Ｓ４２の「YES」）、焦点距離の最小限界値以下であるため、当該撮像情報Ｐ(1)のリサイズ処理は実行されない。焦点距離8mm以下の撮像情報をリサイズ処理しないようにすることで、撮像情報内の料理部分がカットされてしまうことを防ぐことができる。

また、撮像情報Ｐ(1)の撮影時の焦点距離が8mmを超えると判定されたときには（Ｓ４２の「NO」）、当該撮像情報Ｐ(1)の焦点距離に基づいて、当該撮像情報の大きさが、基準の焦点距離「8mm」で撮影した場合と被写体の大きさが同程度になるようにリサイズされる（Ｓ４３）。

図２のフローチャートに戻り、撮像情報調整部３３において、上述したように必要に応じてリサイズ処理が実行された撮像情報(1)を用いて、当該料理カテゴリの基準画像情報ｐ(1)が生成される（Ｓ５）。基準画像情報ｐ(1)は撮像情報Ｐ(1)と同サイズの画像情報であり、撮像情報Ｐ(1)のリサイズ処理が行われていないとき（焦点距離が8mm以下であったとき）には当該撮像情報Ｐ(1)がそのまま基準画像情報(1)として用いられる。また、撮像情報(1)の焦点距離が8mmを超えていたことによりリサイズ処理が実行されて縮小されているときには、撮像情報Ｐ(1)以外のエリアを余白として、基準画像情報ｐ(1)が生成される。

ここで、基準画像情報ｐ内の余白部分は、後述する画像認識処理において料理として認識されないようにするために、以下の(a)または(b)のように処理が施される。

(a) 余白部分を、料理の色にない色（例えば、黒、グレー、紫等）で構成し、画像認識処理時に、当該余白部分に用いた色の部分を0カロリーとして認識するように設定しておく。

(b) 余白部分を、料理の色にない色（例えば、黒、グレー、紫等）で構成し、画像認識処理時に、当該余白部分に用いた色の部分を料理の画像部分として認識しないように設定しておく。例えば、料理の色として認識する色（赤、黄、緑等）の画素を「1」とし、料理の色として認識しない色（黒、グレー、紫等）の画素を「0」として設定し、「0」の画素は料理の画像部分として認識しないように予め設定しておく。

上述した処理により生成される基準画像情報の例について、図５および図６を参照して説明する。図５は、同じ大きさの同じ料理を同じ撮影距離で、異なる焦点距離（8mm、32mm、および50mm）で撮影した３枚の撮像情報Ｐ(A1)、Ｐ(B1)、およびＰ(C1)から、それぞれ基準画像情報ｐ(a1)、ｐ(b1)、およびｐ(c1)を生成する場合の例を示している。

この場合、焦点距離8mmの撮像情報Ｐ(A1)に対しては、リサイズ処理は行われないため、撮像情報(A1)がそのまま基準画像情報ｐ(a1)として用いられる。また、焦点距離32ｍｍの撮像情報P(B1)に対しては、所定の縮小率でリサイズが実行され、基準画像情報ｐ(b1)が生成される。この縮小率は、撮像情報Ｐ(b1)内の被写体の大きさが、焦点距離8mmで撮影された撮像情報Ｐ(A1)内の被写体の大きさと同程度になるように設定されている。また、焦点距離50mmの撮像情報Ｐ(C1)に対しては、撮像情報Ｐ(B1)のリサイズ処理時よりも高い縮小率でリサイズ処理が実行され、基準画像情報ｐ(c1)が生成される。この縮小率も、撮像情報Ｐ(c1)内の被写体の大きさが、焦点距離8mmで撮影された撮像情報Ｐ(A1)内の被写体の大きさと同程度になるように設定されている。

また図６は、異なる大きさ（３人前、２人前、および１人前）の同じ料理を同じ撮影距離で、異なる焦点距離（8mm、32mm、および50mm）で撮影した３枚の撮像情報Ｐ(A2)、Ｐ(B2)、およびＰ(C2)から、それぞれ基準画像情報ｐ(a2)、ｐ(b2)、およびｐ(c2)を生成する場合の例を示している。

この場合も、焦点距離8mmの撮像情報Ｐ(A2)に対してはリサイズ処理が行われず、焦点距離32mmの撮像情報Ｐ(B2)および焦点距離50mmの撮像情報Ｐ(C1)に対しては、上述した図５の例と同様の縮小率でリサイズ処理が行われ、基準画像情報ｐ(a1)、ｐ(b2)、およびｐ(c2)が生成される。この場合、リサイズ処理前の撮像情報Ｐ(A2)、撮像情報Ｐ(B2)、および撮像情報Ｐ(C2)内の被写体の大きさはほぼ同じであるが、リサイズ後の基準画像情報ｐ(b2)内の被写体の大きさは基準画像情報ｐ(a2)よりも小さく、基準画像情報ｐ(c2)内の被写体の大きさは基準画像情報ｐ(b2)よりも小さい。つまり、図５の場合および図６の場合ともに、リサイズ処理後の基準画像情報内の被写体の大きさは、実際の料理の大きさに対応している。

以降、撮像情報Ｐ(2)〜Ｐ(n)についても同様にリサイズ処理および基準画像情報ｐ(2)〜ｐ(n)の生成処理が実行される（Ｓ６の「NO」→Ｓ３〜Ｓ５）。そして、最後の撮像情報Ｐ(n)に対する処理が終了すると（Ｓ５の「YES」）、それぞれ生成された料理カテゴリごとの基準画像情報ｐ(1)〜ｐ(n)に、該当する料理Ｗｅｂサイト情報で取得された、該当する料理のカロリ−情報および何人前かを示す量の情報が対応付けられて学習データ記憶部３４に記憶される（Ｓ７）。以上で、食事管理サーバ３０で実行される学習データ処理の説明を終了する。

次に、ユーザが当該食事管理システム１を利用する際に実行される処理について、図７のシーケンス図を参照して説明する。まず、ユーザが食事管理システム１を利用するために、ユーザ端末１０のタッチパネル１１上で食事管理アプリケーション１４を起動させる操作を行う（Ｓ１１）。さらに、ユーザがカメラ装置１２を用いて摂取する料理を撮影し、撮影した料理を食事情報として食事管理システム１に登録するための登録要求操作を行う（Ｓ１２）。登録要求操作が行われると、登録要求部１４１により登録要求信号が生成され、撮影により生成された撮像情報Ｑとともに端末通信部１３から食事管理サーバ３０宛てに送信される（Ｓ１３）。

食事管理サーバ３０では、ユーザ端末１０から送信された登録要求信号および撮像情報Ｑが、サーバ通信部３１を介して登録要求取得部３５で取得される。登録要求取得部３５で取得された情報のうち、撮像情報Ｑが撮像情報調整部３３に送出され、図４の処理が実行される（Ｓ１４）。そして、必要に応じてリサイズ処理が実行された撮像情報Ｑを用いて、上述した基準画像情報の生成処理と同様の処理により、登録画像情報ｑが生成される（Ｓ１５）。

次に、カロリー情報推定部３６において、生成された登録画像情報ｑと学習データ記憶部３４の学習データ内の基準画像情報ｐ(1)〜ｐ(n)とが比較され、登録画像情報ｑと同じ料理カテゴリの基準画像情報ｐ(i)が特定される。基準画像情報ｐ(1)〜ｐ(n)の中から登録画像情報ｑと同じ料理カテゴリの情報を特定する処理には、例えば、Muti-task CNN（Deep Convolutional Neural Network）技術を用いた画像認識処理が利用される。そして、特定された基準画像情報ｐ(i)に対応づけられた料理のカロリー情報および量の情報が、学習データ記憶部３４から取得される。

さらに、［登録画像情報ｑ内の被写体の大きさ］／［基準画像情報ｐ(i)内の被写体の大きさ］×［基準画像情報ｐ(i)内の料理のカロリー情報］により、登録画像情報ｑの被写体である料理の推定カロリーが算出される。つまり、基準画像情報ｐ(i)内の料理のカロリー情報に、基準画像情報ｐ(i)内の被写体の大きさに対する登録画像情報ｑ内の被写体の大きさを示す数値を掛けることで、登録画像情報ｑの被写体である料理の推定カロリーが算出される。

また、［登録画像情報ｑ内の被写体の大きさ］／［基準画像情報ｐ(i)内の被写体の大きさ］×［基準画像情報ｐ(i)内の料理の量の情報（何人前）］により、登録画像情報ｑの被写体である料理の量の情報（何人前）が算出される（Ｓ１６）。つまり、基準画像情報ｐ(i)内の料理の量の情報に、基準画像情報ｐ(i)内の被写体の大きさに対する登録画像情報ｑ内の被写体の大きさを示す数値を掛けることで、登録画像情報ｑの被写体である料理の量が算出される。

算出された当該料理の推定カロリー、および取得された撮像情報の被写体である料理の量の情報（何人前）は、料理のカテゴリを示す情報とともに該当するユーザの食事情報としてユーザ別情報登録部３７に登録される（Ｓ１７）。

ユーザ別情報登録部３７に登録されたユーザ別の食事情報の一例を、図８に示す。図８のユーザ別の食事情報には、ID「0001」で示されるユーザの食事情報として、登録要求信号を取得した日時を示すタイムスタンプ情報「2018年1月11日 11時20分」と、予め登録された当該ユーザのプロフィール情報である身長「xxcm」および体重「xxKg」の情報と、ユーザから送信された撮像情報に関して画像認識処理により取得された、料理カテゴリ「オムライス」、推定カロリー「312cal」、および量の情報「１人前」が格納されている。

そして、ユーザがタッチパネル１１上で当該ユーザの食事情報を閲覧するためのユーザ情報要求操作を行うと、ユーザ情報要求部１４２によりユーザ情報要求信号が生成され、端末通信部１３から食事管理サーバ３０宛てに送信される（Ｓ１８）。

食事管理サーバ３０では、ユーザ端末１０から送信されたユーザ情報要求信号に基づいてサーバ通信部３１を介してユーザ別情報登録部３７から当該ユーザに関する食事情報が読み出され、ユーザ端末１０に送信される（Ｓ１９）。ユーザ端末１０では、食事管理サーバ３０から送信された当該ユーザに関する食事情報が端末通信部１３から受信され、受信された情報を表示させるための表示情報が表示情報生成部１４３で生成される。生成された表示情報はタッチパネル１１に表示される（Ｓ２０）。

ユーザは、タッチパネル１１に表示された自身の食事情報を閲覧することで、いつ、何カロリーで何人前の食事を摂ったかを認識することができる。

以上の実施形態によれば、撮像情報から、被写体である料理のカロリーを高い精度で推定することで、ユーザが簡易な操作で精度の高い自身の食事情報を閲覧することができる。

上述した実施形態においては、学習データ処理およびユーザが当該食事管理システム１を利用する際に実行される処理において、料理を撮影する際の最小焦点距離である「8mm」を基準の焦点距離としてリサイズ処理を行う場合について説明したが、一般的に料理の撮影で使用される焦点距離24〜50mmの範囲の中から基準の焦点距離を設定して撮像情報の縮小をなるべく抑えることで、より精度の高いカロリー推定処理を行うようにしてもよい。

上述した食事管理サーバが有する学習データ記憶機能、撮像情報調整機能、およびカロリー情報推定機能を、コンピュータに搭載することにより、当該コンピュータをカロリー推定装置として機能させるためのカロリー推定プログラムを構築することも可能である。

１食事管理システム
１０ユーザ端末
１１タッチパネル
１２カメラ装置
１３端末通信部
１４食事管理アプリケーション
２０料理情報Ｗｅｂサーバ
３０食事管理サーバ
３１サーバ通信部
３２Ｗｅｂサイト情報取得部
３３撮像情報調整部
３４学習データ記憶部
３５登録要求取得部
３６カロリー情報推定部
３７ユーザ別情報登録部
４０通信ネットワーク
１４１登録要求部
１４２ユーザ情報要求部
１４３表示情報生成部

上記の課題を解決するための、本発明のカロリー推定装置は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続された料理のカロリー推定装置において、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、前記撮像情報調整部で生成された登録画像情報と、前記学習データ記憶部に記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部とを備えることを特徴とする。

また、本発明のカロリー推定方法は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置が、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶ステップと、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整ステップと、前記撮像情報調整ステップで生成された登録画像情報と、前記学習データ記憶ステップにより記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定ステップとを有することを特徴とする。

Claims

撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置において、
料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、
前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報に基づいて当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、
前記撮像情報調整部で生成された登録画像情報と、前記学習データ記憶部に記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部と
を備えることを特徴とするカロリー推定装置。
前記カロリー情報推定部は、前記特定した基準画像情報に対応するカロリー情報に、前記基準画像情報内の被写体の大きさに対する前記登録画像情報内の被写体の大きさを示す数値を掛けることで、前記登録画像情報の被写体である料理の推定カロリーを算出する
ことを特徴とする請求項１に記載のカロリー推定装置。
前記学習データ記憶部は、料理カテゴリごとに予め取得された撮像情報の被写体である料理の量の情報をさらに記憶し、
前記カロリー情報推定部は、特定した基準画像情報に対応する料理の量の情報をさらに取得し、取得した量の情報に基づいて、取得した撮像情報の被写体である料理の量の情報を算出し、
前記カロリー情報推定部で取得された推定カロリー、および取得された撮像情報の被写体である料理の量の情報を、該当するユーザの食事情報として登録するユーザ別情報登録部をさらに備える
ことを特徴とする請求項１または２に記載のカロリー推定装置。
撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置が、
料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶ステップと、
前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報に基づいて当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整ステップと、
前記撮像情報調整ステップで生成された登録画像情報と、前記学習データ記憶ステップにより記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定ステップと
を有することを特徴とするカロリー推定方法。
請求項１から３いずれか１項に記載したカロリー推定装置としてコンピュータを機能させるためのカロリー推定プログラム。