JP2016012174A - 摂取量推定装置、摂取量推定方法およびプログラム - Google Patents

Abstract

【課題】食事の際、特殊なカメラや機材を利用することなく実際の摂取量を推定することができる摂取量推定装置、摂取量推定方法およびプログラムを提供する。
【解決手段】ユーザの口腔へ運ばれた食品を食品領域として検出する検出部と、検出部によって検出された食品領域に対して画像認識処理を行い、食品の種類を認識する食品認識部と、食品の種類と該食品の種類の単位量あたりの特定量を対応づけて記憶する特定量記憶部と、食品認識部で認識された食品の種類に基づいて、該食品の種類に対応する単位量あたりの特定量を特定量記憶部から取得し、取得した特定量に基づいて口腔へ運ばれた食品の特定量をユーザの摂取量として推定する摂取量推定部とを備える。
【選択図】図１

Description

本発明は、画像認識技術を利用してユーザの摂取量を推定する摂取量推定装置、摂取量推定方法およびプログラムに関する。

近年、健康志向の高まりにより、食事記録を付ける人が増えている。これに伴い、食事の摂取量を推定しようという試みがなされている。
食事の摂取量の推定としては、例えば、分光分析を用いた摂取熱量推定方法（特許文献１）や、食事の際、事前に食品の画像を撮影し、画像認識処理を利用して摂取する食品全体の熱量の推定を行うシステム（非特許文献１）が提案されている。

特許文献１では、ユーザの口元をインカム式のカメラ等で撮影して可視光画像と赤外吸収スペクトルとを取得し、取得した可視光画像と赤外吸収スペクトルと利用してユーザの摂取熱量を推定する摂取熱量推定装置が提案されている。
また、非特許文献１では、食べる前の食品の画像を撮影し、その食品の熱量の推定するシステムが提案されている。

特開２０１３−３６９０７号公報

Y. Kawano and K. Yanai. "Real-time mobile food recognition system." In Proc. of CVPR International Workshop on Mobile Vision (IWMV), 2013

しかし、上述の特許文献１に記載の方法は、分光分析のための特殊なカメラや機材が必要となり、ユーザが手軽に利用することができなかった。
また、上述の非特許文献１のシステムは、定食など、事前に摂取量のわかっている食事に対しては利用可能であるが、鍋物や焼肉など、事前に摂取量のわからない食事に対しては利用できなかった。

本発明は、上述の事情を鑑みてなされたものであり、特殊なカメラや機材等を利用する必要がなく、また、事前に摂取量がわからなくともユーザの実際の摂取量を推定することができる摂取量推定装置、摂取量推定方法およびプログラムを提供する。

本発明は、ユーザの口腔を時系列に撮像することで取得された画像において、ユーザの口腔へ運ばれた食品を食品領域として検出する検出部と、検出部によって検出された食品領域に対して画像認識処理を行い、食品の種類を認識する食品認識部と、食品の種類と該食品の種類の単位量あたりの特定量を対応づけて記憶する特定量記憶部と、食品認識部で認識された食品の種類に対応する単位量あたりの特定量を特定量記憶部から取得し、取得した特定量に基づいて口腔へ運ばれた食品の特定量をユーザの摂取量として推定する摂取量推定部とを備えることを特徴とする摂取量推定装置を提供する。

また、食品の種類の単位量あたりの特定量は、食品の単位量あたりの熱量または食品の単位量あたりの価格であることが好ましい。

また、検出部は、取得した画像に基づいて、口腔とユーザの手または食器とを検出し、口腔と手または食器とが所定距離接近したことを検出することで、口腔へ運ばれた食品を食品領域として検出することが好ましい。

また、摂取量推定部において推定された摂取量を逐次記録する摂取量記録部を更に備え、摂取量記録部において逐次記録された摂取量の合計をユーザの食事量とすることが好ましい。

また、検出部によって検出された食事領域の大きさから口腔へ運ばれた食品の大きさを推定する食品量推定部を更に備え、摂取量推定部は、食品認識部で認識され、特定量記憶部から取得された食品の種類に対応する単位量あたりの特定量と、食品量推定部によって推定された食品の大きさとに基づいて、摂取量を推定することが好ましい。

画像を取得する撮像部と、撮像部によって取得された画像にユーザの顔または口腔が一定時間撮像されていない場合に警告を行う警告部とを更に備えることが好ましい。

また、本発明は、ユーザの口腔を時系列に撮像することで取得された画像において、前記ユーザの前記口腔へ運ばれた食品を食品領域として検出する検出ステップと、検出された前記食品領域に対して画像認識処理を行い、前記食品の種類を認識する食品認識ステップと、前記食品認識ステップで認識された前記食品の種類に対応する単位量あたりの特定量を、前記食品の種類と該食品の種類の単位量あたりの特定量を対応づけて記憶する特定量記憶部から取得し、取得した前記特定量に基づいて前記口腔へ運ばれた前記食品の前記特定量を前記ユーザの摂取量として推定する摂取量推定ステップとを備えることを特徴とする摂取量推定方法を提供する。

また、本発明は、上述の摂取量推定方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

本発明によれば、食事の際、ユーザは、特殊なカメラや機材を利用することなく、かつ入力作業などを行わずに実際の摂取量を推定することができる。

本発明の実施の形態１に係る摂取量推定装置の全体構成を示すブロック図である。 図１の摂取量推定装置の動作を示すフローチャートである。 図１の摂取量推定装置の表示画面の一例を示す図である。 （Ａ）〜（Ｄ）は、摂取量推定装置の検出部の動作を説明する図である。 本発明の実施の形態２にかかる摂取量推定装置の全体構成を示すブロック図である。 本発明の摂取量推定装置の表示画面における警告表示の一例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

実施の形態１
図１は、本発明の実施の形態１に係る摂取量推定装置１０の全体構成を示すブロック図である。
図１に示すように、摂取量推定装置１０は、撮像部１２より順次接続される検出部１４、食品認識部１６および摂取量推定部１８と、これらの各部に接続する制御部２０と、制御部２０にそれぞれ接続する特定量記憶部２２、食品種記憶部２４、摂取量記録部２６、表示部２８および操作部３０を備える。また、制御部２０は、その内部に内部メモリ３２を備える。

撮像部１２は、図示しない撮像レンズ等の撮像光学系と、同じく図示しないＣＣＤまたはＣＭＯＳ等の撮像素子とによって構成され、撮像光学系を通して撮像素子によって受光された光を撮像画像データとして出力する。また、撮像画像データは、例えば、複数の静止画像フレームによって構成される動画像データである。

検出部１４は、撮像画像データに基づく撮像画像に対して種々の検出処理を行うことで、顔、食品、箸等の撮像画像に写るオブジェクトを所定の画像領域として検出するものである。検出部１４における上述の検出処理の詳細は後述する。

食品認識部１６は、所定の処理によって検出された食品の画像領域（以下、食品領域という）から、食品の種類を認識するものであり、その認識処理の詳細は後述する。

摂取量推定部１８は、認識された食品の種類と、データベースとして特定量記憶部２２に記憶された食品の種類に対応する単位量あたりの特定量とに基づいて一回あたりのユーザの摂取量を推定するものである。

制御部２０は、摂取量推定装置１０の各部を制御するための動作プログラム等記憶し、また、各部によって算出される各種データを記憶する内部メモリ３２を備え、操作部２０からのユーザの入力と内部メモリ３２に記憶された動作プログラム等に基づいて摂取量推定装置１０の各部を制御する。

特定量記憶部２２は、食品の種類と食品の種類に対応した単位量あたりの特定量とをデータベースとして記憶するものであり、制御部２０からの指示に基づいて、所定の食品に対応した単位量あたりの特定量を出力するものである。なお、特定量としては、例えば、食品のカロリーや価格などが挙げられる。

食品種記憶部２４は、特定量記憶部２２と同様に、例えば、外部メモリによって構成され、事前に準備した学習データより求めた食品の種類ごとの画像特徴量をデータベースとして記憶するものであり、制御部２０からの指示に基づいて、画像特徴量を出力するものである。なお、画像特徴量としては、例えばSIFT(Scale-Invariant Feature Transform)特徴量や色特徴量などが挙げられる。
摂取量記録部２６は、摂取量推定部１８によって推定されたユーザの摂取量を逐次記録するものである。また、リアルタイムに取得されるユーザの摂取量に限らず、例えば、過去の食事の際のユーザの摂取量を記憶しておいてもよい。

表示部２８は、例えば、液晶ディスプレイ、有機ＥＬ(Electro-Luminescence)ディスプレイ等によって構成され、制御部２０の指示に基づいて、撮像部１２によって撮像された画像を表示するとともに、例えば、食品認識部１６で認識された食品の種類、摂取量推定部１８で推定された食品の摂取量、および内部メモリ３２に記憶された食品の摂取量の累積等を表示する。また、食事量記憶部２６に記憶された過去の食事量を表示してもよい。

操作部３０は、例えば、メカニカルスイッチ、ボタン等によって構成され、ユーザの入力に基づく入力信号を制御部２０へ出力する。また、操作部３０は、上述の表示部２８とともにタッチパネルディスプレイとして構成されてもよく、タッチパネルディスプレイとして構成され、ユーザが表示画面上をタッチすることで、摂取量推定装置１０の起動、終了等、種々の操作をすることができる。

内部メモリ３２は、例えば、RAM(Random Access Memory)によって構成される。内部メモリ３２は、制御部２０内に存在し、摂取量推定装置１０の各部の制御を行うためのプログラムを記録し、ユーザの指示に基づいてそのプログラムを制御部２０で呼び出して、装置の制御を行うとともに、摂取量推定装置１０の各部において算出される各種データを記憶する。

次に、図２に示すフローチャート、図３に示す表示画面の一例および図４（Ａ）〜（Ｄ）に示す説明図に基づいて、図１の摂取量推定装置１０の動作（本発明の摂取量推定方法）を説明する。
まず、ステップＳ１として、摂取量推定装置１０の操作部２０を介してユーザによって食事開始の操作がなされ、ユーザの食事風景の撮影が開始されると、撮像部１２は、食事風景の撮像画像データを出力する。出力された撮像画像データは、検出部１４に出力されるとともに、制御部２０を通じて表示部２８へ出力される。

図３は、表示部２８の表示画面の一例を示す図である。図３に示すように、表示画面Ｖは、画像表示領域Ｐ１、食品種表示領域Ｐ２、食品カウント領域Ｐ３および総摂取量表示領域Ｐ４を備える。画像表示領域Ｐ１は、撮像画像データに基づく撮像画像を表示する領域であり、食品種表示領域Ｐ２は、後述する画像認識処理によって認識される食品の種類を表示する領域であり、食品カウント領域Ｐ３は、後述する画像認識処理によって認識された食品の数をカウントする領域であり、総摂取量表示領域Ｐ４は、食品カウント領域Ｐ３でカウントされた食品の摂取量の総計（以下、総摂取量という。）を表示する領域である。

次に、ステップＳ２として、摂取量推定装置１０の検出部１４は、撮像部１２から取得した撮像画像データに基づく撮像画像に対してユーザの口を検出する口検出処理とユーザの持つ箸を検出する箸検出処理とをそれぞれ行う。口検出処理は、例えば、事前に口の画像を学習させたカスケード分類器を利用することで図４（Ａ）に示すように撮像画像からユーザの口領域Ｄ１を検出する。口検出処理には、種々の公知の方法を利用することができる。なお、本実施の形態では、事前にユーザの顔領域を検出し、検出された顔領域の下半分において口検出処理を行うことで口検出の精度を高めている。

また、箸検出処理は、例えば、確率的ハフ(Hough)変換によって撮像画像から線分を抽出することで図４（Ｂ）に示すように撮像画像から箸領域Ｄ２を検出する。なお、本実施の形態では、撮像画像から抽出された線分を箸とし、箸の周辺を箸領域Ｄ２としているが、単純にハフ変換を行うと背景の線分までも箸として検出してしまうため、撮像画像間において動きのある部分を前面部分として抽出し、前面部分において線分を抽出することで箸検出の制度を高めている。

続くステップＳ３において、検出部１４は、上述のとおり事前に検出された口領域Ｄ１と箸領域Ｄ２との間の距離を算出し、図４（Ｃ）に示すように、算出された距離が所定値以下となったこと、または、口領域Ｄ１に箸領域Ｄ２が重なったことを検知する。口領域Ｄ１と箸領域Ｄ２との接近が検知できなかった場合には、ステップＳ２の直前に戻って、再度口領域Ｄ１と箸領域Ｄ２とを検出し直し、また、口領域Ｄ１と箸領域Ｄ２との接近が検知できた場合には、ステップＳ４へ進む。

続くステップＳ４として、検出部１４は、図４（Ｄ）に示すようにユーザの口腔へ運ばれた食品を食品領域Ｄ３として検出し、食品領域Ｄ３の切り出しを行う。切り出された食品の画像（以下、食品画像という）は食品認識部１６へ出力される。

ステップＳ５として、食品認識部１６は、検出部１４から出力された食品画像に対して画像認識処理を行い、撮像画像の食品領域に写る食品の種類を認識する。食品認識部１６における食品の種類の認識は、種々の公知の方法を利用することができる。例えば、食品認識部１６は、食品領域における食品画像の画像特徴量を算出する。食品認識部１６は、算出された画像特徴量に基づいて、制御部２０を通じて食品種記憶部２４へアクセスし、食品種記憶部２４に記憶された食品の種類と画像特徴量との対応関係を記録したデータベースから、算出された画像特徴量に対応する食品の種類（食品名）を取得する。取得された食品の種類は、制御部２０を通じて摂取量推定部１８へ出力される。

ステップＳ６として、摂取量推定部１８は、取得した食品の種類に基づいて、制御部２０を通じて特定量記憶部２２へアクセスし、特定量記憶部２２に記憶された食品の種類と単位量あたりの特定量との対応関係を記録したデータベースから、ユーザの摂取した食品の単位量あたりの特定量を取得する。取得された特定量は、ユーザの摂取量として制御部２０の内部メモリ３２に記憶され、また、表示部２８へ出力される。

表示部２８は、画像表示領域Ｐ１でユーザの食事風景をリアルタイムの表示し、食品種表示領域Ｐ２において食品認識部１６で認識された食品の種類を表示し、食品カウント領域Ｐ３において内部メモリ３２に記憶された食品の種類および数を表示し、総摂取量表示領域Ｐ４において内部メモリ３２に記憶されたその時点でのユーザの総摂取量を表示する。

ステップＳ７として、制御部２０は、ユーザから食事終了の指示が入力されず、引き続きユーザの食事が継続する場合には、ステップＳ２の直前に戻って、ステップＳ２からステップＳ７を再度繰り返す。また、ユーザからの食事終了の指示が入力された場合には、ステップＳ８に進む。
なお、制御部２０は、検出部１４によって撮像画像からユーザが席を離れたこと、または、所定時間箸と口とを接近させなかったことを検知して食事終了と判断してもよい。

最後、ステップＳ８として、制御部２０は、それまでに内部メモリ３２に記録されていたユーザの総摂取量をユーザの食事量として食事量記憶部２６に記録する。なお、総摂取量とともに、食品のカウント数、食事時間等を食事量として食事量記憶部２６に記憶してもよい。

以上に説明したように、本発明の実施の形態１に係る摂取量推定装置によれば、食事の際、ユーザは、特殊なカメラや機材を利用することなく、かつ入力作業などを行わずに実際の摂取量を推定することができる。

実施の形態２
図５は本発明の実施の形態２に係る摂取量推定装置４０の全体構成を示すブロック図である。
図５に示すように、摂取量推定装置４０は、撮像部１２、撮像部１２より順次接続される検出部１４、食品認識部１６、食品量推定部４２および摂取量推定部１８と、これらの各部に接続する制御部２０と、制御部２０にそれぞれ接続する特定量記憶部２２、食品種記憶部２４、食事記録記憶部２６、表示部２８および操作部３０を備える。また、制御部２０は、その内部に内部メモリ３２を備える。なお、実施の形態１に係る摂取量推定装置１０と同一の構成を備える撮像部１２、検出部１４、食品認識部１６、摂取量推定部１８、制御部２０、特定量記憶部２２、食品種記憶部２４、食事記録記憶部２６、表示部２８、操作部３０および内部メモリ３２についてそれぞれ同一の参照番号を付し、その説明を省略する。

食品量推定部４２は、検出部１４によって検出され切り出された食品画像の面積（食品領域の面積）からユーザの摂取する食品量を推定するものである。
食品量推定部４２は、推定された食品量を摂取量推定部１８へ出力し、摂取量推定部１８は、食品の種類に基づく単位量あたりの特定量と、食品量推定部４２によって推定された食品量とに基づいてユーザの摂取量を推定する。食品量推定部４２によって推定された食品量が大きい場合にはユーザの摂取量は多く推定され、推定された食品量が小さい場合にはユーザの摂取量は少なく推定される。

本発明の実施の形態２に係る摂取量推定装置によれば、実施の形態１で示した効果に加え、食品量推定部４２を備えているため、食品画像より食品の面積を算出することができ、また、特定量記憶部２２に記憶された特定量を、グラム単位で記憶しておくことで、面積と積算することでより正確な食品の摂取量を推定することができる。

また、本発明の摂取量推定装置は、ユーザが撮像画像から外れた場合に警告を行う警告部を備えてもよい。
図６に示すように、ユーザの顔が撮像画像から大きく外れた場合、例えば、摂取量推定装置の検出部は、口領域検出の前段階の顔検出処理においてその旨を検知し、制御部を通じて表示画面Ｖの警告表示領域Ｐ５にその旨の警告を表示してもよい。

なお、警告部は、表示画面Ｖに警告を表示するだけでなく、例えば、音を鳴らすことでその旨の警告を行ってもよい。本発明の警告部は、制御部と検出部とによって構成される。
本発明の摂取量推定装置は警告部を備えることで、摂取量の推定が正しく行われていないことをユーザに通知することができ、ユーザは、警告表示領域Ｐ５を確認することで摂取量表示装置によって正しく認識が行われていないことを通知することでより正確な認識を行うことができる。

なお、本発明の摂取量推定装置の検出部、食品認識部、摂取量推定部および制御部（内部メモリを除く）は、ＣＰＵ（中央演算装置）とＣＰＵに各種の処理を行わせるためのプログラム（本発明のプログラム）によって構成されるが、これらをデジタル回路によって構成してもよい。また、プログラムを記録する記録媒体としては、ハードディスク、フラッシュメモリ、ＤＶＤ−ＲＯＭ等種々の公知の記録媒体を利用することができる。
また、本発明の摂取量推定装置およびプログラムは、携帯電話やデジタルカメラ等の携帯情報端末に組み込まれ、本発明の摂取量推定方法は、これらの携帯情報端末において使用される。

なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０、４０ 摂取量推定装置
１２ 撮像部
１４ 検出部
１６ 食品認識部
１８ 摂取量推定部
２０ 制御部
２２ 特定量記憶部
２４ 食品種記憶部
２６ 摂取量記憶部
２８ 表示部
３０ 操作部
３２ 内部メモリ
４２ 食品量推定部
Ｐ１ 画像表示領域
Ｐ２ 食品種表示領域
Ｐ３ 食品カウント領域
Ｐ４ 総摂取量表示領域
Ｐ５ 警告表示領域
Ｄ１ 口領域
Ｄ２ 箸領域
Ｄ３ 食品領域
Ｖ 表示画面

Claims (8)

1. ユーザの口腔を時系列に撮像することで取得された画像において、前記ユーザの前記口腔へ運ばれた食品を食品領域として検出する検出部と、
   前記検出部によって検出された前記食品領域に対して画像認識処理を行い、前記食品の種類を認識する食品認識部と、
   食品の種類と該食品の種類の単位量あたりの特定量を対応づけて記憶する特定量記憶部と、
   前記食品認識部で認識された前記食品の種類に対応する前記単位量あたりの特定量を前記特定量記憶部から取得し、取得した前記特定量に基づいて前記口腔へ運ばれた前記食品の前記特定量を前記ユーザの摂取量として推定する摂取量推定部と
   を備えることを特徴とする摂取量推定装置。
2. 前記食品の種類の前記単位量あたりの特定量は、前記食品の単位量あたりの熱量または前記食品の単位量あたりの価格であることを特徴とする請求項１に記載の摂取量推定装置。
3. 前記検出部は、
   前記取得した画像に基づいて、前記口腔と前記ユーザの手または食器とを検出し、前記口腔と前記手または前記食器とが所定距離接近したことを検出することで、前記口腔へ運ばれた前記食品を前記食品領域として検出することを特徴とする請求項１または２に記載の摂取量推定装置。
4. 前記摂取量推定部において推定された前記摂取量を逐次記録する摂取量記録部を更に備え、
   前記摂取量記録部において逐次記録された前記摂取量の合計を前記ユーザの食事量とすることを特徴とする請求項１〜３いずれか一項に記載の摂取量推定装置。
5. 前記検出部によって検出された前記食事領域の大きさから前記口腔へ運ばれた前記食品の大きさを推定する食品量推定部を更に備え、
   前記摂取量推定部は、前記食品認識部で認識され、前記特定量記憶部から取得された前記食品の種類に対応する前記単位量あたりの特定量と、前記食品量推定部によって推定された前記食品の大きさとに基づいて、前記摂取量を推定することを特徴とする請求項１〜４のいずれか一項に記載の摂取量推定装置。
6. 前記画像を取得する撮像部と、
   前記撮像部によって取得された前記画像に前記ユーザの顔または前記口腔が一定時間撮像されていない場合に警告を行う警告部を更に備えることを特徴とする請求項１〜５のいずれか一項に記載の摂取量推定装置。
7. ユーザの口腔を時系列に撮像することで取得された画像において、前記ユーザの前記口腔へ運ばれた食品を食品領域として検出する検出ステップと、
   検出された前記食品領域に対して画像認識処理を行い、前記食品の種類を認識する食品認識ステップと、
   前記食品認識ステップで認識された前記食品の種類に対応する単位量あたりの特定量を、前記食品の種類と該食品の種類の単位量あたりの特定量を対応づけて記憶する特定量記憶部から取得し、取得した前記特定量に基づいて前記口腔へ運ばれた前記食品の前記特定量を前記ユーザの摂取量として推定する摂取量推定ステップと
   を備えることを特徴とする摂取量推定方法。
8. 請求項９に記載の各ステップをコンピュータに実行させるためのプログラム。