JP2018180818A - 健康度推定装置、健康度推定方法及びプログラム - Google Patents

Abstract

【課題】認識対象となる料理を制限することなく、食事全体としての健康度合いを精度よく診断する。【解決手段】入力された食事画像と食事画像の健康度合いを定量化した情報を有する健康度設定済画像とを健康度推定パラメータに基づいて、どちらが健康的な食事の画像であるかを推定する健康度推定部と、前記健康度推定部による推定結果と過去の推定結果とに基づいて、前記食事画像に対する診断結果を生成する診断結果生成部と、を備える健康度推定装置である。【選択図】図１

Description

本発明は、健康度推定装置、健康度推定方法及びプログラムに関する。

スマートフォンなどのポータブルデバイスによって日々の食事を画像として記録することが容易となっている。このような食事画像を用いて健康管理を行うサービスが多数存在している。このようなサービスの多くでは、ユーザは、食事の内容を手作業で入力し、ユーザに対する煩雑さが課題となっている。こうした課題に対して、食事画像を自動で認識し、適切なフィードバックを返す方法が提案されている。食事画像の認識方法として大きく２つのアプローチがある。１つは、画像から料理名を識別するアプローチである。もう１つは、画像からカロリーや栄養素などの量を推定するアプローチである。

前者のアプローチについて、例えば非特許文献１では画像から２０種類の料理を識別する。識別された料理について、予め学習されたカロリー等の指標を用いて、推定値を出力する手法が提案されている。このような手法は、従来の一般物体認識と呼ばれる画像認識手法と相性が良く高い識別精度が期待される。しかし、学習されていない料理については認識することができず、適切なフィードバックを与えることができない。また、同一の料理名でもその内容物が異なる場合、その違いを捉えることが難しい。

後者のアプローチについて、例えば非特許文献２では画像特徴との関係性から食事に含まれるカロリーの総量が推定される。このような手法は、学習されていない料理についても推定が可能である。しかし、料理に含まれる栄養素は必ずしも見た目からは推測できず、画像中の料理のスケールを求めることに課題があるため推定精度が低いことが課題となっている。

一方で食事指導を専門とする管理栄養士は、食事画像の見た目の情報から栄養バランスを加味して、食事が適切であるかどうかを判断できる。

岡元 晃一, 柳井 啓司, "スマートフォンによる食事画像からの自動カロリー量推定システム", 電子情報通信学会 食メディア研究会（2016） 宮崎 達也, デシルヴァ ガムヘワゲ チャミンダ, 相澤 清晴, "辞書画像群を用いた食事画像からのカロリー推定", 映像情報メディア学会年次大会講演予稿集 (2011)

しかしながら、管理栄養士が行う食事画像の健康度判断を再現するには、上記２つのアプローチでは不十分な場合があるという問題があった。

上記事情に鑑み、本発明は、様々な料理が含まれる食事に対して、精度よく適切なフィードバックを実現するために、認識対象となる料理を制限することなく、食事全体としての健康度合いを精度よく診断することができる健康度推定装置、健康度推定方法及びプログラムを提供することを目的としている。

本発明の一態様は、入力された食事画像と食事画像の健康度合いを定量化した情報を有する健康度設定済画像とを健康度推定パラメータに基づいて、どちらが健康的な食事の画像であるかを推定する健康度推定部と、前記健康度推定部による推定結果と過去の推定結果とに基づいて、前記食事画像に対する診断結果を生成する診断結果生成部と、を備える健康度推定装置である。

本発明の一態様は、上記の健康度推定装置であって、前記診断結果生成部は、前記食事画像が所定の閾値と比べて健康であるか不健康であるかを表す絶対評価と、前記過去の推定結果と比べて前記食事画像が健康であるか不健康であるかを表す相対評価と、を含む診断結果を生成する。

本発明の一態様は、上記の健康度推定装置であって、食事内容に関する情報が取得されている画像である学習用食事画像の特徴ベクトルを生成する画像特徴抽出部と、前記特徴ベクトルに基づいて、第１の前記学習用食事画像と第２の前記学習用食事画像とのうち、どちらの画像の食事の方が健康的であるか学習を行う健康度推定学習部と、をさらに備える。

本発明の一態様は、上記の健康度推定装置であって、入力者による操作に応じて、第１の前記学習用食事画像と第２の前記学習用食事画像とのうちどちらが健康的な食事であるかを表す情報である健康度比較データを生成する健康度比較データ生成部と、をさらに備える。

本発明の一態様は、入力された食事画像と食事画像の健康度合いを定量化した情報を有する健康度設定済画像とを健康度推定パラメータに基づいて、どちらが健康的な食事の画像であるかを推定する健康度推定ステップと、前記健康度推定ステップによる推定結果と過去の推定結果とに基づいて、前記食事画像に対する診断結果を生成する診断結果生成ステップと、を有する健康度推定方法である。

本発明の一態様は、コンピュータを上記の健康度推定装置として機能させるためのプログラム。

本発明により、認識対象となる料理を制限することなく、食事全体としての健康度合いを精度よく診断することが可能となる。

実施形態における健康度推定装置１００の構成例を示す概略ブロック図。 実施形態の画像特徴抽出部１３０の詳細を表す機能ブロック図。 実施形態の健康度推定部１５０の詳細を表す機能ブロック図。 実施形態の健康度比較データ生成における入力画面の一具体例。 実施形態の健康度推定学習部１４０による健康度推定パラメータの出力を表す図。 実施形態の健康度推定部１５０による健康度の出力を表す図。 実施形態の健康度比較データ生成の処理の流れを表すフローチャート。 実施形態の健康度推定の学習の流れを表すフローチャート。 実施形態の健康度の算出処理の流れを表すフローチャート。

図１は実施形態における健康度推定装置１００の構成例を示す概略ブロック図である。健康度推定装置１００は、食事画像から食事の健康度合いを推定する装置である。食事の健康度合いは、予め収集されたどのような食事が健康的かを表す情報に基づいて推定される。健康度推定装置１００は、入力部１０１、表示部１０２、学習用食事画像記憶部１０３、健康度比較データ記憶部１０４、健康度推定パラメータ記憶部１０５、健康度設定済画像記憶部１０６、健康度蓄積データ記憶部１０７及び制御部１１０を備える。

入力部１０１は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。入力部１０１は、入力装置を健康度推定装置１００に接続するためのインタフェースであってもよい。この場合、入力部１０１は、入力装置において入力された入力信号から入力データ（例えば、健康度推定装置１００に対する指示を示す指示情報）を生成し、健康度推定装置１００に入力する。

表示部１０２は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の出力装置である。表示部１０２は、出力装置を健康度推定装置１００に接続するためのインタフェースであってもよい。この場合、表示部１０２は、映像データから映像信号を生成し自身に接続されている映像出力装置に映像信号を出力する。

学習用食事画像記憶部１０３は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。学習用食事画像記憶部１０３は、推定対象の食事画像として想定される食事に近い食事画像（以下「学習用食事画像」という。）を記憶する。学習用食事画像記憶部１０３は、それぞれ異なる学習用食事画像を大量に記憶する。学習用食事画像は、食事内容に関する情報が取得されている。食事内容に関する情報は、例えば栄養素や食材等の食事内容の健康度合いを判断するために必要な情報である。

健康度比較データ記憶部１０４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。健康度比較データ記憶部１０４は、異なる２つの学習用食事画像のうち、どちらがより健康的であるかを表す健康度比較データを記憶する。健康度比較データ記憶部１０４は、大量の健康度比較データを記憶する。

健康度推定パラメータ記憶部１０５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。健康度推定パラメータ記憶部１０５は、健康度推定パラメータを記憶する。健康度推定パラメータは、健康度推定装置１００が食事画像の健康度を推定するために用いられる。

健康度設定済画像記憶部１０６は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。健康度設定済画像記憶部１０６は、健康度設定済画像を予め記憶する。健康度設定済画像に含まれる画像は健康度によって予め順位付けされる。健康度設定済画像は、食事の健康度合いを提示するうえで比較対象とするための画像である。健康度度設定済画像は、ユーザに診断結果をフィードバックするための判断基準として、適切な程度の食事画像が記憶される。

健康度蓄積データ記憶部１０７は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。健康度蓄積データ記憶部１０７は、健康度蓄積データを記憶する。健康度蓄積データは、ユーザ毎の毎回の食事における健康度推定結果を表すデータである。

制御部１１０は、健康度推定装置１００の各部の動作を制御する。制御部１１０は、例えばＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）を備えた装置により実行される。制御部１１０は、健康度推定プログラムを実行することによって、健康度比較データ生成部１２０、画像特徴抽出部１３０、健康度推定学習部１４０、健康度推定部１５０及び診断結果生成部１６０として機能する。

健康度比較データ生成部１２０は、健康度比較データを生成する。具体的には、健康度比較データ生成部１２０は、学習用食事画像記憶部１０３から取得した２つの学習用食事画像を、表示部１０２に表示させる。健康度比較データ生成部１２０は、入力者から表示部１０２に表示された２つの学習用食事画像のうち、どちらが健康的な食事であるかの入力を、入力部１０１を介して受け付ける。健康度比較データ生成部１２０は、受け付けたデータを健康度比較データとして、健康度比較データ記憶部１０４に記憶する。健康度比較データ生成部１２０は、学習用食事画像記憶部１０３に記憶される多数の画像から２つを選び出し、入力を受け付ける処理を無数に繰り返し、十分な量の健康度比較データを健康度比較データ記憶部１０４に記憶させる。なお、入力者は、管理栄養士などの専門的な知識を有する人である。

画像特徴抽出部１３０は、学習用食事画像に基づいて、食事内容と関連の強い画像特徴を抽出する。画像特徴抽出部１３０は、畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）を用いてその中間出力を画像特徴として使用し、予め料理名を認識する。入力画像には食事内容と関係のない背景情報も含まれる。したがって、画像特徴抽出部１３０は、料理認識用ＣＮＮ適用部１３２（図２参照）の出力から食事領域を算出することで、食事領域に含まれる画像特徴のみを抽出する。

図２は、実施形態の画像特徴抽出部１３０の詳細を表す機能ブロック図である。画像特徴抽出部１３０は、学習用食事画像を入力画像として受付け、特徴ベクトルを健康度推定学習部１４０に出力する。画像特徴抽出部１３０は、料理認識パラメータ記憶部１３１、料理認識用ＣＮＮ適用部１３２、食事領域抽出部１３３、ヒストグラム生成部１３４及びＣＮＮ特徴辞書記憶部１３５を有する。

料理認識パラメータ記憶部１３１は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。料理認識パラメータ記憶部１３１は、料理認識ＣＮＮパラメータを記憶する。料理認識ＣＮＮパラメータは、画素毎に料理名が付与された食事画像データを用いて学習されている。ＣＮＮの構成として、Fully Convolutional Networkが用いられる。

料理認識用ＣＮＮ適用部１３２は、料理認識ＣＮＮパラメータに基づいて、入力された学習用食事画像に対する出力結果を生成する。出力結果は、学習用食事画像の各画素に対して、料理名であるか背景領域であるかの各ラベルを付与した料理名マップと料理名マップに変換される以前の中間状態とを抽出したＣＮＮ特徴マップである。

食事領域抽出部１３３は、食事領域マップを生成する。食事領域マップは、生成されたＣＮＮ特徴マップに基づいて、背景領域以外のラベルが付与された画素を食事領域であるとして生成される。

ヒストグラム生成部１３４は、ＣＮＮ特徴マップと食事領域マップとに基づいて、食事領域に含まれるＣＮＮ特徴のヒストグラムを算出する。ヒストグラムの算出には、ＣＮＮ特徴辞書が用いられる。ＣＮＮ特徴辞書には予め多数の食事画像を用いて算出されたＣＮＮ特徴に基づいて、それらをクラスタリングして得られるクラスタ中心の情報が記録される。

ヒストグラム生成部１３４は、ＣＮＮ特徴辞書に記録されるクラスタ中心に基づいて、各画素のＣＮＮ特徴がどのクラスタに属するかを算出し、各画素について対応するクラスタＩＤを記録する。ヒストグラム生成部１３４は、最後に算出された各画素のクラスタＩＤについて画像全体でヒストグラムを算出する。ヒストグラム生成部１３４は、算出されたヒストグラムを特徴ベクトルとして出力する。ヒストグラム生成部１３４によるヒストグラム生成におけるアプローチは、ＢＯＷ（Bag of Words）表現として知られているが、ＢＯＷのコーディングやプーリングにおける改良は様々に提案されており、それらを適用してもよい。

ＣＮＮ特徴辞書記憶部１３５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。ＣＮＮ特徴辞書記憶部１３５は、ＣＮＮ特徴辞書を記憶する。

図１に戻って、健康度推定装置１００の説明を続ける。健康度推定学習部１４０は、画像特徴抽出部１３０によって得られた学習用食事画像の特徴ベクトルに基づいて、２枚の学習用食事画像のうちどちらの画像の食事の方が健康的であるかを推定するための学習を行う。以下、２枚の食事画像は画像１及び画像２という。健康度推定学習部１４０は、各学習用食事画像から選択された２枚の食事画像と２枚の食事画像のうちどちらがより健康的であるかを表す比較ラベルとに基づいて学習する。比較ラベルは、健康度比較データに基づいて算出される。比較ラベルは２枚の食事画像のうちどちらの健康度が高いかを表すラベルである。具体的には、健康度推定学習部１４０は、健康度推定装置１００による出力値が右の通りになるように学習する。入力値となる画像１及び画像２の画像特徴x1及びx2に対してf(x1,x2)＞０であれば、画像１がより健康的であることを示す。これに対して、f(x1,x2)＜０であれば画像２がより健康的であることを示す。なお、f(x1,x2)は、後述する数式（２）で表される。

学習及び推定にはＲａｎｋ ＳＶＭと呼ばれる手法が用いられる。Ｒａｎｋ ＳＶＭでは学習データに対して、数式（１）で表される損失関数が最小化となるように係数ｗを求められる。

ここで、Ｃは過学習をコントロールするパラメータである。Ｃは、実験的に設定される。Ｔは、ベクトルの転置を表す。数式（１）におけるｗ^Ｔｘ_ｉ及びｗ^Ｔｘ_ｊは、それぞれｗ及びｘの内積を表す。ｘ_ｉ、ｘ_ｊのうち、健康的な画像はｘ_ｉとして表され、もう一方はｘ_ｊで表される。健康度推定学習部１４０は、多数の健康度比較データに対して、Ｌ（ｗ）が最小となるようにｗを健康度推定装置１００の健康度推定パラメータとして出力する。健康度推定学習部１４０は、出力された健康度推定パラメータｗを健康度推定パラメータ記憶部１０５に記憶させる。

健康度推定部１５０は、健康度推定パラメータと健康度設定済画像とに基づいて、入力された食事画像の健康度を推定し、出力する。健康度推定部１５０は、食事画像の健康度を推定する場合、入力された食事画像と健康度設定済画像とを健康度推定パラメータに基づいて、どちらが健康的な食事の画像であるかを推定する。健康度推定部１５０は、入力された食事画像が順位づけされた健康度設定済画像のうち、どの順位に位置づけられるかを出力する。画像は入力部１０１を介して入力される。

図３は、実施形態の健康度推定部１５０の詳細を表す機能ブロック図である。健康度推定部１５０は、入力された食事画像の健康度を推定し、出力する。健康度推定部１５０は、健康度比較部１５１及び順位付け決定部１５２を有する。

まず、健康度推定部１５０は、画像特徴抽出部１３０において入力された食事画像の特徴ベクトルｘを算出する。同様に、健康度推定部１５０は、画像特徴抽出部１３０において健康度設定済画像の特徴ベクトルｒを算出する。

健康度比較部１５１は、２つの食事画像のうちどちらがより健康的な食事の画像であるかを表す健康度比較値を算出する。健康度比較部１５１は、健康度推定パラメータ記憶部１０５に記憶されるｗと特徴ベクトルｘ及びｒと数式（２）とに基づいて、健康度比較値ｙを出力する。

ｙが０より大きい場合、入力画像の方がより健康的であることを示す。これに対して、ｙが０以下の場合、健康度設定済画像の方がより健康的であることを示す。健康度比較部１５１は、健康度設定済画像記憶部１０６に含まれる各画像に対して健康度比較値を出力する。

順位付け決定部１５２は、健康度比較部１５１において、入力画像がより健康度設定済画像よりも健康的であると出力された回数を数える。順位付け決定部１５２は、健康的であると出力された回数に基づいて、健康度を算出する。順位付け決定部１５２は、健康度設定済画像の枚数をＮ、入力画像が健康的と出力された回数をＹとして、健康度をＹ／Ｎとして出力する。

図１に戻って、健康度推定装置１００の説明を続ける。診断結果生成部１６０は、出力された健康度の値に基づいて診断結果を生成する。診断結果には、入力された食事画像が健康であるか不健康であるかを表すため、絶対評価と相対評価とが用いられる。絶対評価では、健康度は予め設定された閾値に応じて出力される。例えば、健康度が閾値以下の場合、食事を改善するよう評価する。これに対して、健康度が閾値以上であれば同様の食事を続けるように評価する。

相対評価は、各ユーザのこれまで健康度蓄積データに基づいて算出される。例えば、入力された食事画像の健康度がこれまでの健康度蓄積データに比べて健康度が低い場合、健康意識の低下について警告するように評価する。これに対して、入力された食事画像の健康度がこれまでの健康度蓄積データに比べて高い場合、同様の傾向を維持するように評価する。診断結果生成部１６０は、各ユーザの毎回の食事における健康度比較結果を健康度蓄積データとして記録し、健康度蓄積データ記憶部１０７に記憶させる。相対評価では、診断結果生成部１６０は、健康度蓄積データの分布に基づいて相対評価を決定する。例えば、日々の食事健康度の平均と標準偏差を記録しておき、推定された健康度と平均の差分が標準偏差を超えていた場合にメッセージを出力する、といった方法が用いられる。

図４は、実施形態の健康度比較データ生成における入力画面の一具体例である。図４の領域２００は、表示部１０２に表示される入力画面の全体を表す。領域２００は、領域２０１、領域２０２、領域２０３、領域２０４及び領域２０５を含む。領域２０１は、健康度比較データ生成部１２０が取得した２つの学習用食事画像のうちいずれか一方が表示される。もう一方の学習用食事画像は領域２０２に表示される。領域２０３〜領域２０５は、学習用食事画像Ａ又はＢのうち、どちらの食事画像が健康的であるかを受け付ける領域である。学習用食事画像Ａが健康的である場合、入力者は、領域２０３を選択する。学習用食事画像Ｂが健康的である場合、入力者は、領域２０５を選択する。どちらも同じくらい健康的である場合、入力者は、領域２０４を選択する。健康度比較データ生成部１２０は、選択された結果を健康度比較データとして、健康度比較データ記憶部１０４に記憶する。なお、領域２０３〜領域２０５の選択は入力部１０１を介して受け付ける。

図５は、実施形態の健康度推定学習部１４０による健康度推定パラメータの出力を表す図である。領域３０１は、学習用食事画像記憶部１０３に記憶される学習用食事画像を表す。領域３０２は健康度比較データ記憶部１０４に記憶される健康度比較データから生成される比較ラベルを表す。健康度推定学習部１４０は、学習用画像から選択された２枚の画像と領域３０２に記載される比較ラベルとに基づいて、どちらの食事画像が健康的であるかを学習し、健康度推定パラメータを求める。健康度推定学習部１４０は、学習して得られた健康度推定パラメータを健康度推定パラメータ記憶部１０５に記憶させる。

図６は、実施形態の健康度推定部１５０による健康度の出力を表す図である。領域４０１は、健康度推定装置１００に入力される入力画像Ｘを表す。領域４０２は、順位付けされる健康度設定済画像を表す。領域４０２によると、健康度設定済画像はＡからＥまでの５種類ある。健康度設定済画像は、健康度設定済画像記憶部１０６に記憶される。健康度推定部１５０は、健康度推定パラメータ記憶部１０５に記憶される健康度推定パラメータに基づいて、入力画像Ｘと健康度設定済画像との健康度の比較結果を生成する。領域４０３は生成された各画像との比較結果を表す。領域４０３によると、入力画像Ｘは、健康度設定済画像Ａ、Ｂよりも健康度は低い。しかし、領域４０３によると、入力画像Ｘは、健康度設定済画像Ｃ、Ｄ、Ｅよりも健康度は高い。領域４０４は、出力された健康度を表す。健康度は、入力画像Ｘが健康度設定済み画像よりも健康度は高いと判定された回数を健康度設定済画像の枚数で割ることで算出される。領域４０４によると、入力画像Ｘが健康度設定済み画像よりも健康度は高いと判定された回数は３である。領域４０４によると健康度設定済画像の枚数は５である。したがって、健康度は０．６である。健康度推定部１５０は、健康度として０．６を出力する。

図７は、実施形態の健康度比較データ生成の処理の流れを表すフローチャートである。
健康度比較データ生成部１２０は、学習用食事画像記憶部１０３から学習用食事画像を２枚取得する（ステップＳ１０１）。健康度比較データ生成部１２０は、表示部１０２に食事比較画像を表示させる。（ステップＳ１０２）。健康度比較データ生成部１２０は、入力者から健康度比較情報を受け付ける（ステップＳ１０３）。健康度比較データ生成部１２０は、健康度比較データ記憶部１０４に健康度比較データを記憶させる（ステップＳ１０４）。

図８は、実施形態の健康度推定の学習の流れを表すフローチャートである。図８では、入力される２枚の学習用食事画像の一方を画像１、もう一方を画像２として詳述する。料理認識用ＣＮＮ適用部１３２は、学習用食事画像と料理認識ＣＮＮパラメータとに基づいてＣＮＮ特徴マップを生成する（ステップＳ２０１）。食事領域抽出部１３３は、ＣＮＮ特徴マップに基づいて、食事領域マップを生成する（ステップＳ２０２）。ヒストグラム生成部１３４は、ＣＮＮ特徴マップと食事領域マップとに基づいて、食事領域に含まれるＣＮＮ特徴のヒストグラムを算出する（ステップＳ２０３）。健康度推定学習部１４０は、特徴ベクトル（ヒストグラム）に基づいて、２枚の学習用食事画像のうち、どちらが健康的であるかを推定するための学習を行う。具体的には、健康度推定学習部１４０は、数式（１）を用いて、健康度推定パラメータｗを算出する（ステップＳ２０４）。健康度推定学習部１４０は、算出したｗを健康度推定パラメータ記憶部１０５に記憶させる（ステップＳ２０５）。

図９は、実施形態の健康度の算出処理の流れを表すフローチャートである。健康度は、入力された食事画像とＮ枚の健康度設定済み画像とが比較され、算出される。健康度推定部１５０は、画像特徴抽出部１３０において入力された食事画像の特徴ベクトルｘを算出する（ステップＳ３０１）。健康度推定部１５０は、健康度設定済画像記憶部１０６から健康度設定済画像を取得する（ステップＳ３０２）。健康度推定部１５０は、画像特徴抽出部１３０において健康度設定済画像の特徴ベクトルｒを算出する（ステップＳ３０３）。健康度比較部１５１は、健康度比較値ｙを算出する（ステップＳ３０４）。健康度比較部１５１は、ｙが０より大きいか否かを判定する（ステップＳ３０５）。ｙが０より大きい場合（ステップＳ３０５：ＹＥＳ）、入力された画像のほうが健康的であると判定する（ステップＳ３０６）。健康度比較部１５１は、入力された画像のほうが健康的であると判定した回数を計数する（ステップＳ３０７）。ｙが０より大きくない場合（ステップＳ３０５：ＮＯ）、ステップＳ３０８へ遷移する。健康度比較部１５１は、Ｎ枚の健康度設定済画像と入力画像との比較が終了したか否か判定する（ステップＳ３０８）。比較が終了している場合（ステップＳ３０８：ＹＥＳ）、健康度比較部１５１は、健康度を算出する（ステップＳ３０９）。比較が終了していない場合（ステップＳ３０８：ＮＯ）、ステップＳ３０２に遷移する。

このように健康度推定装置１００では、健康度推定学習部１４０が、管理栄養士などの専門家から得られた知見に基づいて、２枚の学習用食事画像のうちどちらが健康的であるかを推定するための学習を行う。したがって、健康度推定装置１００は、認識対象となる料理を制限することなく、食事全体としての健康度合いを精度よく診断することが可能となる。

健康度推定装置１００は、健康度推定部１５０と診断結果生成部１６０とを有することで、不健康な食事をしているユーザに対して個別のアドバイスを提示できる。また、健康的な食事をとりはじめたユーザに対して良い評価を提示できる。さらに食事健康度の変化によってユーザの食生活改善の経過を把握することもできる。これによって食事管理サービスのユーザの手間を減らし、より簡易にサービスを受けられるようになる。

上述した実施形態における健康度推定装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、ユーザの食事の栄養状況や健康度合いを診断する食事管理サービスに適用可能である。

１００…健康度推定装置， １０１…入力部， １０２…表示部， １０３…学習用食事画像記憶部， １０４…健康度比較データ記憶部， １０５…健康度推定パラメータ記憶部， １０６…健康度設定済画像記憶部， １０７…健康度蓄積データ記憶部， １１０…制御部， １２０…健康度比較データ生成部， １３０…画像特徴抽出部， １４０…健康度推定学習部， １５０…健康度推定部， １６０…診断結果生成部， １３１…料理認識パラメータ記憶部， １３２…料理認識用ＣＮＮ適用部， １３３…食事領域抽出部， １３４…ヒストグラム生成部， １３５…ＣＮＮ特徴辞書記憶部， １５１…健康度比較部， １５２…順位付け決定部

Claims (6)

1. 入力された食事画像と食事画像の健康度合いを定量化した情報を有する健康度設定済画像とを健康度推定パラメータに基づいて、どちらが健康的な食事の画像であるかを推定する健康度推定部と、
   前記健康度推定部による推定結果と過去の推定結果とに基づいて、前記食事画像に対する診断結果を生成する診断結果生成部と、
   を備える健康度推定装置。
2. 前記診断結果生成部は、前記食事画像が所定の閾値と比べて健康であるか不健康であるかを表す絶対評価と、前記過去の推定結果と比べて前記食事画像が健康であるか不健康であるかを表す相対評価と、を含む診断結果を生成する、
   請求項１に記載の健康度推定装置。
3. 食事内容に関する情報が取得されている画像である学習用食事画像の特徴ベクトルを生成する画像特徴抽出部と、
   前記特徴ベクトルに基づいて、第１の前記学習用食事画像と第２の前記学習用食事画像とのうち、どちらの画像の食事の方が健康的であるか学習を行う健康度推定学習部と、
   をさらに備える、
   請求項１又は２に記載の健康度推定装置。
4. 入力者による操作に応じて、第１の前記学習用食事画像と第２の前記学習用食事画像とのうちどちらが健康的な食事であるかを表す情報である健康度比較データを生成する健康度比較データ生成部と、
   をさらに備える、
   請求項３に記載の健康度推定装置。
5. 入力された食事画像と食事画像の健康度合いを定量化した情報を有する健康度設定済画像とを健康度推定パラメータに基づいて、どちらが健康的な食事の画像であるかを推定する健康度推定ステップと、
   前記健康度推定ステップによる推定結果と過去の推定結果とに基づいて、前記食事画像に対する診断結果を生成する診断結果生成ステップと、
   を有する健康度推定方法。
6. コンピュータを請求項１から４のいずれか一項に記載の健康度推定装置として機能させるためのプログラム。

Images