JP2021060201A - 料理重量計算装置 - Google Patents

Abstract

【課題】 ユーザによって撮影された料理画像から料理の重量を正確に計算することのできる料理重量計算装置を提供する。【解決手段】 料理重量計算装置１は、ユーザによって撮影された食事画像が入力されると、食事画像に含まれる料理画像を抽出し、食事画像に含まれるカトラリー画像を抽出する。抽出した料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積を推定し、記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積から料理の重量を算出する。【選択図】 図１

Description

本発明は、ユーザによって撮影された料理画像から料理の重量（グラム数）を計算する料理重量計算装置に関する。

従来、料理画像から料理の量（立体的なサイズ／容積）を推定するシステムが提案されている（例えば特許文献１参照）。従来のシステムでは、サイズ既知の対象物（食器、料理）の撮影角度の検出することにより、サイズ未知の対象物（食器、料理）の高さを推定し、その立体的なサイズ／容積が推定される。

特開２０１７−２１１６９１号公報

しかしながら、従来のシステムでは、料理の重量（グラム数）を計算することについては、何ら記載がなされていない。また、仮に、従来のシステムで推定した料理の量（立体的なサイズ／容積）から料理の重量（グラム数）を計算する場合には、次のような問題がある。すなわち、従来のシステムでは、料理画像から、サイズ既知の対象物（食器、料理）の撮影角度を検出し、その撮影角度からサイズ未知の対象物（食器、料理）の高さを推定して、サイズ未知の対象物（食器、料理）の立体的なサイズ／容積を推定しているが、このような従来の手法（平面的な二次元の情報から立体的な三次元の情報を得る手法）では、料理の量（立体的なサイズ／容積）を正確に計算することは困難であり、したがって、料理の重量（グラム数）を正確に計算することも困難である。

本発明は、上記の課題に鑑みてなされたもので、ユーザによって撮影された料理画像から料理の重量（グラム数）を正確に計算することができる料理重量計算装置を提供することを目的とする。

本発明の料理重量計算装置は、ユーザによって撮影された食事画像が入力される食事画像入力部と、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するカトラリー画像抽出部と、抽出した前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の重量を推定する重量推定部と、を備えている。

この構成によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像（料理が写っている部分画像。料理領域の画像ともいえる）とカトラリー画像（カトラリーが写っている部分画像。カトラリー領域の画像ともいえる）が抽出される。そして、料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー（例えば、しょうゆラーメン）が特定される。また、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積が推定される。そして、推定された料理の面積から料理の重量が算出される。

容器のサイズは、容器によって様々である（例えば、皿のサイズは、皿によって様々である）のに対して、カトラリーのサイズは、それほど大きく異ならない（例えば、箸の長さは、どの箸でもほとんど同じである）。本発明によれば、カトラリーのサイズを基準として、料理画像に写っている料理の面積を推定し、料理の重量（容器に入れられた料理の重量）を算出することが可能になる。この場合、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができる。しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。

また、本発明の料理重量計算装置は、算出された前記料理の重量に基づいて、前記料理の栄養価を計算する栄養価計算部を備えてもよい。

この構成によれば、料理の重量の計算結果に基づいて、料理の栄養価を正確に計算することができる。

本発明の方法は、料理重量計算装置で実行される方法であって、前記料理重量計算装置には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されており、前記方法は、ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するステップと、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定するステップと、前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の面積を推定するステップと、前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出するステップと、を含むものである。

この方法によっても、上記の装置と同様に、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができ、しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。

本発明のプログラムは、料理重量計算装置で実行されるプログラムであって、前記料理重量計算装置には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されており、前記プログラムは、前記料理重量計算装置に、ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出する処理と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する処理と、前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の面積を推定する処理と、前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出する処理と、を実行させるものである。

このプログラムによっても、上記の装置や方法と同様に、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができ、しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。

本発明によれば、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができ、しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。

本発明の実施の形態における装置の構成を示すブロック図である。 食事画像、料理画像、カトラリー画像の例を示す説明図である。 料理メニューの特定の例を示す説明図である。 候補具材の特定の例を示す説明図である。 追加具材の決定の例を示す説明図である。 料理の面積の推定と重量の算出の例を示す説明図である。 料理メニューの栄養価の算出の例を示す説明図である。 追加具材の栄養価の算出の例を示す説明図である。 本発明の実施の形態における装置の動作を説明するためのフロー図である。

以下、本発明の実施の形態の栄養計算装置について、図面を用いて説明する。本実施の形態では、ユーザの健康を管理する健康管理システム等に用いられる装置の場合を例示する。

本実施の形態の装置の構成を、図面を参照して説明する。図１は、本実施の形態の装置の構成を示すブロック図である。図１に示すように、装置１は、記憶部２と、食事画像入力部３と、料理画像抽出部４と、カトラリー画像抽出部５と、料理メニュー特定部６と、候補具材特定部７と、追加具材決定部８と、面積推定部９と、重量算出部１０と、栄養価計算部１１と、出力部１２を備えている。

記憶部２には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている。より具体的には、料理メニューごとに、その料理メニューに追加され得る具材の情報と、その料理メニューに追加され得ない具材の情報が記憶されている。また、この記憶部２には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されている。栄養アドバイスの観点から定められるグループには、例えば、魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツなどが含まれる。

例えば、記憶部２には、「しょうゆラーメン」という料理メニューについて、この料理メニューに追加され得る具材（例えば、魚、貝甲殻類、肉、緑黄色野菜・・・など）の情報と、この料理メニューに追加され得ない具材（例えば、芋、豆、ナッツ、果物・・・など）の情報が記憶されている（図５参照）。なお、図５では、追加され得る具材が「１」で示され、追加され得ない具材が「０」で示されている。また、例えば、記憶部２には、「しょうゆラーメン」という料理メニューについて、単位面積あたりの料理の重量が記憶されている。また、記憶部２には、各料理メニュー（例えば「しょうゆラーメン」）について、その料理の基準栄養価の情報も記憶されている。

食事画像入力部３には、ユーザによって撮影された食事画像が入力される。食事画像は、例えば、スマートフォンなどのユーザ端末によって撮影され、ユーザ端末から装置１に送信される。図２には、「しょうゆラーメン」の食事画像の例が示される。図２の食事画像には、「しょうゆラーメン」の料理画像と、「箸」のカトラリー画像が含まれている。

料理画像抽出部４は、入力された食事画像から、その食事画像に含まれる料理画像を抽出する。例えば、料理画像抽出部４は、図２の「しょうゆラーメン」の食事画像から「しょうゆラーメン」の料理画像を抽出する。料理画像の抽出には、公知の技術を用いることができる。

カトラリー画像抽出部５は、入力された食事画像から、その食事画像に含まれるカトラリー画像を抽出する。例えば、カトラリー画像抽出部５は、図２の「しょうゆラーメン」の食事画像から「箸」のカトラリー画像を抽出する。カトラリー画像の抽出には、公知の技術を用いることができる。

料理メニュー特定部６は、料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニューを特定する。料理メニューの特定には、公知の技術を用いることができる。例えば、図３に示すように、料理メニュー特定部６は、ＡＩを用いた画像分析により、その料理メニューである確からしさのスコアを算出する。図３の例では、スコアの値が最も高い「しょうゆラーメン」が、図２の料理画像に写っている料理メニューであると特定される。

候補具材特定部７は、料理画像を画像分析することにより、その料理画像に写っていると推定される具材を候補具材として特定する。候補具材の特定には、公知の技術を用いることができる。例えば、図４に示すように、候補具材特定部７は、ＡＩを用いた画像分析により、その料理画像に写っていると推定される具材の確からしさのスコアを算出する。図４の例では、スコアが所定の基準値（例えば、０．７）より高い「肉」「緑黄色野菜」「果物」が候補具材として特定される。

追加具材決定部８は、記憶部２に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された候補具材の中から、特定された料理メニューに追加されている具材を、追加具材として決定する。例えば、図５に示すように、記憶部２には、「しょうゆラーメン」という料理メニューに追加され得る具材として、「肉」「緑黄色野菜」の情報が記憶されており、「しょうゆラーメン」という料理メニューに追加され得ない具材として、「果物」の情報が記憶されている。この場合、追加具材特定部は、「肉」「緑黄色野菜」という具材を、「しょうゆラーメン」という料理メニューの追加具材として決定し、「果物」という具材は、「しょうゆラーメン」という料理メニューの追加具材として決定しない。

面積推定部９は、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積を推定する。面積の推定には、公知の技術を用いることができる。例えば、図６に示すように、面積推定部９は、ＡＩを用いた画像分析により、「箸」のサイズを基準として「しょうゆラーメン」の料理の面積を「３８５２４ｍｍ²」と推定する。

重量算出部１０は、記憶部２に記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積からその料理の重量を算出する。例えば、図６に示すように、重量算出部１０は、「しょうゆラーメン」の料理の面積「３８５２４ｍｍ²」から「しょうゆラーメン」の料理の重量を「６５０ｇ」と算出する。

栄養価計算部１１は、特定された料理メニューに基づいて算出される料理メニューの栄養価と、決定された追加具材に基づいて算出される追加具材の栄養価とに基づいて、料理画像に写っている料理の栄養価を計算する。

この場合、記憶部２には、料理メニューごとに、基準重量あたりの栄養価（エネルギー、たんぱく質、・・・など）の情報が記憶されている。例えば、図７に示すように、記憶部２には、「しょうゆラーメン」という料理メニューについて、基準重量（５００ｇ）あたりの基準栄養価（エネルギー：６００ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。栄養価計算部１１は、重量算出部１０によって算出された「しょうゆラーメン」の料理の重量（６５０ｇ）から係数α（＝６５０／５００）を算出し、基準重量（５００ｇ）あたりの基準栄養価にその係数αを乗算することにより、「しょうゆラーメン」の料理メニューの栄養価を算出する。

また、記憶部２には、具材ごとに、基準重量あたりの栄養価（エネルギー、たんぱく質、・・・など）の情報が記憶されている。例えば、図８に示すように、記憶部２には、「肉」という具材について、基準重量（５０ｇ）あたりの基準栄養価（エネルギー：３００ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。また、記憶部２には、「緑黄色野菜」という具材について、基準重量（４０ｇ）あたりの基準栄養価（エネルギー：１０ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。栄養価計算部１１は、追加具材決定部８で決定された追加具材である「肉」と「緑黄色野菜」の基準栄養価に、それぞれ上記の係数αを乗算することにより、「肉」と「緑黄色野菜」という追加具材の栄養価をそれぞれ算出する。

そして、栄養価計算部１１は、上記のように算出した「しょうゆラーメン」の料理メニューの栄養価と、「肉」と「緑黄色野菜」という追加具材の栄養価とを、合算することにより、料理画像に写っている「しょうゆラーメン」の栄養価を算出する。

出力部１２は、栄養価計算部１１で算出された栄養価（例えば、料理画像に写っている「しょうゆラーメン」の栄養価）を外部装置に出力する。外部装置には、例えば、ユーザ端末や、栄養アドバイスを行う管理栄養士の端末などが含まれる。

以上のように構成された装置１について、図面を参照してその動作を説明する。

本実施の形態の装置１では、ユーザによって撮影された食事画像（例えば「しょうゆラーメン」の食事画像）が入力されると（Ｓ１）、入力された食事画像から、その食事画像に含まれる料理画像（例えば「しょうゆラーメン」の料理画像）が抽出される（Ｓ２）。また、入力された食事画像から、その食事画像に含まれるカトラリー画像（例えば「箸」のカトラリー画像）が抽出される（Ｓ３）。

つぎに、本実施の形態の装置１では、抽出した料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニュー（例えば「しょうゆラーメン」）が特定される（Ｓ４）。また、料理画像を画像分析することにより、その料理画像に写っていると推定される具材（例えば「肉」と「緑黄色野菜」と「果物」）が、候補具材として特定される（Ｓ５）。そして、記憶部２に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された料理メニューに追加されている具材（例えば「肉」と「緑黄色野菜」）が、追加具材として決定される（Ｓ６）。

また、本実施の形態の装置１では、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリー（例えば「箸」）のサイズを基準として、料理画像に写っている料理の面積（例えば「しょうゆラーメン」の面積「３８５２４ｍｍ²」）が推定される（Ｓ７）。そして、記憶部２に記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積からその料理の重量（例えば「しょうゆラーメン」の重量「６５０ｇ」）が算出される（Ｓ８）。

そして、本実施の形態の装置１では、特定された料理メニューに基づいて算出されるその料理メニューの栄養価（例えば「しょうゆラーメン」の栄養価）と、決定された追加具材に基づいて算出されるその追加具材の栄養価（例えば「肉」と「緑黄色野菜」の栄養価）とに基づいて、料理画像に写っている料理の栄養価が計算される（Ｓ９）。

このような本実施の形態の装置１によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像（料理が写っている部分画像。料理領域の画像ともいえる）とカトラリー画像（カトラリーが写っている部分画像。カトラリー領域の画像ともいえる）が抽出される。そして、料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー（例えば、しょうゆラーメン）が特定される。また、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積が推定される。そして、推定された料理の面積から料理の重量が算出される。

容器のサイズは、容器によって様々である（例えば、皿のサイズは、皿によって様々である）のに対して、カトラリーのサイズは、それほど大きく異ならない（例えば、箸の長さは、どの箸でもほとんど同じである）。本実施の形態の装置１によれば、カトラリーのサイズを基準として、料理画像に写っている料理の面積を推定し、料理の重量（容器に入れられた料理の重量）を算出することが可能になる。この場合、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができる。しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。

また、本実施の形態の装置１によれば、料理の重量の計算結果に基づいて、料理の栄養価を正確に計算することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上のように、本発明にかかる料理重量計算装置は、ユーザによって撮影された料理画像から料理の重量を適切に推定することができるという効果を有し、ユーザの健康を管理する健康管理システム等に利用され、有用である。

１ 装置
２ 記憶部
３ 食事画像入力部
４ 料理画像抽出部
５ カトラリー画像抽出部
６ 料理メニュー特定部
７ 候補具材特定部
８ 追加具材決定部
９ 面積推定部
１０ 重量算出部
１１ 栄養価計算部
１２ 出力部

Claims (4)

1. 料理メニューごとに単位面積あたりの料理の重量の情報が記憶されている記憶部と、
   ユーザによって撮影された食事画像が入力される食事画像入力部と、
   入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、
   入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するカトラリー画像抽出部と、
   前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する料理メニュー特定部と、
   前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の面積を推定する面積推定部と、
   前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出する重量算出部と、
   を備えることを特徴とする料理重量計算装置。
2. 算出された前記料理の重量に基づいて、前記料理の栄養価を計算する栄養価計算部を備える、請求項１に記載の料理重量計算装置。
3. 料理重量計算装置で実行される方法であって、
   前記料理重量計算装置には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されており、
   前記方法は、
   ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、
   入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するステップと、
   前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定するステップと、
   前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の面積を推定するステップと、
   前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出するステップと、
   を含むことを特徴とする方法。
4. 料理重量計算装置で実行されるプログラムであって、
   前記料理重量計算装置には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されており、
   前記プログラムは、前記料理重量計算装置に、
   ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、
   入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出する処理と、
   前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する処理と、
   前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の面積を推定する処理と、
   前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出する処理と、
   を実行させることを特徴とするプログラム。

Images