JP2021060640A - Nutrition calculation device - Google Patents

Nutrition calculation device Download PDF

Info

Publication number
JP2021060640A
JP2021060640A JP2019182588A JP2019182588A JP2021060640A JP 2021060640 A JP2021060640 A JP 2021060640A JP 2019182588 A JP2019182588 A JP 2019182588A JP 2019182588 A JP2019182588 A JP 2019182588A JP 2021060640 A JP2021060640 A JP 2021060640A
Authority
JP
Japan
Prior art keywords
image
ingredients
ingredient
cooking
dish
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019182588A
Other languages
Japanese (ja)
Other versions
JP7125929B2 (en
Inventor
敏成 渡辺
Toshishige Watanabe
敏成 渡辺
正幸 入澤
Masayuki Irisawa
正幸 入澤
由樹 佐々木
Yuki Sasaki
由樹 佐々木
綾子 西照
Ayako Nishiteru
綾子 西照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Link and Communication Inc
Original Assignee
Link and Communication Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Link and Communication Inc filed Critical Link and Communication Inc
Priority to JP2019182588A priority Critical patent/JP7125929B2/en
Publication of JP2021060640A publication Critical patent/JP2021060640A/en
Application granted granted Critical
Publication of JP7125929B2 publication Critical patent/JP7125929B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a nutrition calculation device capable of calculating a nutritive value of an added ingredient (ingredient added to cooking) captured in a cooking image on the basis of a group defined in terms of nutritive advice.SOLUTION: A nutrition calculation device identifies a cooking menu estimated to be captured in a cooking image by performing image analysis of the cooking image extracted from an input meal image when a meal image photographed by a user is input, identifies an ingredient estimated to be captured in the cooking image as a candidate ingredient by performing image analysis of the cooking image and determines an added ingredient among the identified candidate ingredients on the basis of stored information on ingredients which can be added, and calculates a nutritive value of the cooking captured in the cooking image on the basis of the nutritive value calculated from the identified cooking menu and the nutritive value calculated from the determined added ingredient.SELECTED DRAWING: Figure 9

Description

本発明は、料理画像に写っている追加具材(料理に追加されている具材)の栄養価を計算する機能を備えた栄養計算装置に関する。 The present invention relates to a nutrition calculation device having a function of calculating the nutritional value of additional ingredients (ingredients added to a dish) shown in a dish image.

従来、料理画像に写っている料理に用いられている具材を推定する装置が提案されている(例えば特許文献1参照)。従来の装置では、料理画像を解析して、その料理画像に写っている料理に用いられている具材を画像認識する。この従来の装置では、料理画像に写っている料理に用いられている他の具材(例えば、ソースやスープなどで覆い隠されている具材、細かく刻まれたり溶かされたりして原形を留めていない具材)が推定される。 Conventionally, a device for estimating ingredients used in a dish shown in a dish image has been proposed (see, for example, Patent Document 1). The conventional device analyzes the food image and recognizes the ingredients used in the food shown in the food image. In this conventional device, other ingredients used in the dish shown in the dish image (for example, ingredients covered with sauce or soup, finely chopped or melted to retain their original shape). Ingredients that are not used) are estimated.

特許第6306770号Patent No. 6306770

しかしながら、従来の装置においては、画像認識で具材を特定することに限界があるとして、料理画像に写っている追加具材(料理に追加されている具材)の推定については、何らの提案もなされていない。また、従来の装置では、具材の栄養価を計算して、栄養アドバイスを行うことについても、何ら考慮されていない。 However, in the conventional device, there is a limit to specifying the ingredients by image recognition, and any proposal is made regarding the estimation of the additional ingredients (ingredients added to the dish) shown in the cooking image. Not done. Further, in the conventional device, no consideration is given to calculating the nutritional value of the ingredients and giving nutritional advice.

適切な栄養アドバイスを行うためには、単に具材を推定して栄養価を計算するだけでは不十分である。適切な栄養アドバイスを行うためには、栄養アドバイスの観点から定められたグループ(魚、貝甲殻類、肉、緑黄色野菜・・・など)に基づいてユーザが摂取する栄養価を計算する必要がある。 Simply estimating the ingredients and calculating the nutritional value is not enough to provide appropriate nutritional advice. In order to provide appropriate nutritional advice, it is necessary to calculate the nutritional value that the user ingests based on the group (fish, shellfish, meat, green and yellow vegetables, etc.) defined from the viewpoint of nutritional advice. ..

一方、画像認識で具材を具体的に特定すること(例えば「豚肉」であるか、「牛肉」であるかを特定すること)は困難であるとしても、その具材が上記のグループのいずれに該当するか(例えば「肉」であること)を特定することは十分に可能である。 On the other hand, even if it is difficult to specifically specify the ingredients by image recognition (for example, to specify whether it is "pork" or "beef"), the ingredients are any of the above groups. It is quite possible to identify whether it corresponds to (for example, "meat").

本発明は、上記の課題に鑑みてなされたもので、栄養アドバイスの観点から定められたグループに基づいて料理画像に写っている追加具材(料理に追加されている具材)の栄養価を計算することができ、その計算結果を利用して適切な栄養アドバイスを行うことが可能となる栄養計算装置を提供することを目的とする。 The present invention has been made in view of the above problems, and the nutritional value of the additional ingredients (ingredients added to the dish) shown in the dish image is determined based on the group defined from the viewpoint of nutritional advice. It is an object of the present invention to provide a nutritional calculation device capable of calculating and giving appropriate nutritional advice using the calculation result.

本発明の栄養計算装置は、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている記憶部と、ユーザによって撮影された食事画像が入力される食事画像入力部と、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する料理メニュー特定部と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する候補具材特定部と、前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する追加具材決定部と、前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する栄養価計算部と、を備えている。 The nutrition calculation device of the present invention has a storage unit that stores information on ingredients classified into groups determined from the viewpoint of nutritional advice as information on ingredients that can be added for each cooking menu, and is photographed by the user. A food image input unit into which a food image is input, a food image extraction unit that extracts a food image included in the food image from the input food image, and an image analysis of the food image to perform the food. By image-analyzing the cooking menu identification section that identifies the cooking menu that is presumed to appear in the image and the cooking image, the ingredients that are presumed to appear in the cooking image are specified as candidate ingredients. Based on the candidate ingredient identification unit and the stored information on the ingredients that can be added, the ingredients added to the specified cooking menu from the specified candidate ingredients are added. The additional ingredient determination unit determined as the material, the nutritional value of the cooking menu calculated based on the specified cooking menu, and the nutrition of the additional ingredient calculated based on the determined additional ingredient. It is provided with a nutrition value calculation unit that calculates the nutrition value of the food shown in the food image based on the value.

この構成によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像(料理が写っている部分画像。料理領域の画像ともいえる)が抽出され、抽出した料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー(例えば、しょうゆラーメン)が特定される。また、料理画像を画像分析することにより、料理画像に写っていると推定される候補具材(例えば、肉、緑黄色野菜、果物)が特定される。そして、料理メニューごとに追加され得る具材の情報に基づいて、候補具材の中から、その料理メニューに追加されている追加具材(例えば、肉、緑黄色野菜)が決定される。そして、料理メニューの栄養価(例えば、しょうゆラーメンの栄養価)と追加具材の栄養価(例えば、肉、緑黄色野菜の栄養価)に基づいて、料理画像に写っている料理(例えば、チャーシューとほうれん草がトッピングされたしょうゆラーメン)の栄養価が計算される。この場合、具材は、栄養アドバイスの観点から定められた複数の具材グループに分類されている(例えば、チャーシューは肉に分類され、ほうれん草は緑黄色野菜に分類される)。したがって、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。 According to this configuration, a food image (a partial image showing food, which can be said to be an image of a cooking area) included in the food image is extracted from the food image taken by the user, and the extracted food image is image-analyzed. By doing so, the cooking menu (for example, soy sauce ramen) presumed to be reflected in the cooking image is specified. Further, by image analysis of the food image, candidate ingredients (for example, meat, green-yellow vegetables, fruits) presumed to appear in the food image are identified. Then, based on the information of the ingredients that can be added for each cooking menu, the additional ingredients (for example, meat, green-yellow vegetables) added to the cooking menu are determined from the candidate ingredients. Then, based on the nutritional value of the cooking menu (for example, the nutritional value of soy sauce ramen) and the nutritional value of additional ingredients (for example, the nutritional value of meat and green-yellow vegetables), the dishes shown in the cooking image (for example, charcoal) The nutritional value of soy sauce ramen topped with spinach is calculated. In this case, the ingredients are classified into a plurality of ingredient groups defined from the viewpoint of nutritional advice (for example, char siu is classified as meat and spinach is classified as green-yellow vegetables). Therefore, the nutritional value of the ingredients added to the dish is calculated based on the group defined from the viewpoint of nutritional advice. As a result, the nutritional value of the dish shown in the dish image is appropriately calculated, and the calculation result can be used to give appropriate nutritional advice.

また、本発明の栄養計算装置では、前記栄養アドバイスの観点から定められるグループには、魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツ、が含まれてもよい。 Further, in the nutrition calculation device of the present invention, the groups defined from the viewpoint of the nutritional advice include fish, shellfish, meat, green-yellow vegetables, light-colored vegetables, seaweed, mushrooms, beans, eggs, dairy products, and potatoes. , Fruits, nuts, may be included.

この構成によれば、魚、貝および甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツという適切なグループに基づいて、料理に追加されている具材の栄養価が計算される。したがって、その計算結果を利用して適切な栄養アドバイスを行うことができる。 According to this composition, add to the dish based on the appropriate group of fish, shellfish and shellfish, meat, green-yellow vegetables, light-colored vegetables, seaweed, mushrooms, legumes, eggs, dairy products, potatoes, fruits, nuts. The nutritional value of the ingredients used is calculated. Therefore, appropriate nutritional advice can be given by using the calculation result.

また、本発明の栄養計算装置では、前記記憶部には、料理メニューごとに、当該料理メニューに追加され得る具材の情報と、当該料理メニューに追加され得ない具材の情報が記憶されており、前記追加具材決定部は、前記特定された候補具材が当該料理メニューに追加され得る具材である場合には、当該特定された候補具材を前記追加具材として決定し、前記特定された候補具材が当該料理メニューに追加され得ない具材である場合には、当該特定された候補具材を前記追加具材として決定しなくてもよい。 Further, in the nutrition calculation device of the present invention, the storage unit stores information on ingredients that can be added to the cooking menu and information on ingredients that cannot be added to the cooking menu for each cooking menu. If the specified candidate ingredient is an ingredient that can be added to the cooking menu, the additional ingredient determining unit determines the specified candidate ingredient as the additional ingredient, and the above-mentioned When the specified candidate ingredient is an ingredient that cannot be added to the cooking menu, it is not necessary to determine the specified candidate ingredient as the additional ingredient.

この構成によれば、特定された候補具材がその料理メニュー(例えば、しょうゆラーメン)に追加され得る具材(例えば、肉)である場合には、その候補具材が追加具材として決定される。一方、特定された候補具材がその料理メニュー(例えば、しょうゆラーメン)に追加され得ない具材(例えば、果物)である場合には、その候補具材は追加具材として決定されない。このようにして、料理に追加されている具材(追加具材)を適切に決定することができる。 According to this configuration, when the specified candidate ingredient is an ingredient (for example, meat) that can be added to the cooking menu (for example, soy sauce ramen), the candidate ingredient is determined as an additional ingredient. The menu. On the other hand, if the specified candidate ingredient is an ingredient (for example, fruit) that cannot be added to the cooking menu (for example, soy sauce ramen), the candidate ingredient is not determined as an additional ingredient. In this way, the ingredients added to the dish (additional ingredients) can be appropriately determined.

また、本発明の栄養計算装置は、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するカトラリー画像抽出部と、前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の重量を算出する重量算出部と、を備え、前記栄養価計算部は、算出された前記料理の重量に基づいて、前記料理の栄養価を計算してもよい。 In addition, the nutrition calculation device of the present invention comprises a cutlery image extraction unit that extracts a cutlery image included in the meal image from the input meal image, and an image analysis of the food image and the cutlery image. A weight calculation unit for calculating the weight of the food shown in the food image based on the size of the cutlery specified from the cutlery image, and the nutrition value calculation unit are based on the calculated weight of the food. The nutritional value of the dish may be calculated.

この構成によれば、ユーザによって撮影された食事画像から、カトラリー画像(カトラリーが写っている部分画像。カトラリー領域の画像ともいえる)が抽出される。そして、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の重量が算出される。容器のサイズは、容器によって様々である(例えば、皿のサイズは、皿によって様々である)のに対して、カトラリーのサイズは、それほど大きく異ならない(例えば、箸の長さは、どの箸でもほとんど同じである)。この場合、カトラリーのサイズを基準として、料理画像に写っている料理の重量(容器に入れられた料理の重量)を算出することが可能となり、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、正確に料理の重量を計算することができる。そして、その計算結果に基づいて、料理の栄養価を正確に計算することができる。 According to this configuration, a cutlery image (a partial image showing the cutlery, which can be said to be an image of the cutlery area) is extracted from the meal image taken by the user. Then, by image-analyzing the food image and the cutlery image, the weight of the food shown in the food image is calculated based on the size of the cutlery specified from the cutlery image. The size of the container varies from container to container (eg, the size of the dish varies from dish to dish), whereas the size of the cutlery does not differ much (eg, the length of the chopsticks is any chopstick). Almost the same). In this case, it is possible to calculate the weight of the dish (the weight of the dish in the container) shown in the dish image based on the size of the cutlery, and since the size of the container is not used as the reference, various sizes and Even when food is served in a container of shape, the weight of food can be calculated accurately without being affected by the size and shape of the container. Then, based on the calculation result, the nutritional value of the dish can be calculated accurately.

本発明の方法は、栄養計算装置で実行される方法であって、前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、前記方法は、ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定するステップと、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定するステップと、前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定するステップと、前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算するステップと、を含むものである。 The method of the present invention is a method executed by a nutrition calculation device, and the method is classified into a group defined from the viewpoint of nutrition advice as information on ingredients that can be added to each cooking menu. Information on the ingredients is stored, and the method includes a step of extracting a food image included in the food image from the input food image when the food image taken by the user is input, and extraction. It is presumed that the step of identifying the dish menu estimated to be reflected in the dish image by image analysis of the cooked image and the image analysis of the dish image are reflected in the dish image. It is added to the specified cooking menu from the specified candidate ingredients based on the step of identifying the ingredients as candidate ingredients and the stored information of the ingredients that can be added. The step of determining the ingredients as additional ingredients, the nutritional value of the cooking menu calculated based on the specified cooking menu, and the additional ingredients calculated based on the determined additional ingredients. It includes a step of calculating the nutritional value of the dish shown in the cooking image based on the nutritional value of the dish.

この方法によっても、上記の装置と同様に、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。 This method also calculates the nutritional value of the ingredients added to the dish based on a group defined from the perspective of nutritional advice, similar to the device described above. As a result, the nutritional value of the dish shown in the dish image is appropriately calculated, and the calculation result can be used to give appropriate nutritional advice.

本発明のプログラムは、栄養計算装置で実行されるプログラムであって、前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、前記プログラムは、前記栄養計算装置に、ユーザによって撮影された食事画像が入力されるときに、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する処理と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する処理と、前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する処理と、前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する処理と、を実行させるものである。 The program of the present invention is a program executed by a nutrition calculation device, and the nutrition calculation device is classified into a group defined from the viewpoint of nutrition advice as information on ingredients that can be added to each cooking menu. Information on the ingredients is stored, and the program stores the food image included in the food image from the input food image when the food image taken by the user is input to the nutrition calculation device. The process of extracting the food, the process of identifying the food menu presumed to be reflected in the food image by image-analyzing the extracted food image, and the food image by image-analyzing the food image. Based on the process of identifying the ingredients presumed to be reflected in the above as candidate ingredients and the stored information of the ingredients that can be added, the identified candidate ingredients were identified. Based on the process of determining the ingredients added to the cooking menu as additional ingredients, the nutritional value of the cooking menu calculated based on the specified cooking menu, and the determined additional ingredients. Based on the calculated nutritional value of the additional ingredient, the process of calculating the nutritional value of the dish shown in the cooking image is executed.

このプログラムによっても、上記の装置や方法と同様に、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。 This program also calculates the nutritional value of the ingredients added to the dish based on a group defined from the perspective of nutritional advice, similar to the devices and methods described above. As a result, the nutritional value of the dish shown in the dish image is appropriately calculated, and the calculation result can be used to give appropriate nutritional advice.

本発明によれば、栄養アドバイスの観点から定められたグループに基づいて料理画像に写っている追加具材(料理に追加されている具材)の栄養価を計算することができ、その計算結果を利用して適切な栄養アドバイスを行うことが可能になる。 According to the present invention, the nutritional value of the additional ingredients (ingredients added to the dish) shown in the cooking image can be calculated based on the group determined from the viewpoint of nutritional advice, and the calculation result thereof. It will be possible to give appropriate nutritional advice using.

本発明の実施の形態における装置の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus in embodiment of this invention. 食事画像、料理画像、カトラリー画像の例を示す説明図である。It is explanatory drawing which shows the example of the meal image, the dish image, and the cutlery image. 料理メニューの特定の例を示す説明図である。It is explanatory drawing which shows a specific example of a cooking menu. 候補具材の特定の例を示す説明図である。It is explanatory drawing which shows the specific example of a candidate ingredient. 追加具材の決定の例を示す説明図である。It is explanatory drawing which shows the example of determination of the additional ingredient. 料理の面積の推定と重量の算出の例を示す説明図である。It is explanatory drawing which shows the example of the estimation of the area of a dish and the calculation of a weight. 料理メニューの栄養価の算出の例を示す説明図である。It is explanatory drawing which shows the example of the calculation of the nutritional value of a cooking menu. 追加具材の栄養価の算出の例を示す説明図である。It is explanatory drawing which shows the example of the calculation of the nutritional value of an additional ingredient. 本発明の実施の形態における装置の動作を説明するためのフロー図である。It is a flow diagram for demonstrating the operation of the apparatus in Embodiment of this invention.

以下、本発明の実施の形態の栄養計算装置について、図面を用いて説明する。本実施の形態では、ユーザの健康を管理する健康管理システム等に用いられる装置の場合を例示する。 Hereinafter, the nutrition calculation device according to the embodiment of the present invention will be described with reference to the drawings. In this embodiment, the case of a device used in a health management system or the like that manages the health of a user is illustrated.

本実施の形態の装置の構成を、図面を参照して説明する。図1は、本実施の形態の装置の構成を示すブロック図である。図1に示すように、装置1は、記憶部2と、食事画像入力部3と、料理画像抽出部4と、カトラリー画像抽出部5と、料理メニュー特定部6と、候補具材特定部7と、追加具材決定部8と、面積推定部9と、重量算出部10と、栄養価計算部11と、出力部12を備えている。 The configuration of the apparatus of this embodiment will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an apparatus according to the present embodiment. As shown in FIG. 1, the device 1 includes a storage unit 2, a meal image input unit 3, a food image extraction unit 4, a cutlery image extraction unit 5, a food menu identification unit 6, and a candidate ingredient identification unit 7. An additional ingredient determination unit 8, an area estimation unit 9, a weight calculation unit 10, a nutrition value calculation unit 11, and an output unit 12 are provided.

記憶部2には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている。より具体的には、料理メニューごとに、その料理メニューに追加され得る具材の情報と、その料理メニューに追加され得ない具材の情報が記憶されている。また、この記憶部2には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されている。栄養アドバイスの観点から定められるグループには、例えば、魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツなどが含まれる。 The storage unit 2 stores information on ingredients classified into groups determined from the viewpoint of nutritional advice as information on ingredients that can be added for each cooking menu. More specifically, for each cooking menu, information on ingredients that can be added to the cooking menu and information on ingredients that cannot be added to the cooking menu are stored. Further, the storage unit 2 stores information on the weight of the dish per unit area for each dish menu. Groups defined from the perspective of nutritional advice include, for example, fish, shellfish, meat, green-yellow vegetables, light-colored vegetables, seaweed, mushrooms, legumes, eggs, dairy products, potatoes, fruits, nuts, and the like.

例えば、記憶部2には、「しょうゆラーメン」という料理メニューについて、この料理メニューに追加され得る具材(例えば、魚、貝甲殻類、肉、緑黄色野菜・・・など)の情報と、この料理メニューに追加され得ない具材(例えば、芋、豆、ナッツ、果物・・・など)の情報が記憶されている(図5参照)。なお、図5では、追加され得る具材が「1」で示され、追加され得ない具材が「0」で示されている。また、例えば、記憶部2には、「しょうゆラーメン」という料理メニューについて、単位面積あたりの料理の重量が記憶されている。また、記憶部2には、各料理メニュー(例えば「しょうゆラーメン」)について、その料理の基準栄養価の情報も記憶されている。 For example, in the memory unit 2, information on ingredients (for example, fish, shellfish, meat, green-yellow vegetables, etc.) that can be added to this cooking menu for a cooking menu called "shoyu ramen" and this dish Information on ingredients that cannot be added to the menu (for example, potatoes, beans, nuts, fruits, etc.) is stored (see FIG. 5). In FIG. 5, the ingredients that can be added are indicated by "1", and the ingredients that cannot be added are indicated by "0". Further, for example, the storage unit 2 stores the weight of the dish per unit area for the dish menu "soy sauce ramen". In addition, the storage unit 2 also stores information on the standard nutritional value of each dish menu (for example, "soy sauce ramen").

食事画像入力部3には、ユーザによって撮影された食事画像が入力される。食事画像は、例えば、スマートフォンなどのユーザ端末によって撮影され、ユーザ端末から装置1に送信される。図2には、「しょうゆラーメン」の食事画像の例が示される。図2の食事画像には、「しょうゆラーメン」の料理画像と、「箸」のカトラリー画像が含まれている。 A meal image taken by the user is input to the meal image input unit 3. The meal image is taken by a user terminal such as a smartphone, and is transmitted from the user terminal to the device 1. FIG. 2 shows an example of a meal image of “soy sauce ramen”. The meal image of FIG. 2 includes a cooking image of "soy sauce ramen" and a cutlery image of "chopsticks".

料理画像抽出部4は、入力された食事画像から、その食事画像に含まれる料理画像を抽出する。例えば、料理画像抽出部4は、図2の「しょうゆラーメン」の食事画像から「しょうゆラーメン」の料理画像を抽出する。料理画像の抽出には、公知の技術を用いることができる。 The food image extraction unit 4 extracts the food image included in the food image from the input food image. For example, the cooking image extraction unit 4 extracts the cooking image of the “soy sauce ramen” from the meal image of the “soy sauce ramen” of FIG. A known technique can be used for extracting the food image.

カトラリー画像抽出部5は、入力された食事画像から、その食事画像に含まれるカトラリー画像を抽出する。例えば、カトラリー画像抽出部5は、図2の「しょうゆラーメン」の食事画像から「箸」のカトラリー画像を抽出する。カトラリー画像の抽出には、公知の技術を用いることができる。 The cutlery image extraction unit 5 extracts the cutlery image included in the meal image from the input meal image. For example, the cutlery image extraction unit 5 extracts a cutlery image of “chopsticks” from the meal image of “soy sauce ramen” in FIG. A known technique can be used for extracting the cutlery image.

料理メニュー特定部6は、料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニューを特定する。料理メニューの特定には、公知の技術を用いることができる。例えば、図3に示すように、料理メニュー特定部6は、AIを用いた画像分析により、その料理メニューである確からしさのスコアを算出する。図3の例では、スコアの値が最も高い「しょうゆラーメン」が、図2の料理画像に写っている料理メニューであると特定される。 The cooking menu specifying unit 6 identifies the cooking menu presumed to be reflected in the cooking image by image-analyzing the cooking image. A known technique can be used to specify the cooking menu. For example, as shown in FIG. 3, the cooking menu specifying unit 6 calculates the score of the certainty of the cooking menu by image analysis using AI. In the example of FIG. 3, the “soy sauce ramen” having the highest score value is identified as the cooking menu shown in the cooking image of FIG.

候補具材特定部7は、料理画像を画像分析することにより、その料理画像に写っていると推定される具材を候補具材として特定する。候補具材の特定には、公知の技術を用いることができる。例えば、図4に示すように、候補具材特定部7は、AIを用いた画像分析により、その料理画像に写っていると推定される具材の確からしさのスコアを算出する。図4の例では、スコアが所定の基準値(例えば、0.7)より高い「肉」「緑黄色野菜」「果物」が候補具材として特定される。 The candidate ingredient identification unit 7 identifies the ingredient presumed to be reflected in the dish image as the candidate ingredient by image-analyzing the dish image. A known technique can be used to identify the candidate ingredient. For example, as shown in FIG. 4, the candidate ingredient identification unit 7 calculates the score of the certainty of the ingredient estimated to be reflected in the cooking image by image analysis using AI. In the example of FIG. 4, "meat", "green-yellow vegetables", and "fruits" whose scores are higher than a predetermined reference value (for example, 0.7) are specified as candidate ingredients.

追加具材決定部8は、記憶部2に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された候補具材の中から、特定された料理メニューに追加されている具材を、追加具材として決定する。例えば、図5に示すように、記憶部2には、「しょうゆラーメン」という料理メニューに追加され得る具材として、「肉」「緑黄色野菜」の情報が記憶されており、「しょうゆラーメン」という料理メニューに追加され得ない具材として、「果物」の情報が記憶されている。この場合、追加具材特定部は、「肉」「緑黄色野菜」という具材を、「しょうゆラーメン」という料理メニューの追加具材として決定し、「果物」という具材は、「しょうゆラーメン」という料理メニューの追加具材として決定しない。 The additional ingredient determination unit 8 is an ingredient added to the specified cooking menu from the identified candidate ingredients based on the information of the ingredients that can be added for each dish stored in the storage unit 2. The material is determined as an additional ingredient. For example, as shown in FIG. 5, the storage unit 2 stores information on "meat" and "green-yellow vegetables" as ingredients that can be added to the cooking menu called "soy sauce ramen", and is called "soy sauce ramen". Information on "fruits" is stored as an ingredient that cannot be added to the cooking menu. In this case, the additional ingredient identification department determines the ingredients "meat" and "green and yellow vegetables" as additional ingredients in the cooking menu "soy sauce ramen", and the ingredient "fruit" is called "soy sauce ramen". Not decided as an additional ingredient in the cooking menu.

面積推定部9は、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積を推定する。面積の推定には、公知の技術を用いることができる。例えば、図6に示すように、面積推定部9は、AIを用いた画像分析により、「箸」のサイズを基準として「しょうゆラーメン」の料理の面積を「38524mm2」と推定する。 The area estimation unit 9 estimates the area of the dish in the dish image based on the size of the cutlery specified from the cutlery image by image-analyzing the dish image and the cutlery image. A known technique can be used to estimate the area. For example, as shown in FIG. 6, the area estimation unit 9 estimates the area of the dish of “soy sauce ramen” to be “38524 mm 2 ” based on the size of “chopsticks” by image analysis using AI.

重量算出部10は、記憶部2に記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積からその料理の重量を算出する。例えば、図6に示すように、重量算出部10は、「しょうゆラーメン」の料理の面積「38524mm2」から「しょうゆラーメン」の料理の重量を「650g」と算出する。 The weight calculation unit 10 calculates the weight of the dish from the estimated area of the dish based on the information on the weight of the dish per unit area stored in the storage unit 2. For example, as shown in FIG. 6, the weight calculation unit 10 calculates the weight of the dish of “soy sauce ramen” as “650 g” from the area “38524 mm 2” of the dish of “soy sauce ramen”.

栄養価計算部11は、特定された料理メニューに基づいて算出される料理メニューの栄養価と、決定された追加具材に基づいて算出される追加具材の栄養価とに基づいて、料理画像に写っている料理の栄養価を計算する。 The nutrition value calculation unit 11 determines the cooking image based on the nutrition value of the cooking menu calculated based on the specified cooking menu and the nutrition value of the additional ingredients calculated based on the determined additional ingredients. Calculate the nutritional value of the dish shown in.

この場合、記憶部2には、料理メニューごとに、基準重量あたりの栄養価(エネルギー、たんぱく質、・・・など)の情報が記憶されている。例えば、図7に示すように、記憶部2には、「しょうゆラーメン」という料理メニューについて、基準重量(500g)あたりの基準栄養価(エネルギー:600kcal、たんぱく質・・・など)の情報が記憶されている。栄養価計算部11は、重量算出部10によって算出された「しょうゆラーメン」の料理の重量(650g)から係数α(=650/500)を算出し、基準重量(500g)あたりの基準栄養価にその係数αを乗算することにより、「しょうゆラーメン」の料理メニューの栄養価を算出する。 In this case, the storage unit 2 stores information on the nutritional value (energy, protein, ..., Etc.) per reference weight for each cooking menu. For example, as shown in FIG. 7, the storage unit 2 stores information on the standard nutritional value (energy: 600 kcal, protein, etc.) per standard weight (500 g) for the cooking menu "soy sauce ramen". ing. The nutrition value calculation unit 11 calculates a coefficient α (= 650/500) from the food weight (650 g) of the “soy sauce ramen” calculated by the weight calculation unit 10, and sets it as the standard nutrition value per standard weight (500 g). By multiplying the coefficient α, the nutritional value of the cooking menu of "soy sauce ramen" is calculated.

また、記憶部2には、具材ごとに、基準重量あたりの栄養価(エネルギー、たんぱく質、・・・など)の情報が記憶されている。例えば、図8に示すように、記憶部2には、「肉」という具材について、基準重量(50g)あたりの基準栄養価(エネルギー:300kcal、たんぱく質・・・など)の情報が記憶されている。また、記憶部2には、「緑黄色野菜」という具材について、基準重量(40g)あたりの基準栄養価(エネルギー:10kcal、たんぱく質・・・など)の情報が記憶されている。栄養価計算部11は、追加具材決定部8で決定された追加具材である「肉」と「緑黄色野菜」の基準栄養価に、それぞれ上記の係数αを乗算することにより、「肉」と「緑黄色野菜」という追加具材の栄養価をそれぞれ算出する。 In addition, the storage unit 2 stores information on the nutritional value (energy, protein, ..., Etc.) per reference weight for each ingredient. For example, as shown in FIG. 8, the storage unit 2 stores information on the standard nutritional value (energy: 300 kcal, protein, etc.) per standard weight (50 g) of the ingredient "meat". There is. In addition, the storage unit 2 stores information on the standard nutritional value (energy: 10 kcal, protein, etc.) per standard weight (40 g) of the ingredient "green-yellow vegetable". The nutritional value calculation unit 11 multiplies the reference nutritional values of the additional ingredients "meat" and "green-yellow vegetables" determined by the additional ingredient determination unit 8 by the above coefficient α, respectively, to obtain "meat". And the nutritional value of the additional ingredient "green and yellow vegetables" are calculated respectively.

そして、栄養価計算部11は、上記のように算出した「しょうゆラーメン」の料理メニューの栄養価と、「肉」と「緑黄色野菜」という追加具材の栄養価とを、合算することにより、料理画像に写っている「しょうゆラーメン」の栄養価を算出する。 Then, the nutritional value calculation unit 11 adds up the nutritional value of the cooking menu of "shoyu ramen" calculated as described above and the nutritional value of the additional ingredients "meat" and "green and yellow vegetables". Calculate the nutritional value of "Shoyu Ramen" shown in the cooking image.

出力部12は、栄養価計算部11で算出された栄養価(例えば、料理画像に写っている「しょうゆラーメン」の栄養価)を外部装置に出力する。外部装置には、例えば、ユーザ端末や、栄養アドバイスを行う管理栄養士の端末などが含まれる。 The output unit 12 outputs the nutritional value calculated by the nutritional value calculation unit 11 (for example, the nutritional value of "soy sauce ramen" shown in the cooking image) to an external device. The external device includes, for example, a user terminal, a terminal of a registered dietitian who provides nutritional advice, and the like.

以上のように構成された装置1について、図面を参照してその動作を説明する。 The operation of the apparatus 1 configured as described above will be described with reference to the drawings.

本実施の形態の装置1では、ユーザによって撮影された食事画像(例えば「しょうゆラーメン」の食事画像)が入力されると(S1)、入力された食事画像から、その食事画像に含まれる料理画像(例えば「しょうゆラーメン」の料理画像)が抽出される(S2)。また、入力された食事画像から、その食事画像に含まれるカトラリー画像(例えば「箸」のカトラリー画像)が抽出される(S3)。 In the device 1 of the present embodiment, when a meal image taken by the user (for example, a meal image of "shoyu ramen") is input (S1), the food image included in the meal image is taken from the input meal image. (For example, a cooking image of "shoyu ramen") is extracted (S2). Further, a cutlery image (for example, a cutlery image of "chopsticks") included in the meal image is extracted from the input meal image (S3).

つぎに、本実施の形態の装置1では、抽出した料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニュー(例えば「しょうゆラーメン」)が特定される(S4)。また、料理画像を画像分析することにより、その料理画像に写っていると推定される具材(例えば「肉」と「緑黄色野菜」と「果物」)が、候補具材として特定される(S5)。そして、記憶部2に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された料理メニューに追加されている具材(例えば「肉」と「緑黄色野菜」)が、追加具材として決定される(S6)。 Next, in the apparatus 1 of the present embodiment, the cooking menu (for example, "soy sauce ramen") presumed to be reflected in the cooking image is specified by image analysis of the extracted cooking image (S4). .. Further, by image analysis of the cooking image, the ingredients (for example, "meat", "green-yellow vegetables", and "fruits") presumed to appear in the cooking image are identified as candidate ingredients (S5). ). Then, the ingredients (for example, "meat" and "green-yellow vegetables") added to the specified cooking menu based on the information of the ingredients that can be added for each dish stored in the storage unit 2 are added ingredients. Determined as a material (S6).

また、本実施の形態の装置1では、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリー(例えば「箸」)のサイズを基準として、料理画像に写っている料理の面積(例えば「しょうゆラーメン」の面積「38524mm2」)が推定される(S7)。そして、記憶部2に記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積からその料理の重量(例えば「しょうゆラーメン」の重量「650g」)が算出される(S8)。 Further, in the apparatus 1 of the present embodiment, by image-analyzing the food image and the cutlery image, the size of the cutlery (for example, “chopsticks”) identified from the cutlery image is used as a reference for the food shown in the food image. The area (for example, the area of "shoyu ramen""38524 mm 2 ") is estimated (S7). Then, based on the information on the weight of the dish per unit area stored in the storage unit 2, the weight of the dish (for example, the weight of "soy sauce ramen""650g") is calculated from the estimated area of the dish (for example, the weight of "soy sauce ramen" is "650 g"). S8).

そして、本実施の形態の装置1では、特定された料理メニューに基づいて算出されるその料理メニューの栄養価(例えば「しょうゆラーメン」の栄養価)と、決定された追加具材に基づいて算出されるその追加具材の栄養価(例えば「肉」と「緑黄色野菜」の栄養価)とに基づいて、料理画像に写っている料理の栄養価が計算される(S9)。 Then, in the apparatus 1 of the present embodiment, it is calculated based on the nutritional value of the cooking menu calculated based on the specified cooking menu (for example, the nutritional value of "shoyu ramen") and the determined additional ingredients. Based on the nutritional value of the additional ingredient (for example, the nutritional value of "meat" and "green-yellow vegetables"), the nutritional value of the dish shown in the dish image is calculated (S9).

このような本実施の形態の装置1によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像(料理が写っている部分画像。料理領域の画像ともいえる)が抽出され、抽出した料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー(例えば、しょうゆラーメン)が特定される。また、料理画像を画像分析することにより、料理画像に写っていると推定される候補具材(例えば、肉、緑黄色野菜、果物)が特定される。そして、料理メニューごとに追加され得る具材の情報に基づいて、候補具材の中から、その料理メニューに追加されている追加具材(例えば、肉、緑黄色野菜)が決定される。そして、料理メニューの栄養価(例えば、しょうゆラーメンの栄養価)と追加具材の栄養価(例えば、肉、緑黄色野菜の栄養価)に基づいて、料理画像に写っている料理(例えば、チャーシューとほうれん草がトッピングされたしょうゆラーメン)の栄養価が計算される。 According to the apparatus 1 of the present embodiment as described above, a cooking image (a partial image showing a dish, which can be said to be an image of a cooking area) included in the meal image is extracted from the meal image taken by the user. By image analysis of the extracted food image, a food menu (for example, soy sauce ramen) presumed to appear in the food image is identified. Further, by image analysis of the food image, candidate ingredients (for example, meat, green-yellow vegetables, fruits) presumed to appear in the food image are identified. Then, based on the information of the ingredients that can be added for each cooking menu, the additional ingredients (for example, meat, green-yellow vegetables) added to the cooking menu are determined from the candidate ingredients. Then, based on the nutritional value of the cooking menu (for example, the nutritional value of soy sauce ramen) and the nutritional value of additional ingredients (for example, the nutritional value of meat and green-yellow vegetables), the dishes shown in the cooking image (for example, charcoal) The nutritional value of soy sauce ramen topped with spinach is calculated.

この場合、具材は、栄養アドバイスの観点から定められた複数の具材グループに分類されている(例えば、チャーシューは肉に分類され、ほうれん草は緑黄色野菜に分類される)。したがって、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。 In this case, the ingredients are classified into a plurality of ingredient groups defined from the viewpoint of nutritional advice (for example, char siu is classified as meat and spinach is classified as green-yellow vegetables). Therefore, the nutritional value of the ingredients added to the dish is calculated based on the group defined from the viewpoint of nutritional advice. As a result, the nutritional value of the dish shown in the dish image is appropriately calculated, and the calculation result can be used to give appropriate nutritional advice.

また、本実施の形態では、魚、貝および甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツという適切なグループに基づいて、料理に追加されている具材の栄養価が計算される。したがって、その計算結果を利用して適切な栄養アドバイスを行うことができる。 Further, in the present embodiment, cooking is based on an appropriate group of fish, shellfish and crustaceans, meat, green-yellow vegetables, light-colored vegetables, seaweed, mushrooms, legumes, eggs, dairy products, potatoes, fruits, and nuts. The nutritional value of the ingredients added to is calculated. Therefore, appropriate nutritional advice can be given by using the calculation result.

また、本実施の形態では、特定された候補具材がその料理メニュー(例えば、しょうゆラーメン)に追加され得る具材(例えば、肉)である場合には、その候補具材が追加具材として決定される。一方、特定された候補具材がその料理メニュー(例えば、しょうゆラーメン)に追加され得ない具材(例えば、果物)である場合には、その候補具材は追加具材として決定されない。このようにして、料理に追加されている具材(追加具材)を適切に決定することができる。 Further, in the present embodiment, when the specified candidate ingredient is an ingredient (for example, meat) that can be added to the cooking menu (for example, soy sauce ramen), the candidate ingredient is used as an additional ingredient. It is determined. On the other hand, if the specified candidate ingredient is an ingredient (for example, fruit) that cannot be added to the cooking menu (for example, soy sauce ramen), the candidate ingredient is not determined as an additional ingredient. In this way, the ingredients added to the dish (additional ingredients) can be appropriately determined.

また、本実施の形態では、ユーザによって撮影された食事画像から、カトラリー画像(カトラリーが写っている部分画像。カトラリー領域の画像ともいえる)が抽出される。そして、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の重量が算出される。容器のサイズは、容器によって様々である(例えば、皿のサイズは、皿によって様々である)のに対して、カトラリーのサイズは、それほど大きく異ならない(例えば、箸の長さは、どの箸でもほとんど同じである)。この場合、カトラリーのサイズを基準として、料理画像に写っている料理の重量(容器に入れられた料理の重量)を算出することが可能となり、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、正確に料理の重量を計算することができる。そして、その計算結果に基づいて、料理の栄養価を正確に計算することができる。 Further, in the present embodiment, a cutlery image (a partial image showing the cutlery, which can be said to be an image of the cutlery region) is extracted from the meal image taken by the user. Then, by image-analyzing the food image and the cutlery image, the weight of the food shown in the food image is calculated based on the size of the cutlery specified from the cutlery image. The size of the container varies from container to container (eg, the size of the dish varies from dish to dish), whereas the size of the cutlery does not differ much (eg, the length of the chopsticks is any chopstick). Almost the same). In this case, it is possible to calculate the weight of the dish (the weight of the dish in the container) shown in the dish image based on the size of the cutlery, and since the size of the container is not used as the reference, various sizes and Even when food is served in a container of shape, the weight of food can be calculated accurately without being affected by the size and shape of the container. Then, based on the calculation result, the nutritional value of the dish can be calculated accurately.

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。 Although the embodiments of the present invention have been described above by way of illustration, the scope of the present invention is not limited to these, and can be changed or modified according to an object within the scope described in the claims. is there.

以上のように、本発明にかかる栄養計算装置は、栄養アドバイスの観点から定められたグループに基づいて料理画像に写っている追加具材(料理に追加されている具材)の栄養価を計算することができ、その計算結果を利用して適切な栄養アドバイスを行うことが可能になるという効果を有し、ユーザの健康を管理する健康管理システム等に利用され、有用である。 As described above, the nutrition calculation device according to the present invention calculates the nutritional value of the additional ingredients (ingredients added to the dish) shown in the dish image based on the group defined from the viewpoint of nutrition advice. It has the effect of being able to provide appropriate nutritional advice using the calculation results, and is useful for health management systems that manage the health of users.

1 装置
2 記憶部
3 食事画像入力部
4 料理画像抽出部
5 カトラリー画像抽出部
6 料理メニュー特定部
7 候補具材特定部
8 追加具材決定部
9 面積推定部
10 重量算出部
11 栄養価計算部
12 出力部
1 Device 2 Storage unit 3 Meal image input unit 4 Cooking image extraction unit 5 Cutlery image extraction unit 6 Cooking menu identification unit 7 Candidate ingredient identification unit 8 Additional ingredient determination unit 9 Area estimation unit 10 Weight calculation unit 11 Nutrition value calculation unit 12 Output section

Claims (6)

料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている記憶部と、
ユーザによって撮影された食事画像が入力される食事画像入力部と、
入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する料理メニュー特定部と、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する候補具材特定部と、
前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する追加具材決定部と、
前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する栄養価計算部と、
を備えることを特徴とする栄養計算装置。
As information on ingredients that can be added for each cooking menu, there is a storage unit that stores information on ingredients classified into groups defined from the viewpoint of nutritional advice.
A meal image input unit in which a meal image taken by the user is input,
A food image extraction unit that extracts a food image included in the food image from the input food image, and a food image extraction unit.
By image analysis of the cooking image, a cooking menu specifying unit that identifies the cooking menu presumed to be reflected in the cooking image, and a cooking menu specifying unit.
A candidate ingredient identification unit that identifies an ingredient presumed to appear in the dish image as a candidate ingredient by image analysis of the dish image, and
Based on the stored information on the ingredients that can be added, the additional ingredients that are added to the specified cooking menu from the specified candidate ingredients are determined as additional ingredients. The decision department and
Based on the nutritional value of the cooking menu calculated based on the specified cooking menu and the nutritional value of the additional ingredient calculated based on the determined additional ingredient, the image is reflected in the cooking image. The nutrition value calculation department that calculates the nutrition value of the food you are cooking,
A nutritional calculation device characterized by being equipped with.
前記栄養アドバイスの観点から定められるグループには、
魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツ、
が含まれる、請求項1に記載の栄養計算装置。
For groups defined from the perspective of nutritional advice,
Fish, shellfish, meat, green and yellow vegetables, light-colored vegetables, seaweed, mushrooms, legumes, eggs, dairy products, potatoes, fruits, nuts,
The nutritional calculation device according to claim 1.
前記記憶部には、料理メニューごとに、当該料理メニューに追加され得る具材の情報と、当該料理メニューに追加され得ない具材の情報が記憶されており、
前記追加具材決定部は、
前記特定された候補具材が当該料理メニューに追加され得る具材である場合には、当該特定された候補具材を前記追加具材として決定し、
前記特定された候補具材が当該料理メニューに追加され得ない具材である場合には、当該特定された候補具材を前記追加具材として決定しない、請求項1または請求項2に記載の栄養計算装置。
In the storage unit, information on ingredients that can be added to the cooking menu and information on ingredients that cannot be added to the cooking menu are stored for each cooking menu.
The additional ingredient determination unit
When the specified candidate ingredient is an ingredient that can be added to the cooking menu, the specified candidate ingredient is determined as the additional ingredient.
The first or second aspect of the present invention, wherein when the specified candidate ingredient is an ingredient that cannot be added to the cooking menu, the specified candidate ingredient is not determined as the additional ingredient. Nutrition calculator.
入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するカトラリー画像抽出部と、
前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の重量を算出する重量算出部と、
を備え、
前記栄養価計算部は、算出された前記料理の重量に基づいて、前記料理の栄養価を計算する、請求項1〜請求項3のいずれかに記載の栄養計算装置。
A cutlery image extraction unit that extracts a cutlery image included in the meal image from the input meal image, and a cutlery image extraction unit.
A weight calculation unit that calculates the weight of the food shown in the food image based on the size of the cutlery specified from the cutlery image by image-analyzing the food image and the cutlery image.
With
The nutritional value calculation device according to any one of claims 1 to 3, wherein the nutritional value calculation unit calculates the nutritional value of the dish based on the calculated weight of the dish.
栄養計算装置で実行される方法であって、
前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、
前記方法は、
ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、
抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定するステップと、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定するステップと、
前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定するステップと、
前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算するステップと、
を含むことを特徴とする方法。
It ’s a method performed by a nutrition calculator,
The nutrition calculation device stores information on ingredients classified into groups defined from the viewpoint of nutritional advice as information on ingredients that can be added for each cooking menu.
The method is
When a meal image taken by the user is input, a step of extracting the food image included in the meal image from the input meal image and
A step of identifying a dish menu that is presumed to appear in the dish image by image analysis of the extracted dish image, and
A step of identifying an ingredient presumed to appear in the dish image as a candidate ingredient by image analysis of the dish image, and
Based on the stored information on the ingredients that can be added, the step of determining the ingredients added to the specified cooking menu from the specified candidate ingredients as additional ingredients.
Based on the nutritional value of the cooking menu calculated based on the specified cooking menu and the nutritional value of the additional ingredient calculated based on the determined additional ingredient, the image is reflected in the cooking image. Steps to calculate the nutritional value of the food you are eating,
A method characterized by including.
栄養計算装置で実行されるプログラムであって、
前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、
前記プログラムは、前記栄養計算装置に、
ユーザによって撮影された食事画像が入力されるときに、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、
抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する処理と、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する処理と、
前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する処理と、
前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する処理と、
を実行させることを特徴とするプログラム。
A program that runs on a nutrition calculator
The nutrition calculation device stores information on ingredients classified into groups defined from the viewpoint of nutritional advice as information on ingredients that can be added for each cooking menu.
The program is applied to the nutrition calculation device.
When a meal image taken by the user is input, a process of extracting the food image included in the meal image from the input meal image, and
A process of identifying a dish menu that is presumed to appear in the dish image by image analysis of the extracted dish image, and
A process of identifying an ingredient presumed to appear in the dish image as a candidate ingredient by performing an image analysis of the dish image.
Based on the stored information on the ingredients that can be added, the process of determining the ingredients added to the specified cooking menu from the specified candidate ingredients as additional ingredients.
Based on the nutritional value of the cooking menu calculated based on the specified cooking menu and the nutritional value of the additional ingredient calculated based on the determined additional ingredient, the image is reflected in the cooking image. The process of calculating the nutritional value of the food you are cooking
A program characterized by executing.
JP2019182588A 2019-10-03 2019-10-03 nutrition calculator Active JP7125929B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019182588A JP7125929B2 (en) 2019-10-03 2019-10-03 nutrition calculator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019182588A JP7125929B2 (en) 2019-10-03 2019-10-03 nutrition calculator

Publications (2)

Publication Number Publication Date
JP2021060640A true JP2021060640A (en) 2021-04-15
JP7125929B2 JP7125929B2 (en) 2022-08-25

Family

ID=75381543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019182588A Active JP7125929B2 (en) 2019-10-03 2019-10-03 nutrition calculator

Country Status (1)

Country Link
JP (1) JP7125929B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023162822A1 (en) * 2022-02-25 2023-08-31 パナソニックIpマネジメント株式会社 Information provision device, information provision system, information provision method, and program
JP7456675B2 (en) 2021-12-01 2024-03-27 江▲蘇▼大学 Central kitchen self-adaptive quantitative subdivision method and device for fried rice with various ingredients

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6073459A (en) * 1983-09-30 1985-04-25 Chikayoshi Kawabata Method and device for diagnosing nutrition
US20020027164A1 (en) * 2000-09-07 2002-03-07 Mault James R. Portable computing apparatus particularly useful in a weight management program
JP2008217702A (en) * 2007-03-07 2008-09-18 Fujifilm Corp Photographing device and photographing method
JP2012112855A (en) * 2010-11-26 2012-06-14 Akira Yamada Portable scale capable of managing dietary intake weight, and intake weight data management system using digital photograph, cellular phone and it
WO2017199389A1 (en) * 2016-05-19 2017-11-23 株式会社amuse oneself Information provision system, information provision method, and information provision program
JP2018049584A (en) * 2017-02-02 2018-03-29 株式会社FiNC Meal size estimation program, meal size estimation method, and meal size estimation apparatus
JP6306770B1 (en) * 2017-04-21 2018-04-04 クックパッド株式会社 Information processing apparatus, information processing method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9820906B2 (en) 2012-03-27 2017-11-21 Drägerwerk AG & Co. KGaA Warming therapy device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6073459A (en) * 1983-09-30 1985-04-25 Chikayoshi Kawabata Method and device for diagnosing nutrition
US20020027164A1 (en) * 2000-09-07 2002-03-07 Mault James R. Portable computing apparatus particularly useful in a weight management program
JP2008217702A (en) * 2007-03-07 2008-09-18 Fujifilm Corp Photographing device and photographing method
JP2012112855A (en) * 2010-11-26 2012-06-14 Akira Yamada Portable scale capable of managing dietary intake weight, and intake weight data management system using digital photograph, cellular phone and it
WO2017199389A1 (en) * 2016-05-19 2017-11-23 株式会社amuse oneself Information provision system, information provision method, and information provision program
JP2018049584A (en) * 2017-02-02 2018-03-29 株式会社FiNC Meal size estimation program, meal size estimation method, and meal size estimation apparatus
JP6306770B1 (en) * 2017-04-21 2018-04-04 クックパッド株式会社 Information processing apparatus, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456675B2 (en) 2021-12-01 2024-03-27 江▲蘇▼大学 Central kitchen self-adaptive quantitative subdivision method and device for fried rice with various ingredients
WO2023162822A1 (en) * 2022-02-25 2023-08-31 パナソニックIpマネジメント株式会社 Information provision device, information provision system, information provision method, and program

Also Published As

Publication number Publication date
JP7125929B2 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
Ueda et al. User’s food preference extraction for personalized cooking recipe recommendation
Teng et al. Recipe recommendation using ingredient networks
CN106030427B (en) Method and system for preparing food in a robotic cooking kitchen
US11823042B2 (en) System for measuring food weight
CN105225182A (en) A kind of dietary recommendations continued method and device thereof
CN109683516A (en) Auxiliary cooking method, household appliance and computer storage medium
Castelló et al. Reproducibility of data-driven dietary patterns in two groups of adult Spanish women from different studies
JP7125929B2 (en) nutrition calculator
CN110989389A (en) Menu adjusting method and device
JP2024038478A (en) Cooking area estimation device
CN109214956B (en) Meal pushing method and device
JP2010061381A (en) Automatic recipe preparing device and program
CN108172273A (en) A kind of refrigerator food materials based on visitor recommend method
CN108492861A (en) Accurate diet system for prompting and method
WO2020181722A1 (en) Recipe recommendation method and device for refrigerator
KR102540268B1 (en) A method and an apparatus for measuring the similarity of food for personalized food recommendation using a tree
JP6745962B1 (en) Cooking weight calculator
Tachibana et al. Extraction of naming concepts based on modifiers in recipe titles
Cyprian et al. Development of Quality Index Method (QIM) scheme for farmed tilapia fillets and its application in shelf life study
EP3848870A1 (en) Nutritional value calculation of a dish
Farouk et al. Visible fat content of hotpot beef acceptability by New Zealand Chinese, Japanese, and Korean consumers
CN112858597A (en) Sample storage system and method for food field inspection and detection
Coe et al. Ensuring a healthy approach to long‐term weight management: Review of the Slimming World programme
JP6918695B2 (en) Information processing equipment and programs
Omizolo De Souza et al. A Compositional and Sensorial Analysis of Gnocchi Stuffed with Spotted Sorubim Carcass Meat

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210726

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

C27A Decision to dismiss

Free format text: JAPANESE INTERMEDIATE CODE: C2711

Effective date: 20210928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210929

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211005

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211105

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211109

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220111

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220621

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220719

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7125929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150