JP2018005720A - Management system for managing nutrient segment of meal - Google Patents

Management system for managing nutrient segment of meal Download PDF

Info

Publication number
JP2018005720A
JP2018005720A JP2016134165A JP2016134165A JP2018005720A JP 2018005720 A JP2018005720 A JP 2018005720A JP 2016134165 A JP2016134165 A JP 2016134165A JP 2016134165 A JP2016134165 A JP 2016134165A JP 2018005720 A JP2018005720 A JP 2018005720A
Authority
JP
Japan
Prior art keywords
meal
mass
image
analysis
recipe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016134165A
Other languages
Japanese (ja)
Inventor
貴則 武部
Takanori Takebe
貴則 武部
良成 松田
Yoshinari Matsuda
良成 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eggstellar
Eggstellar Co Ltd
Original Assignee
Eggstellar
Eggstellar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eggstellar, Eggstellar Co Ltd filed Critical Eggstellar
Priority to JP2016134165A priority Critical patent/JP2018005720A/en
Priority to PCT/JP2017/024663 priority patent/WO2018008686A1/en
Publication of JP2018005720A publication Critical patent/JP2018005720A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services

Landscapes

  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Nutrition Science (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a management system which measures mass of meal and acquires an image of the meal, thereby capable of calculating a nutritional component with high accuracy.SOLUTION: This calorie management system is a management system for managing a nutritional component of meal of a user through a network, and comprises: a tray 1 for measuring a mass of meal including tableware; an imaging apparatus 22 for imaging meal including tableware placed on the tray 1 to acquire an image; and a management server 3 for managing the nutritional component. The management server 3 comprises: storage means 35 for storing recipe of the meal; analysis means 32 for analyzing the mass and the image of the meal; and calculation means 31 for, based on the analysis result of the analysis means 32, identifying the recipe of the meal from recipes stored in storage means 35, and calculating the nutritional component of the meal corresponding to the identified recipe.SELECTED DRAWING: Figure 1

Description

本発明は、食事の栄養線分を管理する管理システムに関し、特に食事の質量から正確にカロリーを管理する管理システムに関する。   The present invention relates to a management system that manages nutritional segments of meals, and more particularly, to a management system that accurately manages calories from the mass of meals.

近年、スマートフォンなどの携帯端末で食事の画像を取得して自動的に食事のカロリー等の栄養成分を算出するシステムが存在する。また、特に、例えば、糖尿病を患っている人等は、カロリー管理を厳密に行う必要がある。そこで、例えば、特許文献１では、カメラと秤を用いて食事の摂取量を計測する技術を開示している。また、特許文献２では、食事をカメラで撮影した画像を基に栄養成分を算出する技術を開示している。   In recent years, there is a system that acquires an image of a meal with a mobile terminal such as a smartphone and automatically calculates a nutritional component such as a calorie of the meal. In particular, for example, people suffering from diabetes need to strictly manage calories. Therefore, for example, Patent Document 1 discloses a technique for measuring the amount of food intake using a camera and a scale. Patent Document 2 discloses a technique for calculating a nutritional component based on an image of a meal taken with a camera.

特許第４８３８３８３号公報Japanese Patent No. 4838383 特開２０１１−２８３８２号公報JP 2011-28382 A

しかしながら、特許文献１では、食事の質量を計測することは可能であるが、計測した食事の摂取量からカロリー等の栄養成分の算出をしようとすると、調理方法により正確に算出することが難しい。また、特許文献２では、カメラで撮影した食事から栄養成分を算出しているが、画像だけでは、どれだけの質量なのかが分からず、正確なカロリーや栄養成分を算出することが難しい。また、糖尿病を患っている人等、カロリー管理を厳密に行う必要があるユーザにとっては、特許文献１や特許文献２の方法では、厳密にカロリー管理を行うことが難しい。   However, in Patent Document 1, it is possible to measure the mass of a meal, but if it is attempted to calculate a nutritional component such as calories from the measured intake of the meal, it is difficult to accurately calculate by a cooking method. In Patent Document 2, nutritional components are calculated from meals taken with a camera. However, it is difficult to calculate accurate calories and nutritional components because it is not possible to know how much the mass is from the image alone. In addition, it is difficult for a user who needs to perform strict calorie management, such as a person suffering from diabetes, to perform strict calorie management with the methods of Patent Document 1 and Patent Document 2.

本発明は、上記課題を鑑みて、食事の質量を測定し、かつその画像を取得することにより精度良く栄養成分の算出ができる管理システムを提供することを目的とする。   An object of this invention is to provide the management system which can calculate a nutrient component accurately by measuring the mass of a meal and acquiring the image in view of the said subject.

上記課題を解決するために、本発明の管理システムは、ネットワークを介してユーザの食事の栄養成分を管理する管理システムであって、食器を含む食事の質量を計測するトレイと、前記トレイに乗せられた前記食器を含む食事を撮影して画像を取得する撮像装置と、前記栄養成分を管理する管理サーバと、を備え、前記管理サーバは、食事のレシピを記憶する記憶手段と、前記食事の質量と前記画像を解析する解析手段と、前記解析手段の解析結果に基づいて、前記食事のレシピを前記記憶手段で記憶したレシピから特定し、前記特定したレシピに対応する前記食事の栄養成分を算出する算出手段と、を備えることを特徴とする。   In order to solve the above problems, a management system according to the present invention is a management system for managing nutritional components of a user's meal via a network, the tray for measuring the mass of a meal including dishes, and the tray. An imaging device for capturing an image of the meal including the tableware and acquiring an image; and a management server for managing the nutritional component, the management server storing a meal recipe, and the meal Based on the analysis result of the mass and the image, and the analysis result of the analysis means, the recipe of the meal is identified from the recipe stored in the storage means, and the nutritional component of the meal corresponding to the identified recipe Calculating means for calculating.

本発明によれば、食事の質量を測定し、かつその画像を取得することにより精度良く栄養成分の算出ができる管理システムを提供することができる。これにより、より簡易な方法でより正確に食事のカロリー管理を行うことができる。   ADVANTAGE OF THE INVENTION According to this invention, the management system which can calculate a nutrient component accurately can be provided by measuring the mass of a meal and acquiring the image. Thereby, the calorie management of a meal can be performed more correctly by a simpler method.

カロリー管理システム全体を示す図である。It is a figure which shows the calorie management system whole. トレイの構成を示す図である。It is a figure which shows the structure of a tray. 端末の構成を示すブロック図である。It is a block diagram which shows the structure of a terminal. 管理サーバの構成を示すブロック図である。It is a block diagram which shows the structure of a management server. 食器を管理サーバに登録する処理を示すフローチャートである。It is a flowchart which shows the process which registers tableware in a management server. カロリー管理ステム全体の処理を示すフローチャートである。It is a flowchart which shows the process of the whole calorie management system. 管理サーバにおけるカロリー算出処理を示すフローチャートである。It is a flowchart which shows the calorie calculation process in a management server. 画像解析の処理を示すフローチャートである。It is a flowchart which shows the process of an image analysis. 質量解析の処理を示すフローチャートである。It is a flowchart which shows the process of mass analysis.

まず、図１を参照して、本実施形態に係る食事の栄養成分を管理する管理システムの構成について説明する。図１に示す管理システムは、ネットワークを介して相互に通信を行い、食事の質量を計測するトレイ１と、食事の画像を取得し、取得した画像やカロリー等の栄養成分の表示を行う端末２と、トレイ１で計測した質量と、端末２で取得した画像から食事の栄養成分管理を行う管理サーバ３とを含む。本実施形態では、トレイ１で計測した食事の質量と、端末２で取得した画像を基に管理サーバ３で質量解析及び画像解析を行い、カロリー分析を行って、その結果を端末２へ送信し、ユーザに対して表示させる。従って、ユーザが摂取する食事の各メニューの質量やカロリーをより正確に把握することができる。なお、本実施形態では、栄養成分として、カロリーについて説明するが、これに限定することなく、例えば、塩分、脂質、タンパク質、炭水化物等の栄養成分をそれぞれ管理してよい。   First, with reference to FIG. 1, the structure of the management system which manages the nutritional component of the meal which concerns on this embodiment is demonstrated. The management system shown in FIG. 1 communicates with each other via a network to obtain a tray 1 that measures the mass of a meal, and a terminal 2 that acquires an image of the meal and displays the acquired image and nutritional components such as calories. And the mass measured with the tray 1 and the management server 3 that manages the nutritional components of the meal from the image acquired with the terminal 2. In the present embodiment, the management server 3 performs mass analysis and image analysis based on the meal mass measured in the tray 1 and the image acquired by the terminal 2, performs calorie analysis, and transmits the result to the terminal 2. To display to the user. Accordingly, the mass and calories of each menu of meals taken by the user can be grasped more accurately. In addition, although calorie is demonstrated as a nutrient component in this embodiment, you may each manage nutrient components, such as salt content, a lipid, protein, a carbohydrate, for example, without limiting to this.

次に、図２を参照して、本実施形態に係るトレイ１の構成について説明する。図２（Ａ）に示すように、本実施形態に係るトレイ１は、質量を計測する箇所が４箇所（計測部１（１１）〜計測部４（１４））に分割され、それぞれで質量を計測することで、より正確に食事の質量を計測することができる。例えば、主食、主菜、副菜、汁物など複数品の食事である場合、これらが、それぞれ計測部１（１１）〜計測部４（１４）に載せられることで、より正確な質量計測が可能となる。また、図２（Ｂ）に示すように、トレイ１は、計測部１（１１）〜計測部４（１４）の他に端末２や管理サーバ３と通信可能な通信部１５を介して、計測部１（１１）〜計測部４（１４）で計測した質量を端末２に送信する。なお、本実施形態では、トレイ１から端末２を介して管理サーバ３に質量を送信する構成としているが、これに限定することなく、例えば、トレイ１が直接管理サーバ３に質量を送信する構成としてもよい。また、本実施形態では、質量を計測する箇所を４箇所としているが、これに限定することなく、２箇所や６箇所等、適宜必要に応じて変更してもよい。   Next, the configuration of the tray 1 according to the present embodiment will be described with reference to FIG. As shown in FIG. 2 (A), the tray 1 according to the present embodiment is divided into four locations (measurement unit 1 (11) to measurement unit 4 (14)) where the mass is measured. By measuring, the mass of the meal can be measured more accurately. For example, in the case of multiple meals such as staple foods, main dishes, side dishes, and soup, these can be placed on the measurement unit 1 (11) to the measurement unit 4 (14), respectively, thereby enabling more accurate mass measurement. It becomes. Further, as shown in FIG. 2B, the tray 1 is measured via a communication unit 15 that can communicate with the terminal 2 and the management server 3 in addition to the measurement unit 1 (11) to the measurement unit 4 (14). The mass measured by the unit 1 (11) to the measuring unit 4 (14) is transmitted to the terminal 2. In the present embodiment, the mass is transmitted from the tray 1 to the management server 3 via the terminal 2. However, the present invention is not limited to this. For example, the configuration in which the tray 1 directly transmits the mass to the management server 3. It is good. Moreover, in this embodiment, although the location which measures mass is made into four places, you may change suitably as needed, such as 2 places and 6 places, without limiting to this.

次に、図３を参照して、端末２の構成について説明する。端末２は、各構成要素を含め端末２の全体を制御する制御部２１と、画像を取得するカメラ（撮像装置）２２と、カメラ２２で取得した画像や、管理サーバ３から送信された情報等を表示する表示部２３と、トレイ１や管理サーバ３等と通信を行う通信部２４を含む。なお、本実施形態に係る端末２は、例えば、小型ＰＣ、携帯電話、スマートフォンなどの携帯用端末であってよく、図３に示す各構成要素を備える情報処理装置であればよい。   Next, the configuration of the terminal 2 will be described with reference to FIG. The terminal 2 includes a control unit 21 that controls the entire terminal 2 including each component, a camera (imaging device) 22 that acquires an image, an image acquired by the camera 22, information transmitted from the management server 3, and the like And a communication unit 24 that communicates with the tray 1, the management server 3, and the like. Note that the terminal 2 according to the present embodiment may be a portable terminal such as a small PC, a mobile phone, and a smartphone, for example, and may be an information processing apparatus including each component illustrated in FIG.

次に、図４を参照して、管理サーバ３の構成について説明する。管理サーバ３は、制御部３１と、解析部３２と、登録部３３と、端末２と通信を行う通信部３４と、ＤＢ３５とを含む。制御部３１は、各構成要素を含む管理サーバ３全体を制御し、食事のカロリーを算出する算出手段として機能する。解析部３２は、端末２から送信された画像を解析する画像解析部３２１と、質量を分析する質量解析部３２２とを含む。登録部３３は、端末２から送信された個人の識別情報や食器情報等をＤＢ３５に登録する。   Next, the configuration of the management server 3 will be described with reference to FIG. The management server 3 includes a control unit 31, an analysis unit 32, a registration unit 33, a communication unit 34 that communicates with the terminal 2, and a DB 35. The control unit 31 functions as a calculation unit that controls the entire management server 3 including each component and calculates the calories of the meal. The analysis unit 32 includes an image analysis unit 321 that analyzes an image transmitted from the terminal 2 and a mass analysis unit 322 that analyzes mass. The registration unit 33 registers personal identification information, tableware information, and the like transmitted from the terminal 2 in the DB 35.

ＤＢ３５は、予め登録されているレシピ記憶部３５１と、レシピ記憶部３５１で記憶されているレシピにおける食事の栄養成分を記憶する栄養成分記憶部３５２と、予め登録されている食器や登録部３３で登録された食器の質量や種類を記憶する食器記憶部３５３とを含む。なお、本実施形態におけるレシピには、出来上がりの画像、食材やその調理方法、栄養成分等の情報が含まれる。また、ＤＢ３５は、ユーザの情報を含み、例えば、食器の情報を食器記憶部３５３に登録する際に、登録部３３によりＤＢ３５に含まれるユーザの情報と紐付けて登録される。さらに、ユーザ情報と、食事の解析結果や摂取カロリー・各栄養成分等を紐付けて記憶しておくことで、ユーザ毎の管理が可能となる。なお、本実施形態では、図４に示すような構成としているが、これに限定することなく、例えば、レシピ記憶部３５１と栄養成分記憶部３５２が一体となるような構成でもよく、適宜変更してよい。   The DB 35 includes a recipe storage unit 351 registered in advance, a nutrient component storage unit 352 that stores nutritional components of meals in the recipe stored in the recipe storage unit 351, and tableware and registration unit 33 registered in advance. And a tableware storage unit 353 that stores the mass and type of the registered tableware. Note that the recipe in the present embodiment includes information such as a completed image, ingredients and cooking methods, and nutritional components. The DB 35 includes user information. For example, when registering tableware information in the tableware storage unit 353, the DB 35 is registered by the registration unit 33 in association with the user information included in the DB 35. Furthermore, management for every user is attained by associating and storing user information, meal analysis results, intake calories, each nutritional component, and the like. In the present embodiment, the configuration shown in FIG. 4 is used. However, the configuration is not limited to this. For example, a configuration in which the recipe storage unit 351 and the nutrient component storage unit 352 are integrated may be appropriately changed. It's okay.

次に、図５を参照して、食器の登録処理について説明する。本実施形態では、食事の質量をより正確に計測するために、予め食器の種類や重さを食器記憶部３５３に登録しておく。まず、ステップＳ５０１において、トレイ１に空の食器を載せて食器の質量を計測し、端末２のカメラ２２により食器の画像を取得する。次に、ステップＳ５０２において、取得した質量及び画像を管理サーバ３に送信し、管理サーバ３の画像解析部３２１は、受信した画像を解析し、食器の種類を特定する。このとき、非同期に質量解析部３２２により食器の質量解析を行ってもよい。   Next, tableware registration processing will be described with reference to FIG. In the present embodiment, the type and weight of the tableware are registered in advance in the tableware storage unit 353 in order to more accurately measure the mass of the meal. First, in step S501, empty tableware is placed on the tray 1, the mass of the tableware is measured, and an image of the tableware is acquired by the camera 22 of the terminal 2. Next, in step S502, the acquired mass and image are transmitted to the management server 3, and the image analysis unit 321 of the management server 3 analyzes the received image and identifies the type of tableware. At this time, the mass analysis of the tableware may be performed asynchronously by the mass analysis unit 322.

次に、ステップＳ５０３において、登録部３３は、画像解析部３２１による画像解析の結果、食器が既に食器記憶部３５３に登録されているか否かを判定する。当該食器が食器記憶部３５３に登録されていない場合（Ｎｏ）、ステップＳ５０４において、登録部３３は、当該食器の種類や画像、及び質量解析部３２２による食器の質量解析の結果をユーザの情報と紐付けて、新規にＤＢ３５に登録する。一方、当該食器が既に登録済みである場合（Ｙｅｓ）、ステップＳ５０５において、登録部３３は、当該食器の登録情報をＤＢ３５に記憶されたユーザの情報と紐付けて、ＤＢ３５に登録する。既に登録済みの食器として、例えば、オリジナル食器を製造している場合が考えられる。この場合、予め食器の種類や質量を計測して食器記憶部３５３に登録しておけば、オリジナルの食器にタグ等を付し、そのタグ等を画像解析部３２１により解析することで、食器の質量を解析することなく、個人情報と紐付けるだけでよい。   Next, in step S <b> 503, the registration unit 33 determines whether tableware has already been registered in the tableware storage unit 353 as a result of image analysis by the image analysis unit 321. When the tableware is not registered in the tableware storage unit 353 (No), in step S504, the registration unit 33 sets the type and image of the tableware and the result of mass analysis of the tableware by the mass analysis unit 322 as user information. Linked and newly registered in the DB 35. On the other hand, if the tableware has already been registered (Yes), the registration unit 33 registers the tableware registration information in the DB 35 in association with the user information stored in the DB 35 in step S505. As the tableware that has already been registered, for example, a case where original tableware is manufactured can be considered. In this case, if the type and mass of the tableware are measured in advance and registered in the tableware storage unit 353, a tag or the like is attached to the original tableware, and the tag or the like is analyzed by the image analysis unit 321. It is only necessary to link with personal information without analyzing the mass.

次に、図６を参照して、本実施形態に係るカロリー算出処理について説明する。まず、ステップＳ６０１において、端末２のカメラ２２で食事の画像を取得する。この時、例えば、主食、主菜、副菜、汁物など複数品の食事である場合、これら全てを含む食事全体の画像を取得する。また、トレイ１で計測された食事の質量を、通信部２４を介して取得する。次に、ステップＳ６０２において、端末２の通信部２４を介して、管理サーバ３へ取得した食事の画像と計測された質量を送信する。次に、ステップＳ６０３において、管理サーバ３は、通信部３４を介して端末２から送信された食事の画像と質量を受信する。次に、ステップＳ６０４において、解析部３２は、受信した食事の画像と質量をそれぞれ解析する。   Next, with reference to FIG. 6, the calorie calculation process according to the present embodiment will be described. First, in step S601, a meal image is acquired by the camera 22 of the terminal 2. At this time, for example, in the case of a meal of a plurality of items such as staple food, main dish, side dish, and soup, an image of the whole meal including all of them is acquired. Further, the mass of the meal measured on the tray 1 is acquired via the communication unit 24. Next, in step S <b> 602, the acquired meal image and the measured mass are transmitted to the management server 3 via the communication unit 24 of the terminal 2. Next, in step S <b> 603, the management server 3 receives the meal image and the mass transmitted from the terminal 2 via the communication unit 34. Next, in step S604, the analysis unit 32 analyzes the received meal image and mass.

次に、ステップＳ６０５において、管理サーバ３は、ステップＳ６０４の解析結果からＤＢ３５に記憶された情報に基づいてレシピを特定し、カロリー分析を行って、各食事のカロリーを特定する。次に、ステップＳ６０６において、管理サーバ３は、ステップＳ６０５の分析の結果を、通信部３４を介して端末２に送信する。そして、ステップＳ６０７において、端末２は、通信部２４を介して、管理サーバ３から送信された分析結果を受信する。次に、ステップＳ６０８において、端末２は、受信した分析の結果を不図示の表示部に表示する。以上により、ユーザが撮影した食事のそれぞれの質量やカロリーが正確に表示される。   Next, in step S605, the management server 3 specifies a recipe based on the information stored in the DB 35 from the analysis result in step S604, performs calorie analysis, and specifies the calorie of each meal. Next, in step S606, the management server 3 transmits the result of the analysis in step S605 to the terminal 2 via the communication unit 34. In step S <b> 607, the terminal 2 receives the analysis result transmitted from the management server 3 via the communication unit 24. Next, in step S608, the terminal 2 displays the received analysis result on a display unit (not shown). By the above, each mass and calories of the meal which the user photoed are displayed correctly.

次に、図７を参照して、管理サーバ３が画像や質量を解析してカロリーを算出する処理について説明する。これは、図６のステップＳ６０３〜ステップＳ６０５の処理に該当する。まず、ステップＳ７０１において、端末２から送信された食事の画像及びトレイ１で計測された食事の質量を受信する。次に、ステップＳ７０２において、画像解析部３２１は、受信した食事の画像を解析する。次に、ステップＳ７０３において、質量解析部３２２は、受信した食事の質量を解析する。なお、ステップＳ７０２とステップＳ７０３の処理については、非同期に行われるものとし、順番が逆になってもよい。次に、ステップＳ７０４において、ステップＳ７０２の画像解析の結果から、ＤＢ３５のレシピ記憶部３５１に記憶されているレシピを特定し、特定したレシピに基づいて栄養成分記憶部３５２に記憶されている栄養成分を特定する。次に、ステップＳ７０３の質量解析の結果、及びステップＳ７０４で特定した栄養成分から食事のカロリーを算出する。   Next, a process in which the management server 3 calculates the calorie by analyzing the image and the mass will be described with reference to FIG. This corresponds to the processing in steps S603 to S605 in FIG. First, in step S701, the meal image transmitted from the terminal 2 and the meal mass measured in the tray 1 are received. Next, in step S702, the image analysis unit 321 analyzes the received meal image. Next, in step S703, the mass analysis unit 322 analyzes the mass of the received meal. In addition, about the process of step S702 and step S703, it shall be performed asynchronously and the order may be reverse. Next, in step S704, the recipe stored in the recipe storage unit 351 of the DB 35 is identified from the result of the image analysis in step S702, and the nutritional component stored in the nutritional component storage unit 352 based on the identified recipe. Is identified. Next, the calorie of the meal is calculated from the result of the mass analysis in step S703 and the nutritional component specified in step S704.

次に、図８を参照して、ステップＳ７０２の画像解析の処理について説明する。まず、ステップＳ８０１において、画像解析部３２１は、端末２から送信された複数品の食事を含む食事全体の画像を取得する。次に、ステップＳ８０２において、取得した画像を解析し、各食事を判定（特定）する。つまり、主食、主菜、副菜、汁物が含まれる場合、取得した画像から、主食、主菜、副菜、汁物をそれぞれ分割する。この時、主食、主菜、副菜、汁物が盛られている食器の種類についても、画像から食器記憶部３５３に記憶されている食器の中からそれぞれの食器を特定する。次に、ステップＳ８０３において、画像からレシピ記憶部３５１に記憶されているレシピと一致するレシピを特定しる。つまり、分割した主食、主菜、副菜、汁物の画像に合致する画像を有するレシピをレシピ記憶部３５１から特定する。   Next, the image analysis processing in step S702 will be described with reference to FIG. First, in step S <b> 801, the image analysis unit 321 acquires an image of the whole meal including a plurality of meals transmitted from the terminal 2. Next, in step S802, the acquired image is analyzed to determine (specify) each meal. That is, when staple foods, main dishes, side dishes, and soup are included, the main dishes, main dishes, side dishes, and soup are divided from the acquired images. At this time, as for the types of tableware in which staple food, main dishes, side dishes, and soup are served, each tableware is specified from the images stored in the tableware storage unit 353. Next, in step S803, a recipe that matches the recipe stored in the recipe storage unit 351 is identified from the image. That is, a recipe having an image that matches the image of the divided main food, main dish, side dish, and soup is identified from the recipe storage unit 351.

次に、図９を参照して、ステップＳ７０３の質量解析の処理について説明する。まず、ステップＳ９０１において、質量解析部３２２は、端末２から送信されたトレイ１で計測された質量を取得する。この時、計測部１（１１）〜計測部４（１４）で計測した質量全体、例えば、主食、主菜、副菜、汁物など複数品の食事である場合、これら全てを含む食事全体の質量を取得する。次に、ステップＳ９０２において、計測部１（１１）〜計測部４（１４）の各エリアの質量を取得する。次に、ステップＳ９０３において、画像解析部３２１が画像解析により特定した食器の質量を食器記憶部３５２から取得し、各エリアの質量から対応する食器の質量を減算することで、食事の質量を求める。   Next, the mass analysis process in step S703 will be described with reference to FIG. First, in step S <b> 901, the mass analysis unit 322 acquires the mass measured by the tray 1 transmitted from the terminal 2. At this time, when the whole mass measured by the measurement unit 1 (11) to the measurement unit 4 (14), for example, a plurality of meals such as staple foods, main dishes, side dishes, soups, the mass of the whole meal including all of them To get. Next, in step S902, the mass of each area of the measurement unit 1 (11) to the measurement unit 4 (14) is acquired. Next, in step S903, the mass of the tableware specified by the image analysis unit 321 by image analysis is acquired from the tableware storage unit 352, and the mass of the corresponding tableware is subtracted from the mass of each area to obtain the mass of the meal. .

例えば、計測部１（１１）に主食が載せられている場合、ステップＳ９０２で計測部１（１１）の質量が特定され、画像解析部３２１が端末２で取得した画像から食器を特定することで、計測部１（１１）の質量から当該食器の質量を減算することで、食器の質量を含まない主食そのものの質量が特定される。次に、ステップＳ９０４において、ステップＳ８０３で減算した結果、各食事（例えば、主食、主菜、副菜、汁物）の質量が算出される。   For example, when staple food is placed on the measurement unit 1 (11), the mass of the measurement unit 1 (11) is specified in step S902, and the image analysis unit 321 specifies tableware from the image acquired by the terminal 2. By subtracting the mass of the tableware from the mass of the measuring unit 1 (11), the mass of the staple food itself not including the mass of the tableware is specified. Next, in step S904, as a result of the subtraction in step S803, the mass of each meal (for example, staple food, main dish, side dish, soup) is calculated.

以上、本実施形態によれば、食事の質量を測定し、かつその画像を取得することにより精度良くカロリー計算を行い、管理する管理システムを提供することができる。なお、本実施形態では、端末にカメラと表示部を設けているが、これに限定することなく、例えば、カメラを端末とは別に設けてもよく、また表示部をトレイに設けてもよい。この場合、ユーザは、トレイに設けられた表示部でカロリーを把握することができる。つまり、カメラと表示部をトレイに設ける場合、食堂などで１品ずつトレイに食事を載せる毎に画像を撮影し、トレイで質量を計測して、リアルタイムでカロリー計算し、そのカロリーを表示をすることで、ユーザのカロリーがリアルタイムで確認が可能となる。   As described above, according to the present embodiment, it is possible to provide a management system that calculates and manages calories with high accuracy by measuring the mass of a meal and acquiring an image thereof. In this embodiment, the camera and the display unit are provided in the terminal. However, the present invention is not limited to this. For example, the camera may be provided separately from the terminal, and the display unit may be provided in the tray. In this case, the user can grasp the calories with the display unit provided on the tray. In other words, when a camera and a display unit are provided on a tray, an image is taken each time a meal is placed on the tray in a cafeteria, the mass is measured with the tray, calories are calculated in real time, and the calories are displayed. Thus, the user's calorie can be confirmed in real time.

また、本実施形態では、食事の画像解析と質量解析から食事のカロリーを算出する方法について説明したが、カロリーに限定することなく、例えば、塩分や脂質、糖質等の栄養線分毎に摂取量を算出してよい。この場合、ユーザの情報と紐付けを行うことで、定期的（例えば、１週間、１か月、１年等）に自信が摂取した食事におけるカロリーや栄養成分を管理することができる。また、これらの情報を基に個人の嗜好を分析・学習することにより、適切なレシピの提供など、個人に合わせた栄養管理を行うことができる。   In the present embodiment, the method of calculating the calorie of the meal from the image analysis and the mass analysis of the meal has been described. However, without being limited to the calorie, for example, ingested for each nutrient line segment such as salt, lipid, and carbohydrate The amount may be calculated. In this case, by associating with user information, calories and nutritional components in meals that the confidence has ingested regularly (for example, one week, one month, one year, etc.) can be managed. In addition, by analyzing and learning individual preferences based on these pieces of information, it is possible to perform nutrition management tailored to the individual, such as providing an appropriate recipe.

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

１ トレイ
３ 管理サーバ
２２ カメラ
３１ 制御部
３２ 解析部
３５ ＤＢ 1 tray 3 management server 22 camera 31 control unit 32 analysis unit 35 DB

Claims (6)

ネットワークを介してユーザの食事の栄養成分を管理する管理システムであって、
食器を含む食事の質量を計測するトレイと、
前記トレイに乗せられた前記食器を含む食事を撮影して画像を取得する撮像装置と、
前記栄養成分を管理する管理サーバと、
を備え、
前記管理サーバは、
食事のレシピを記憶する記憶手段と、
前記食事の質量と前記画像を解析する解析手段と、
前記解析手段の解析結果に基づいて、前記食事のレシピを前記記憶手段で記憶したレシピから特定し、前記特定したレシピに対応する前記食事の栄養成分を算出する算出手段と、
を備える
ことを特徴とする管理システム。 A management system for managing nutritional components of a user's meal via a network,
A tray for measuring the mass of meals including dishes,
An imaging device that captures an image of a meal including the dishes placed on the tray and acquires an image;
A management server for managing the nutrient components;
With
The management server
Storage means for storing meal recipes;
An analysis means for analyzing the mass of the meal and the image;
Based on the analysis result of the analysis means, the meal recipe is identified from the recipe stored in the storage means, and the calculation means for calculating the nutritional component of the meal corresponding to the identified recipe;
A management system comprising: 前記解析手段は、
前記撮像装置で取得した食事の画像を解析する画像解析手段と、
前記トレイで計測した質量を解析する質量解析手段と、
を含み、
前記算出手段は、前記画像解析手段による前記画像の解析結果に基づいて前記食事のレシピを前記記憶手段で記憶したレシピを特定し、前記質量解析手段による前記質量の解析結果に基づいて前記特定したレシピに対応する前記食事の栄養成分を算出する
ことを特徴とする請求項１に記載の管理システム。 The analysis means includes
Image analysis means for analyzing a meal image acquired by the imaging device;
A mass analyzing means for analyzing the mass measured by the tray;
Including
The calculation means specifies a recipe that stores the recipe of the meal in the storage means based on the analysis result of the image by the image analysis means, and specifies the recipe based on the analysis result of the mass by the mass analysis means. The management system according to claim 1, wherein a nutritional component of the meal corresponding to the recipe is calculated. 前記管理サーバは、
前記食事を盛るための食器の質量を登録する登録手段
をさらに備え、
前記質量解析手段は、前記トレイで計測した食事の質量と、前記登録手段で登録した食器の質量に基づいて前記ユーザが摂取する食事の質量を算出する
ことを特徴とする請求項２に記載の管理システム。 The management server
It further comprises registration means for registering the mass of the tableware for serving the meal,
The mass analysis unit calculates the mass of the meal consumed by the user based on the mass of the meal measured by the tray and the mass of the tableware registered by the registration unit. Management system. 前記記憶手段は、前記算出手段で算出した栄養成分と、前記食事を摂取するユーザの情報を紐付けて記憶する
ことを特徴とする請求項１〜３のいずれか１項に記載の管理システム。 The management system according to any one of claims 1 to 3, wherein the storage unit stores the nutritional component calculated by the calculation unit and information of a user who takes the meal in association with each other. 前記栄養成分は、少なくともカロリー、塩分、脂質、タンパク質、炭水化物を含む
ことを特徴とする請求項１〜４のいずれか１項に記載の管理システム。 The management system according to claim 1, wherein the nutritional component includes at least calories, salt, lipids, proteins, and carbohydrates. 食事の質量を計測するトレイと、前記トレイに乗せられた食事を撮影して画像を取得する撮像装置と、カロリーを管理する管理サーバとを含む管理システムにおいて実行される、ユーザの食事の栄養成分を管理する管理方法であって、
前記食事の質量と前記画像を解析する解析工程と、
前記解析工程での解析結果に基づいて、管理サーバの記憶手段で記憶したレシピを特定し、前記食事の栄養成分を算出する算出工程と、
を有する
ことを特徴とする管理方法。

Nutritional components of a user's meal that are executed in a management system including a tray that measures the mass of the meal, an imaging device that captures an image of the meal placed on the tray and acquires an image, and a management server that manages calories A management method for managing
An analysis step of analyzing the meal mass and the image;
Based on the analysis result in the analysis step, the recipe stored in the storage means of the management server is specified, and the calculation step of calculating the nutritional component of the meal,
The management method characterized by having.

JP2016134165A 2016-07-06 2016-07-06 Management system for managing nutrient segment of meal Pending JP2018005720A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016134165A JP2018005720A (en) 2016-07-06 2016-07-06 Management system for managing nutrient segment of meal
PCT/JP2017/024663 WO2018008686A1 (en) 2016-07-06 2017-07-05 Management system for managing nutritional component in meal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016134165A JP2018005720A (en) 2016-07-06 2016-07-06 Management system for managing nutrient segment of meal

Publications (1)

Publication Number Publication Date
JP2018005720A true JP2018005720A (en) 2018-01-11

Family

ID=60912766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016134165A Pending JP2018005720A (en) 2016-07-06 2016-07-06 Management system for managing nutrient segment of meal

Country Status (2)

Country Link
JP (1) JP2018005720A (en)
WO (1) WO2018008686A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428944A (en) * 2020-04-26 2020-07-17 陈霄 Catering industry management system and method based on big data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028382A (en) * 2009-07-22 2011-02-10 Kddi Corp Nutrition management server and nutrition management method for managing nutrition component of meal for each user
WO2016031246A1 (en) * 2014-08-26 2016-03-03 ハイアールアジア株式会社 Nutrient quantity calculating device and refrigerator provided with same
CN107873101B (en) * 2014-11-21 2022-01-11 克里斯多夫·M·马蒂 Imaging system for object recognition and evaluation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428944A (en) * 2020-04-26 2020-07-17 陈霄 Catering industry management system and method based on big data

Also Published As

Publication number Publication date
WO2018008686A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
JP7494439B2 (en) Food service management system and its operation method
US10441112B1 (en) Food preparation system and method using a scale that allows and stores modifications to recipes based on a measured change to one of its ingredients
US20180144832A1 (en) Real-time or just-in-time online assistance for individuals to help them in achieving personalized health goals
US9364106B1 (en) Apparatus and method for identifying, measuring and analyzing food nutritional values and consumer eating behaviors
CN107077709B (en) Nutrient amount calculating device and refrigerator having the same
KR102606359B1 (en) Cafeteria management system
CN108073906A (en) Vegetable nutritional ingredient detection method, device, cooking apparatus and readable storage medium storing program for executing
KR20180005016A (en) Intake calorie measurement system based on smart pad
CN107851183A (en) System and method for providing recipe
CN106650187A (en) Control method and apparatus
KR101979797B1 (en) Smart tray measuring amount of food intake and weight variation, and weight management system having the same
KR102243452B1 (en) Guide card for food information recognition, food information recognition system and method thereof
US10925522B2 (en) Method, system, and computer program product for dynamic analysis of a physiological parameter
JP2020091577A (en) Health promotion support system and health promotion support method
WO2018008686A1 (en) Management system for managing nutritional component in meal
KR20140094761A (en) Method for checkweighing food and apparatus thereof
KR101952295B1 (en) A nutrition measuring system for foods in the tray
KR101580016B1 (en) System for providing meal valuation and method thereof
KR20190104980A (en) Management system of cafeteria and operation method thereof
CN111048180A (en) Dietary intake investigation and analysis system, method and terminal
WO2020120757A1 (en) Food waste detection method and system
JP6590005B2 (en) Electronic device and program
US20230145313A1 (en) Method and system for foodservice with instant feedback
KR20180088944A (en) Food menu monitoring system for diet
KR102329480B1 (en) Management system of cafeteria and operation method thereof