JP2022530263A - 食べ物測定方法、装置及びプログラム - Google Patents
食べ物測定方法、装置及びプログラム Download PDFInfo
- Publication number
- JP2022530263A JP2022530263A JP2021564482A JP2021564482A JP2022530263A JP 2022530263 A JP2022530263 A JP 2022530263A JP 2021564482 A JP2021564482 A JP 2021564482A JP 2021564482 A JP2021564482 A JP 2021564482A JP 2022530263 A JP2022530263 A JP 2022530263A
- Authority
- JP
- Japan
- Prior art keywords
- food
- tableware
- volume
- information
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 690
- 238000000691 measurement method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims description 90
- 238000012937 correction Methods 0.000 claims description 65
- 238000005259 measurement Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 11
- 239000007788 liquid Substances 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims 1
- 235000012054 meals Nutrition 0.000 description 203
- 238000007726 management method Methods 0.000 description 43
- 241000209094 Oryza Species 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 22
- 235000007164 Oryza sativa Nutrition 0.000 description 21
- 235000009566 rice Nutrition 0.000 description 21
- 235000003715 nutritional status Nutrition 0.000 description 20
- 235000005911 diet Nutrition 0.000 description 16
- 230000000694 effects Effects 0.000 description 16
- 230000037213 diet Effects 0.000 description 14
- 235000006694 eating habits Nutrition 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 235000013601 eggs Nutrition 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012795 verification Methods 0.000 description 10
- 238000010411 cooking Methods 0.000 description 9
- 235000016709 nutrition Nutrition 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 235000005686 eating Nutrition 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000035764 nutrition Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 235000012041 food component Nutrition 0.000 description 5
- 239000004615 ingredient Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 235000015872 dietary supplement Nutrition 0.000 description 4
- 230000037323 metabolic rate Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 206010020751 Hypersensitivity Diseases 0.000 description 3
- 230000007815 allergy Effects 0.000 description 3
- 235000019789 appetite Nutrition 0.000 description 3
- 230000036528 appetite Effects 0.000 description 3
- 235000015097 nutrients Nutrition 0.000 description 3
- 235000014347 soups Nutrition 0.000 description 3
- 235000019155 vitamin A Nutrition 0.000 description 3
- 239000011719 vitamin A Substances 0.000 description 3
- 208000026935 allergic disease Diseases 0.000 description 2
- 235000004251 balanced diet Nutrition 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000378 dietary effect Effects 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 235000020803 food preference Nutrition 0.000 description 2
- 235000021056 liquid food Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 235000019166 vitamin D Nutrition 0.000 description 2
- 239000011710 vitamin D Substances 0.000 description 2
- FPIPGXGPPPQFEQ-UHFFFAOYSA-N 13-cis retinol Natural products OCC=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-UHFFFAOYSA-N 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 241001474374 Blennius Species 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- FPIPGXGPPPQFEQ-BOOMUCAASA-N Vitamin A Natural products OC/C=C(/C)\C=C\C=C(\C)/C=C/C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-BOOMUCAASA-N 0.000 description 1
- FPIPGXGPPPQFEQ-OVSJKPMPSA-N all-trans-retinol Chemical compound OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-OVSJKPMPSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 235000021170 buffet Nutrition 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 235000018823 dietary intake Nutrition 0.000 description 1
- 235000001916 dieting Nutrition 0.000 description 1
- 230000037228 dieting effect Effects 0.000 description 1
- 235000021186 dishes Nutrition 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 235000021462 rice dishes Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000012046 side dish Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 229940045997 vitamin a Drugs 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【要約】本発明は、食べ物を測定する方法に関し、本発明は、食べ物が盛られた食器に形成された複数の空間に対する大きさ、深さや容量に関する情報と撮影手段から撮影されたイメージに基づいて食べ物の量を算出する。
Description
本発明は、食べ物を測定する方法に関し、具体的には体積を用いて食べ物の量を測定する方法に関する。
近年、ウェルビーイング(Well-Being)、ダイエット(Diet)などのように健康的な献立を維持しようとする人々が増加していることから、食べ物を測定する技術の需要が増えている。
これを利用すると、学校や企業、軍隊、官公庁、病院などのように多数の人に食事を提供する場所でも人々に配膳、提供される食べ物の量を測定し、これにより配膳量と残飯量を測定することで、需要量や供給量を予想して効率的な配膳管理を行い、食事を提供される人々のカロリーを管理できるなど多くの長所がある。
しかし、現在公開されている大半の技術は、カメラによって撮影されたイメージを単にイメージを検索することにとどまっているため、その正確度が著しく低下し、イメージの検索において正確度が低下することにより、カロリーの計算などのような次の段階では更に大きな誤差が生じるという問題がある。
そこで、本発明者は、単に食べ物をイメージで検索することにとどまらず、正確に分析して算出できる発明を導き出すことに至った。
本発明は上記事情に鑑みてなされたものであって、その目的は、ステレオカメラ又は深さ測定装置によって撮影されたイメージのピクセル別の高さ情報を用いて食べ物の体積を算出する食べ物測定方法を提供できることにある。
また、本発明の他の目的は、配膳用食器の情報を用いて算出された食べ物の体積を補正する食べ物測定方法を提供できることにある。
本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない更に他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。
上述した課題を解決するための本発明の一実施例に係る食べ物測定方法は、分析部が配膳用食器(使用者が食事を提供された食器)のイメージを分析し、前記食器に収容された1つ以上の食べ物を認識する段階と、算出部が食器情報と前記食器イメージ内の食べ物のイメージを用いて各食べ物の体積を算出する段階と、前記算出部が食べ物情報と前記算出された各食べ物の体積を用いて各食べ物の重さを算出する段階とを含み、前記サーバは、空き食器のイメージと食器に形成された複数の空間に対する大きさ、深さ及び容量を含む食器情報、食べ物別の体積当たりの重さを含む食べ物情報が格納されたデータベースを含む。
また、上述した課題を解決するための本発明の一実施例に係る食べ物測定サーバは、空き食器のイメージと食器に形成された複数の空間に対する大きさ、深さ及び容量を含む食器情報、食べ物別の体積当たりの重さを含む食べ物情報が格納されたデータベースと、配膳用食器(使用者が食事を提供された食器)のイメージを分析し、前記食器に収容された1つ以上の食べ物を認識する分析部と、前記食器情報と前記食器イメージ内の食べ物のイメージを用いて各食べ物の体積を算出し、前記食べ物情報と前記算出された各食べ物の体積を用いて各食べ物の重さを算出する算出部とを含む。
更に、上述した課題を解決するための本発明の一実施例に係る食べ物測定装置は、空き食器のイメージと食器に形成された複数の空間に対する大きさ、深さ及び容量を含む食器情報、食べ物別の体積当たりの重さを含む食べ物情報が格納されたデータベースと、配膳用食器(使用者が食事を提供された食器)のイメージを分析し、前記食器に収容された1つ以上の食べ物を認識する分析部と、前記食器情報と前記食器イメージ内の食べ物のイメージを用いて各食べ物の体積を算出し、前記食べ物情報と前記算出された各食べ物の体積を用いて各食べ物の重さを算出する算出部とを含む。
この他にも、本発明を実現するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体が更に提供されることができる。
前記のような本発明によれば、ステレオカメラ又は深さ測定装置によって撮影されたイメージのピクセル別の高さ情報を用いて食べ物の体積を算出し、正確な食べ物の体積を算出できるという効果がある。
また、本発明は配膳用食器の空間の大きさ、深さ及び容量に関する情報により算出された食べ物の体積を補正し、より正確に食べ物の体積を算出できるという効果がある。
本発明の効果は、以上で言及した効果に限らず、言及されていない更に他の効果は、下記の記載から通常の技術者が明確に理解できるはずである。
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本発明は請求項の範囲により定義されるに過ぎない。
本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む(comprises)」及び/又は「含んでいる(comprising)」は、言及された構成要素以外に1つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び/又は」は言及された構成要素のそれぞれ及び1つ以上の全ての組み合わせを含む。たとえ、「第1」、「第2」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により制限されないのはもちろんである。これらの用語は、単に1つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第1構成要素は、本発明の技術的思想内で第2構成要素でもあり得るのは言うまでもない。
他の定義がなければ、本明細書で用いられる全ての用語(技術及び科学的用語を含む)は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
以下、添付の図面を参照し、本発明の実施例を詳細に説明する。
説明に先立ち、本明細書で用いる用語の意味を簡単に説明する。しかし、用語の説明は本明細書の理解を促進するためのものであるので、明示的に本発明を限定する事項として記載していない場合、本発明の技術的思想を限定する意味として用いるものではないことに注意すべきである。
図1~図5を参照し、本発明の一実施例に係る食べ物測定方法について説明する。本発明の一実施例に係る食べ物測定方法は、コンピュータにより行われ、ここで、コンピュータは、食べ物測定サーバ100又は食べ物測定装置200を意味する。即ち、撮影は食べ物測定装置200により行われるが、他の段階は食べ物測定サーバ100又は食べ物測定装置200により行うことができる。
図1は、本発明の一実施例に係る食べ物測定方法のフローチャートであり、図2Aは、本発明の一実施例に係る食器の斜視図であり、図2Bは、裏面又は側面に識別コードが付着された食器の斜視図であり、図3は、本発明の実施例に係る食べ物が収容された食器の斜視図であり、図4は、図3において1つの空間に2つの食べ物が積層された食器の斜視図であり、図5は、空間が区分されていない食器の斜視図であり、図6は、食べ物の種類に対する判断の正確度を向上させるために高度化したローカルモデルを提供する方法の順序図である。
本発明の実施例に係る食べ物測定方法は、食堂の配膳口又は返却口で実行でき、食堂はカフェテリア又はバイキングのようなセルフサービス食堂であって、使用者が食べ物を受け取るために食器500を移動しながら食事する所であり、学校、会社又は軍隊のように団体に食事を提供する場所とすることもできる。ここで、食堂は食べ物又は食器500を受け取る配膳口と、食事後に食べ残しを捨てて食器500を返却する返却口を備えることができるが、これに限定されない。
但し、本発明の実施例に係る食べ物測定方法は、食堂、特にセルフサービスの食堂で実行されることに限定されず、その他の形態の食堂や家庭で実行することもでき、各席で実行することもできる。
また、説明の便宜上、空間510が区画されたプレート状の食器500を用いて説明するが、食器500の形状はこれに限定されない。
図1を参照すると、受信部110が食べ物測定装置200の撮影部250によって撮影された食べ物が盛られた食器のイメージを受信する(S20段階)。
受信部110は、受信した食べ物が盛られた食器のイメージを標準化(normalization)する。標準化は、予め定められた基準(例えば、大きさ、明るさ、回転、勾配など)に従って受信した食べ物が盛られた食器のイメージを調整又は変形することを意味する。
撮影部250は、イメージデータと深さデータを獲得できれば、その構成に制限はない。例えば、撮影部250はRGBカメラ、2Dカメラ、3Dカメラ、ToF(Time of Flight)カメラ、ライトフィールドカメラ(light field camera)、ステレオカメラ、イベントカメラ、赤外線カメラのうちの少なくとも1つを含むことができ、イメージデータと深さデータを測定できれば、その構成に制限はない。
一方、撮影部250は、食べ物又は食べ物が盛られた食器を撮影するほか、食事の主体を識別するために食事主体の生体情報を撮影できる。ここで、食事主体の生体情報は、食事の主体の顔面、虹彩又は指紋であり得るが、これに限定されない。1つの撮影部250で食べ物又は食べ物が盛られた食器と食事主体の生体情報を同時又は別に撮影できるが、食べ物又は食べ物が盛られた食器を撮影するための撮影部250aと食事主体の生体情報を撮影するための撮影部250bが分離されることができる。
複数の実施例において、コンベヤベルト270に沿って移動する食器500を撮影する場合、食べ物測定装置200の撮影部250は、単数のカメラを含んでいても、イメージデータ以外に深さデータを獲得できる。単数の撮影部250を用いて、食器500がコンベアベルト270上の第1位置にある時と、食器500がコンベアベルト270上で移動して第2位置にある時をそれぞれ撮影するのであれば、停止した食器500を複数のカメラを含む撮影部250を用いて撮影するのと同一の効果が得られるためである。
カメラは、光を認識する装置であるため、光反射のような環境の影響を多く受けることになる。従って、2つ以上のカメラを含む撮影部250を用いて撮影を行うことで、環境の影響を最小化することが必要である。但し、2つ以上のカメラを含む撮影部250を用いて撮影を行っても環境の影響を受ける恐れがあるため、これに対する補正が必要である。
従って、コンピュータは、食堂の特性、環境に応じて最適化するために学習モジュールが撮影されるイメージを通じて現場の状況を学習し、フィルタ処理、固定物体及びリファレンス物体(後述するバックグラウンドターゲット)を基準に環境状態を認知するようにできる。
一方、本発明の一実施例に係る食べ物測定装置200を用いて食器500を撮影する場合、撮影部250によって上側から食器500を撮影すると共に、食べ物測定装置200は、食器500に関する識別情報530又は食事の主体に関する識別情報を感知できる。即ち、食器イメージ受信段階(S20)と同時に、又は別途に食べ物測定装置200を用いて食事の主体を識別できる(S21)。
具体的に、図2Bを参照すると、食器500に関する識別情報は食器500に含まれることができ、例えばQRコード(登録商標)(530、Quick Response Code)又はバーコード形式で食器500に物理的に含めることができ、この他にも数字又は文字の組み合わせ、図形、記号の組み合わせなど、多様なコード形式の識別情報を食器500に含めることもできる。この他に、食器500に関する識別情報は、RFIDチップのような多様な半導体装置などに記録され、食器500に含めることもできる。このため、食べ物測定装置200には識別情報感知部251が含まれ、撮影部250が上側で食器500を撮影する際に同時に識別情報感知部251も食器500に関する識別情報を感知できるように食べ物測定装置200に配置できる。
例えば、図2Bに示すように、QRコード(登録商標)530が食器500の裏面又は側面に位置する場合、識別情報感知部251は、撮影部250と向かい合うように下側に位置するか、水平方向でQRコード(登録商標)530を認識できるように位置し得るが、識別情報感知部251の位置はこれに限定されず、撮影部250が食器500の上面を撮影する際に同時に食器500の識別情報を感知できれば、多様な位置に配置され得る。
複数の実施例において、食器500の識別情報が食器500の上側に位置する場合、食べ物測定装置200は別途の識別情報感知部251を含まないことができ、撮影部250を用いて測定される食器のイメージを分析し、食器500の識別情報を確認することもできる。
この他に、食事の主体に関する識別情報は、認証部160によって感知されることができ、例えば食事の主体に対するイメージの撮影を用いて生体情報を確認する顔面認識、虹彩認識、指紋認識などの方式が適用されることができる。
また、認証部160は、食事の主体が保有しているRFIDチップが含まれているダクやQRコード(登録商標)、バーコード、数字又は文字の組み合わせ、図形、記号の組み合わせなど、多様なコード形態の識別情報が含まれているタグを認識することによって、食事の主体に関する識別情報を感知することもできる。
本発明の実施例に係る食べ物測定方法を用いる場合、測定された結果を用いて多様な情報を算出できるが、食べ物測定装置200が食器500に関する識別情報530と食事の主体に関する識別情報のうちの何れを認識できるかによって算出される情報に差があり得る。
まず、配膳口に設けられた食べ物測定装置200と返却口に設けられた食べ物測定装置200の両方で食器500に関する識別情報530が認識できず、食事の主体に関する識別情報のみを認識できる場合、本実施例に係る食べ物測定方法を用いて、各食事の主体に関する情報と該当食事の主体が含まれている集団に関する情報を算出できる。
逆に、配膳口に設けられた食べ物測定装置200と返却口に設けられた食べ物測定装置200の両方で食事の主体に関する識別情報が認識できず、食器500に関する識別情報530のみを認識できる場合、本実施例に係る食べ物測定方法を用いて、各食事の主体に関する情報を算出できず、該当食事の主体が含まれている集団に関する情報のみを算出できる。
この他に、配膳口に設けられた食べ物測定装置200で食器500に関する識別情報530と食事の主体に関する識別情報を何れも認識でき、返却口に設けられた食べ物測定装置200で食器500に関する識別情報530を認識できず、食事の主体に関する識別情報のみを認識できる場合、返却口に設けられた食べ物測定装置200で食器500に関する識別情報は認識できなくても配膳口での情報を用いて特定食事の主体が保有する食器500に関する識別情報が特定され得るため、本実施例に係る食べ物測定方法を用いて各食事の主体に関する情報と該当食事の主体が含まれている集団に関する情報を算出できる。
一方、食べ物識別装置30が別途の認証部160を含まず、食べ物測定装置200の入力装置(図示せず)を介して食事の主体から識別情報の入力を受けることもできる。
従って、複数の実施例において受信部110が撮影部250によって撮影された食器のイメージを受信する段階(S520)で、受信部110は、食器のイメージ以外に食器500に関する識別情報及び食事の主体に関する識別情報のうちの少なくとも1つを共に受信できる。
次いで、図1を参照すると、補正部150が、食べ物が含まれている食器のイメージを補正できる(S25段階)。
より詳しくは、補正部150が、食べ物が盛られた食器イメージデータを用いてノイズ成分を除去し、食器イメージの勾配を認識して水平状態のイメージに補正できる。このように補正されたイメージは、後述する体積算出段階(S50)で利用することができる。
食堂で食器を撮影するとき、食器を特定の位置に載せた状態で揺れることなく撮影することもできるが、撮影部250がコンベヤベルト270上で移動する食器500を撮影する場合もあり、食事の主体が食器500を持っている状態で食べ物測定装置200によって食器500が撮影される場合もあり、複数の実施例において使用者が食器500を持って歩いていくのが撮影部250によって撮影されることがある。
従って、食器のイメージが不明確に撮影されることがあり、食器の角度が傾いた状態で食器のイメージが撮影されることもあるため、補正部150が食器イメージの揺れ又は勾配を認識し、揺れ又は勾配が最も少ない食器のイメージを選択し、食器のイメージを水平状態のイメージに補正して食べ物の体積を正確に算出できるようにする。
まず、補正部150は、標準化された食器イメージの中から揺れが最も少ない食器のイメージを選択するために、標準化された複数の食器イメージを分析でき、例えば、補正部150は、各ピクセル単位でイメージのにじみの程度を確認し、これにより最も揺れが少なく明確な食器のイメージを選択できる。
次いで、補正部150は、食器のイメージより食器500が食べ物に遮らずに露出した領域を対象に撮影部250から複数の露出した領域までの距離を算出でき、複数の露出した領域までの算出された距離を用いて食器のイメージから食器50の勾配を算出できる。次に、補正部150は、算出された勾配を用いて撮影された食器のイメージが水平になるように補正できる。
具体的に、補正部150は、食器のイメージから深さ情報を用いて食器500の形状を抽出できる。食器のイメージで食器500と食器500以外の背景は深さ情報において差があるので、補正部150は、これを用いて食器のイメージから食器500を抽出できる。
補正部150は、食器500において食べ物に遮られず露出した領域のうち平らな(flat)領域を確認し、平らな領域のうちの少なくとも3箇所以上のポイントを定め、定められた3箇所以上のポイントの深さ情報を確認する。
ここで、3箇所以上のポイントの深さ情報を確認することは、3箇所以上のポイントを用いて仮想の平面を生成し、該当平面の勾配を確認するためのものであって、補正部150は、定められた3箇所以上のポイントの深さ情報を用いて食器500の勾配を算出し、算出された勾配を用いて撮影された食器のイメージを補正できる。
複数の実施例において、平坦な領域のうちの少なくとも3箇所以上のポイントを定めた後、定められた3箇所以上のポイントの深さ情報を確認する代わりに、定められた3箇所以上のポイントについて各ポイントの周囲のポイントに関する平均深さ情報を各ポイントの深さ情報とすることによって、勾配の算出のために相対的に多くの情報を活用することで、算出された勾配の正確度を向上させることができる。
複数の実施例において、定められた3箇所以上のポイントの深さ情報を用いて食器500の勾配を算出する過程で各ポイントを連結する線によるグラジエント(gradient)値を導き出すことができ、これにより食器500の勾配を算出し、算出された勾配を用いて撮影された食器のイメージを補正できる。
複数の実施例において、補正部150は、食器のイメージから食器50の輪郭を把握し、撮影された食器のイメージでの食器50の輪郭とレファレンスとして活用するための傾かない食器のイメージでの食器50の輪郭を比較することによって、撮影された食器のイメージでの食器50の勾配を算出できる。次いで、補正部150は、算出された勾配を用いて撮影された食器のイメージを補正できる。
また、受信部110を介して受信した2つの食べ物が盛られた食器イメージデータに現場の状況(揺れ、光反射など)によってノイズが発生する恐れがあるため、2つの食器イメージを比較してノイズを除去するようにすることができる。
次いで、図1を参照すると、抽出部120が、食べ物が盛られた食器イメージデータから食器500の各空間510に収容された食べ物イメージデータを抽出する(S530段階)。
より詳しくは、食器イメージには食器500と食べ物のイメージが共に含まれているため、食べ物イメージデータを食器イメージから抽出することを意味する。例えば、抽出部120は、食べ物と食べ物ではないものを区分できるように、人工知能アルゴリズムを用いて学習されたモデルを用いて食べ物イメージデータを抽出できる。ここで、食器500に複数の空間510が含まれている場合、抽出部120は、各空間510毎の食べ物イメージデータを抽出できる。
一方、図5を参照すると、空間が区分されていない1つの食器500に複数の食べ物が盛られたことが示されているが、食器500内に空間が区分されていないので、抽出部120が、複数の食べ物が含まれている1つの食べ物イメージ550全体として認識しうる。このような場合、抽出部120は、1つの食べ物イメージデータ全体をそれぞれの食べ物イメージデータに分離して抽出する過程を追加的に行わなければならない。
次いで、図1を参照すると、判断部130が、抽出された食べ物イメージデータにより各食べ物の種類を判断する(S40段階)。
判断部130は、抽出された食べ物イメージデータを用いて食べ物の種類を判断できる。例えば、判断部130は、食べ物の種類を認識するために、イメージに基づいて学習されたモデルを含むことができるが、食べ物の種類を判別する方式はこれに限定されない。
本実施例に係る食べ物測定方法において、食べ物の種類の認識率を高めるために、人工知能アルゴリズムを用いて学習されたモデルを以下の方法で食べ物測定方法を用いる個別対象に対して最適化できる。個別対象は、例えば個別の食堂又は個別の食事主体であり得るが、これに限定されない。
まず、図6を参照すると、受信部110は、食堂又は食事の主体など個別対象から学習されたモデルを最適化させるための最適化情報を受信する(S31段階)。
最適化させるための対象となる学習されたモデルはマスターモデルであって、マスターモデルは、食べ物測定装置200又はユーザ端末300から撮影されたイメージデータ又は処理された結果をデータセットにして食べ物の種類を区分するように学習が進められたモデルである。
マスターモデルは、食べ物測定方法に利用される全ての撮影されたイメージデータ又は処理された結果をデータセットにして構築されたものであるため、特定の食べ物イメージデータの種類を判断するために、マスターモデルは数十、数百、数千種類の食べ物種類のクラスで該当特定の食べ物イメージデータがどんな食べ物の種類であるかを把握することになる。
マスターモデルを最適化することは、特定の食べ物イメージデータの食べ物の種類を把握するために考慮すべき食べ物種類のクラスの場合の数を減らすことである。このために、食堂又は食事の主体など個別対象に関する最適化情報を獲得できる。
即ち、受信部110は、個別対象に対して最適化情報を受信できる。最適化情報として、例えば、個別の食堂で販売するか、提供するメニュー情報又は個別の食事主体が頻繁に摂取する食べ物の種類など、各個別対象によって摂取されるか、個別対象を利用する食事の主体によって摂取される確率が高いものであり得る。
次いで、図6を参照すると、判断部130は、最適化情報に基づいてマスターモデルでクラスを最適化し、ローカルモデルを算出する(S32段階)。
判断部130は、最適化情報に基づいて該当個別対象と関連度の高い食べ物種類のクラスを選定し、マスターモデルで考慮する食べ物種類のクラスを該当個別対象と関連度の高い食べ物種類のクラスに縮小する方式で、マスターモデルのクラスを最適化し、該当個別対象に対するローカルモデルを算出する。
次いで、図6を参照すると、判断部130は、個別対象と関連するイメージデータを用いて学習を行い、ローカルモデルを高度化する(S33段階)。
判断部130は、算出されたローカルモデルを個別対象と関連するイメージデータ又は個別対象と関連して処理された結果を用いて学習を進めることで、ローカルモデルを高度化できる。
ここで、個別対象と関連するイメージデータは、個別対象に個別の食堂内で撮影されたイメージデータ又は個別の食堂内で撮影されたイメージデータが処理された結果であるか、個別対象に個別の食事主体によって撮影されたイメージデータ又は個別の食事主体によって撮影されたイメージデータが処理された結果であり得る。
一方、判断部130は、算出されたローカルモデルを個別対象と関連するイメージデータ又は個別対象と関連して処理された結果を用いて学習を進めることで、ローカルモデルを高度化する過程で、判断部130は、人工知能アルゴリズムを用いて学習を進める過程で学習母数、学習周期など多様な変数を変更しながら学習を進め、進行された学習方式のうち正確度が最も高い学習方式を用いて高度化過程を進めることができる。
次いで、図6を参照すると、判断部130は、高度化したローカルモデルを提供でき、これを用いて判断部130が抽出された食べ物イメージデータによって各食べ物の種類を判断することで、正確度を向上させることができる(S34段階)。
複数の実施例において、先行する段階として、受信部110が、食堂で提供する食べ物リスト情報を受信する段階(S10)を更に含めることができる。
この場合、食べ物の種類を判断する段階(S40段階)で、判断部130は、抽出された食べ物イメージデータと食べ物リスト情報をマッチングし、各食べ物の種類を判断することもできる。
このように、判断部130が食べ物イメージデータを分析して食べ物の種類を独自に判断することもでき、格納されている食べ物リスト情報とマッチングして食べ物の種類を判断することもでき、食べ物の種類を判別する方式はこれらに限定されない。
次いで、図1を参照すると、算出部140が、抽出された食べ物イメージデータのピクセル別の高さ情報(即ち、3次元距離データ)を用いて各食べ物の体積を算出する(S50段階)。
上述したように、食器のイメージは、深さデータを獲得できる撮影部250によって撮影されるため、食べ物イメージデータに深さデータとしてピクセル別の高さ情報(3次元距離データ)が含まれており、これを用いて各食べ物の体積を算出できるようになる。
撮影部350ここで、コンピュータは食器イメージと食器500に形成された複数の空間510に対する大きさ、深さ及び容量を含む食器情報が格納されたデータベース170を含む。
そして、体積算出段階(S50段階)は、補正部150が、各食べ物が収容された空間510の大きさ、深さ及び容量を含む食器情報を用いて算出された各食べ物の体積を補正する段階を更に含むことができる。
食器500の種類によって各空間510の深さが異なるため、補正部150が食器情報を用いると、食べ物が積層された程度をより正確に判断できるようになる。本実施例に係るコンピュータのデータベース170には、食堂で用いる食器500に対するデータが格納されているため、本実施例に係る食べ物測定方法を用いると、食器情報を用いて抽出された各食べ物の体積をより正確に算出できる。
例えば、算出部140は、判断部130によって食器500内の特定の空間510に収容された食べ物の種類が液体であると判断される場合、液体と該当空間510が接する位置と該当空間510の大きさ、深さ及び容量を含む食器情報を用いて液体の体積を算出できる。
特定の空間510に「お汁」のような液体状の食べ物が収容されると、必然的に「スープ」と該当空間510が一定の高さで接する部分が発生することになる。算出部140は、これを用いて食器イメージから液体状の食べ物と該当空間510が接する位置を認識し、該当空間510の食器情報(大きさ、深さ、容量)を用いて食べ物の体積を算出する。
例えば、図3に表記された「A」領域に「お汁」と空間510が接する部分が示されており、算出部140は、イメージデータ内のA領域のような部分によって液体と液体が収容された空間510が接する位置を確認できるようになる。そして、算出部140は、食器情報(例えば、容量)を用いて「A」領域の高さまでの体積を算出することによって、「お汁」の体積を算出できる。
複数の実施例において、図5に示すように、空間が区分されていない1つの食器500に対して追加の補正を行える。算出部140は、体積算出段階で食べ物イメージデータから1つの食器500内に区分されていない空間に複数の食べ物が収容されているものと判断される場合、抽出部120に複数の食べ物それぞれのイメージデータを要請し、各食べ物の体積を算出する。
そして、算出部140は、抽出された食べ物イメージデータ全体を用いて食べ物全体の体積を算出し、体積算出段階で算出された各食べ物の体積の総和と食べ物イメージデータ全体によって算出された体積とを比較し、各食べ物の体積を補正できる。
複数の実施例において、体積算出段階(S50段階)は、積層された食べ物の体積を算出する段階(S51段階)を更に含むことができる。
より詳しくは、食器500内の特定空間510には、複数の食べ物を積層できる。従って、算出部140は、食器500内の特定空間510に互いに異なる食べ物が積層されていると認識される場合、上側に位置する食べ物のイメージデータと算出された体積情報、そして該当空間510の大きさ、深さ及び容量情報を用いて下側に位置する食べ物の体積を算出する。
図4は、食器においてご飯が収容された空間510にご飯の上に目玉焼きが積層されていることを例示した図である。算出部140は、食器情報と目玉焼きのイメージデータによって目玉焼きの大きさと体積を算出する。
また、算出部140は、目玉焼きの大きさと体積情報によって該当空間510に収容されたご飯の高さを予測でき、これと共に食器情報を用いて該当空間510に収容されたご飯の体積を算出できる。
具体的に、下側に位置する食べ物(例えば、ご飯)が上側に位置する食べ物(例えば、目玉焼き)によって遮られる面積を算出し、下側に位置する食べ物(例えば、ご飯)のうち上側に位置する食べ物(例えば、目玉焼き)によって遮られない領域の高さを用いて上側に位置する食べ物(例えば、目玉焼き)によって遮られる領域の高さを算出することによって、下側に位置する食べ物(例えば、ご飯)が上側に位置する食べ物(例えば、目玉焼き)によって遮られる領域の体積を算出できる。
このため、下側に位置する食べ物(例えば、ご飯)が上側に位置する食べ物(例えば、目玉焼き)によって遮られる領域の高さは、下側に位置する食べ物(例えば、ご飯)が上側に位置する食べ物(例えば、目玉焼き)によって遮られない領域の高さの平均として設定され得るが、これに限定されない。
複数の実施例において、コンピュータのデータベース170には、他の食べ物の上側に積層される食べ物に対するデータが予め格納され得る(例えば、目玉焼き、魚、海苔など)。例えば、食べ物の上側に主に積層される食べ物に対するデータとして体積データ又は重さデータを含めることができ、これにより算出部140は、上側に積層される食べ物の体積を迅速に算出することもできる。
一方、体積算出段階(S50段階)は、補正部150が食器のイメージ内に食器と共に撮影されたノイズ成分を補正する段階(S52段階)を更に含むことができる。即ち、補正部150が、食べ物が盛られた食器イメージデータの中から食べ物ではないのに体積を有するノイズ成分を検出し、各食べ物の体積を算出する段階で算出された食べ物の体積から検出されたノイズ成分の体積を除外する補正を修正する段階を更に含むことができる。
ここで、ノイズ成分は、食べ物ではないのに体積を有するものであって、ノイズ成分の体積によって食べ物の体積が実際よりも大きく算出され得る。従って、補正部150は、食べ物の体積を正確に算出するために撮影されたイメージ内でノイズ成分を認識し、算出部140によって算出された食べ物の体積から該当ノイズ成分の体積を除外する補正を行える。
例えば、手や食器類(例えば、スプーン、フォーク、ナイフなど)が食べ物ではないのに体積を有するノイズ成分であり、この他に乳製品の蓋などがこれに該当し得るが、これに限定されない。例えば、コンピュータのデータベース170には、ノイズ成分に該当する対象に関するノイズ情報を予め格納でき、補正部150は、撮影されたイメージ内でノイズ成分を認識して算出部140によって算出された食べ物の体積から該当ノイズ成分の体積を除外させる補正を行える。
一例として、ノイズ成分を補正する段階で補正部150は、使用者の手に対するイメージを食器のイメージから認識し、算出部140によって算出された食べ物の体積値から手に対する体積値を除外する補正を行える。具体的に、使用者が食器500を持っている状態で、食べ物測定装置200によって食器500を撮影することもできるが、食器500を持っている手のイメージデータのため、食べ物の体積算出に誤りが生じることもありうるため、補正部150が、食べ物が盛られた食器イメージデータによって算出された食べ物の体積値から手のような身体部位に対する体積値を除外させる補正を行うことにより、食べ物の体積算出段階(S50)で正確度をアップさせることができる。
一実施例として、補正部150は、空き食器500とスプーンに対するイメージデータについて予め学習され、食器イメージ内にスプーンが含まれている場合、これを認識してスプーンの体積値を除外する補正を行える。
より詳しくは、補正部150は、食べ物が盛られた食器イメージデータ内の使用者の手又は食器類の存否を検出する。そして、食器のイメージ内に使用者の手又は食器類が含まれている場合、食べ物が盛られた食器イメージデータによって算出された食べ物の体積値から使用者の手又は食器類の体積値を除外させる。
上述した補正部150の構成と動作により、本発明の実施例に係る食べ物測定方法は、以後の段階が行われる際に正確度を上昇させる効果を発揮することになる。
次いで、図1を参照すると、算出部140がS50段階で算出された各食べ物の体積情報と食べ物情報を用いて各食べ物の重さを含む食事情報を算出する(S60段階)。
コンピュータのデータベース170には、食べ物別の体積当たりの重さ、各食べ物別の重さ当たりのカロリー情報、各食べ物別の重さ当たりの栄養成分情報を含む食べ物情報が格納されている。
食べ物は、種類によって体積当たりの重さが異なり、カロリーも互いに異なる。従って、本発明の実施例において、食べ物別の体積当たりの重さを含む食べ物情報がデータベース170に格納されており、算出部140がこれを用いて食べ物の体積情報から食べ物の重さを算出する。
これを用いて、算出部140は、重さ算出段階(S60段階)の後に、各食べ物の算出された重量情報を用いて使用者の配膳用食器に収容された食べ物のカロリーを計算でき、その他に、使用者が摂取した栄養成分情報を算出でき、食べ物又は食べ物に含まれている栄養成分に基づいてアレルギー注意事項のように追加的な特異情報を算出できる。
この他に、算出部140は、食べ物の種類と、各食べ物の体積又は重さを用いて、該当食べ物に関する価格情報を算出できる。
算出部140は、前述した食事情報に含まれている情報を食べ物測定装置200のディスプレイ部210又はユーザ端末300のディスプレイ部310に提供できる。ディスプレイ部210、310に提供される画面のUIは後述する。
例えば、算出部140は、配膳口のディスプレイ部210/310に表示される情報と返却口のディスプレイ部210/310で表示される情報を異なるようにできる。例えば、配膳口のディスプレイ部210/310には、食べ物の種類に関する情報、カロリーに関する情報、栄養成分情報、アレルギー情報及び価格情報などが表示され、返却口のディスプレイ部210/310には、前記情報に加えて実際に摂取された量に関する情報を追加で表示することができる。但し、算出部140によって算出される食事情報はこれに制限されず、撮影された情報又はデータベース170に格納された情報を活用して多様な情報を制限なく表示することができる。
これにより、食事の主体は、提供される価格情報によって、現金、カード、口座振替、QRコード(登録商標)タギング、RFIDタギング、顔面認識などの方法で食べ物測定装置200の決済部240又はユーザ端末300によって決済を行える。
一実施例として、食堂には食器500の重さを測定できる重量測定装置(図示せず)を設けることができるが、これに限定されず、受信部110が食堂に設けられた重量測定装置(図示せず)から測定された配膳用食器500の重量情報を受信する段階と、補正部150がS560段階で算出された各食べ物の重さと空き食器の重さの総和と、前記受信した重量情報をマッチングして各食べ物の重さを補正する段階とを更に含むことができる。
上述した補正段階は、選択的に採用されて使用されることができ、重さを測定する過程で使用者の手や各種要因によって重さが実際と異なるように測定され得るので、重量情報が閾値を超えるほど異なって測定される場合、補正段階を行わないこともできる。
以下、図7及び図8を参照し、食べ物測定装置200としてユーザ端末300を用いる他の実施例に係る食べ物測定方法を説明する。但し、本発明の一実施例に係る食べ物測定方法との相違点を中心に説明し、同一の内容については説明を省略する。図7は、本発明の他の実施例に係る食べ物測定方法のフローチャートであり、図8は、バックグラウンドターゲットを説明するテーブルの斜視図である。
本発明の他の実施例に係る食べ物測定方法は、コンピュータにより行われ、ここで、コンピュータは食べ物測定サーバ100又はユーザ端末300を意味する。即ち、撮影は、ユーザ端末300により行われるが、他の段階は食べ物測定サーバ100又はユーザ端末300により行うことができる。
ここで、ユーザ端末300は移動可能な携帯端末であって、食べ物測定方法関連のサービスアプリケーションがインストールされる。ユーザ端末300は、イメージデータと深さデータを獲得できる。このために、ユーザ端末300はRGBカメラ、2Dカメラ、3Dカメラ、ToF(Time of Flight)カメラ、ライトフィールドカメラ(light field camera)、ステレオカメラ、イベントカメラ、赤外線カメラのうちの少なくとも1つを含むことができる。
例えば、ユーザ端末300は、コンピュータ、UMPC(Ultra Mobile PC)、ワークステーション、ネットブック(net-book)、PDA(Personal Digital Assistants)、ポータブル(portable)コンピュータ、ウェブタブレット(web tablet)、無線電話(wireless phone)、モバイルフォン(mobile phone)、スマートフォン(smart phone)、e-ブック(e-book)、PMP(portable multimedia player)、携帯用ゲーム機、ナビゲーション(navigation)装置、 ブラックボックス(black box)又はデジタルカメラ(digital camera)のような電子装置の1つであって、食べ物測定サーバ100又は食べ物測定装置200と関連する食べ物測定アプリケーションのインストール及び実行が可能な全てのユーザ装置を含むことができる。
まず、図7を参照すると、受信部110がユーザ端末300の撮影部350によって撮影された食器のイメージを受信する(S20段階)。
ここで、ユーザ端末300にインストールされたサービスアプリケーションの撮影要請に応じて食べ物を撮影することができ、食べ物の撮影方法、角度などに対するガイドがサービスアプリケーションを介して使用者に映像や音として提供することができる。
一実施例として、サービスアプリケーションは、食べ物を異なる角度から2回以上撮影するように要請できる。3DカメラやToFカメラを用いない場合、食べ物を異なる角度から2回以上撮影すれば、2枚以上の食べ物が盛られた食器イメージデータを比較し、深さデータを獲得できる。また、深さデータの獲得目的ではなくても、2回以上撮影される場合、以後の算出、補正段階でその正確度が上昇するという効果がある。
次いで、図7を参照すると、補正部150が食器イメージの補正を行える(S25段階)。
一実施例として、食器イメージ受信段階(S10段階)は、ユーザ端末300の撮影部350によって食べ物が撮影されるとき、ユーザ端末300のジャイロセンサ(図示せず)によって測定されたユーザ端末300の勾配情報を受信することができる。補正部150は、ユーザ端末300の勾配情報を用いて撮影された食べ物が盛られた食器イメージデータの勾配を補正できる。
本発明の実施例によると、使用者がユーザ端末300を把持し、撮影部350によって食べ物を撮影する過程で所定角度の傾きが発生し得るため、上述した段階を行って食べ物が盛られた食器イメージデータを水平状態に補正できる。
次いで、図7を参照すると、抽出部120が、食べ物が盛られた食器イメージデータから食器500の空間510に収容された食べ物イメージデータを抽出する(S30段階)。
ユーザ端末300によって撮影した食器のイメージには、食べ物のみ含まれているわけではないため、正確な体積を算出するために、本段階でイメージ上から食べ物イメージデータのみを抽出する。
抽出部120は、背景から食べ物を認識して抽出する機能を用いて正確に背景から食べ物を抽出し、2つ以上の食べ物が含まれている場合、2つ以上の食べ物のイメージデータをそれぞれ分離して抽出し、このような過程で人工知能アルゴリズムを用いて学習されたモデルが利用され得る。
次いで、図7を参照すると、判断部130が、抽出された食べ物イメージデータによって各食べ物の種類を判断する(S40段階)。
判断部130は、人工知能アルゴリズムを用いて学習されたモデルを用いて、抽出部120が抽出した各食べ物イメージデータの食べ物の種類を判断する。複数の実施例において、判断部130は、正確度が類似する複数の判断結果が出る場合、ユーザ端末300に複数の判断結果を出力し、ユーザ端末300のサービスアプリケーションによって使用者から正しい結果を入力又は選択するようにすることができる。
次いで、図7を参照すると、算出部140が、抽出された食べ物イメージデータのピクセル別の高さ情報(即ち、3次元距離データ)を用いて各食べ物の体積を算出する(S50段階)。
体積算出段階(S50段階)は、体積補正段階(S53)を含むことができる。一実施例として、体積補正段階(S53 段階)で体積の補正のためにバックグラウンドターゲットが利用され得る。
体積補正段階(S53段階)で、判断部130が受信した食器イメージ内に含まれているバックグラウンドターゲットを認識し、補正部150が、認識されたバックグラウンドターゲットの大きさ情報、位置情報に基づいてS50段階で算出された各食べ物の体積を補正できる。
図8を参照すると、補正部150は、バックグラウンドターゲットと各食べ物の高さ情報とを比較し、各食べ物の体積を補正することもでき、バックグラウンドターゲットと各食べ物の大きさ情報とを比較し、各食べ物の体積を補正することもできる。
ここで、バックグラウンドターゲットは、撮影部350によって食べ物と共に撮影されるか、別に撮影されるものであって、食べ物が収容された食器500、テーブル540、スプーン、使用者の指などを利用することができる。但し、これに制限されず、バックグラウンドターゲットは、通常の大きさを有する対象であれば、何でも適用可能である。例えば、バックグラウンドターゲットは、硬貨、紙幣、スマートフォン(製品種別)などのようにその大きさが定められている対象であれば何でも適用することができる。
複数の実施例において、バックグラウンドターゲットは、ユーザ端末300の撮影部350によって別途に撮影され、大きさ情報をデータベース170に予め格納することができる。これにより、補正部150は、バックグラウンドターゲットの大きさ又は高さに基づいて、抽出された食べ物イメージデータから食べ物の体積を高い正確度で予測できる。
第1の例として、サービスアプリケーションが使用者に撮影部350によって使用者の手を一定距離で撮影するようにすることができる。または、サービスアプリケーションは、使用者の手/手指の実際の大きさを実測して入力するようにすることもできる。
そして、受信部110は、使用者の手が撮影されたイメージを分析し、使用者の手の実際の大きさに関する情報をデータベース170に格納する。
その後、判断部130は、受信した食器イメージ内に使用者の手が含まれていることが認識されると、使用者の手をバックグラウンドターゲットに設定し、補正部150がバックグラウンドターゲットの位置情報と大きさ情報に基づいて算出部140から算出した各食べ物の体積を補正できる。
第2の例として、サービスアプリケーションが使用者に撮影部350によって家で使う食器500、テーブル540、スプーンなどを一定距離で撮影するようにすることができる。このとき、テーブル540は、使用者が食器500を配置して食事をする食卓又はテーブルなどを意味し得る。
具体的に、コンピュータは、ユーザ端末300の撮影部350によって撮影された使用者が家で使う食器500に対するイメージを分析し、該当食器500に対する大きさ、深さ及び容量情報を含む食器500情報をデータベース170に格納できる。
より詳しくは、本発明の実施例に係るユーザ端末300の撮影部350によって撮影された映像には、ピクセル別の高さ情報が格納されているため、算出部140は、空き食器500に対するイメージデータを受信すると、食器イメージデータのピクセル別の高さ情報を用いて食器に対する大きさ、深さや容量情報を算出でき、これを食器情報としてデータベース170に格納することを意味する。
そして、算出部140は、食べ物のイメージの分析の結果、食べ物中に前記食器500に収容された食べ物が存在する場合、該当食べ物が収容された食器500の大きさ、深さ及び容量情報を用いて算出された各食べ物の体積補正を行う。
前記のように、該当食器500の大きさ、深さ及び容量情報を知っていれば、補正段階を行ってより正確な結果が得られる。
複数の実施例において、サービスアプリケーションは、使用者に食器500、テーブル540、スプーンなどの実際の大きさを実測し、ユーザ端末300に入力するように要請できる(例えば、テーブル540の横、縦或いは周りの長さ情報)。
第3の例として、食べ物と関連しないバックグラウンドターゲットを用いる場合を説明する。例えば、使用者は500ウォンの硬貨を食べ物のイメージと共に撮影し、サービスアプリケーションによってバックグラウンドターゲットとして500ウォンの硬貨を共に撮影したことを入力できる。
従って、判断部130は、受信した食べ物が含まれている食器イメージ内に含まれている500ウォンの硬貨(バックグラウンドターゲット)を認識し、補正部150が500ウォンの硬貨(バックグラウンドターゲット)の大きさ情報に基づいて算出された各食べ物の体積を補正する。
このように、一般に大半の人が使用して、その大きさが定められている対象はバックグラウンドターゲットとして適用可能であるため、使用者は、簡単に周辺対象を食べ物と共に撮影して、補正部が各食べ物の体積を補正するようにできる。
また、位置情報(飲食店、給食施設など)、天気情報(紫外線、食べ物の種類の縮小)、使用者の状態情報(ダイエット中、運動中、闘病中、薬服用中など)、個人の好み情報、周辺デバイス情報を多様に活用して体積を補正することで、正確度を上昇させることができる。
第4の例として、コンピュータは、複数の使用者のユーザ端末300によって撮影されたイメージデータと、該当イメージデータによって算出された情報、該当イメージが撮影された場所とマッチングされる食堂に関する情報を格納し、ビッグデータを構築できる。
例えば、A使用者がB食堂でCメニューを注文し、ユーザ端末300によってCメニューを撮影すると、Cメニューに含まれている食べ物の種類を判断し、各食べ物の体積を算出することになり、コンピュータは、これらの情報をデータベース170に格納し、ビッグデータとして活用する。
そして、特定使用者のユーザ端末300を介して食べ物のイメージデータが受信され、食べ物のイメージが撮影された位置情報と判断された食べ物の種類をコンピュータ内のデータベース170のデータとマッチングしてマッチングされる内訳の以前の算出結果を検出でき、これを用いて算出された各食べ物の体積情報を補正できる。
例えば、D使用者がB食堂とマッチングされる位置で食べ物を撮影して食べ物のイメージデータを伝送した場合、ビッグデータに位置情報をマッチングしてD使用者がB食堂に位置していると判断し、注文したメニューとマッチングされる以前の結果データを照会して算出体積情報に対する補正を行うことができる。
これと関連して、反対の場合にも適用が可能である。より詳しくは、食べ物に対するデータが先に格納され、使用者が食堂で計算する際にどんな食べ物を注文して食べたかが分かると、逆に格納されたデータを読み出して体積、栄養情報を記録できる。
まとめると、サービスアプリケーションは、ユーザ端末300による撮影時、使用者に映像又は音でバックグラウンドターゲットを食べ物の撮影前に撮影するように要求するか、食べ物と共に撮影するように要求できる。そして、判断部130は、受信したバックグラウンドターゲットを認識し、補正部150がバックグラウンドターゲットの位置情報と大きさ情報に基づいて算出部140で算出した各食べ物の体積を補正できる。
次いで、図7を参照すると、算出部140がS50段階で算出された各食べ物の体積情報と食べ物情報を用いて各食べ物の重さを含む食事情報を算出する(S60段階)。
前述した本発明の一実施例に係る食べ物測定方法を用いて、コンピュータが食堂又は家庭で食事をする各食事主体の配膳量(食前の飲食量を意味する)、残飯量を測定し、これを用いて食事量を算出できる。
そして、コンピュータが食堂又は家庭で食事をする食事主体の配膳量、残飯量、食事量を用いて食堂の運営情報、食事主体らの管理情報を生成でき、食事主体の管理情報として、例えば使用者の栄養状態、食習慣、偏食するか否かなどが含まれることができる。
以下、図9を参照し、本発明の一実施例に係る食堂運営情報及び食事主体の管理情報提供方法を説明する。図9は、本発明の一実施例に係る食堂運営情報及び食事主体の管理情報提供方法の順序図である。
まず、図9を参照すると、受信部110が配膳口に設けられた配膳口撮影部250又はユーザ端末300の撮影部350によって撮影された食前食器データ(食前食器イメージデータ)を獲得し、算出部140がこれを用いて食事主体の配膳量を算出する(S110段階)。詳細な説明は、図1~図8によって説明した通りであり、食事の主体に対する識別段階(S120段階)を同時に行うことができる。ここで、食前食器は、食事前の食事主体の食器500に食べ物が盛られた状態の食器500を意味する。
次いで、図9を参照すると、返却口に設けられた返却口撮影部250又はユーザ端末300の撮影部350によって撮影された食後食器データ(食後食器イメージデータ)を獲得し、算出部140がこれを用いて食事主体の残飯量を算出する(S120段階)。詳細な説明は、図1~図8によって説明した通りであり、食事の主体に対する識別段階(S120段階)を同時に行うことができる。ここで、食後食器は、食事後の食事主体の食器500を意味する。
次いで、図9を参照すると、算出部140は、算出された配膳量と残飯量を利用して該当食事主体の食事量を算出する(S130段階)。
S110~S120段階によって、コンピュータは、食事の主体が食堂で提供する各食べ物のメニューを配膳された量と食べ残した残飯量、そして摂取した量(食事量)を算出することで、食事の主体がご飯、おかずをどれだけ摂取したか、どれだけの量を残したかなどに関する情報を確保できるようになる。
なお、本発明の実施例に係るコンピュータは、飲食量の算出の正確度を向上させるために、以下の動作を行える。
一実施例として、算出部140は、前記段階により算出された食事主体の食事量と残飯量の和が配膳量と一致するか検証を行い、検証の結果、一致しない場合、算出部140は、食事量又は残飯量の和が配膳量と一致するように前記段階により算出された食事量、残飯量及び配膳量のうちの少なくとも1つを補正でき、これによる結果をデータベース170に記録する。
また、算出部140は、前記段階により算出された食堂の食事主体らの食事量の総和と残飯量の総和を合わせたものが配膳量の総和と一致するか検証を行い、検証の結果、一致しない場合は、算出部140は、食事量の総和と残飯量の総和を記録したものが配膳量の総和と一致するように、前記段階により算出された食事量の総和、残飯量の総和及び配膳量の総和のうちの少なくとも1つを補正でき、これによる結果をデータベース170に記録する。
更に、算出部140は、前記段階により算出された食堂の食事主体の食事量の総和と残飯量の総和が配膳量の総和と一致するか検証を行い、データベース170に記録する。より詳しくは、算出部140は、食堂で食事をする食事主体の配膳量の総和と残飯量の総和の差値が食事量の総和と一致するか否かを検証する。
また、算出部140は、食堂に準備された飲食量の総和を食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体らの食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部140は、食堂に準備された飲食量の総和が食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体らの食事量の総和を合わせたものと一致するように、残飯量の総量、残食量の総量及び食事量の総和のうちの少なくとも1つを補正でき、例えば食事量を補正でき、これによる結果をデータベース170に記録できる。
ここで、残飯量は、食事の主体に配膳され、食事の主体が食べ残した食べ物の量であり、残食量は、食事の主体に配膳されずに残された食べ物の量とでき、残食量は、前記段階により算出されるか、別の方法により算出することができる。
また、データベース170には、食堂で毎回配膳のために準備した飲食量の総重量、残食量の総体積(重さ)及び残飯量の総重量の測定結果が格納されることができ、算出部140は、準備した飲食量の総体積(重さ)を残飯量の総体積(重さ)、残食量の総体積(重さ)及び前記段階により算出された食堂の食事主体の食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部140は、食堂に準備された飲食量の総和が食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体の食事量の総和を合わせたものと一致するように、前記段階により算出された食事主体の食事量の総和を補正でき、これによる結果をデータベース170に記録できる。
このように、算出部140が各種情報を用いて検証を行い、算出/補正による正確度を記録することによって、問題を把握して改善していくことが可能となる。
例えば、データベース170には、食堂で毎回配膳のために準備した飲食量の総体積(重さ)と残飯量の総体積(重さ)の測定結果を格納することができ、算出部140は、準備した飲食量の総体積(重さ)と残飯量の総体積(重さ)の差分と前記段階により算出された食堂の食事主体の食事量の総和を比較して検証を行い、データベース170に記録できる。(例えば、食堂で準備したAメニューの総体積が200であり、残された量がなく全て配膳されたとすれば、食事の主体に配膳されたAメニューの体積の総和は200に近似していなければならない。)
一方、正確な食事量の算出のためには、食前と食後に撮影されなければならないが、使用者が誤って食後に撮影しない場合が発生し得る。
従って、算出部140は、食前に食べ物が盛られた食器イメージデータを受信した後、予め設定された時間が過ぎた状況で、食後の食器イメージデータが撮影及び受信されない場合、食後の食器イメージデータの撮影が行われなかったものと判断し、使用者の予想食事量を算出する。
例えば、算出部140は、使用者が食べ残さなかったものと見なして、使用者の予想食事量を算出することもでき、データベース170に格納された使用者の平均食事量、状態情報(ダイエット、増量中、運動中など)、空腹の程度、食前の食べ物イメージに含まれているメニューに対する使用者の好み、メニューの味に関る情報などによって使用者の予想食事量を算出し、データベース170に格納することもできる。
次いで、図9を参照すると、コンピュータの管理部180が食堂に登録された食事主体の配膳量、残飯量及び食事量に基づいて食堂の運営情報を生成する(S140段階)。
次いで、図9を参照すると、コンピュータの管理部180が食堂に登録された食事主体の配膳量、残飯量及び食事量に基づいて各食事主体らの管理情報を生成する(S150段階)。
S140段階は、食堂の運営に役立つ運営情報を生成することを意味する。
より詳しくは、管理部180の配膳量調節モジュール181は、食堂に配膳のために用意した総配膳準備量と配膳が完了した食事主体の配膳量の総和、そして残りの食事主体人数に関する情報を用いて、残りの食事主体の1人当りの目標配膳量を算出して食堂管理者装置(図示せず)に提供する。
このとき、食堂管理者は、食堂内で献立を立てて、食事の主体に直接配膳を行っている担当者を意味し、食堂の食堂管理者の前には、配膳する料理と共にディスプレイ装置30のような食堂管理者デバイスを設置することができる。
従って、食堂管理者は、配膳量調節モジュール181が食堂管理者ディスプレイに残りの食事主体の1人当たりの目標配膳量に関する情報を提供すると、これを用いて残りの食事主体に対する配膳量を調節できる。
本発明の実施例において、食堂管理者は、前記のように食堂内で食事の主体に直接配膳を行う担当者を意味することもでき、食堂を管理する管理者或いは食堂の栄養士を意味することもできる。
このような構成によって、残りの食事主体数に比べて配膳準備量が多く残っていると、残りの食事主体に対する1人当たりの目標配膳量を上昇させ、生ゴミを減らすという効果が得られる。
また、残りの食事主体数に比べて配膳準備量が不足していると、残りの食事主体に対する1人当たりの目標配膳量を減少させ、食べ物が不足して食事できない人(食事の主体)が発生するのを防ぐという効果が得られる。
一実施例として、運営情報生成段階(S140段階)は、配膳グループ管理モジュール183が各配膳人員の所属をチェックし、所属別に配膳量、残飯量及び食事量を格納し、これを用いて各所属別の好きな食べ物、嫌いな食べ物、残飯量、栄養状態のうちの少なくとも1つを含む所属別情報を生成する段階と、天気、曜日と各所属別の日程情報と前記所属別の情報をマッチングしてこれに対する関連性情報を抽出する段階と、を含むことができる。
このとき、配膳人員の所属とは、会社の場合に会社、グループ、チームなどを意味し、学校の場合は学科、クラスなどを意味し、軍隊の場合には軍団、師団、連隊、大隊、中隊、小隊、分隊を意味し得る。
そして、所属別の日程情報は、会社の場合には四半期、進行中のプロジェクト、事業を意味することができ、学校の場合は学期、試験期間などを意味することができ、軍隊の場合には各種訓練期間などを意味することができる。
従って、本発明の実施例によると、食事主体の所属によって好きな食べ物と嫌いな食べ物に関する情報を用いて所属別の食べ物の好みを把握でき、今後の配膳メニューに対する正確なガイドを作成できるようになる。
また、管理者は、所属別に残飯量と栄養状態について把握できるようになる。
そして、天気、曜日と各所属別の日程情報を所属別情報とマッチングして関連性情報を抽出することで、管理者は、天気、曜日によって食事主体の食欲や食べ物の好みの変化をチェックできるようになり、軍隊の場合、各種訓練日程に応じて軍人の食事量などがいかに変化するかが把握できるようになる。
管理者は、このような情報を用いて軍所属と訓練日程によって配膳メニューと配膳量を適切に調節し、訓練日程を消化する軍人に適した配膳を提供できる。
一実施例として、運営情報生成段階(S140段階)は、食堂別に配膳量が類似しているのに対し、残飯量において一定量以上の差が発生する場合、管理部が、残飯量の少ない食堂が食材の等級と調理方法が優れているものと判断し、該当食堂の食材需給情報と食べ物の調理方法を他の食堂の食堂管理者デバイスに提供できる。
例えば、2箇所又はそれ以上の食堂で食べ物のメニューと配膳量が類似しているのに対し、残飯量において大きな差が発生したとすれば、残飯量の少ない食堂は食材の等級が高く調理方法が優れており、残飯量の多い食堂は食材の等級が低く調理方法が劣っていることを意味し得る。
従って、管理部が、残飯量が少なく発生した食堂の食材需給情報と食べ物の調理方法を他の食堂の食堂管理者デバイスに提供することで、食堂の質を向上させるという効果を発揮する。
一実施例として、管理情報生成段階(S150段階)は、食事主体管理モジュール185が各食事主体の身体情報、配膳量、残飯量及び食事量を用いて、各食事主体の好きな食べ物、嫌いな食べ物、平均残飯量、栄養状態、平均食事量のうちの少なくとも1つを含む対象別情報を生成する段階を含む。
また、食事主体管理モジュール185が前記対象別情報を用いて各食事主体の体力管理情報、肥満危険度を算出し、ダイエット状態に設定されていない食事主体の食事量が一定時間で一定量以下に減少するか、残飯量が一定時間で一定量以上に増加する場合、該当食事の主体を注意対象に設定する段階を含む。
例えば、大半の軍人は規則的な生活と日程を消化するため、持続的に栄養状態を供給されなければならず、個人的な問題がある場合を除いては殆どの場合、一定の食事量を維持する。しかし、個人的な問題が発生して意欲が低下し、体調を崩した場合には食事量からこれが表れるため、これを用いて個々人の問題を早期発見できるようにする。
従って、食事主体管理モジュール185は、ダイエット状態に設定されていない食事主体の食事量が一定時間で一定量以下に減少する場合、該当食事の主体に問題が発生して食欲が低下したものと判断し、該当食事の主体を注意対象に設定する。
また、食事主体管理モジュール185は、ダイエット状態に設定されていない食事主体の残飯量が一定時間で一定量以上に増加する場合、該当食事の主体が配膳する飲食量は従来と同程度であるが、食欲が低下して食事量が減り、残飯量が増えるものと判断し、該当食事の主体を注意対象に設定する。
このように、食事主体管理モジュール185が食事主体個々人を管理し、問題が発生した疑いのある食事の主体を注意対象に設定することによって、軍隊のような場所でケアが必要な兵士に事故が発生する前に危険の兆しを早期に発見し、管理者が相談をするなどの対策を講じられるという効果がある。
この他にも、食事主体管理モジュール185は、食事の主体それぞれの栄養状態と平均食事量などの情報を含む対象別情報を生成するため、管理者は、このような情報を用いて所属別の特徴と状態はもちろん、個々人の特徴と状態を確認できる。
一実施例として、運営情報作成段階(S140段階)は、食事主体の平均的な好きな食べ物、嫌いな食べ物、食事量を算出し、配膳メニュー推薦モジュール187がこれを用いて食堂の1つ以上の推薦メニューと配膳準備量を導き出し、食堂管理者デバイスに提供する段階を含む。
1日に少なくとも1、2回以上配膳が行われる食堂で、毎日食事の主体の好みと栄養状態を考慮して配膳メニューを決めることは、食堂管理者には非常に難しい業務である。
更には、栄養状態を考慮すると、食事主体の好み(好きな食べ物)と合わず、多量の食べ残し(生ゴミ)が発生し、食事主体の好みに合わせると、栄養状態のバランスを取り難くなるという問題がある。
従って、配膳メニュー推薦モジュール187は、食事主体の平均的な好きな食べ物、嫌いな食べ物、食べ物のメニュー別の食事量を算出し、これを用いて推薦メニューと共に配膳準備量を導き出して提供することで、食堂管理者、管理者が食堂を管理するのに役立つようにするという効果がある。
また、このようなアルゴリズムを実現するために、コンピュータのデータベース170には、食べ物別の関連度が格納されている。例えば、A、B、Cの食べ物が関連度が高く、該当食堂の食事主体がB食べ物を好む場合、AとC食べ物も好む可能性が高いと判断できる。
このとき、配膳メニュー推薦モジュール187は、後述する食べ物メニューの選好情報、味の評価点数を用いて推薦メニューを導き出せる。
一実施例として、管理部180の配膳メニュー評価モジュール189は、配膳量、残飯量及び食事量に基づいて運営情報及び管理情報を生成し、配膳された食べ物それぞれの配膳量の変化量と残飯量の変化量を用いて各食べ物メニューの選好度及び配膳された食べ物自体の味の評価点数を評価することを特徴とする。
コンピュータのデータベース170には、食堂で配膳する食べ物の配膳量に対する基準値が格納されている。食事の主体は、配膳されながら食べ物の外形や匂いなどによって美味しそうに見える場合は、配膳量を増やし、反対の場合は配膳量を減らすようになり、食事をしながら美味しくない食べ物の場合は、該当食べ物を多く残す。
上述した構成は、このような特徴を用いて点数を評価するものであって、より詳細には、以下のような基準によって判断することになる。
第一に、配膳メニュー評価モジュール189は、特定食べ物の配膳量が基準値よりも多く残飯量が基準値よりも少ない場合、該当食べ物メニューの選好度を上昇させ、配膳された食べ物自体の味の評価点数を上昇させる。
この場合、配膳者(食事の主体)らが配膳される過程で食べ物を肉眼で見て本人が好きな食べ物であるため、該当食べ物の配膳量を増加させ、食事をしながらも美味しいと判断して該当食べ物を全て摂取したか、少なく残したものと判断することを意味する。
従って、配膳メニュー評価モジュール189が該当食べ物メニューに対する選好点数を高く評価し、配膳された食べ物自体の味の評価点数も高く評価して食材の選択や食べ物の調理がうまく行われたと評価することになる。
第二に、配膳メニュー評価モジュール189は、特定の食べ物の配膳量が基準値よりも多く残飯量が基準値よりも多い場合、該当食べ物メニューの選好度を上昇させ、配膳された食べ物自体の味の評価点数を下落させる。
この場合、配膳者が配膳する過程で食べ物を肉眼で見て本人が好きな食べ物であるため、該当食べ物の配膳量を増加させたが、食事をしながら本人が予想した味と違うか、美味しくないと判断し、該当食べ物を多く残して残飯量が基準よりも多いものと判断することを意味する。
従って、配膳メニュー評価モジュール189が、該当メニューに対する選好点数を上昇させ、配膳された該当食べ物自体の味の評価点数を低く評価して食材の選択や食べ物の調理がうまく行われなかったと評価することになる。
第三に、配膳メニュー評価モジュール189は、特定の食べ物の配膳量が基準値よりも少なく、残飯量が基準値よりも少ない場合、該当食べ物メニューの選好度を下落させ、配膳された食べ物自体の味の評価点数を上昇させる。
この場合、配膳者が配膳する過程で食べ物を肉眼で見て本人が好まない食べ物であるため、該当食べ物の配膳量を減少させたが、食事をしながら意外に美味しいと判断し、該当食べ物を全て摂取したか、少なく残したものと判断することを意味する。
従って、配膳メニュー評価モジュール189が該当メニューに対する選好点数を低く評価し、配膳された食べ物自体の味の評価点数を高く評価して該当食べ物は配膳者が好むわけではないが、食材の選択や食べ物の調理がうまく行われたため、配膳者が満足したと評価することになる。
第四に、配膳メニュー評価モジュール189は、特定の食べ物の配膳量が基準値よりも少なく、残飯量が基準値よりも多い場合、該当食べ物メニューの選好度を下落させ、配膳された食べ物自体の味の評価点数を下落させる。
この場合、配膳者が配膳する過程で食べ物を肉眼で見て本人が好まない食べ物であるため、該当食べ物の配膳量を減少させ、食事をしながらも美味しくないと判断し、該当食べ物を多く残して残飯量が基準よりも多いものと判断することを意味する。
従って、配膳メニュー評価モジュール189が該当メニューに対する選好点数を低く評価し、配膳された該当食べ物自体の味の評価点数も低く評価して該当食べ物は配膳者が好む食べ物でもなく、食材の選択や食べ物の調理がうまく行われなかったと評価することになる。
このような配膳メニュー評価モジュール189の構成により、食堂管理者は各食べ物メニューに対する食事主体らの選好度(選好点数)、食べ物の味の評価点数によって食事主体らのための配膳メニューと食材などを準備できるようになるのはもとろん、食べ物の調理過程に問題があるか否かについても確認できる。
一実施例として、管理部180の食事主体管理モジュール185は、食事主体の食事量に基づいて各食事の主体が摂取した栄養情報を生成し、一定時間の周期で生成された栄養情報に基づいて栄養摂取現況情報を導き出して提供する。
そのとき、食事主体管理モジュール185は、導き出された情報を食事主体の端末、即ちユーザ端末300、食事主体の保護者の端末、食事主体の管理者の端末、食堂管理者の端末などに提供できる。
一実施例として、管理部180は、食事主体の食事量、食習慣情報を用いて栄養状態を改善させ、残飯量を減らすためのプログラムを行える。
管理部180は、食事主体の食事量、残飯量に基づいて各食事主体の栄養情報及び食習慣情報を把握する。そして、これを用いて導き出された各食事主体の栄養状態及び残飯量の変化に応じてリワード又はペナルティを提供する。
より詳しくは、管理部180は、食事主体の食べ物別の残飯量と食事量に基づいて各食事の主体がバランスの取れた栄養摂取と正しい食習慣を持っているかについて把握し、配膳時に以前の記録と比較して栄養状態が改善したと判断されると、該当食事の主体に褒賞、ポイントのようなリワードを提供し、栄養状態が改善されなかったか、悪化したと判断されると、罰のようなペナルティを提供することを意味する。
また、管理部180は、配膳時に各食事主体の残飯量を格納し、モニタリングして特定の食事主体の残飯量が減少していると判断されると、該当食事の主体にリワードを提供し、残飯量が減少していないか、増加していると判断されると、該当食事の主体に罰のようなペナルティを提供することを意味する。
このように各食事主体の栄養情報、食習慣情報を把握し、行動の変化に応じてリワード又はペナルティを提供するため、自然に食事の主体が偏食せず、栄養バランスの取れた食事をするように誘導し、生ゴミの発生を減少させるという効果を発揮する。
例えば、食事の主体が小中学生や患者のように保護者の管理が必要な場合、管理部180の食事主体管理モジュール185は、撮影部250によって得られた食事主体の食前食器のイメージ、食後食器のイメージを食事主体保護者の端末に提供できる。
そして、食事主体の保護者は、アプリケーションを介して写真を確認し、食事の主体がきちんと食事をしているか否かが確認できる。
小中学生や患者の場合、健康のために栄養バランスの取れた食事をしなければならないため、持続的な管理が必要であり、保護者に該当小中学生の栄養状態に関する情報を提供することが必要である。
従って、食事主体管理モジュール185は、小中学生又は患者それぞれの身体情報又は健康情報を周期的に入力して管理し、身体情報と学校の日程などを考慮して小中学生別の基礎代謝量と必要な栄養素などに関する情報を導き出す。
そして、食事主体管理モジュール185は、小中学生又は患者の配膳メニューと食事量データ、基礎代謝量に基づいて栄養状態、食習慣を判断する。
食事主体管理モジュール185は、このように確保されて判断された情報をユーザ端末300、食事主体保護者の端末に提供すると共に、各食事主体の栄養状態と食習慣によって該当食事の主体が自宅で摂取すれば良い推薦メニューを導き出し、状況に応じて栄養剤を推薦できる。
例えば、A小中学生の食習慣と栄養状態を評価した結果、ビタミンA、Dが不足する恐れがあると判断されると、ビタミンA、Dを十分に摂取できるメニューを推薦メニューとして導き出し、ビタミンA、Dの欠乏程度が深刻であると判断されると、栄養剤を推薦することを意味する。
ここで、食事の主体が小中学生又は患者でないとしても、分析された使用者の栄養状態、食習慣、偏食するか否かなどに基づいて、コンピュータは使用者の栄養状態のバランスが崩れている場合、使用者に必要な栄養素が何か、使用者の食習慣に合っていると共に使用者の栄養状態のためのメニューを導き出し、ユーザ端末300に情報を提供することもでき、各種栄養剤に関する情報を提供することで、広告効果を発揮することもできる。
この他に、ユーザ端末300を用いる場合に提供できるサービスについて説明する。コンピュータは、食べ物の種類別に使用者が摂取した量を把握できるため、使用者の食習慣を分析でき、各食べ物に含まれている栄養素に関する情報を用いて使用者の栄養摂取について把握できる。
また、ユーザ端末300にインストールされたサービスアプリケーションを介して使用者の身体情報について入力を受けることができ、このような身体情報を用いて使用者の基礎代謝量を算出できる。
そして、このように導き出された使用者の栄養状態、食習慣情報を用いて、使用者にマッチングする1つ以上の食べ物のメニューを導き出し、サービスアプリケーションに提供でき、他の食品注文アプリケーションと連動して情報を提供することもできる。
このとき、サービスアプリケーションは、使用者から好きな食べ物、嫌いな食べ物を直接入力することができ、使用者のアレルギー(Allergy)、病気などに関する情報の入力を受けて、使用者が食べてはいけない食べ物を推薦メニューから外すことができる。
また、判断部130は、このような情報を用いて携帯用装置50の撮影部55によって撮影された食べ物イメージ内に使用者が食べてはいけない食べ物が含まれている場合、サービスアプリケーションに警告(通知)を提供して使用者が誤って該当食べ物を摂取するのを防止できる。
一実施例として、サービスアプリケーションは、使用者が使用し着用するウェアラブル機器と連動して各種測定データを受信できる。このような構成が含まれる場合、コンピュータは、使用者の基礎代謝量、健康情報などをより詳細に確保でき、各種ヘルスケア情報として活用することもできる。
コンピュータは、ユーザ端末300を介して使用者の毎回の食事時の食前の飲食量、食事量、残飯量に対するデータを収集し、データベース170に格納することで、使用者の栄養状態、食習慣情報などに関する情報を形成し、使用者の身体情報と各種健康、運動アプリケーションを介して収集される使用者の活動指数、活動情報、運動情報などに対するデータを収集し、使用者のヘルスケア情報を形成できる。
また、その他にも、健康管理アプリケーション、医療情報アプリケーションなどと連動して、使用者の医療情報を収集することで、使用者の栄養状態、食習慣情報とヘルスケア情報、医療情報から使用者にカスタマイズされた献立、健康補助食品に関する情報を導き出して提供することもでき、それと関連する商品を、サービスアプリケーションを介して直接販売することもできる。
例えば、外部のサーバ(図示せず)で提供するサービスアプリケーションのサービスに加入する場合、健康診断を提供することもでき、使用者にカスタマイズされた健康補助食品を提供することもでき、週に1回オーダーメイドメニューを配送するなど、多様な形態のサービスを提供することができる。
以下、本発明の実施例に係る食べ物測定方法を具現するための装置及びサーバを説明する。
図10を参照し、本発明の一実施例に係る食べ物測定サーバ100を説明する。図10は、本発明の一実施例に係る食べ物測定サーバのブロック図であり、図11は、図10の管理部の細部ブロック図である。
図5を参照すると、本発明の実施例に係る食べ物測定サーバ100は、受信部110、抽出部120、判断部130、算出部140、補正部150、認証部160、データベース170、通信部190を含む。
但し、複数の実施例において、サーバ10は、図5に示された構成要素よりも少数の構成要素や更に多数の構成要素を含むこともできる。
受信部110は、1つ以上の撮影部250によって撮影された食器のイメージを受信する。
抽出部120は、食べ物が盛られた食器イメージデータから食器500の各空間510に収容された食べ物イメージデータを抽出する。
判断部130は、抽出された食べ物イメージデータによって各食べ物の種類を判断する。
算出部140は、抽出された食べ物イメージデータのピクセル別の高さ情報を用いて各食べ物の体積を算出する。
データベース170は、空き食器のイメージと食器500に形成された複数の空間510に対する大きさ、深さ及び容量を含む食器情報と、食べ物別の体積当たりの重さを含む食べ物情報を格納している。
管理部180は、配膳量調節モジュール181、配膳グループ管理モジュール183、配膳対象管理モジュール185、配膳メニュー推薦モジュール187及び配膳メニュー評価モジュール189を含み、各モジュールの機能は上述した通りである。
通信部190は、食堂に設置されている撮影部250から撮影された食器イメージを受信できるように通信を行い、サーバ10で算出して生成された各種情報を担当者又はユーザ端末に伝送する役割を果たせる。
認証部160は、食べ物測定装置200、キオスク装置30のような装置から受信した使用者情報を認証して使用者を識別し、使用者に関する各種情報をロードする。
また、サーバ10の算出部140によって算出された配膳用食器内の食べ物の重さ、カロリーなどに関する情報を認証部160によって認証されたユーザ端末に提供する。そのとき、サーバ10自体で提供するサービスアプリケーションを介して情報を提供できる。
更に、本発明の実施例に係るコンピュータ(サーバ、装置)は、食べ物の算出の正確度を向上させるために、以下の動作を行える。
一実施例として、算出部140は、前記段階により算出された食事主体の食事量と残飯量の和が配膳量と一致するか検証を行い、検証結果によって一致しない場合、算出部140は、食事量又は残飯量の和が配膳量と一致するように、前記段階により算出された食事量、残飯量及び配膳量のうちの少なくとも1つを補正でき、これによる結果をデータベース170に記録する。
また、算出部140は、前記段階により算出された食堂の食事主体の食事量の総和と残飯量の総和を合わせたものが配膳量の総和と一致するか検証を行い、検証の結果、一致しない場合は、算出部140は、食事量の総和と残飯量の総和を合わせたものが配膳量の総和と一致するように、前記段階により算出された食事量の総和、残飯量の総和及び配膳量の総和のうちの少なくとも1つを補正でき、これによる結果をデータベース170に記録する。
より詳しくは、算出部140は、食堂で食事をする食事主体らの配膳量の総和と残飯量の総和の差値が食事量の総和と一致するか否かを検証する。
また、算出部140は、食堂に準備された食べ物の総和を食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体の食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部140は、食堂に準備された食べ物の総和が、食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体の食事量の総和を合わせたものと一致するように、残飯量の総量、残食量の総量及び食事量の総和のうちの少なくとも1つを補正でき、例えば食事量を補正でき、これによる結果をデータベース170に記録できる。
ここで、残飯量は食事の主体に配膳され、食事の主体が食べ残した食べ物の量であり、残食量は食事の主体に配膳されずに残された食べ物の量であることができ、残食量は前記段階により算出されるか、別の方法によって算出できる。
より詳しくは、データベース170には、食堂で毎回配膳のために準備した食べ物の総体積(重さ)、残食量の総体積(重さ)及び残飯量の総体積(重さ)の測定結果を格納することができ、算出部140は、準備した食べ物の総体積(重さ)を残飯量の総体積(重さ)、残食量の総体積(重さ)及び前記段階により算出された食堂の食事主体の食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部140は、食堂に準備された食べ物の総和が食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体らの食事量の総和を合わせたものと一致するように、前記段階により算出された食事主体の食事量の総和を補正でき、これによる結果をデータベース170に記録できる。(例えば、食堂で準備したAメニューの総体積が200であり、残された量がなく全て配膳されたとすれば、食事の主体に配膳されたAメニューの体積の総和は200に近似していなければならない。)
このように、算出部140が各種情報を用いて検証を行い、算出/補正による正確度を記録することによって、問題を把握し、改善していくことができる。
一実施例として、本発明の実施例に係る算出部140の人工知能アルゴリズムは、体積認識の検証及び信頼性の増加方策として、イメージ学習結果を用いた体積認識正確度の比較及び補完作業を行うことができる。例えば、互いに異なる量のパンに対するイメージを入力させ、体積の多少に対して判断をさせ、誤差やノイズが発生する場合に再学習させることで、正確度を上昇させることができる。
以上で説明した本発明の実施例に係る食べ物測定サーバ100は、図1~図9で説明した食べ物測定方法と発明のカテゴリーのみ異なるだけで、同一の内容であるため、重複する説明や例示は省略する。
以下、図12は、本発明の実施例に係る食べ物測定装置のブロック図であり、図13~図16は、本発明の実施例に係る食べ物測定装置の斜視図であり、図17は、本発明の実施例に係る食べ物測定装置の画面である。
食べ物測定装置200は、配膳が行われる場所に設けることができ、受信部110、抽出部120、判断部130、算出部140、補正部150、認証部160、データベース170、通信部190、ディスプレイ部210、決済部240、撮影部250を含む。但し、複数の実施例において、食べ物測定装置200は、図12に示された構成要素よりも少数の構成要素や更に多数の構成要素を含むこともできる。
図13及び図14を参照すると、食べ物測定装置200は、食器500が置かれる測定領域220又はプレート230が備えられている。図13及び図14を参照すると、撮影部250は、測定領域220又はプレート230に置かれた食器500を撮影する。
また、測定領域220又はプレート230は、内部に重量測定装置(図示せず)が形成され、上面に置かれた配膳用食器の重さを測定できる。
受信部110は、1つ以上の撮影部250によって撮影された食器のイメージを受信する。ここで、撮影部250は、食器500の上側で食器500の上面を撮影できるように位置し、識別情報感知部251が存在する場合、識別情報感知部251は、撮影部250による食器500の撮影と同時に、食器500の識別情報を上側、下側又は側面から感知できるように位置し得る。
抽出部120は、食べ物が盛られた食器イメージデータから食器500の各空間510に収容された食べ物イメージデータを抽出する。
判断部130は、抽出された食べ物イメージデータによって各食べ物の種類を判断する。
算出部140は、抽出された食べ物イメージデータのピクセル別の高さ情報を用いて各食べ物の体積を算出する。
データベース170は、空き食器のイメージと食器500に形成された複数の空間510に対する大きさ、深さ及び容量を含む食器情報と、食べ物別の体積当たりの重さを含む食べ物情報が格納されている。
通信部190は、食堂に設置されている撮影部250から撮影された食器イメージを受信できるように通信を行い、サーバ10で算出して生成された各種情報を担当者又はユーザ端末に伝送する役割を果たせる。
認証部160は、食べ物測定装置200、キオスク装置のような装置から受信した使用者情報を認証して使用者を識別し、使用者に関する各種情報をロードする。
サーバ10の算出部140によって算出された配膳用食器内の食べ物の重さ、カロリーなどに関する情報を認証部160によって認証されたユーザ端末に提供する。そのとき、サーバ10自体で提供するサービスアプリケーションを介して情報を提供できる。
食べ物測定装置200は、ディスプレイ240を含み、使用者を認証できる使用者認証情報の入力を受けることもでき、ディスプレイを介して撮影されたイメージを表示することもできる。
また、図13のような形態の食べ物測定装置200が設けられている場合、使用者が測定領域220に食器500を位置させると、測定領域220内に設けられた撮影部250が食器を撮影し、食器のイメージ、食後の食器イメージを獲得できる。そして、食べ物測定装置200自体に決済部240が備えられており、使用者が食べ物の測定と決済を同時に行うこともできる。
複数の実施例において、図14(C)を参照すると、食べ物測定装置200は、プレート230を含まないことができ、食事の主体が食器500を持っている状態で撮影部250による撮影と識別情報感知部251による感知が行われることができる。
複数の実施例において、図15を参照すると、コンベヤベルト270が設置された返却口に食べ物測定装置200を設けることができる。コンベアベルト270によって食器500が移動する過程で食器500の上側で撮影部250が食器500を撮影できる。
複数の実施例において、食べ物測定装置200は、撮影部250、識別情報感知部251及び認証部160を含むことができ、撮影部250が相対的に最も高い領域に位置し、認証部160が撮影部250と識別情報感知部251との間に位置し、識別情報感知部251が相対的に最も低い領域に位置することができる。食べ物測定装置200がこのような構造を有しているため、食事の主体が食べ物測定装置200の前に止まるだけで、撮影部250、識別情報感知部251及び認証部160が食事の主体や食器500から必要な情報を得ることができ、これにより食事の主体の不便を軽減させることができる。
撮影部250が最も高い領域に位置する理由は、上から食器500を撮影するためである。認証部160が食事主体の顔面を認識するとすれば、食事の主体が食器500を持ったとき、食器500は、食事主体の顔面よりも下に位置するため、認証部160は、識別情報感知部251よりも相対的に上に位置し得る。ここで、食器500の識別情報530は、食器500の側面に位置して食事の主体が食器50を持って立っている場合、識別情報感知部251により認識されることができる。
一方、識別情報感知部251及び認証部160は、常に作動するものではなく、撮影部250によって食器500が撮影されて認識される場合にのみ作動でき、これにより撮影部250による食器500の認識は一種のイネイブラとなって、識別情報感知部251及び認証部160を効果的に作動させることができる。
図16を参照すると、食べ物測定装置200はテーブルに立てられるか、壁に掛けられることができる。食べ物測定装置200の前面には、ディスプレイ部210が位置し、食べ物測定装置200の前面に食べ物又は食べ物が盛られた食器を撮影するための撮影部250aと食事主体の生体情報を撮影するための撮影部250bが位置する。
食べ物測定装置200は、上部が前方に向かって傾いてティルティングされることができ、食べ物又は食べ物が盛られた食器を撮影するための撮影部250aは、食べ物測定装置200のティルティングされた領域に位置し、下方にある食器500を撮影できる。食事主体の生体情報を撮影するための撮影部250bは、ティルティングされた領域にはないものと示されているが、ティルティングされた領域に位置しても構わない。
そして、食事の主体が食べ物測定装置200又はユーザ端末300で食べ物が盛られた食器500を撮影すると、図17の画面をディスプレイ部210/310に表示することができる。
例えば、撮影部250/350によって撮影された食べ物が盛られた食器のイメージを表示することができ、食べ物の種類とそれによるカロリーに関する情報を表示することができる。そして、飲料水などがカップに入っている場合、該当カップで飲料水の高さを表示することができる。これと共に、食べ物を摂取する場合のカロリーを消費するためにしなければならない運動と運動時間に関する情報も共に表示され得る。この他に、摂取予定である食べ物の栄養情報と価格情報も共に表示することができる。この他に、図18及び図19は、それぞれ図10及び図12と比較して、食べ物測定装置200の役割をユーザ端末300が果たすことにのみ差があるので、詳細な説明は省略する。
以上で説明した本発明の一実施例に係る食べ物測定装置200の構成の詳細内容は、図1~図9で説明した食べ物測定方法と発明のカテゴリーのみ異なるだけで、同一の内容であるので、重複する説明や例示は省略する。
以上で前述した本発明の一実施例に係る食べ物測定方法は、ハードウェアであるサーバと結合されて実行されるためにプログラム(又はアプリケーション)に具現されて媒体に格納することができる。
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムに実現した前記方法を実行させるために、前記コンピュータのプロセッサ(CPU)が前記コンピュータの装置インターフェースを介して読み取られるC、C++、JAVA(登録商標)、機械語などのコンピュータ言語でコード化されたコード(Code)を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード(Functional Code)を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置(アドレス)で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させるために、遠隔(Remote)にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。
前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り(reading)可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ格納装置などがあるが、これに限らない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方式でコンピュータが読み取れるコードが格納されることができる。
本発明の実施例と関連して、説明された方法やアルゴリズムの段階は、ハードウェアにより直接実現されるか、ハードウェアによって実行されるソフトウェアモジュールにより実現されるか、それらの結合によって実現させることができる。ソフトウェアモジュールは、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ(Flash Memory)、ハードディスク、着脱型ディスク、又は本発明の属する技術分野において周知となっている任意の形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるはずである。従って、以上で述べた実施例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
Claims (14)
- コンピュータにより行われる食べ物測定方法において、
食べ物が盛られた食器に対する撮影及び測定後、受信部が、食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを受信する段階と、
補正部が、前記食べ物が盛られた食器の勾配を算出し、算出された勾配によって前記食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを補正する段階と、
抽出部が、補正された前記食べ物が盛られた食器イメージデータから食器に収容された食べ物イメージデータを抽出する段階と、
判断部が、前記抽出された食べ物イメージデータによって食べ物の種類を判断する段階と、
算出部が、補正された前記食べ物が盛られた食器に対する深さデータを用いて食べ物の体積を算出する段階と、
を含む食べ物測定方法。 - 前記補正部が、前記食べ物が盛られた食器の勾配を算出することは、
前記補正部が、前記食べ物が盛られた食器イメージデータを分析し、前記食べ物が盛られた食器の勾配を算出するか、前記食べ物が盛られた食器上の複数のポイントに対する深さデータを用いて前記食べ物が盛られた食器の勾配を算出するか、前記食べ物が盛られた食器のように撮影及び測定された参照対象の勾配に基づいて前記食べ物が盛られた食器の勾配を算出するか、撮像及び測定装置の勾配に基づいて前記食べ物が盛られた食器の勾配を算出することを特徴とする請求項1に記載の食べ物測定方法。 - 前記補正する段階において、
前記補正部が、算出された勾配によって前記食べ物が盛られた食器イメージデータを補正することは、前記補正部が、前記食べ物が盛られた食器イメージデータ内の前記食器が水平な状態になるように算出された勾配によって前記食べ物が盛られた食器イメージデータを水平状態のイメージデータに補正することを特徴とする請求項1に記載の食べ物測定方法。 - 前記体積を算出する段階において、
前記補正部が、算出された勾配によって前記食べ物が盛られた食器に対する深さデータを補正することは、前記補正部が、前記食べ物が盛られた食器に対する深さデータによって算出される食器が水平な状態になるように算出された勾配によって前記食べ物が盛られた食器に対する深さデータを補正することを特徴とする請求項1に記載の食べ物測定方法。 - 食べ物の体積を算出する段階において、
前記補正部が、前記食べ物が盛られた食器イメージデータ内で食べ物でない体積を有するノイズ成分を検出し、算出された食べ物の体積から検出されたノイズ成分の体積を除く補正を行うことを特徴とする請求項1に記載の食べ物測定方法。 - 前記コンピュータは、
空き食器のイメージデータと前記食器に形成された少なくとも1つの空間に対する大きさ、深さ及び容量のうちの少なくとも1つを含む食器データが格納されたデータベースを含み、
前記体積を算出する段階は、
前記補正部が、食べ物が収容された空間の大きさ、深さ及び容量のうちの少なくとも1つを含む前記食器データを用いて算出された食べ物の体積を補正する段階を更に含むことを特徴とする請求項1に記載の食べ物測定方法。 - 前記データベースは、
食べ物別の体積当たりの重さを含む食べ物のデータが格納されており、
前記体積を算出する段階の後、前記算出部が前記算出された食べ物の体積データと前記食べ物データを用いて食べ物の重さを算出する段階を更に含むことを特徴とする請求項6に記載の食べ物測定方法。 - 前記コンピュータは、
食べ物メニューデータ、食堂位置データ、日付データ及び時間データのうちの少なくとも1つを含む判別参照情報が格納されたデータベースを含み、
前記判断する段階は、
前記判断部が、前記抽出した食べ物イメージデータと前記食べ物関連情報をマッチングして食べ物リスト候補群を導き出した後、各食べ物の種類を判断することを特徴とする請求項1に記載の食べ物測定方法。 - 前記各食べ物の体積を算出する段階は、
前記食器内で互いに異なる食べ物が積層された場合、前記算出部が上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の体積を算出することを含むことを特徴とする請求項1に記載の食べ物測定方法。 - 前記算出部が、上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の体積を算出することは、
前記算出部が、上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の面積を算出し、
前記算出部が、下側に位置する食べ物のうち上側に位置する食べ物によって遮られない領域の高さを用いて上側に位置する食べ物によって遮られる領域の高さを算出し、
前記算出部が、算出された面積と高さを用いて上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の体積を算出することを特徴とする請求項8に記載の食べ物測定方法。 - 前記体積を算出する段階は、
前記食器内の特定の空間に収容された食べ物が液体であると判断される場合、液体と該当空間が接する位置と該当空間の大きさ、深さ及び容量情報によって液体の体積を算出する段階を更に含むことを特徴とする請求項1に記載の食べ物測定方法。 - 食べ物が盛られた食器に対する撮影及び測定後、食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを受信する受信部と、
前記食べ物が盛られた食器の勾配を算出し、算出された勾配によって前記食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを補正する補正部と、
補正された前記食べ物が盛られた食器イメージデータから食器に収容された食べ物イメージデータを抽出する抽出部と、
前記抽出された食べ物イメージデータによって食べ物の種類を判断する判断部と、
前記補正された前記食べ物が盛られた食器に対する深さデータを用いて食べ物の体積を算出する算出部と、
を含む、食べ物測定サーバ。 - 食べ物が盛られた食器に対する撮影及び測定後、食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを受信する受信部と、
前記食べ物が盛られた食器の勾配を算出し、算出された勾配によって前記食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを補正する補正部と、
補正された前記食べ物が盛られた食器イメージデータから食器に収容された食べ物イメージデータを抽出する抽出部と、
前記抽出された食べ物イメージデータによって食べ物の種類を判断する判断部と、
前記補正された前記食べ物が盛られた食器に対する深さデータを用いて食品の体積を算出する算出部と、
を含む食べ物測定装置。 - 請求項1~11の何れか1項に記載の方法をコンピュータに実行させるために媒体に格納されたプログラム。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190050086A KR102488997B1 (ko) | 2019-04-29 | 2019-04-29 | 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램 |
KR10-2019-0050086 | 2019-04-29 | ||
KR1020190050377A KR102471775B1 (ko) | 2019-04-30 | 2019-04-30 | 음식량 측정 방법, 장치, 서버 및 프로그램 |
KR10-2019-0050378 | 2019-04-30 | ||
KR1020190050378A KR102487925B1 (ko) | 2019-04-30 | 2019-04-30 | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 |
KR10-2019-0050377 | 2019-04-30 | ||
KR20190133499 | 2019-10-25 | ||
KR10-2019-0133499 | 2019-10-25 | ||
PCT/KR2020/005762 WO2020222561A1 (ko) | 2019-04-29 | 2020-04-29 | 음식 측정 방법, 장치, 및 프로그램 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022530263A true JP2022530263A (ja) | 2022-06-28 |
Family
ID=73028894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564482A Pending JP2022530263A (ja) | 2019-04-29 | 2020-04-29 | 食べ物測定方法、装置及びプログラム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3964793A4 (ja) |
JP (1) | JP2022530263A (ja) |
CN (1) | CN113874678A (ja) |
WO (1) | WO2020222561A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269250A (zh) * | 2021-05-25 | 2021-08-17 | 国网浙江省电力有限公司综合服务分公司 | 一种餐盘光盘情况评测方法 |
CN114926525B (zh) * | 2022-05-17 | 2023-07-25 | 中国科学院地理科学与资源研究所 | 一种基于图像法的食物浪费评估方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8345930B2 (en) * | 2010-01-22 | 2013-01-01 | Sri International | Method for computing food volume in a method for analyzing food |
WO2012115297A1 (en) * | 2011-02-25 | 2012-08-30 | Lg Electronics Inc. | Analysis of food items captured in digital images |
JP5790080B2 (ja) * | 2011-03-30 | 2015-10-07 | 富士通株式会社 | 食事画像解析方法、食事画像解析プログラムおよび食事画像解析装置 |
US8761922B2 (en) * | 2011-10-10 | 2014-06-24 | Jonathan P Dekar | Method and apparatus for monitoring food consumption by an individual |
KR101375018B1 (ko) * | 2012-11-22 | 2014-03-17 | 경일대학교산학협력단 | 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치 |
US9349297B1 (en) * | 2015-09-09 | 2016-05-24 | Fitly Inc. | System and method for nutrition analysis using food image recognition |
KR101876147B1 (ko) * | 2017-11-30 | 2018-07-06 | 김대웅 | 잔반 감소유도 시스템 |
-
2020
- 2020-04-29 WO PCT/KR2020/005762 patent/WO2020222561A1/ko unknown
- 2020-04-29 EP EP20798930.2A patent/EP3964793A4/en active Pending
- 2020-04-29 JP JP2021564482A patent/JP2022530263A/ja active Pending
- 2020-04-29 CN CN202080039179.5A patent/CN113874678A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2020222561A1 (ko) | 2020-11-05 |
CN113874678A (zh) | 2021-12-31 |
EP3964793A4 (en) | 2023-01-04 |
EP3964793A1 (en) | 2022-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220359058A1 (en) | Meal service management system and operating method therefor | |
US9977980B2 (en) | Food logging from images | |
US9314206B2 (en) | Diet and calories measurements and control | |
AU2013101802A4 (en) | Systems and methods for user-specific modulation of nutrient intake | |
KR102606359B1 (ko) | 급식관리 시스템 | |
US20130273509A1 (en) | Method of Monitoring Nutritional Intake by Image Processing | |
US20120179665A1 (en) | Health monitoring system | |
KR102487925B1 (ko) | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 | |
JP2022530263A (ja) | 食べ物測定方法、装置及びプログラム | |
Chung et al. | Tele-dietetics with food images as dietary intake record in nutrition assessment | |
KR102488997B1 (ko) | 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램 | |
EP2787459A1 (en) | Method of monitoring nutritional intake by image processing | |
US20220222844A1 (en) | Method, device, and program for measuring food | |
KR20210049704A (ko) | 음식 측정 방법, 장치, 및 프로그램 | |
JP2022025958A (ja) | 飲食管理システム、飲食管理方法および飲食管理用プログラム | |
JP7494439B2 (ja) | 給食管理システム及びその運営方法 | |
WO2023228837A1 (ja) | サプリメント供給装置、サプリメント選択装置、サプリメント供給システム、サプリメント選択方法、食品提案装置、食品提案システム、および、食品提案方法 | |
JP2018147414A (ja) | 食事の識別システムとそのプログラム | |
KR20200123069A (ko) | 급식관리 시스템 및 이의 운영방법 | |
CN117764573A (zh) | 一种图像识别菜品后订单结算收银方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240408 |