JP2018528545A - 食物画像認識を用いた栄養分析のためのシステム及び方法 - Google Patents
食物画像認識を用いた栄養分析のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2018528545A JP2018528545A JP2018513299A JP2018513299A JP2018528545A JP 2018528545 A JP2018528545 A JP 2018528545A JP 2018513299 A JP2018513299 A JP 2018513299A JP 2018513299 A JP2018513299 A JP 2018513299A JP 2018528545 A JP2018528545 A JP 2018528545A
- Authority
- JP
- Japan
- Prior art keywords
- food
- image
- recognition device
- container
- food container
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0092—Nutrition
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G19/00—Table service
- A47G19/02—Plates, dishes or the like
- A47G19/025—Plates, dishes or the like with means for amusing or giving information to the user
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
- B65D25/00—Details of other kinds or types of rigid or semi-rigid containers
- B65D25/02—Internal fittings
- B65D25/04—Partitions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Nutrition Science (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Entrepreneurship & Innovation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Mechanical Engineering (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本開示は、食品の栄養価を特定するためのシステム及び方法を提供する。このシステム及び方法は、1つの食物容器を、食品を入れた際の食物容器の暫定画像に存在する様々な種類の歪みを調整するためのモデルとして使用する。この暫定画像を、食物容器のモデル画像と比較して、歪みを修正することができる。この食物容器は、所定の色を有する境界部を含む。この境界部の所定の色を用いて暫定画像の色構成を調整することにより、食品の識別精度を高めることができる。
Description
関連出願への相互参照
本出願は、2015年9月9日に出願された米国特許出願第14/848992号に対する優先権を主張するものである。
本開示に記載する主題は概して、食事管理及び栄養分析に関する。より具体的には、本開示は、食物及び食物容器の画像に基づいて食物認識をするコンピュータビジョン技術に関する。
本出願は、2015年9月9日に出願された米国特許出願第14/848992号に対する優先権を主張するものである。
本開示に記載する主題は概して、食事管理及び栄養分析に関する。より具体的には、本開示は、食物及び食物容器の画像に基づいて食物認識をするコンピュータビジョン技術に関する。
栄養分析において正確な重量情報の欠如及び食物認識の不正確さがあると、非効率的な食事管理につながりかねない。現在、栄養価値分析のために食物画像を取得する携帯式アプリケーション及びコンピュータビジョンシステムがいくつか存在する。従来の食品画像認識方法には定義済みの容器、照明、焦点距離が欠けるなどの数多くの変化要因が存在するため、栄養分析の精度は非常に低い。正確な栄養データを評価する際に既存の画像認識技術がうまく機能しない理由の1つは、食品の1枚だけの画像からはその食品の体積、密度及び/又は重量を把握できないことによるところが大きい。定義済みの容器を画像に含まずに容積、密度、重さを測定するのは難しい。現在のところ、基準として必要な固定の定義済み容器がないため、1つの食品の正確な識別及び重量情報を提供する解決策はない。また、食品の正確な重量を伝える荷重センサを有し、これと固定の定義済み容器との組み合わせから正確な識別情報及び重量情報の提供に現在利用可能な解決策は存在しない。
最近では多くの調査研究が、乏しい食事と健康状態との間に明確な相関を示している。過食、拒食、及び/又は質の悪い食品を摂取するなどの貧しい食事は、糖尿病、癌、心臓病、高血圧、慢性腎臓病、肥満などの特定の病状に結びついている。消費する食物の質や習慣をコントロールしようとしている消費者や患者たちには、多くの場合、自分が消費している食品の種類を識別してその食習慣と健康状態を改善することは難しい。また消費者たちにとり、食事を準備するたびに、自分に必要と処方された栄養条件や食事療法を満たすのは面倒である。
したがって、各食事で消費する栄養及びカロリーを認識するために、消費する食物の種類及びその食物の重量を正確に認識するシステム及び方法が必要とされている。さらに、各食事で消費する食物を識別することができる正確なコンピュータビジョン技術システム及び方法も必要である。
この出願の主題は、場合により、相互関連製品、特定の問題に対する代替解決策、及び/又は1システム又は1物品の複数の異なる使用法を含むことができる。
一態様において、食品の栄養価を特定する、ネットワークを介してデータベースと通信する食物認識装置を使用するシステムを提供する。このシステムは、食物容器、重量センサ、撮像装置、及び食物認識装置を備えることができる。この食物容器には、1つ以上の区画を形成し得る。この1つ以上の区画は、仕切りを表す境界部と食物容器がなす周囲壁とにより画定することができる。この境界部を、食物容器の他の表面とは異なる所定の色にすることができる。さらに、この食物容器は食品を収容し保持することができる。
上記重量センサを、この食物容器内に配置して、1つ以上の区画各々に収容されている食品の重量を測定するように位置付ける可能である。上記撮像装置は、その食物容器の画像を撮影することができる。上記食物認識装置はこの重量センサ及び撮像装置と通信可能である。
この食物認識装置はさらに、上記撮像装置から食物容器の画像を取得することができる。この食物認識装置はさらに、その画像内の境界部を、データベースに保存された基準食品容器画像の境界部と位置合わせすることによって、画像の向きを修正することができる。加えて、この食物認識装置は、境界部の所定の色に基づいて画像の色を調整することができる。この画像を食物認識装置によって、その境界部に基づいて分割して、1つ以上の区画を各々分離することができる。最後に、この食物認識装置は、各分割画像をデータベースに保存された基準分割食物画像と比較することによって食品の種類を識別することができる。本開示は、データベースが、食物容器、食物認識装置、及び/又はネットワークを介したサーバ上にあることを提供する。
別の態様では、食物認識装置を使用するシステムの使用方法を提供する。このシステムは、ネットワークを介してデータベースと通信して、食品の栄養価を特定することが可能である。この方法は、以下のステップを含むことができる。
この方法は、撮像装置が食物容器の画像を取り込むことから開始可能である。この食物容器は、1つ以上の区画を有することできる。この1つ以上の区画は、仕切りを表す境界部と食物容器がなす周囲壁とにより画定することができるものである。この境界部を、食物容器の他の表面とは異なる所定の色にすることができる。さらにこの食物容器は、食品を収容し保持することができる。
この方法は引き続き、食物認識装置で撮像装置から食物容器の画像を取得することができる。撮像装置は、この食物認識装置と通信可能である。食物認識装置はさらに、重量センサから食品の重量を得ることができる。このとき、重量センサを、1つ以上の区画の各々に収容された食品の重量を測定するように位置付けすることができる。この重量センサは、食品認識装置と通信可能である。
この食物認識装置はさらに、画像内の境界部をデータベースに保存された基準食物容器画像の境界部と位置合わせすることによって、画像の向きを修正することができる。この方法はさらに、境界部の所定の色に基づいて画像の色を調節することと、その境界部に基づいて画像を分割し、その1つ以上の区画を各々分離することとを含むことができる。最後に、この食物認識装置は、各分割画像をデータベースに保存された基準分割食物画像と比較することにより、食品の種類を識別することができる。
本発明は、添付の図面に関連して以下に述べる詳細な説明は、本発明の現在の好ましい実施形態の記載として意図されており、本発明を構成及び/又は利用することができる唯一の形態を表すものではない。この記載は、例示の実施形態に関連して本発明を構成し操作するための機能及び一連のステップを説明するものである。
本記載を参照すると、開示した実施例の完全な理解が得られるように具体的な詳細を示している。ただしその他の例では、本開示を不必要に長くしないように、周知の方法、手順、構成部品、及び材料を詳細には記載していない。
尚、構成要素又は部分が、他の構成要素又は部分に「上に」、「対して」、「通信している」、「に接続されている」、「に付着している」又は「結合している」と言う場合、それは、他の要素又は部分に直接的に、上に、対向して、通信して、接続され、取り付けられ、又は結合されていても、介在要素又は部分が間に存在してもよいものとする。用語「及び/又は」を使用している場合、これは、関連して列挙された項目のうちの1つ以上の任意の、及びすべての組み合わせを、そのように提示されているものであれば含む。
本開示で使用する用語は、特定の実施形態のみを説明するためのものであり、何ら限定することを意図するものではない。本開示で使用されるように、単数形(「a」、「an」及び「the」)は、その文脈が別の意味を明白に示さない限り、その複数形態も含むことを意図している。また、本開示で使用する場合、用語「含む」(include及び/又はincluding)は、記載した特徴、整数、ステップ、操作、要素、及び/又は構成部品の存在を特定するが、1つ以上の他の特徴、整数、ステップ、操作、要素、構成部品、及び/又はそのグループの存在や追加を、明示的に記載していなくとも排除するものではない。
様々な動作を、実施形態の理解に役立つような形で、複数の個別の動作として順に説明する場合がある。ただしこの説明の順序は、これらの動作がその順序に依存することを意味すると解釈されるべきではない。
本開示では、様々な図に示しているように、「下に(under)」、「下に(beneath)」、「下に(lower)」、「上に(above)」、「上に(upper)」、「近位に(proximal)」、「遠位に(distal)」等の空間的相対用語を、1つの構成要素又は特徴と1つ以上の他の構成要素又は特徴との関係を説明する記載及び/又は例示を容易にするために使う場合がある。しかし、このような空間的相対用語は、図に示した方向に加えて、使用時又は動作中の装置の異なる方向を包含するように意図されていることを理解されたい。例えば、図中の装置がひっくり返されている場合、他の構成要素や特徴の「下(below)」又は「下(beneath)」であると記載された構成要素は、他の構成要素又は機能の「上」に配置されるものである。したがって、「下方」などの相対的空間用語は、上方及び下方の向きの両方を包含することができる。この装置は他の方向に向けることもでき(90度又は他の方向に回転)、本開示で使用する空間的相対記載はそれに応じて解釈されるものである。同様に、相対的空間用語「近位」及び「遠位」も、適用可能であれば交換して使用可能である。このような記載は、単に議論を容易にするために使用しており、開示する実施形態の適用制限を意図するものではない。
第1、第2、第3などの用語を、本開示では、様々な構成要素、構成部品、領域、部分及び/又は断片を説明するために使用する場合がある。ただしこれらの構成要素、構成部品、領域、部分及び/又は断片がこれらの用語によって限定されることがないことを理解されたい。これらの用語は、ある構成要素、構成部品、領域、構成部品、又は断片を他の領域、構成部品、又は断片と区別するためにのみ使用している。したがって、以下で説明する第1の構成要素、構成部品、領域、部分又は断片は、本開示の教示から逸脱することなく、第2の構成要素、構成部品、領域、部分又は断片と称することができる。
本発明のいくつかの実施形態は、情報及び命令を処理するための1つ又は複数のプロセッサ、情報及び命令を保存するためのRAM、静的情報及び命令を保存するためのROM、情報及び命令を記憶するための磁気又は光学ディスク及びディスクドライブなどのデータベース、プロセッサ上で実行するソフトウェアユニットとしてのモジュール、コンピュータにスクリーニング情報を表示するための表示画面装置(例えば、モニタ)などの任意のユーザ出力装置ユーザ、及び任意のユーザ入力装置を主に含むコンピュータシステムで実施することができる。
当業者には理解されるように、本実施例は、コンピュータ使用可能なプログラムコードを保存しているあらゆる有形的表現媒体に具体化されたコンピュータプログラム製品で、少なくとも部分的に具体化することができる。例えば、フローチャートの図及び/又は方法、装置(システム)及びコンピュータプログラム製品のブロック図を参照して以下に記載するいくつかの実施形態を、コンピュータプログラム命令によって実行することができる。このコンピュータプログラム命令を、コンピュータ可読媒体に保存された命令がフローチャート及び/又はブロック図で指定された機能/動作/ステップを実施する命令及びプロセスを含む製造物品を構成するように、特定の方法でコンピュータ又は他のプログラム可能データ処理装置を機能させるように指示することのできるコンピュータ可読媒体内に保存することが可能である。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令フローチャート及び/又はブロック図の1つ又は複数のブロックで指定された機能/動作を実施する手段を作成するように、機械を生成することができる。
以下の記載では、ここに開示の発明が実施され得る実施形態の例示である添付図面を参照する。しかし、当業者であれば、本開示の新規性及び範囲から逸脱することなく、他の構造的及び機能的改変を開発することができることを理解されたい。
概して、本発明は、食物認識処理に基づいて食品の栄養価を特定するシステムに関する。本発明は、食物容器内にある食品の重量測定用の重量センサに関連付けながら、定義済みの食物容器をモデル参照として利用する。食物を入れた食物容器の画像を撮ることができる。この画像は、色、形状、向き、サイズ、明暗等の定義済みの値への参照となる定義済み食物容器を含んでいる。この画像を基準食物容器から得られる定義済み基準値と一致するように変換して、遠近歪み、彩度、照明、サイズ、及び向きを修正することができる。この容器の仕切りを、容器の区画に分割するために使用することができ、その結果、食物容器の各区画に保持されている各食品の個々の識別できるようになっている。定義済みの基準食物容器があるため、基準食物容器の定義済み基準値から導かれた食品の正確な画像データを提供することにより、食品識別の精度が向上する。
本開示の食品認識方法は、コンピュータビジョン技術を用いる。本発明の食物容器は、食品を入れた食物容器の画像を処理する際に基準となり得る特定の識別可能な構造的及び/又は視覚的特性を有することができる。この食物容器は、仕切り、区画、境界部、色、及びパターンなどの構造的及び視覚的特性を有することができる。食物容器をモデル参照として用いることにより、食物画像の処理を合理化して、その食物の種類のより正確な識別を提供することができる。食物容器を用いるコンピュータビジョン技術の方法は、画像修正ステップ、画像分割ステップ、及び食物識別ステップを含むことができる。これらのステップは、モデル食物容器の既知の構造的及び/又は視覚的特性に基づいて行われる。
食品認識処理に基づいて食品の栄養価を特定するシステムは、互いに通信し合い協働してこのシステムの種々の機能を実行する1つ以上のコンピュータ又はコンピュータ支援型要素を含むことができる。本開示が企図する本発明はさらに、本開示で説明するように、このシステム又は方法のステップ及び機能を実行させるように1つ又は複数のコンピュータに命令するように構成された非一時的なコンピュータ可読媒体を含むことができる。実施形態によっては、1つ以上のコンピュータ又は同様の1つ以上のプロセッサ間の通信が、様々な種類のデータの複数の暗号化/復号化方法及びメカニズムをサポートすることができる。
このシステムは、互いにネットワーク通信する1つ以上のコンピューティングデバイス内に設けられたコンピュータ支援型型ユーザインタフェースを含むことができる。本開示が企図するコンピュータ支援型ユーザインタフェースの1つ以上のコンピュータは、メモリ、プロセッサ、及び入出力システムを備えることができる。実施形態によっては、このコンピュータはさらに、ネットワーク接続及び/又は表示画面を備えることができる。これらのコンピュータ支援型構成要素は、ネットワーク内で協働して、コンピュータ支援型ユーザインタフェースに機能を提供することができる。このコンピュータ支援型ユーザインタフェースは、ユーザがデータを入力し、そこからフィードバックを受け取ることができるコンピュータインタフェースであれば、当技術分野で既知のいずれのタイプであってもよい。このコンピュータ支援型ユーザインタフェースはさらに、本開示が企図するシステムが実行する出力を提供することができる。
本開示が企図するデータベース及びデータは、XML、JSON、CSV、バイナリなど任意の接続タイプ、シリアル、イーサネット(登録商標)などの任意のプロトコル、及びUDP、TCPなどを例とするフォーマットでよい。
本開示が企図するコンピュータ又はコンピューティングデバイスの例には、これに限定するものではないが、仮想システム、クラウド/リモートシステム、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯式コンピュータ、スマートフォン及び他の携帯電話、及び同様のインターネット対応モバイルデバイス、デジタルカメラ、本開示が企図する方法を具体的に実行するように構成されたカスタマイズ式コンピューティングデバイスなどが含まれる。
本開示が企図するネットワークには、例えば、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、アナログ又はデジタル有線及び無線電話ネットワーク(例えば、PSTN、総合サービスデジタルネットワーク(ISDN)、セルラ通信網、デジタル加入者回線(xDSL))、ラジオ、テレビ、ケーブル、衛星、及び/又はデータを搬送する任意の他の配信又はトンネリング機構の1つ以上を含むことができる。ネットワークは、複数のネットワーク又はサブネットワークを含むことができ、その各々は、例えば有線又は無線のデータ経路を含むことができる。このネットワークは、回線交換音声ネットワーク、パケット交換データネットワーク、又は電子通信搬送ができる任意の他のネットワークを含むことができる。例として、インターネットプロトコル(IP)上の画像転送プロトコル(PTP)、Bluetooth(登録商標)上のIP、WiFi上のIP、及びIPネットワークPTP上のIP(PTP/IP)を挙げられるが、これらに限定されない。
本開示が企図する重量センサは、電気抵抗式ひずみゲージ、力覚レジスタ、光電式重量センサ、油圧式重量センサ、気圧式重量センサなどを含むことができるが、これらに限定されない様々な方法で食品の重量を測定することができる。
本開示が企図する撮像装置は、これに限定するものではないが、デジタル一眼レフカメラ(DSLR)、非一眼レフデジタルカメラ(例えば、これに限定するものではないが、コンパクトデジカム及び一眼レフカメラ(SLR)様ブリッジデジタルカメラ(高度デジタルカメラとしても周知のもの)、さらにSLR様の交換レンズデジタルカメラ)、ならびにビデオレコーダ(例えば、これに限定するものではないが、カムコーダー、アナログカメラ及びIPカメラなど。防犯カメラ録画機(DVR)などのいかなる持続時間の動画も提供できる装置。タブレットコンピュータ、ラップトップコンピュータ、スマートフォンなどのカメラを有する携帯型コンピューティングデバイス)など様々な種類が挙げられる。
本開示で企図する画像ファイルは、コンピュータ又はコンピューティングデバイスによって解釈可能であればいずれのデジタル画像フォーマットであってもよい。本開示で企図する画像ファイルの例には、JPEG、GIF、TIFF、PNG、Bitmap、RAW、PNM、WEBPなどが含まれるが、これらに限定されない。
食品の栄養価を特定するためのシステム及び方法を提供する。このシステムは、食物容器、重量センサ、撮像装置、データベース、及び食物認識装置を備えることができる。このシステムの構成部品は、ネットワーク化されたシステム環境において互いに通信することができる。この食物容器は、1つ以上のプロセッサと1つのメモリとを備え、このシステムの構成部品と電子的に通信することができる。このシステムの構成部品の各々はさらに、互いにデータを送受信するために、様々なタイプの受信機及び/又は他の通信装置を備えることができる。
この食物容器には、1つ以上の区画を形成することができ、この区画各々は、ユーザが消費する食品を収容及び/又は保持する。この1つ以上の区画は、食物容器の1つ以上の区画を表す境界部により画定され得る。この1つ以上の区画は、仕切り及び食物容器がなす周囲壁により区分けすることができる。この1つ以上の区画は、その配置換えにより、1つ以上の区画各々の構成及び/又はサイズを調整することができる。
この食物容器は、食物の識別及び栄養価特定のプロセスにおいて、所定の構造特性を構造モデル/参照として使用できるように、所定の構造特性を有することができる。この食物容器の構造特性の利用については、以下の記載でさらに論じる。
一実施形態において、この食物容器は、境界部によって画定される1つ以上の区画を所定の配置で有することができる。この1つ以上の区画は、構造モデルとなるように特定の方法で配置及び設計が可能である。これにより、この1つ以上の区画の配置及びそれらの設計を、食品の認識及びコンピュータビジョン技術においてさらに利用することができる。例えば、この食物容器を、その中に3つの仕切りを形成して有するプレートとすることができる。この3つの区画のサイズと形状を各々異なるようにして、時計回り方向にそのサイズの順に配置することができる。このように既知となった配置の向きを、本開示に記載のコンピュータビジョン技術及び食品認識方法で利用することができる。
別の実施形態では、この食物容器に、形状、向き、設計、サイズ、寸法、重量などの所定の構造特性を更に割り当ててもよい。食物容器のこれら及び他の構造特性は、当業者には明らかであろう。
さらに別の実施形態では、この食物容器の所定の構造特性に、色などの視覚特性を含めることができる。この食物容器に、その1つ以上の区画と食物容器の他の表面とを画定する1つ又は複数の色があってもよい。この食物容器の本体と仕切りとに所定の色を持たせてもよい。実施形態によっては、境界部に、食物容器の1つ以上の区画を明瞭に表す所定の色を持たせてもよい。この所定の色を、RGB(レッド、グリーン、ブルー)値などの色値に割り当ててもよい。境界部の所定の色は、境界部が1つ以上の区画の周囲表面と写実的にコントラストになっている、すなわち区別できるように、食物容器の他の表面とは別の色にすることができる。境界部が食物容器の他の表面に写実的に混ざり込んでしまわないように、境界部の所定の色で1つ以上の区画を明確に表し、画定することができる。これにより、食物容器の周囲壁及び仕切りを表すことのできる境界部を食物容器の画像において識別可能に視認可能とすることができる。
実施形態によっては、境界部を、様々な線パターン(例えば、破線、点線など)又は他の視覚的に特徴的なパターンで描くことができる。境界部の所定の色と同様に、これらの線パターンは、食物容器の他の表面から境界部を明確に区別させることができる。
実施形態によっては、境界部は、食物容器の他の表面と類似及び/又は同じ色を有してもよい。この境界部を、基準として使用する所定の構造特性の1つとしてもよい。食物容器の所定の構造特性に、境界部の位置、サイズ、向き、形状などの任意の組み合わせを含めることができる。
食品は、液体、固体、粉末、気体などを含むが、これらに限定されないあらゆる形態であり得る。
食物容器は、複数の重量センサを収容することができる。複数の重量センサの各々は、食物容器により形成された1つ又は複数の区画の各々に収容及び保持されている食品の重量を測定するように各々配置されることができる。複数の重量センサは、ネットワークを介して、食物認識装置などの1つ以上のプロセッサと電子的に通信することができる。複数の重量センサ各々によって測定された重量は、本開示にしたがい、食品のさらなる評価及び処理のために食物認識装置の1つ又は複数のプロセッサに送信され得る。
実施形態によっては、この食物容器は、1つ以上の区画に配置される食品の重量を測定する単一重量センサを収容することができる。1つ以上の区画の各々によって保持される食品は、この単一重量センサによって累積的に計量されることができる。同様に、食物容器は、単一の区画と、その単一区画に保持されている食品の重量を測定するための単一の重量センサとを備えてもよい。
実施形態によっては、複数の重量センサを、複数の区画構成の再配置時に配置し直すことができる。
実施形態によっては、複数の重量センサで測定した重量を組み合わせて、1つ以上の区画に保持されている食品の総重量を識別することができる。
1つ又は複数の区画の各々は、モジュール式でもよい。実施形態によっては、食物容器は、土台部と、取り外し可能に組み立てられた1つ以上の区画とを備えることができる。この1つ以上の区画各々は、土台部に着脱可能に嵌め入れ可能である。この実施形態では、1つ以上の区画各々を、交換可能であるように様々な形状及びデザインに個別に設計することができる。この1つ以上の区画を、土台部に着脱可能に取り付けられ得る単一のユニットとしてもよい。このユニットには、さまざまな数の区画、デザイン、及び形状を含めることができる。土台部に、重量センサと、本開示に記載する食物容器の任意の他の構成部品とを含めることができる。
実施形態によっては、食品の栄養価を特定する本システムの食物容器は、電子レンジ対応及び/又は食器洗い機対応とすることができる。実施形態によっては、重量センサ及び食物容器の任意の他の電子構成部品を含み得る土台部を、1つ以上の区画から取り外し可能としてもよい。1つ以上の区画のモジュール式特徴を利用して、食物容器を電子レンジ及び/又は食器洗い機で使用可能とすることができる。次いで、この1つ以上の区画を電子レンジ及び/又は食器洗浄機に使用することができる。
本システムはさらに、単数又は複数の食品を収容する食物容器の画像を撮影する撮像装置をさらに備えていてもよい。撮像装置が撮影する画像を食物認識装置が分析して、1つ以上の区画に保持されている食品の種類を識別することができる。撮像装置によって取得された画像は、食物認識装置の1つ以上のプロセッサに通信されて、1つ以上の区画に保持されている食品の種類を特定することができる。
実施形態によっては、撮像装置を、ハードウェア及びインストールされたソフトウェアを含むスタンドアロン専用装置として実装することができる。この場合、このハードウェアはそのソフトウェアの要件及び/又は機能に厳密に適合したものである。
実施形態によっては、撮像装置を、食物認識装置に搭載しても、つまり食物認識装置と一体化させてもよい。複数の撮像装置を各々、1つ以上の区画に入っている食品各々の画像を撮るように配してもよい。
食品の栄養価を特定する本システムはさらに、表面センサを備えることができる。この表面センサを、1つ以上の区画が保持している食品の組成を分析するように配することができる。表面センサは、様々な方法で食品の組成を識別することができる。一例として、この表面センサは、表面プラズモン共鳴(SPR)であってもよい。このSPRは、食品の種類、食品の調製状態、及び食品の追加の調理成分を識別することができる。別の例として、この表面センサは、食品の表面から農薬、アレルゲン、化学組成物、病原体などを検出することができる分光計であってもよい。この分光計は、食品のスペクトルを分析することによって、その食品の種類、調製状態、及び追加の調理成分を識別することができる。食品の組成に基づいて、1つ以上のプロセッサは、食品の種類、調製状態、及び追加の調理成分を識別することができる。実施形態によっては、表面センサは、食物認識装置上に搭載されてもよいし、食物認識装置と一体化されてもよい。
さらなる実施形態では、本システムは、食品の温度を検出する温度測定装置をさらに備えることができる。食品の種類及び/又は調製状態を、この温度測定装置で特定した温度に基づいて特定することができる。実施形態によっては、食品の温度を熱センサによって検出してもよい。
撮像装置により撮影され、食品を含む食物容器とその食物容器の所定の構造特性とを含む画像を与えられると、食物認識装置は、1つ以上の区画内にある食品の種類を識別することができる。この食物認識装置は、1つ又は複数のプロセッサ及び1つのメモリを備えることができる。さらに、食物認識装置は、ネットワークを介してデータベースと通信することができる。食物認識装置は、当技術分野、関連技術分野または、後発技術でユーザ通信装置及びユーザコンピューティングデバイスで一般に見られる1つ以上のプロセッサ及び種々のメモリおよび記憶装置を含んでもよい。
食品の栄養価を特定する本システムは、本開示に記載するように、サーバを実装することができる。このサーバは、あらゆる種々のコンピューティングデバイスとして実装可能である。その例として、汎用コンピューティングデバイス、複数のネットワークサーバ(クラスタ内又はサーバファームとして配列)、メインフレームなどを挙げられる。このサーバを、食品の栄養価を特定するように構成できる食物認識装置に搭載、統合、又は動作可能に関連付けることができる。このサーバは、そのデータベースに様々なデータを保存することができる。
一実施形態において、この食物認識装置は、ハードウェア及びインストールされたソフトウェアを含むスタンドアロン専用デバイスとして実装することができる。このハードウェアはそのソフトウェアの要件及び/又は機能に厳密に一致している。
別の実施形態では、食物認識装置を、システムの構成部品間にネットワークを確立するように構成されたネットワークアプライアンスに搭載しても、統合してもよい。この食物認識装置及びネットワークアプライアンスのうちの1つ又は両方を、食物容器、重量センサ、撮像装置、及び食物認識装置の間でソフトウェア命令及びデータの交換を支援するためのインタフェースとして動作するか、又はそのインタフェースを提供することができるものとし得る。実施形態によっては、ネットワークアプライアンスは、他の装置と一体化された食物認識装置を含むように予め構成されていても、動的に構成されてもよい。
さらに別の実施形態では、食物認識装置をサーバに搭載しても、サーバと一体にしてもよい。例えば、食物認識装置を、サーバ又は本システムのネットワークに接続された他のコンピューティング装置と一体化することができる。このサーバにモジュールを含むことができる。このモジュールにより、サーバをネットワークアプライアンスに導入して、ネットワークアプライアンスが、食物認識装置を1サービスとして呼び出すことができるようにしてもよい。このネットワークアプライアンスの例には、DSLモデム、無線アクセスポイント、ルータ、基地局、及び食物認識装置を実装するのに十分な所定の計算能力及び記憶容量を有するゲートウェイが含まれるが、これらに限定されない。
さらなる実施形態において、食物認識装置を、撮像装置などの1つの以上の装置に搭載、又は一体化することができる。食物認識装置は、食物認識装置の機能を提供することができる撮像装置を備えた様々なコンピューティングデバイスであれば、いずれでもよい。例えば、一体型カメラを備えるスマートフォン又はタブレットを本システムに実装して、本開示に開示する撮像装置及び食物認識装置の機能を実行させることができる。
さらなる実施形態において、食物認識装置を、撮像装置、食物容器、食物認識装置と一体化する、又は搭載するなど、分散方式で任意の数のデバイスと一体化することができる。
食物認識装置は、ハードウェア又はハードウェアとソフトウェアの適切な組み合わせで実現可能である。実施形態によっては、食物認識装置は、データ解析用の機械可読プログラム命令及び食物容器と撮像装置との間の相互作用を実行する1つ以上のプロセッサを含むハードウェア装置でもよい。この「ハードウェア」は、個別構成部品、集積回路、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、デジタル信号プロセッサ、又は他の適切なハードウェアの組み合わせを含むことができる。「ソフトウェア」は、1つ以上のオブジェクト、エージェント、スレッド、コード行、サブルーチン、別々のソフトウェアアプリケーション、1つ以上のソフトウェアアプリケーション内又は1つ又は複数のプロセッサ上で動作する2つ以上のコードライン又は他の適切なソフトウェア構造を含むことができる。1つまたは複数のプロセッサは、例えば、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、ステートマシン、論理回路、及び/又は動作命令に基づいて信号を操作する任意のデバイスを含むことができる。その他の能力では、このプロセッサを、信号認識、データ処理入力/出力処理、電力制御などのタスク、及び/又は他の機能を実行するために、食品読取装置に関連するメモリ内のコンピュータ読取り命令をフェッチして実行するように構成することができる。食物認識装置は、プロセッサ上で実行するソフトウェアユニットとしてのモジュールを含むことができる。
実施形態によっては、食物認識装置は、全体的又は部分的に、単独で、又は1つ以上のハードウェア資源と連携して動作するソフトウェアアプリケーションを含むことができる。このようなソフトウェアアプリケーションは、異なるハードウェアプラットフォーム上の1つまたは複数のプロセッサによって実行されてもよいし、仮想環境内でエミュレートされてもよい。食物認識装置の態様は、既知の、関連技術の、又は後発既製ソフトウェアを活用することができる。他の実施形態は、モバイル交換センター、ネットワークゲートウェイシステム、インターネットアクセスノード、アプリケーションサーバ、IMSコア、サービスノード、又はこのいずれかの組み合わせのものを含むいくつかの他の通信システムと一体化又は通信する食物認識装置を備えてもよい。実施形態によっては、食物認識装置を、これらに限定されないものではないが、ファッションアクセサリ(例えば、リストバンド、指輪、時計など)、ユーティリティデバイス(ハンドヘルドバトン(hand-held baton)、ペン、傘、腕時計など)、身体衣類、又はこのいずれかの組み合わせを含むウェアラブル装置と一体化、又はこれらとして実現することができる。
食物認識装置は、ソフトウェア・インタフェース(アプリケーション・プログラミング・インタフェース、グラフィカルユーザインタフェースなど)、ハードウェア・インタフェース(例えば、ケーブルコネクタ、キーボード、カードリーダ、バーコードリーダ、バイオメトリックスキャナ、マイクロホン、カメラ、インタラクティブディスプレイスクリーンなど)又はこの両方を含む、様々な既知の、関連技術の、又は後発のインタフェースの1つ以上を含むことができる。
本開示に記載のシステム及び方法は、食物容器に置かれている1種以上の食品の栄養価を特定することができる。食品の栄養価を特定するプロセスを開始するために、この食物認識装置はさらに、コンピュータビジョン技術を採用して、撮像装置が撮った食物容器の画像を認識することができる。本質的には、この食品栄養価特定方法は、画像取得、画像修正、画像分割、食物識別、及び栄養価特定を含む。
この食物認識装置は、ネットワークを介して撮像装置から1種以上の食品を含む食物容器の画像を取得することができる。以下、この画像を暫定画像と呼ぶ。さらに、食物認識装置は、食物容器に収容されている重量センサが測定した食品の重量を得ることができる。これにより、この食品の暫定画像及び重量が食物認識装置によって識別可能となる。
データベースは、食物認識装置と通信して、食物容器の所定の構造特性及び視覚特性(例えば色)に関連する情報を保存することができる。さらに、このデータベースは、撮像装置から得られる暫定画像と比較するモデルとして、基準食物容器画像を保存することができる。ユーザは撮像装置で、1つ以上の区画が食品を中に入れているときに食物容器の画像を撮影することができる。基準食物容器画像を、画像歪み又は色歪みのない食物容器の画像とすることができる。実施形態によっては、基準食物容器画像を、上から撮影した2次元画像とすることができる。
暫定画像を修正するために、食物容器の暫定画像を基準食物容器画像と比較することができる。利用者が、利用可能な様々な撮像装置を用いて食物容器の画像を取り込むので、その画像は画像歪み又は色歪みを含むことがある。そこで、その食物容器の所定の構造特性及び視覚特性を、暫定画像の構造的及び視覚的特性と比較することができる。
一実施形態において、暫定画像の1つ以上の区画の配置を基準食物容器の画像と比較して、撮像装置により撮影された暫定画像内の食物容器の向きを修正することができる。実施形態によっては、基準食物容器画像を画素毎に暫定画像と直接比較して、画像歪みがあればそれを識別してもよい。食物容器の所定の構造特性がわかっているため、暫定画像の画像歪みがあればそれを調整することができる。実施形態によっては、仕切りの境界部を使って、食物容器の暫定画像の向きを修正してもよい。撮像装置が撮った食物容器の暫定画像に存在する画像歪み(配向歪み)を確認するために、画像の境界部を基準食物容器画像の境界部と比較してもよい。例えば、1つ以上の区画を、特定の順序で配置してもよい。基準食物容器画像から1つ以上の区画の既知の向きが与えられていれば、食物容器の暫定画像を回転させ、それによって暫定画像の向きを調整することができる。その暫定画像内の食物容器の向きを修正するために、食物容器の仕切り、周囲壁、及び境界部を使用することができる。
実施形態によっては、食物容器の正しい向きを示すためのマーキングを食物容器に刻印してもよい。このマーキングは、暫定画像の向きをマーキングの所定の位置を基準に調整することができるように、所定の位置に食物容器に刻印することができる。このマーキングは、任意の記号、文字などでよい。また、暫定画像の色調整を補助するために、マーキングに所定の色を持たせることができる。このマーキングの所定の色を、暫定画像の色構成を調整する基準として使用してもよい。好ましい実施形態において、食物容器の境界部を、本開示に記載のマーキングとして利用することができる。
この食物認識装置によって提供される方法はさらに、食物容器の暫定画像を標準ビュー(canonical view)に補正することを含むことができる。この標準ビューを、基準食物容器画像によって設定してもよい。1つ以上の区画内にある食品の種類を識別するため、暫定画像における画像歪みの修正が必要な場合がある。画像歪みの例としては、スケール歪み、回転歪み、射影歪み、及びバレル歪みが挙げられるが、これらに限定されない。標準ビューは、画像歪みを補償する変換を適用することによって得られる。この変換は幾何変換でもよい。
一実施形態において、この変換は、暫定画像内の食物容器のサイズ及び形状を基準食物容器のサイズ及び形状と比較することによって識別することができる。この比較は、暫定画像から識別される境界部と基準食物容器画像から識別される境界部との間で行うことができる。したがって、この変換は、暫定画像から得られる食物容器の境界部のサイズ及び形状を基準食物容器画像からの得られる食物容器の境界部のサイズ及び形状と比較することによって識別できる。この比較を、暫定画像内の食物容器の任意の構造特性とその食物容器の所定の構造特性との間で行うこともできる。一例として、画像の解像度を比較することができる。同様に、画像の解像度を、画素−ミリメートル変換を識別することなどによって、実際のサイズに変換することができる。別例として、画像撮影時における撮像ユニットと食物容器との間の距離が一定でないために、2枚の画像、すなわち暫定画像及び基準食物容器画像のサイズが別々の場合がある。この場合の暫定画像のサイズを、基準食物容器画像内の食物容器のサイズを参照することによって調整することができる。同様に、様々なタイプの撮像装置及びそこから得られる画像との間で一定ではない焦点距離を、基準食物容器画像から食物容器の所定サイズを識別することによって調整することができる。
別の実施形態では、この変換を、食物容器上にある少なくとも2つのマーキングを識別することによって識別してもよい。食物容器にはその表面に基準点として使用可能なマーキング、パターン等を刻印しておくことができる。このマーキングの二次元座標を食物容器の暫定画像内で識別することができる。このマーキングに所定の二次元座標で割り当てて、暫定画像におけるこのマーキングの二次元座標を所定の二次元座標と比較して変換を識別することができるようにすることができる。暫定画像を、暫定画像と基準食物容器画像との間の2つのマーキングの位置の違いを識別することによって調整することができる。この違いは、2次元空間内で暫定画像を調整することによって補償することができる。例えば、調整は、x軸、y軸、2つのマーキング間の距離、2つのマーキング間の角度などを使って行うことができる。同様に、暫定画像内のマーキングの位置を基準食物容器画像のマーキングの位置と比較して、画像歪みがあればそれを修正可能な変換を識別することができる。比較後、暫定画像に歪みがある場合には、その2つのマーキングを基準食物容器画像のマーキングと一致させることによって暫定画像を調整することができる。
さらに別の実施形態では、食物容器に1つのマーキングを刻印してもよい。この単一マーキングの向きを利用して、デカルト座標系における任意の3次元回転ひずみ、すなわちピッチ、ヨー、及びロールを識別してもよい。このデータベースは、モデルとして提供すべき三次元歪みのないマーキング画像を含むことができる。同様に、基準食物容器画像の境界部を3次元歪みのないモデルとして利用してもよい。基準食物容器画像及び暫定画像の境界部を比較して、3次元歪み(3軸のいずれかにおける回転)があればそれを識別することができる。三次元の歪みが識別された場合、その歪みを修正する変換を計算することができる。この実施形態では、この変換は、3次元デカルト座標系におけるx軸、y軸、z軸に沿った角度における3次元歪みと、撮像装置と食物容器との間で変化する距離に起因する暫定画像のサイズにおける歪みを表す。この変換を暫定画像に適用すると、あらゆる三次元歪みを除去することができる。
食物容器の暫定画像がもつ色構成を、食物容器の所定の色に基づいて調整することができる。一実施形態では、割り当てたRGB値を有する境界部の所定の色を、暫定画像内の境界部の色と比較することができる。色の相違が識別された場合には、画像の色構成を調整することができる。この色構成には、彩度、光変化、コントラスト、明るさなどを含めることができる。暫定画像の色構成を、境界部がもつ所定の色に割り当てられたRGB値に一致させることができる。
別の実施形態では、食物容器の他の表面がもつ所定の色を同様に利用して、撮像装置により撮影された暫定画像の色構成を調整することにより色歪みを修正することができる。境界部の所定の色を利用する上記実施形態と同様に、食物容器の他の表面に所定の色のRGB値を割り当て、これを参照として使用して、暫定画像の色構成を基準食物容器画像の色構成と一致するように調整することができる。
さらに別の実施形態では、食物容器に刻印したマーキングの所定の色を同様に利用して、撮像装置が撮った暫定画像の色構成を調整してもよい。
食品を含む食物容器の暫定画像を、1つ以上の区画に基づいて分割することができる。この食物容器の境界部を利用して、食物容器の1つ以上の区画各々を分離してもよい。さらに、暫定画像内の食品を、食物容器から隔離することができる。
暫定画像の背景を取り除くことができる。暫定画像は、食品を入れた食物容器と、その食物容器の周囲環境を表す背景とを含む場合がある。例えば、暫定画像が、食物容器と食物容器が置かれているテーブルとを含む場合がある。実施形態によっては、食物容器とその背景との間の色の違いを分析することによって暫定画像の背景を取り除くことができる。この色差は、暫定画像を画素ごとに分析することによって識別することができる。この実施形態では、食物容器の所定の色を利用して、食物容器に属する画素と背景に属する画素とを識別することができる。実施形態によっては、暫定画像の背景を境界部に基づいて取り除いてもよい。境界部が暫定画像の背景とグラフィック的に対照的である又は明白であるように、境界部の色を背景とは異なる色にすることができる。これにより、暫定画像内の背景を表す部分、例えば暫定画像内で境界部の外側部分を取り除くことによって、暫定画像内の背景を取り除くことができる。
実施形態によっては、暫定画像の背景を境界部の所定の構造特性に基づいて取り除くことができる。境界部を、基準として使用するその所定の構造特性の1つとすることができる。食物容器の所定の構造特性の例として、境界部の位置、サイズ、向き、形状などの任意の組み合わせを挙げられる。境界部の所定の構造特性を利用して、暫定画像内の境界部の位置及び輪郭線を識別して、暫定画像内の境界部の外側部分を取り除くことができる。
実施形態によっては、暫定画像の分割を、食物容器の暫定画像に基準食物容器画像の境界部を位置合わせすることによって行うことができる。画像歪みが除去された状態で、この2枚の画像、すなわち暫定画像及び基準食物容器画像を位置合わせして、1つ以上の区画に分割することができる。実施形態によっては、食物容器の周囲壁を表す境界部を位置合わせして、1つ以上の区画を一括して分割してもよい。実施形態によっては、仕切りを表す境界部を位置合わせして、1つ以上の区画を個別に分割してもよい。食物容器の周囲壁を表す境界部を含むテンプレート画像を、データベースによって保存することができる。同様に、仕切りを表す境界部を含むテンプレート画像を、データベースによって保存することができる。これらの2つのテンプレートを、暫定画像と選択的に、個別に、及び/又は一括して位置合わせして、1つ以上の区画を分割及び分離することができる。
暫定画像の食物容器内の色を、その食物容器の暫定画像に含まれている食品を識別及び隔離するために、(例えば画素ごとに)分析することができる。実施形態によっては、暫定画像内で分割された1つ以上の区画各々を分析して、その1つ以上の区画各々に含まれている食品を識別及び隔離することができる。1つ以上の区画各々の色を分析して(例えば画素ごとに)、暫定画像の食物容器に含まれている食品を隔離してもよい。食品を表さない暫定画像の画素を除去することができるため、それによって、分割された1つ以上の区画をさらに分離して、食品だけの画像を得ることができる。同様に、実施形態によっては、暫定画像内の食品を、上述した分割処理なしで識別及び隔離してもよい。
一実施形態において、食物認識装置は、修正及び分割した暫定画像から、食品の種類を識別するため、その食品の特徴に関する情報を収集することができる。食品の特徴例として、体積、質感、色、スペクトル、形状などの視覚的要素が挙げられる。この食品の特徴に、温度や化学組成などの非視覚的要素も含めてもよい。食物認識装置は、食品の暫定画像から受け取る情報に基づいて、1つ以上の区画各々が保持している食品の種類を識別することができる。実施形態によっては、暫定画像から識別された食品の特徴をデータベースと比較して、一致する食品の種類を特定することができる。このデータベースには、対応食品を示す、予想される特徴を保存しておくことができる。このデータベースは、様々なタイプの食品及びその特徴を保存することができる。食物認識装置はこのデータベースと通信可能であり、これにより様々なタイプの食品が種々の食品各々から予想される対応特徴にリンクされる。一例として、イチゴの色、形状、質感などの視覚的特徴が暫定画像の食品のものと一致すれば、暫定画像に含まれる食品がイチゴであると識別することができる。この例では、赤、三角、有孔などのイチゴの視覚的特徴が、この食品の種類を示すことができる。
種々の食品各々から予想される、その食品に対応する特徴を、データベースに保存しておくことができる。このデータベースは、機械学習プロセスによって構築することができる。モデル食品の画像からそれに対応する特徴を集めることにより種々の食品の特徴を収集することができる。モデル食品及びそれに対応する特徴について、食品の特徴に基づいてその種類を認識できるようにするため、モデル食品の種類ごとに十分な対応特徴が収集されたかどうかの確認試験をすることができる。データベースはさらに、ユーザが本開示で開示した容器を利用するたびに、システムが食品の種類を識別するのにしたがって更新可能である。実施形態によっては、システムの使用前に、種々の食品各々から予想される、その食品に対応する特徴を収集してデータベースに入れておくことができる。
別の実施形態では、暫定画像の食品から抽出された特徴を、データベースに保存されている基準分割食物画像の食品から抽出された特徴と比較することができる。このデータベースは、上述した色の歪み、構造的歪み、及び/又は視覚的歪みのない食品(モデル食物)の画像である参照分割食品画像を含むことができる。この基準分割食品画像から特徴を食品の種類毎に抽出し、データベースに保存し、暫定画像内の食品の種類を識別するための基準として使用することができる。
さらに別の実施形態において、食物認識装置は、参照(例えば、基準分割食物画像)として使用する食品の画像を保存しているデータベースと通信することができる。その画像を暫定画像と比較して食品の種類を識別することができる。例えば、暫定画像とデータベースからの食品の画像とを画素ごとに比較して、暫定画像に含まれる食品の種類を識別すことができる。暫定画像とデータベースからの食品の画像との間の類似性を分析して一致を識別することができる。その類似性が閾値よりも高い場合に、食物認識装置はそれらを一致として識別することができるように、2枚の画像間の類似性を分析する際には閾値を用いてもよい。
その食品が、様々な成分の混合物である場合がある。この実施形態では、食品の種類は、食品の様々な成分各々を個別に識別すること、及び食品の全体的な特徴を集合的に識別することによって識別することができる。食物認識装置は、様々な成分を一致する種類の食品に結びつける情報を記憶するデータベースと通信することができる。一例として、パスタ料理は、多くの場合種々の成分を含んでいる。1つ以上のプロセッサが、様々な成分を含んでいるであろうパスタ料理の画像を分析することにより、食物容器に保持されている食品は、暫定画像から特定された様々な成分、ミートボール及びスパゲッティなどで作られたパスタ料理であることを識別することができる。
実施形態によっては、上述したように様々なコンピュータビジョン技術から、追加調理成分を識別することができる。食物認識装置は、食品の抽出された特徴に基づいて、オイルやスパイスなどの追加調理成分を識別することができる。この追加調理成分の特徴及び/又は画像をデータベースによって保存することができる。例えば、食物容器はパセリを付け合わせとする食品としてパスタ料理を保持する場合がある。食物認識装置は、その食品をパスタ料理として識別することができる上、付け合わせのパセリを追加調理成分として識別することができる。追加調理成分を特定するこの特徴は、特定の食品群にアレルギーを起こす人々にとって重要であり得る。
さらに別の実施形態では、食物認識装置から得た情報をさらに処理して、食品の調製状態を識別することができる。食品の成分は、調理されるとその量、質感、スペクトル、化学組成、色、形状、温度などに変化が起こり得る。食品の調製状態は、暫定画像及び/又はその食品のから抽出された特徴から特定可能である。一例として、食品は調理されると、その色が変化する傾向がある。暫定画像からその食品の色を認識することにより、その食品の調製状態を識別することができる。様々な食品の調製状態を示す特徴及び/又は画像をデータベースに保存することができる。
食物容器の暫定画像から認識される食品の種類及び重量センサによって測定された重量を与えられると、食物認識装置は、食物容器の1つ以上の区画内の食品の栄養価を特定することができる。
一実施形態において、データベースは、栄養値変換情報を保存することができる。この情報は、食品の様々な種類の重量当たりの栄養価を示すことができるものである。これにより、食品の栄養価を、暫定画像の食品の重量及び種類に基づいて特定することができる。この栄養価の例として、カロリー、ビタミン、ナトリウム含有量、脂肪含有量、炭水化物などを挙げられるが、これに限定されるものではない。
別の実施形態では、食品が、様々な成分の混合物である場合がある。この実施形態では、食品の栄養価を、様々な成分の重量及び種類に基づいて、まとめて又は個別に特定することができる。実施形態によっては、食物認識装置は、様々なタイプによる混合食品の栄養価を保存するデータベースと通信することができる。種々の成分の混合物で作られた食品の種類が認識されると、その栄養価を混合食品のタイプ及び重量に基づいて特定することができる。
実施形態によっては、様々な成分による混合物中の成分を個々に識別して、その食品の栄養価を特定することができる。
実施形態によっては、様々な成分による混合物中の成分の空間比を、その混合食品の栄養価を特定するために識別することができる。この空間比は、混合食品中の様々な成分各々の組成を示す。データベースは、空間比−種類情報を保存することができる。これにより、様々なタイプの混合食品に所定の空間比を割り当てることができる。このような混合食品の種類が認識されると、空間比−種類情報を用いて複数成分の空間比を求め、続いて各成分の栄養価を特定することができる。実施形態によっては、暫定画像を分析することによって、混合食品の空間比を特定することができる。混合食品の成分を、暫定画像を分析することによって個々に認識することができる。例えば、暫定画像から隔離された食品を画素ごとに分析して、その混合食品の成分間の空間比を特定することができる。
食物認識装置はさらに、1つ以上の区画内の食品の体積を特定することができる。暫定画像内の食品の種類及び重量に基づいて、その体積を推定することができる。データベースは、様々な食物の種類の密度を伴う種類−密度情報を保存することができる。既知の重量及び既知の密度を用いて、食品の体積を導き出すことができる。その食品の栄養価を、食品の導き出された体積とその種類とに基づいて特定することができる。実施形態によっては、食品の体積は、食品の表面積(例えば、暫定画像を占める食品の画素数)によって近似することができる。実施形態によっては、食品の体積を、異なる角度で撮影された同じ食物容器の2枚以上の暫定画像に基づいて特定してもよい。この場合の体積を、2枚以上の暫定画像に基づいて食品の3次元体積の三角測量によって近似することができる。
食物認識装置はさらに、食物認識装置、システム、そのコンポーネントと相互作用し、その動作を制御するため、ユーザ用コンピュータ支援型ユーザインタフェースと通信することができる。このコンピュータ支援型ユーザインタフェースは、システムのコンポーネントから得られる入力及び出力をすべて表示することができる。食物認識装置の1つ又は複数のプロセッサが処理したデータは、コンピュータ支援型ユーザインタフェースに表示することができる。
一実施形態において、コンピュータ支援型ユーザインタフェースは、ディスプレイを介して食品の重量を示すことができる。重量センサが測定した重量が表示され得る。
別の実施形態では、コンピュータ支援型ユーザインタフェースは、暫定画像の食品画像から得られる情報に基づいて、食物認識装置が特定する食品の種類を表示することができる。
さらに別の実施形態では、コンピュータ支援型ユーザインタフェースは、暫定画像の食品画像から得られる情報に基づいて、食物認識装置が特定する食品の調製状態を表示することができる。
さらなる実施形態では、コンピュータ支援型ユーザインタフェースは、食品の栄養価を示すことができる。食物認識装置は重量センサ及び暫定画像から得られる情報に基づいて食品の栄養価を特定することができる。この栄養価はさらに、食物認識装置が識別する調製状態に基づいて、食物認識装置により特定することができる。
コンピュータ支援型ユーザインタフェースを、ユーザからの入力を受信するように構成することができる。このコンピュータ支援型ユーザインタフェースは、健康状態、食物アレルギー情報などの食事要件に関するユーザからの入力を受信することができる。ユーザから受信した入力をさらに、食品の栄養価及びユーザの食習慣をさらに評価及び監視するために、食物認識装置に伝達することができる。この食習慣には、ユーザが食品を消費する速度、ユーザがある種の食物を消費する頻度、各摂取時又は食事中にユーザが消費する食品の量などを含み得る。この食習慣を監視して、食べるパターンや行動を特定することができる。食物認識装置は、ユーザの入力に基づいて、ユーザに適した推奨食事計画を提供することができる。このユーザ入力は任意の形態でよく、例としてテキスト入力、音声入力などを挙げられるが、これに限定するものではない。推奨食事計画は、ユーザ又は食物認識装置と通信している外部装置から食物認識装置が受信し得るユーザの健康状態に基づいて修正可能である。
ユーザはまた、コンピュータ支援型ユーザインタフェースを介して、食物容器を使用することなく消費した食品についての情報を提供してもよい。ユーザは、コンピュータ支援型ユーザインタフェースを使用して、カロリー又は任意の他の栄養情報を手動で入力することができる。
ここで図1を参照すると、図1は、使用中の食物認識装置及び食物容器の例示的な一実施形態を示している。この実施態様100において、食物認識装置は、撮像装置の食物認識装置101との一体化が可能である。食物認識装置101は、3種類の食品105、106、107を含む食物容器109の画像(暫定画像)を取り込むように配置され得る。食物容器109は、3つの区画102、103、104を内部に形成して有することができる。3つの区画102、103及び104を、食物容器109の周囲壁及び仕切り108によって区分することができる。仕切り108及び食物容器の周囲部(境界部)は、所定の色で示すことができる。この実施形態では、食物認識装置101は、スマートフォン又は、本開示に記載の食品認識方法を実行する1つ又は複数のプロセッサ及びメモリを備える他の同様のタイプの携帯型コンピューティングデバイスであってもよい。
図2は、食料画像分離を行うコンピュータビジョン技術方法の一例示的実施形態を示す。この実施形態200において、この処理を画像取得201から開始することができる。画像取得ステップ201では、撮像装置が取得した食物容器の暫定画像209を食物認識装置で取得することができる。データベースは、基準食物容器画像206を保存することができる。基準食物容器画像206は、そこに背景を有していない場合もある。データベースはさらに、基準食物容器画像206内の食物容器の周囲壁207の輪郭線を含むことができる。周囲壁207の輪郭線は、これを第1のテンプレート207とも呼ぶ場合があるが、食物容器の最外縁を画定することができる。さらに、データベースは、食物容器の3つの区画の境界部を表す第2のテンプレート208を含むことができる。
画像修正ステップ202において、基準食物容器の画像206を暫定画像209と比較して、暫定画像209を修正することができる。修正暫定画像210は、画像修正ステップ202の結果であり、画像を含まない。この実施形態では、暫定画像209の向きを修正して、基準食物容器画像206の向きに1つ以上の区画の配置を一致させる。ここでは境界部及び/又は食物容器の所定の色を利用して、暫定画像209の色構成を調整することができる。外周203に基づく画像分割のステップでは、第1のテンプレート207を修正後の暫定画像210に位置合わせすることにより、暫定画像の背景を取り除くことができる。画像211は背景のない修正暫定画像210を表す。
背景の除去後、第2のテンプレート208を、仕切り204に基づいて、画像分割のステップのために画像211(背景無し)と位置合わせすることができる。第2のテンプレート208は、食物容器の仕切りの輪郭線となる。したがって、暫定画像209の3つの区画各々を分割することができる(212)。食品画像分離のステップ205において、212に示すように3つの区画を分割したら、暫定画像209の食品を、食物容器の他の表面を取り除くことにより、隔離することができる。この隔離は、食物容器の他の表面がもつ所定の色に基づいて分割画像212の画素を除去することで実行可能である。
図3は、食品の栄養価を特定するシステムの例示的な一実施形態を示す。このシステムは、複数の重量センサ301を埋め込んだ食物容器109を備えることができる。複数の重量センサ各々を、食物容器109の1つ以上の区画内に保持されている食品の重量を測定するように配置可能である。このシステムはさらに、食物認識装置101を備えることができる。この実施形態では、食物認識装置101は、撮像装置302を搭載した一体型装置として示されている。食物認識装置はさらに、プロセッサ303及びコンピュータ支援型ユーザインタフェース304を含むことができる。食物認識装置101は、ネットワーク305を介してデータベース306と通信することができる。
図4は、本開示によるコンピュータビジョン技術の例示的な一実施形態のフローチャートである。401にて、撮像装置が撮影した画像(暫定画像)を食物認識装置が取得する。ステップ402にて、食物認識装置は基準食物容器画像に基づいてその暫定画像を修正することができる。ステップ403において、修正後の暫定画像をさらに、境界部に基づいてさらに分割することができる。ステップ404にて、暫定画像内の食品を分離して、その種類を識別することができる。食品の種類及び食品の重量がわかったところで、ステップ405において、食物容器内の食品の栄養価を特定することができる。
図5は、本開示による画像修正処理のフローチャートである。画像修正処理を開始するために、暫定画像を識別することができる(501)。502にて、暫定画像を基準食物容器画像と比較し、暫定画像内に存在し得る画像歪みを識別することができる。暫定画像と基準食物容器画像との間の比較(503)に基づいて、食物認識装置によって変換を特定することができる。ステップ504にて、その変換を暫定画像に適用して、暫定画像を修正することができる(505)。
図6A及び図6Bは、本開示による食品隔離処理の例示的実施形態を示す。この食品隔離処理は、食物認識装置によって実行可能である。図6Aにおいて、このプロセスを暫定画像601内の色情報分析から開始する。食物容器とその背景との間の色差を暫定画像から識別することができる(602)。識別した食物容器とその背景との間の色差に基づいて、暫定画像の背景を取り除くことができる(603)。ステップ604にて、背景除去後の暫定画像内の食品を、食物容器の他の表面の所定の色に基づいて識別することができる。最後に、暫定画像内に表された他の表面を取り除くことにより、暫定画像内の食品を隔離することができる(605)。
図6Bにおいて、606にて、暫定画像内の境界部を食物認識装置により識別することができる。この境界部は、食物容器の周囲壁を表す第1のテンプレート及び食物容器の仕切りを表す第2のテンプレートを含むことができる。第1のテンプレートに基づいて、背景を取り除くことができる(607)。これは、第1のテンプレートを暫定画像と位置合わせすることにより行うことができる。ステップ608にて、暫定画像内の食物容器の1つ以上の区画を、第2のテンプレートに基づいて分割することができる。分割後、609にて、暫定画像内の他の表面を取り除くことにより、暫定画像610内の食品を隔離することができる。
図7A及び図7Bは、食品識別処理の例示的な一実施形態をフローチャートで示している。図7Aは、暫定画像内の食品画像の特徴を、データベースに保存された様々なタイプの食品に対応する、予想される特徴と比較する食品識別プロセスを説明する。このデータベースは、種々の食品を記憶することができ、その各々がその種々の食品各々に対応する様々な特徴にリンクされている。ステップ701及び705にて、食物認識装置は、暫定画像から隔離された食品を得ることができる。図7Aでは、隔離食品の特徴を抽出し(702)、予想される特徴と比較することができる(703)。図7Bでは、暫定画像から隔離した食品を、データベースに保存されている基準分割食物画像と比較することができる(706)。基準分割食物画像は、種々の食品を表すモデル食品画像である。隔離した食品がモデル食品画像(食品画像)の1つに厳密に一致するかどうかを識別するため、隔離した食品とモデル食品画像とを比較してこの2つの間の類似点を特定することができる。ステップ706はさらに、暫定画像から直接抽出された特徴と比較され得る特徴をモデル食品画像から抽出することを含むことができる。好ましい一実施形態では、この特徴は、食品の質感及び色を含むことができる。ステップ704及び707にて、暫定画像に含まれる食品の種類が識別される。
図8は、暫定画像を修正するために参照される所定の構造特性の概略図を示す。暫定画像809を、画像修正810を目的として、食物容器の所定の構造特性801と比較することができる。この所定の構造特性801には、色802(食物容器の境界部、他の表面及び/又は他の部分の色)、向き803、解像度804、サイズ805、形状806、寸法807、及び画素808を含めることができる。向き803は、暫定画像に存在し得る回転歪みを調整する際に参照することができる。解像度804、サイズ805、形状806、及び寸法807は、暫定画像に存在し得るアフィン変換、スケール歪み、及び/又は射影歪みを調整する際に参照することができる。画素808は、画素をミリメートルなどの測定単位に変換することが可能な暫定画像のサイズ調整の際に参照することができる。最後に、色802は、暫定画像の色構成を調整する際に参照することができる。食物容器のこれら及び他の所定の構造特性は、暫定画像の修正を目的として個別に又は集合的に利用可能である。
図9は、食物認識装置を独立型装置として実装するシステムであって、食品の栄養価を特定するシステムの例示的な一実施形態である。このシステムは、食物認識装置101、食物容器109、撮像装置302、及びデータベース306を含むことができ、システムの構成部品は、ネットワーク305を介して互いに通信することができる。食物認識装置101は、ディスプレイ901と、プロセッサ303と、ユーザ入力装置902とを備える。食物認識装置101はさらに、プロセッサ303上で実行される様々なモジュールを含むことができる。この様々なモジュールには、データ集約モジュール903、画像修正モジュール904、画像分割モジュール906、食物識別モジュール907、及び栄養価特定モジュール905が含まれる。データ集約モジュール903は、重量センサからの重量及び撮像装置302からの暫定画像の取得を担うことができる。画像修正モジュール904は、本開示に従って暫定画像を修正する処理及び方法を実行することができる。画像分割モジュール906は、本開示で説明するように暫定画像を分割する処理及び方法を提供することができる。食品識別モジュール907は、暫定画像に含まれている食品の隔離およびその食品の種類識別を担うことができる。最後に、栄養価特定モジュール905は、本開示に従って食品の栄養価を特定する処理及び方法を実行することができる。
本発明のいくつかの変形例を好ましい実施形態又は特定の実施形態の例として示してきたが、本発明の趣旨及び範囲を逸脱することなく更なる実施形態を展開できることは明白である。ただし、そのような修正及び改変も本発明の趣旨及び範囲内であり、これに限定するわけではないが以下に記載する請求の範囲に含まれることを明確に理解されたい。
当業者であれば、本発明の教示内容を保ちつつ、その装置及び方法に多くの修正、応用、及び変更を行うことができることが容易に理解されるであろう。
Claims (29)
- データベースと通信する食物認識装置を使用し、食品の栄養価を特定するシステムであって、
1つ以上の区画を備えて前記食品を収容する食物容器であって、前記1つ以上の区画は、仕切りにより表される境界部と前記食物容器がなす周囲部とにより画定される食物容器と、
前記食物容器の画像を撮影する撮像装置と、
を含み、
前記食物認識装置がプロセッサ及びメモリを備え、かつ前記撮像装置と通信して、
前記撮像装置から前記食物容器の画像を取得し、
前記画像内の前記境界部を、前記データベースに保存された基準食物容器画像内の前記境界部に位置合わせすることによって、前記画像の向きを修正するように構成されているシステム。 - 前記食物容器内に配置され、かつ、前記1つ以上の区画の各々に収容されている前記食品の重量を測定するように位置づけられた重量センサをさらに備える、請求項1に記載のシステム。
- 前記食物認識装置はさらに、
前記境界部に基づいて前記画像を分割して、前記1つ以上の区画を各々分離し、
各分割画像を前記データベースに保存された基準分割食物画像と比較することによって前記食品の種類を識別するように構成されている、請求項2に記載のシステム。 - 前記食品の種類識別ステップは、前記画像からの前記食品の特徴を、前記基準分割食物画像の特徴と比較するステップを含み、前記特徴は、食品の種類を示す色及び質感を含む、請求項3に記載のシステム。
- 前記食物認識装置はさらに、前記食品の前記重量及び前記種類に基づいて前記食品の前記栄養価を特定するように構成されている、請求項3に記載のシステム。
- 前記食物認識装置はさらに、前記画像を基準食物容器画像と比較することによって識別される前記画像の画像歪みを補償するために変換を適用することによって得られる標準ビューに、前記画像を補正するように構成されている、請求項1に記載のシステム。
- 前記変換は、
前記食物容器の前記画像内の少なくとも2つのマーキングを識別し、
前記基準食物容器画像に対する前記少なくとも2つのマーキングの各々の2次元座標を決定し、
前記画像と前記基準食物容器画像との間で前記2次元座標を比較することによって、前記画像内の前記画像歪みを補償する前記変換を特定することにより特定される、請求項6に記載のシステム。 - 前記食物認識装置はさらに、前記食物容器の少なくとも一部の所定の色であって、前記データベースに保存されている所定の色に基づいて前記画像の色を調整するように構成される、請求項1に記載のシステム。
- 前記食物認識装置はさらに、前記画像の解像度に基づいて識別される前記画像のサイズを、前記データベースに保存された前記基準食物容器画像のサイズと比較することによって、前記画像のサイズを調整するように構成されている、請求項1に記載のシステム。
- 前記食物認識装置はさらに、
前記食物容器の前記境界部に基づいて前記画像内の背景を取り除き、
前記食品と前記食物容器の他の表面との間の色の違いに基づいて、前記画像内の前記食品を隔離するように構成されている、請求項1に記載のシステム。 - 前記食品隔離ステップは、前記画像を画素ごとに分析して、前記食品を表さない前記画像の画素を除去することを含む、請求項10に記載のシステム。
- 前記食物認識装置はさらに、前記画像内の前記食品の表面積であって、前記画像内に前記食品が占める画素数に基づいて識別される表面積を特定することによって、前記食品の体積を推定するように構成されている、請求項10に記載のシステム。
- 前記食物認識装置はさらに、前記食品の体積であって、異なる角度で撮られた前記食物容器の2枚以上の画像に基づいて特定される体積を特定するように構成されている、請求項1に記載のシステム。
- 前記食物認識装置はさらに、前記画像内の前記食品の成分間の空間比に基づいて前記食品の種類を特定するように構成され、
前記空間比は、
前記データベースに保存されている、種類に対する空間比、および
前記食品中の各成分及びその組成を個別に識別すること
の少なくとも一方に基づいて識別される、請求項1に記載のシステム。 - 前記食物認識装置はさらに、前記食品の体積を特定するように構成されており、前記体積は、前記データベースに保存されている種類−密度リスト及び前記食品の重量から前記食品の密度を識別することによって特定される、請求項1に記載のシステム。
- データベースと通信する食物認識装置を使用し、食品の栄養価を特定するシステムを使用する方法であって、
1つ以上の区画を備えて前記食品を収容する食物容器であって、前記1つ以上の区画は、仕切りにより表される境界部と前記食物容器がなす周囲部とにより画定される食物容器の画像を撮像装置で撮影し、
前記食物認識装置と通信する前記撮像装置から前記食物容器の前記画像を食物認識装置で取得し、
前記画像内の前記境界部を、前記データベースに保存された基準食物容器画像内の前記境界部と位置合わせすることによって、前記画像の向きを前記食物認識装置で修正する、方法。 - 前記1つ以上の区画の各々に収容されている前記食品の重量を測定するように位置づけられ、かつ前記食物認識装置と通信している重量センサから前記食品の重量を前記食物認識装置で取得することをさらに含む、請求項16に記載の方法。
- 前記境界部に基づいて前記画像を前記食物認識装置で分割して、前記1つ以上の区画各々を分離し、
各分割画像を前記データベースに保存された基準分割食物画像と比較することによって、前記食物認識装置で前記食品の種類を識別することをさらに含む、請求項17に記載の方法。 - 前記食品種類識別ステップは、前記画像からの前記食品の特徴を、前記基準分割食物画像の特徴と比較することを含み、前記特徴は、食品の種類を示す色及び質感を含む、請求項18に記載の方法。
- 前記食品の前記重量及び前記種類に基づいて、前記食物認識装置で前記食品の前記栄養価を特定するステップをさらに含む、請求項18に記載の方法。
- 前記画像向き修正ステップは、前記画像を標準ビューに補正するステップを含み、前記標準ビューは、変換を適用して前記画像の画像歪みを補償することによって得られ、前記画像歪みは、前記画像を前記基準食物容器画像と比較することにより識別される、請求項16に記載の方法。
- 前記変換は、
前記食物容器の前記画像内の少なくとも2つのマーキングを識別し、
前記基準食物容器画像に対する前記少なくとも2つのマーキングの各々の2次元座標を決定し、
前記画像と前記基準食物容器画像との間で前記2次元座標を比較することによって、前記画像内の前記画像歪みを補償する前記変換を特定することにより特定されることを含む、請求項21に記載の方法。 - 前記画像向き修正ステップが、前記画像のサイズを前記データベースに保存された前記基準食物容器画像のサイズと比較することによって、前記画像の前記サイズを調整するステップを含み、前記画像の前記サイズは、画像の解像度に基づいて識別される、請求項16に記載の方法。
- 前記食物容器の少なくとも一部の所定の色に基づいて前記画像の色を前記食物認識装置で調整するステップをさらに含み、前記所定の色は前記データベースに保存されている、請求項16に記載の方法。
- 前記食物容器の前記境界部に基づいて前記画像内の背景を前記食物認識装置で取り除くステップと、
前記食品と前記食物容器の他の表面との間の色の違いに基づいて、前記画像内の前記食品を前記食物認識装置で隔離するステップとをさらに含む、請求項16に記載の方法。 - 前記画像内の前記食品の表面積を識別することによって、前記食物認識装置で前記食品の体積を推定するステップをさらに含み、前記表面積は、前記画像内に占める前記食品の画素数に基づいて識別される、請求項25に記載の方法。
- 前記食物認識装置で前記食品の体積を特定するステップをさらに含み、前記体積は、異なる角度で撮影された前記食物容器の2枚以上の画像に基づいて特定される、請求項16に記載の方法。
- 前記画像内の前記食品の成分間の空間比に基づいて、前記食物認識装置で前記食品の種類を特定するステップをさらに含み、
前記空間比は、
前記データベースに保存されている、種類に対する空間比、および
前記食品中の各成分及びその組成を個別に識別すること
の少なくとも一方に基づいて識別される、請求項16に記載の方法。 - 前記食品の体積を前記食物認識装置で特定するステップをさらに含み、前記体積は、前記データベースに保存された種類−密度リスト及び前記食品の重量から前記食品の密度を識別することによって特定される、請求項16に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/848,992 | 2015-09-09 | ||
US14/848,992 US9349297B1 (en) | 2015-09-09 | 2015-09-09 | System and method for nutrition analysis using food image recognition |
PCT/US2016/032717 WO2017044161A1 (en) | 2015-09-09 | 2016-05-16 | System and method for nutrition analysis using food image recognition |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018528545A true JP2018528545A (ja) | 2018-09-27 |
Family
ID=55969763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018513299A Pending JP2018528545A (ja) | 2015-09-09 | 2016-05-16 | 食物画像認識を用いた栄養分析のためのシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9349297B1 (ja) |
EP (1) | EP3347889A1 (ja) |
JP (1) | JP2018528545A (ja) |
CN (1) | CN108140328A (ja) |
AU (1) | AU2016320586A1 (ja) |
HK (1) | HK1257551A1 (ja) |
WO (1) | WO2017044161A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020060407A (ja) * | 2018-10-09 | 2020-04-16 | 三井金属計測機工株式会社 | 学習機能を有する加工食品検査装置及び加工食品検査方法並びに加工食品検査プログラム |
WO2020222561A1 (ko) * | 2019-04-29 | 2020-11-05 | 주식회사 누비랩 | 음식 측정 방법, 장치, 및 프로그램 |
KR20200126288A (ko) * | 2019-04-29 | 2020-11-06 | 주식회사 누비랩 | 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램 |
KR20200126576A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정 방법, 장치, 서버 및 프로그램 |
KR20200126577A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11754542B2 (en) | 2012-06-14 | 2023-09-12 | Medibotics Llc | System for nutritional monitoring and management |
SG2013069893A (en) * | 2013-09-13 | 2015-04-29 | Jcs Echigo Pte Ltd | Material handling system and method |
WO2015059931A1 (ja) * | 2013-10-24 | 2015-04-30 | パナソニックIpマネジメント株式会社 | 加熱調理器、調理システム、演算装置及び調理支援方法 |
US9734426B2 (en) * | 2014-09-03 | 2017-08-15 | Sri International | Automated food recognition and nutritional estimation with a personal mobile electronic device |
CA2966635C (en) | 2014-11-21 | 2023-06-20 | Christopher M. Mutti | Imaging system for object recognition and assessment |
US9349297B1 (en) * | 2015-09-09 | 2016-05-24 | Fitly Inc. | System and method for nutrition analysis using food image recognition |
USD801122S1 (en) * | 2016-01-25 | 2017-10-31 | L'atelier Brands Inc. | Plate |
WO2017186964A1 (en) | 2016-04-28 | 2017-11-02 | Koninklijke Philips N.V. | A food monitoring system |
JP6910792B2 (ja) * | 2016-12-13 | 2021-07-28 | ソニーセミコンダクタソリューションズ株式会社 | データ処理装置、データ処理方法、プログラム、および電子機器 |
DE102016225833A1 (de) * | 2016-12-21 | 2018-06-21 | Henkel Ag & Co. Kgaa | Verfahren zur Dosierung von Reinigungsmitteln |
USD845789S1 (en) | 2017-03-02 | 2019-04-16 | Sargento Foods Inc. | Tray |
EP3379475A1 (en) * | 2017-03-23 | 2018-09-26 | Panasonic Intellectual Property Management Co., Ltd. | Information presentation apparatus and information presentation method |
USD850214S1 (en) | 2017-03-24 | 2019-06-04 | Sargento Foods Inc. | Tray |
US10664716B2 (en) | 2017-07-19 | 2020-05-26 | Vispek Inc. | Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence |
EP3459399A1 (en) * | 2017-09-26 | 2019-03-27 | Koninklijke Philips N.V. | Assisting a person to consume food |
KR102400018B1 (ko) | 2017-09-29 | 2022-05-19 | 삼성전자주식회사 | 자동 조리 장치 및 방법 |
KR102027275B1 (ko) | 2017-11-14 | 2019-10-01 | 김대훈 | 급식관리 시스템 및 이의 운영방법 |
US10528793B2 (en) | 2017-12-22 | 2020-01-07 | International Business Machines Corporation | Automatic identification of food substance |
EP3685235B1 (en) * | 2017-12-30 | 2023-03-29 | Midea Group Co., Ltd. | Food preparation method and system based on ingredient recognition |
US11048939B2 (en) | 2018-09-07 | 2021-06-29 | International Business Machines Corporation | Health trends identification |
WO2020103001A1 (zh) * | 2018-11-20 | 2020-05-28 | 华为技术有限公司 | 一种估算物体参数的方法以及电子设备 |
JP7431234B2 (ja) * | 2018-11-23 | 2024-02-14 | サノフイ | カメラを有する医療用デバイス |
EP3772738A1 (en) * | 2019-08-08 | 2021-02-10 | Koninklijke Philips N.V. | An apparatus and method for providing dietary recommendation |
CN110514280A (zh) * | 2019-08-29 | 2019-11-29 | 德阳市旌阳区中医院 | 一种智能饮食管理设备 |
CN110598678A (zh) * | 2019-10-11 | 2019-12-20 | 广东美的厨房电器制造有限公司 | 烹饪设备的控制方法、控制装置、烹饪设备及存储介质 |
KR20210053052A (ko) * | 2019-11-01 | 2021-05-11 | 엘지전자 주식회사 | 컬러 복원방법 및 장치 |
CN112831982A (zh) * | 2019-11-22 | 2021-05-25 | 重庆海尔洗衣机有限公司 | 衣物颜色识别的处理方法、装置、设备及存储介质 |
US11804293B2 (en) * | 2020-05-21 | 2023-10-31 | Annie Mafotsing Soh | Rapid wearable data-driven bioelectronics device and platform for food freshness monitoring |
US11526555B2 (en) | 2020-06-02 | 2022-12-13 | Kpn Innovations, Llc. | Method and system for determining user taste changes using a plurality of biological extraction data |
FR3112011B1 (fr) | 2020-06-24 | 2022-09-02 | Kikleo | Système et procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients |
EP3929931A1 (en) * | 2020-06-26 | 2021-12-29 | Koninklijke Philips N.V. | Dish nutritional value estimation |
US11620765B2 (en) * | 2020-07-02 | 2023-04-04 | Unity Technologies Sf | Automatic detection of a calibration object for modifying image parameters |
EP4000521A1 (en) * | 2020-11-13 | 2022-05-25 | University Of Fribourg | Technique for controlling a human machine interface |
CN113324928B (zh) * | 2021-05-11 | 2022-07-01 | 中国农业科学院农产品加工研究所 | 一种基于图谱数据智能化无损检测菜肴食品营养含量方法 |
CN113409917A (zh) * | 2021-06-18 | 2021-09-17 | 深圳市狂风生命科技有限公司 | 一种测量、记录和分析人体食物摄取的装置及方法 |
US20230145313A1 (en) * | 2021-11-09 | 2023-05-11 | Skoopin Inc. | Method and system for foodservice with instant feedback |
CN114359299B (zh) * | 2022-03-18 | 2022-09-30 | 天津九安医疗电子股份有限公司 | 一种饮食分割方法及慢病患者的饮食营养管理方法 |
WO2023240145A1 (en) * | 2022-06-07 | 2023-12-14 | Front Row Labs LLC d/b/a LifeChef | Meal packaging system |
EP4290436A1 (de) * | 2022-06-10 | 2023-12-13 | LSG Lufthansa Service Holding AG | Verfahren und system zur identifikation von überportionierung von lebensmitteln |
EP4361951A1 (en) * | 2022-10-24 | 2024-05-01 | Electrolux Appliances Aktiebolag | Area calculation of food items using image segmentation |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5793879A (en) * | 1992-04-13 | 1998-08-11 | Meat Research Corporation | Image analysis for meat |
US5818953A (en) * | 1996-04-17 | 1998-10-06 | Lamb-Weston, Inc. | Optical characterization method |
US5815198A (en) * | 1996-05-31 | 1998-09-29 | Vachtsevanos; George J. | Method and apparatus for analyzing an image to detect and identify defects |
US6457250B1 (en) | 1999-10-01 | 2002-10-01 | The Pillsbury Company | Apparatus for measuring conformance of manufactured food product |
JP3846844B2 (ja) * | 2000-03-14 | 2006-11-15 | 株式会社東芝 | 身体装着型生活支援装置 |
US20030076983A1 (en) * | 2000-06-06 | 2003-04-24 | Cox Dale W. | Personal food analyzer |
IL137759A (en) * | 2000-08-08 | 2007-07-16 | Eddie Karnieli | Method for monitoring food intake |
WO2002021426A1 (en) * | 2000-09-07 | 2002-03-14 | Healthetech, Inc. | Portable computing apparatus particularly useful in a weight management program |
US6621573B2 (en) * | 2001-02-27 | 2003-09-16 | Emhart Glass, S.A. | Glass container inspection machine |
US7903838B2 (en) * | 2004-01-30 | 2011-03-08 | Evolution Robotics, Inc. | Vision-enabled household appliances |
US20070030339A1 (en) * | 2005-02-18 | 2007-02-08 | Nathaniel Findlay | Method, system and software for monitoring compliance |
KR20070005808A (ko) * | 2005-07-06 | 2007-01-10 | 삼성전자주식회사 | 바코드를 이용하는 조리 장치와 조리 시스템 및 조리 제어방법 |
RU2472427C2 (ru) * | 2006-07-19 | 2013-01-20 | Кросс Текнолоджи Солюшнз Аб | Мобильное устройство, способ и система для обработки факторов, влияющих на уровень сахара в крови |
CA2678109C (en) * | 2007-01-15 | 2020-05-26 | Deka Products Limited Partnership | Device and method for food management |
US9754077B2 (en) * | 2007-02-22 | 2017-09-05 | WellDoc, Inc. | Systems and methods for disease control and management |
US7860277B2 (en) * | 2007-04-10 | 2010-12-28 | Bizerba Gmbh & Co. Kg | Food product checking system and method for identifying and grading food products |
US20080306924A1 (en) * | 2007-06-05 | 2008-12-11 | Paolini Michael A | Mobile telephone object lookup and identification |
US9198621B2 (en) * | 2007-06-18 | 2015-12-01 | University of Pittsburgh—of the Commonwealth System of Higher Education | Method, apparatus and system for food intake and physical activity assessment |
AR075745A1 (es) * | 2008-05-28 | 2011-04-27 | Kraft Foods Global Brands Llc | Metodo y aparato para identificar opciones deseables, un metodo para ayu-dar a una persona a mantener una dieta predeterminada, un metodo para ro-tular items de alimento con un numero de calificacion relativa, un recipien-te que comprende una porcion de un item comestible dispuesto dentro del recipi |
US8284248B2 (en) * | 2009-08-25 | 2012-10-09 | Frito-Lay North America, Inc. | Method for real time detection of defects in a food product |
US20100055271A1 (en) * | 2008-08-29 | 2010-03-04 | Karen Miller-Kovach | Processes and systems based on metabolic conversion efficiency |
US8363913B2 (en) * | 2008-09-05 | 2013-01-29 | Purdue Research Foundation | Dietary assessment system and method |
US8439683B2 (en) * | 2009-01-07 | 2013-05-14 | Sri International | Food recognition using visual analysis and speech recognition |
KR20100087551A (ko) * | 2009-01-28 | 2010-08-05 | 한국과학기술연구원 | 사용자의 행동 분류에 따른 칼로리 균형 계산 장치 |
US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
US20100249530A1 (en) * | 2009-03-24 | 2010-09-30 | Medtronic Minimed, Inc. | Bolus Estimator with Image Capture Device |
US8412590B2 (en) * | 2009-04-13 | 2013-04-02 | Nintendo Co., Ltd. | In-store wireless shopping network using hand-held devices |
JP2010250551A (ja) * | 2009-04-15 | 2010-11-04 | Toshiba Tec Corp | 栄養成分表示装置 |
US8345930B2 (en) * | 2010-01-22 | 2013-01-01 | Sri International | Method for computing food volume in a method for analyzing food |
JP2011221637A (ja) * | 2010-04-06 | 2011-11-04 | Sony Corp | 情報処理装置、情報出力方法及びプログラム |
JP2012014678A (ja) * | 2010-05-31 | 2012-01-19 | Univ Of Tokyo | 情報処理装置 |
KR20120039102A (ko) * | 2010-10-15 | 2012-04-25 | 엘지전자 주식회사 | 식이관리장치 및 식이관리방법 |
JP2012113627A (ja) * | 2010-11-26 | 2012-06-14 | Terumo Corp | 携帯端末、カロリー推定方法及びカロリー推定プログラム |
KR20120058294A (ko) * | 2010-11-29 | 2012-06-07 | 한국전자통신연구원 | 올바른 식습관과 식사량 조절 유도를 위한 식판 |
US8625889B2 (en) * | 2010-12-30 | 2014-01-07 | Samsung Electronics Co., Ltd. | System for food recognition method using portable devices having digital cameras |
TWI604391B (zh) * | 2010-12-30 | 2017-11-01 | 萬國商業機器公司 | 自動化的飲食規劃方法與行動裝置 |
WO2012094569A2 (en) * | 2011-01-07 | 2012-07-12 | Access Business Group International Llc | Health monitoring system |
WO2012115297A1 (en) | 2011-02-25 | 2012-08-30 | Lg Electronics Inc. | Analysis of food items captured in digital images |
US20120229624A1 (en) * | 2011-03-08 | 2012-09-13 | Bank Of America Corporation | Real-time image analysis for providing health related information |
US20130004923A1 (en) * | 2011-06-10 | 2013-01-03 | Aliphcom | Nutrition management method and apparatus for a wellness application using data from a data-capable band |
JP2013025728A (ja) * | 2011-07-26 | 2013-02-04 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2013054541A (ja) * | 2011-09-05 | 2013-03-21 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
US9053483B2 (en) * | 2011-09-30 | 2015-06-09 | Microsoft Technology Licensing, Llc | Personal audio/visual system providing allergy awareness |
US8761922B2 (en) * | 2011-10-10 | 2014-06-24 | Jonathan P Dekar | Method and apparatus for monitoring food consumption by an individual |
US20130157232A1 (en) * | 2011-12-09 | 2013-06-20 | Joel Ehrenkranz | System and methods for monitoring food consumption |
US20160232811A9 (en) * | 2012-06-14 | 2016-08-11 | Robert A. Connor | Eyewear System for Monitoring and Modifying Nutritional Intake |
US8761519B2 (en) * | 2012-09-14 | 2014-06-24 | Cyberlink Corp. | System and method for selecting an object boundary in an image |
JP6024515B2 (ja) | 2013-02-28 | 2016-11-16 | ソニー株式会社 | 情報処理装置および記憶媒体 |
EP3017423A1 (en) | 2013-07-02 | 2016-05-11 | Roche Diagnostics GmbH | Estimation of food volume and carbs |
US9349297B1 (en) * | 2015-09-09 | 2016-05-24 | Fitly Inc. | System and method for nutrition analysis using food image recognition |
CN104778374A (zh) * | 2015-05-04 | 2015-07-15 | 哈尔滨理工大学 | 一种基于图像处理识别方法的自动膳食评估装置 |
-
2015
- 2015-09-09 US US14/848,992 patent/US9349297B1/en active Active
-
2016
- 2016-04-25 US US15/138,083 patent/US9892656B2/en active Active
- 2016-05-16 JP JP2018513299A patent/JP2018528545A/ja active Pending
- 2016-05-16 EP EP16726249.2A patent/EP3347889A1/en active Pending
- 2016-05-16 AU AU2016320586A patent/AU2016320586A1/en not_active Abandoned
- 2016-05-16 CN CN201680052285.0A patent/CN108140328A/zh active Pending
- 2016-05-16 WO PCT/US2016/032717 patent/WO2017044161A1/en active Application Filing
-
2018
- 2018-12-24 HK HK18116512.5A patent/HK1257551A1/zh unknown
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020060407A (ja) * | 2018-10-09 | 2020-04-16 | 三井金属計測機工株式会社 | 学習機能を有する加工食品検査装置及び加工食品検査方法並びに加工食品検査プログラム |
WO2020222561A1 (ko) * | 2019-04-29 | 2020-11-05 | 주식회사 누비랩 | 음식 측정 방법, 장치, 및 프로그램 |
KR20200126288A (ko) * | 2019-04-29 | 2020-11-06 | 주식회사 누비랩 | 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램 |
KR102488997B1 (ko) * | 2019-04-29 | 2023-01-16 | 주식회사 누비랩 | 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램 |
KR20200126576A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정 방법, 장치, 서버 및 프로그램 |
KR20200126577A (ko) * | 2019-04-30 | 2020-11-09 | 주식회사 누비랩 | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 |
KR102471775B1 (ko) * | 2019-04-30 | 2022-11-28 | 주식회사 누비랩 | 음식량 측정 방법, 장치, 서버 및 프로그램 |
KR102487925B1 (ko) * | 2019-04-30 | 2023-01-12 | 주식회사 누비랩 | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
CN108140328A (zh) | 2018-06-08 |
WO2017044161A1 (en) | 2017-03-16 |
US9892656B2 (en) | 2018-02-13 |
AU2016320586A1 (en) | 2018-04-26 |
HK1257551A1 (zh) | 2019-10-25 |
EP3347889A1 (en) | 2018-07-18 |
US20170069225A1 (en) | 2017-03-09 |
US9349297B1 (en) | 2016-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018528545A (ja) | 食物画像認識を用いた栄養分析のためのシステム及び方法 | |
US10452905B2 (en) | System and method for detecting objects in an image | |
US20160260352A1 (en) | Apparatus and method for identifying food nutritional values | |
US9364106B1 (en) | Apparatus and method for identifying, measuring and analyzing food nutritional values and consumer eating behaviors | |
Zhu et al. | An image analysis system for dietary assessment and evaluation | |
CN104778374A (zh) | 一种基于图像处理识别方法的自动膳食评估装置 | |
JP2008204105A (ja) | 自動食事摂取量計測システム及び自動食事摂取量計測方法 | |
WO2014107081A1 (ko) | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 | |
CN112053428A (zh) | 一种识别食物所含营养信息的方法及装置 | |
WO2016206344A1 (zh) | 白平衡处理方法、装置和计算机存储介质 | |
CN107851183A (zh) | 用于提供食谱的系统和方法 | |
Chen et al. | Saliency-aware food image segmentation for personal dietary assessment using a wearable computer | |
CN104394026B (zh) | 网页加载时间的测量方法及装置 | |
KR102243452B1 (ko) | 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법 | |
CN105550689B (zh) | 信息处理方法、第一电子设备及第二电子设备 | |
TW201422206A (zh) | 生理資訊量測系統及其方法 | |
CN104765980A (zh) | 一种基于云计算的智能膳食评估方法 | |
CN109982059A (zh) | 自动白平衡中的照度色度的估计 | |
CN106855392B (zh) | 煎烤条件分析系统与方法 | |
KR101992403B1 (ko) | 영상을 이용한 피부 수분도 측정 방법 | |
CN108742678A (zh) | 图像配准方法、装置及计算机可读存储介质 | |
CN106296688B (zh) | 基于全局估计的影像模糊检测方法及系统 | |
WO2022077348A1 (zh) | 食物体积、热量计算方法、电子装置、电子设备和存储介质 | |
Pfisterer et al. | When segmentation is not enough: rectifying visual-volume discordance through multisensor depth-refined semantic segmentation for food intake tracking in long-term care | |
CN105447845B (zh) | 一种数据处理方法及电子设备 |