JP2018528545A - 食物画像認識を用いた栄養分析のためのシステム及び方法 - Google Patents

Abstract

本開示は、食品の栄養価を特定するためのシステム及び方法を提供する。このシステム及び方法は、１つの食物容器を、食品を入れた際の食物容器の暫定画像に存在する様々な種類の歪みを調整するためのモデルとして使用する。この暫定画像を、食物容器のモデル画像と比較して、歪みを修正することができる。この食物容器は、所定の色を有する境界部を含む。この境界部の所定の色を用いて暫定画像の色構成を調整することにより、食品の識別精度を高めることができる。

Description

関連出願への相互参照
本出願は、２０１５年９月９日に出願された米国特許出願第１４／８４８９９２号に対する優先権を主張するものである。
本開示に記載する主題は概して、食事管理及び栄養分析に関する。より具体的には、本開示は、食物及び食物容器の画像に基づいて食物認識をするコンピュータビジョン技術に関する。

栄養分析において正確な重量情報の欠如及び食物認識の不正確さがあると、非効率的な食事管理につながりかねない。現在、栄養価値分析のために食物画像を取得する携帯式アプリケーション及びコンピュータビジョンシステムがいくつか存在する。従来の食品画像認識方法には定義済みの容器、照明、焦点距離が欠けるなどの数多くの変化要因が存在するため、栄養分析の精度は非常に低い。正確な栄養データを評価する際に既存の画像認識技術がうまく機能しない理由の１つは、食品の１枚だけの画像からはその食品の体積、密度及び／又は重量を把握できないことによるところが大きい。定義済みの容器を画像に含まずに容積、密度、重さを測定するのは難しい。現在のところ、基準として必要な固定の定義済み容器がないため、１つの食品の正確な識別及び重量情報を提供する解決策はない。また、食品の正確な重量を伝える荷重センサを有し、これと固定の定義済み容器との組み合わせから正確な識別情報及び重量情報の提供に現在利用可能な解決策は存在しない。

最近では多くの調査研究が、乏しい食事と健康状態との間に明確な相関を示している。過食、拒食、及び／又は質の悪い食品を摂取するなどの貧しい食事は、糖尿病、癌、心臓病、高血圧、慢性腎臓病、肥満などの特定の病状に結びついている。消費する食物の質や習慣をコントロールしようとしている消費者や患者たちには、多くの場合、自分が消費している食品の種類を識別してその食習慣と健康状態を改善することは難しい。また消費者たちにとり、食事を準備するたびに、自分に必要と処方された栄養条件や食事療法を満たすのは面倒である。

したがって、各食事で消費する栄養及びカロリーを認識するために、消費する食物の種類及びその食物の重量を正確に認識するシステム及び方法が必要とされている。さらに、各食事で消費する食物を識別することができる正確なコンピュータビジョン技術システム及び方法も必要である。

この出願の主題は、場合により、相互関連製品、特定の問題に対する代替解決策、及び／又は１システム又は１物品の複数の異なる使用法を含むことができる。

一態様において、食品の栄養価を特定する、ネットワークを介してデータベースと通信する食物認識装置を使用するシステムを提供する。このシステムは、食物容器、重量センサ、撮像装置、及び食物認識装置を備えることができる。この食物容器には、１つ以上の区画を形成し得る。この１つ以上の区画は、仕切りを表す境界部と食物容器がなす周囲壁とにより画定することができる。この境界部を、食物容器の他の表面とは異なる所定の色にすることができる。さらに、この食物容器は食品を収容し保持することができる。

上記重量センサを、この食物容器内に配置して、１つ以上の区画各々に収容されている食品の重量を測定するように位置付ける可能である。上記撮像装置は、その食物容器の画像を撮影することができる。上記食物認識装置はこの重量センサ及び撮像装置と通信可能である。

この食物認識装置はさらに、上記撮像装置から食物容器の画像を取得することができる。この食物認識装置はさらに、その画像内の境界部を、データベースに保存された基準食品容器画像の境界部と位置合わせすることによって、画像の向きを修正することができる。加えて、この食物認識装置は、境界部の所定の色に基づいて画像の色を調整することができる。この画像を食物認識装置によって、その境界部に基づいて分割して、１つ以上の区画を各々分離することができる。最後に、この食物認識装置は、各分割画像をデータベースに保存された基準分割食物画像と比較することによって食品の種類を識別することができる。本開示は、データベースが、食物容器、食物認識装置、及び／又はネットワークを介したサーバ上にあることを提供する。

別の態様では、食物認識装置を使用するシステムの使用方法を提供する。このシステムは、ネットワークを介してデータベースと通信して、食品の栄養価を特定することが可能である。この方法は、以下のステップを含むことができる。

この方法は、撮像装置が食物容器の画像を取り込むことから開始可能である。この食物容器は、１つ以上の区画を有することできる。この１つ以上の区画は、仕切りを表す境界部と食物容器がなす周囲壁とにより画定することができるものである。この境界部を、食物容器の他の表面とは異なる所定の色にすることができる。さらにこの食物容器は、食品を収容し保持することができる。

この方法は引き続き、食物認識装置で撮像装置から食物容器の画像を取得することができる。撮像装置は、この食物認識装置と通信可能である。食物認識装置はさらに、重量センサから食品の重量を得ることができる。このとき、重量センサを、１つ以上の区画の各々に収容された食品の重量を測定するように位置付けすることができる。この重量センサは、食品認識装置と通信可能である。

この食物認識装置はさらに、画像内の境界部をデータベースに保存された基準食物容器画像の境界部と位置合わせすることによって、画像の向きを修正することができる。この方法はさらに、境界部の所定の色に基づいて画像の色を調節することと、その境界部に基づいて画像を分割し、その１つ以上の区画を各々分離することとを含むことができる。最後に、この食物認識装置は、各分割画像をデータベースに保存された基準分割食物画像と比較することにより、食品の種類を識別することができる。

使用時の食物認識装置及び食物容器を示す一例示的実施形態である。 食物画像分離のためのコンピュータビジョン技術方法を示す一例示的実施形態である。 食品の栄養価を特定するためのシステムを示す例示的な一実施形態である。 本開示のコンピュータビジョン技術を示す一例示的実施形態のフローチャートである。 画像修正(image rectification)処理のフローチャートを示す。 食品分離処理を示す例示的な一実施形態である。 その食品分離処理を示す別の例示的実施形態である。 食物識別処理を示す例示的な一実施形態である。 その食物識別処理を示す別の例示的実施形態である。 暫定画像（instant image）を修正するために参照可能な所定の構造特性を示す概略図である。 独立型装置として食物認識装置を実装する、食品の栄養価を特定するためのシステムを示す一例示的実施形態である。

本発明は、添付の図面に関連して以下に述べる詳細な説明は、本発明の現在の好ましい実施形態の記載として意図されており、本発明を構成及び／又は利用することができる唯一の形態を表すものではない。この記載は、例示の実施形態に関連して本発明を構成し操作するための機能及び一連のステップを説明するものである。

本記載を参照すると、開示した実施例の完全な理解が得られるように具体的な詳細を示している。ただしその他の例では、本開示を不必要に長くしないように、周知の方法、手順、構成部品、及び材料を詳細には記載していない。

尚、構成要素又は部分が、他の構成要素又は部分に「上に」、「対して」、「通信している」、「に接続されている」、「に付着している」又は「結合している」と言う場合、それは、他の要素又は部分に直接的に、上に、対向して、通信して、接続され、取り付けられ、又は結合されていても、介在要素又は部分が間に存在してもよいものとする。用語「及び／又は」を使用している場合、これは、関連して列挙された項目のうちの１つ以上の任意の、及びすべての組み合わせを、そのように提示されているものであれば含む。

本開示で使用する用語は、特定の実施形態のみを説明するためのものであり、何ら限定することを意図するものではない。本開示で使用されるように、単数形(「a」、「an」及び「the」)は、その文脈が別の意味を明白に示さない限り、その複数形態も含むことを意図している。また、本開示で使用する場合、用語「含む」(include及び／又はincluding)は、記載した特徴、整数、ステップ、操作、要素、及び／又は構成部品の存在を特定するが、１つ以上の他の特徴、整数、ステップ、操作、要素、構成部品、及び／又はそのグループの存在や追加を、明示的に記載していなくとも排除するものではない。

様々な動作を、実施形態の理解に役立つような形で、複数の個別の動作として順に説明する場合がある。ただしこの説明の順序は、これらの動作がその順序に依存することを意味すると解釈されるべきではない。

本開示では、様々な図に示しているように、「下に(under)」、「下に(beneath)」、「下に(lower)」、「上に(above)」、「上に(upper)」、「近位に(proximal)」、「遠位に(distal)」等の空間的相対用語を、１つの構成要素又は特徴と１つ以上の他の構成要素又は特徴との関係を説明する記載及び／又は例示を容易にするために使う場合がある。しかし、このような空間的相対用語は、図に示した方向に加えて、使用時又は動作中の装置の異なる方向を包含するように意図されていることを理解されたい。例えば、図中の装置がひっくり返されている場合、他の構成要素や特徴の「下(below)」又は「下(beneath)」であると記載された構成要素は、他の構成要素又は機能の「上」に配置されるものである。したがって、「下方」などの相対的空間用語は、上方及び下方の向きの両方を包含することができる。この装置は他の方向に向けることもでき（９０度又は他の方向に回転）、本開示で使用する空間的相対記載はそれに応じて解釈されるものである。同様に、相対的空間用語「近位」及び「遠位」も、適用可能であれば交換して使用可能である。このような記載は、単に議論を容易にするために使用しており、開示する実施形態の適用制限を意図するものではない。

第１、第２、第３などの用語を、本開示では、様々な構成要素、構成部品、領域、部分及び／又は断片を説明するために使用する場合がある。ただしこれらの構成要素、構成部品、領域、部分及び／又は断片がこれらの用語によって限定されることがないことを理解されたい。これらの用語は、ある構成要素、構成部品、領域、構成部品、又は断片を他の領域、構成部品、又は断片と区別するためにのみ使用している。したがって、以下で説明する第１の構成要素、構成部品、領域、部分又は断片は、本開示の教示から逸脱することなく、第２の構成要素、構成部品、領域、部分又は断片と称することができる。

本発明のいくつかの実施形態は、情報及び命令を処理するための１つ又は複数のプロセッサ、情報及び命令を保存するためのＲＡＭ、静的情報及び命令を保存するためのＲＯＭ、情報及び命令を記憶するための磁気又は光学ディスク及びディスクドライブなどのデータベース、プロセッサ上で実行するソフトウェアユニットとしてのモジュール、コンピュータにスクリーニング情報を表示するための表示画面装置（例えば、モニタ）などの任意のユーザ出力装置ユーザ、及び任意のユーザ入力装置を主に含むコンピュータシステムで実施することができる。

当業者には理解されるように、本実施例は、コンピュータ使用可能なプログラムコードを保存しているあらゆる有形的表現媒体に具体化されたコンピュータプログラム製品で、少なくとも部分的に具体化することができる。例えば、フローチャートの図及び／又は方法、装置（システム）及びコンピュータプログラム製品のブロック図を参照して以下に記載するいくつかの実施形態を、コンピュータプログラム命令によって実行することができる。このコンピュータプログラム命令を、コンピュータ可読媒体に保存された命令がフローチャート及び／又はブロック図で指定された機能／動作／ステップを実施する命令及びプロセスを含む製造物品を構成するように、特定の方法でコンピュータ又は他のプログラム可能データ処理装置を機能させるように指示することのできるコンピュータ可読媒体内に保存することが可能である。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令フローチャート及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作を実施する手段を作成するように、機械を生成することができる。

以下の記載では、ここに開示の発明が実施され得る実施形態の例示である添付図面を参照する。しかし、当業者であれば、本開示の新規性及び範囲から逸脱することなく、他の構造的及び機能的改変を開発することができることを理解されたい。

概して、本発明は、食物認識処理に基づいて食品の栄養価を特定するシステムに関する。本発明は、食物容器内にある食品の重量測定用の重量センサに関連付けながら、定義済みの食物容器をモデル参照として利用する。食物を入れた食物容器の画像を撮ることができる。この画像は、色、形状、向き、サイズ、明暗等の定義済みの値への参照となる定義済み食物容器を含んでいる。この画像を基準食物容器から得られる定義済み基準値と一致するように変換して、遠近歪み、彩度、照明、サイズ、及び向きを修正することができる。この容器の仕切りを、容器の区画に分割するために使用することができ、その結果、食物容器の各区画に保持されている各食品の個々の識別できるようになっている。定義済みの基準食物容器があるため、基準食物容器の定義済み基準値から導かれた食品の正確な画像データを提供することにより、食品識別の精度が向上する。

本開示の食品認識方法は、コンピュータビジョン技術を用いる。本発明の食物容器は、食品を入れた食物容器の画像を処理する際に基準となり得る特定の識別可能な構造的及び／又は視覚的特性を有することができる。この食物容器は、仕切り、区画、境界部、色、及びパターンなどの構造的及び視覚的特性を有することができる。食物容器をモデル参照として用いることにより、食物画像の処理を合理化して、その食物の種類のより正確な識別を提供することができる。食物容器を用いるコンピュータビジョン技術の方法は、画像修正ステップ、画像分割ステップ、及び食物識別ステップを含むことができる。これらのステップは、モデル食物容器の既知の構造的及び／又は視覚的特性に基づいて行われる。

食品認識処理に基づいて食品の栄養価を特定するシステムは、互いに通信し合い協働してこのシステムの種々の機能を実行する１つ以上のコンピュータ又はコンピュータ支援型要素を含むことができる。本開示が企図する本発明はさらに、本開示で説明するように、このシステム又は方法のステップ及び機能を実行させるように１つ又は複数のコンピュータに命令するように構成された非一時的なコンピュータ可読媒体を含むことができる。実施形態によっては、１つ以上のコンピュータ又は同様の１つ以上のプロセッサ間の通信が、様々な種類のデータの複数の暗号化／復号化方法及びメカニズムをサポートすることができる。

このシステムは、互いにネットワーク通信する１つ以上のコンピューティングデバイス内に設けられたコンピュータ支援型型ユーザインタフェースを含むことができる。本開示が企図するコンピュータ支援型ユーザインタフェースの１つ以上のコンピュータは、メモリ、プロセッサ、及び入出力システムを備えることができる。実施形態によっては、このコンピュータはさらに、ネットワーク接続及び／又は表示画面を備えることができる。これらのコンピュータ支援型構成要素は、ネットワーク内で協働して、コンピュータ支援型ユーザインタフェースに機能を提供することができる。このコンピュータ支援型ユーザインタフェースは、ユーザがデータを入力し、そこからフィードバックを受け取ることができるコンピュータインタフェースであれば、当技術分野で既知のいずれのタイプであってもよい。このコンピュータ支援型ユーザインタフェースはさらに、本開示が企図するシステムが実行する出力を提供することができる。

本開示が企図するデータベース及びデータは、ＸＭＬ、ＪＳＯＮ、ＣＳＶ、バイナリなど任意の接続タイプ、シリアル、イーサネット（登録商標）などの任意のプロトコル、及びＵＤＰ、ＴＣＰなどを例とするフォーマットでよい。

本開示が企図するコンピュータ又はコンピューティングデバイスの例には、これに限定するものではないが、仮想システム、クラウド／リモートシステム、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯式コンピュータ、スマートフォン及び他の携帯電話、及び同様のインターネット対応モバイルデバイス、デジタルカメラ、本開示が企図する方法を具体的に実行するように構成されたカスタマイズ式コンピューティングデバイスなどが含まれる。

本開示が企図するネットワークには、例えば、インターネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、アナログ又はデジタル有線及び無線電話ネットワーク（例えば、ＰＳＴＮ、総合サービスデジタルネットワーク（ＩＳＤＮ）、セルラ通信網、デジタル加入者回線（ｘＤＳＬ））、ラジオ、テレビ、ケーブル、衛星、及び／又はデータを搬送する任意の他の配信又はトンネリング機構の１つ以上を含むことができる。ネットワークは、複数のネットワーク又はサブネットワークを含むことができ、その各々は、例えば有線又は無線のデータ経路を含むことができる。このネットワークは、回線交換音声ネットワーク、パケット交換データネットワーク、又は電子通信搬送ができる任意の他のネットワークを含むことができる。例として、インターネットプロトコル（ＩＰ）上の画像転送プロトコル（ＰＴＰ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）上のＩＰ、ＷｉＦｉ上のＩＰ、及びＩＰネットワークＰＴＰ上のＩＰ（ＰＴＰ／ＩＰ）を挙げられるが、これらに限定されない。

本開示が企図する重量センサは、電気抵抗式ひずみゲージ、力覚レジスタ、光電式重量センサ、油圧式重量センサ、気圧式重量センサなどを含むことができるが、これらに限定されない様々な方法で食品の重量を測定することができる。

本開示が企図する撮像装置は、これに限定するものではないが、デジタル一眼レフカメラ（ＤＳＬＲ）、非一眼レフデジタルカメラ（例えば、これに限定するものではないが、コンパクトデジカム及び一眼レフカメラ（ＳＬＲ）様ブリッジデジタルカメラ（高度デジタルカメラとしても周知のもの）、さらにＳＬＲ様の交換レンズデジタルカメラ）、ならびにビデオレコーダ（例えば、これに限定するものではないが、カムコーダー、アナログカメラ及びＩＰカメラなど。防犯カメラ録画機（ＤＶＲ）などのいかなる持続時間の動画も提供できる装置。タブレットコンピュータ、ラップトップコンピュータ、スマートフォンなどのカメラを有する携帯型コンピューティングデバイス）など様々な種類が挙げられる。

本開示で企図する画像ファイルは、コンピュータ又はコンピューティングデバイスによって解釈可能であればいずれのデジタル画像フォーマットであってもよい。本開示で企図する画像ファイルの例には、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、ＰＮＧ、Ｂｉｔｍａｐ、ＲＡＷ、ＰＮＭ、ＷＥＢＰなどが含まれるが、これらに限定されない。

食品の栄養価を特定するためのシステム及び方法を提供する。このシステムは、食物容器、重量センサ、撮像装置、データベース、及び食物認識装置を備えることができる。このシステムの構成部品は、ネットワーク化されたシステム環境において互いに通信することができる。この食物容器は、１つ以上のプロセッサと１つのメモリとを備え、このシステムの構成部品と電子的に通信することができる。このシステムの構成部品の各々はさらに、互いにデータを送受信するために、様々なタイプの受信機及び／又は他の通信装置を備えることができる。

この食物容器には、１つ以上の区画を形成することができ、この区画各々は、ユーザが消費する食品を収容及び／又は保持する。この１つ以上の区画は、食物容器の１つ以上の区画を表す境界部により画定され得る。この１つ以上の区画は、仕切り及び食物容器がなす周囲壁により区分けすることができる。この１つ以上の区画は、その配置換えにより、１つ以上の区画各々の構成及び／又はサイズを調整することができる。

この食物容器は、食物の識別及び栄養価特定のプロセスにおいて、所定の構造特性を構造モデル／参照として使用できるように、所定の構造特性を有することができる。この食物容器の構造特性の利用については、以下の記載でさらに論じる。

一実施形態において、この食物容器は、境界部によって画定される１つ以上の区画を所定の配置で有することができる。この１つ以上の区画は、構造モデルとなるように特定の方法で配置及び設計が可能である。これにより、この１つ以上の区画の配置及びそれらの設計を、食品の認識及びコンピュータビジョン技術においてさらに利用することができる。例えば、この食物容器を、その中に３つの仕切りを形成して有するプレートとすることができる。この３つの区画のサイズと形状を各々異なるようにして、時計回り方向にそのサイズの順に配置することができる。このように既知となった配置の向きを、本開示に記載のコンピュータビジョン技術及び食品認識方法で利用することができる。

別の実施形態では、この食物容器に、形状、向き、設計、サイズ、寸法、重量などの所定の構造特性を更に割り当ててもよい。食物容器のこれら及び他の構造特性は、当業者には明らかであろう。

さらに別の実施形態では、この食物容器の所定の構造特性に、色などの視覚特性を含めることができる。この食物容器に、その１つ以上の区画と食物容器の他の表面とを画定する１つ又は複数の色があってもよい。この食物容器の本体と仕切りとに所定の色を持たせてもよい。実施形態によっては、境界部に、食物容器の１つ以上の区画を明瞭に表す所定の色を持たせてもよい。この所定の色を、ＲＧＢ（レッド、グリーン、ブルー）値などの色値に割り当ててもよい。境界部の所定の色は、境界部が１つ以上の区画の周囲表面と写実的にコントラストになっている、すなわち区別できるように、食物容器の他の表面とは別の色にすることができる。境界部が食物容器の他の表面に写実的に混ざり込んでしまわないように、境界部の所定の色で１つ以上の区画を明確に表し、画定することができる。これにより、食物容器の周囲壁及び仕切りを表すことのできる境界部を食物容器の画像において識別可能に視認可能とすることができる。

実施形態によっては、境界部を、様々な線パターン（例えば、破線、点線など）又は他の視覚的に特徴的なパターンで描くことができる。境界部の所定の色と同様に、これらの線パターンは、食物容器の他の表面から境界部を明確に区別させることができる。

実施形態によっては、境界部は、食物容器の他の表面と類似及び／又は同じ色を有してもよい。この境界部を、基準として使用する所定の構造特性の１つとしてもよい。食物容器の所定の構造特性に、境界部の位置、サイズ、向き、形状などの任意の組み合わせを含めることができる。

食品は、液体、固体、粉末、気体などを含むが、これらに限定されないあらゆる形態であり得る。

食物容器は、複数の重量センサを収容することができる。複数の重量センサの各々は、食物容器により形成された１つ又は複数の区画の各々に収容及び保持されている食品の重量を測定するように各々配置されることができる。複数の重量センサは、ネットワークを介して、食物認識装置などの１つ以上のプロセッサと電子的に通信することができる。複数の重量センサ各々によって測定された重量は、本開示にしたがい、食品のさらなる評価及び処理のために食物認識装置の１つ又は複数のプロセッサに送信され得る。

実施形態によっては、この食物容器は、１つ以上の区画に配置される食品の重量を測定する単一重量センサを収容することができる。１つ以上の区画の各々によって保持される食品は、この単一重量センサによって累積的に計量されることができる。同様に、食物容器は、単一の区画と、その単一区画に保持されている食品の重量を測定するための単一の重量センサとを備えてもよい。

実施形態によっては、複数の重量センサを、複数の区画構成の再配置時に配置し直すことができる。

実施形態によっては、複数の重量センサで測定した重量を組み合わせて、１つ以上の区画に保持されている食品の総重量を識別することができる。

１つ又は複数の区画の各々は、モジュール式でもよい。実施形態によっては、食物容器は、土台部と、取り外し可能に組み立てられた１つ以上の区画とを備えることができる。この１つ以上の区画各々は、土台部に着脱可能に嵌め入れ可能である。この実施形態では、１つ以上の区画各々を、交換可能であるように様々な形状及びデザインに個別に設計することができる。この１つ以上の区画を、土台部に着脱可能に取り付けられ得る単一のユニットとしてもよい。このユニットには、さまざまな数の区画、デザイン、及び形状を含めることができる。土台部に、重量センサと、本開示に記載する食物容器の任意の他の構成部品とを含めることができる。

実施形態によっては、食品の栄養価を特定する本システムの食物容器は、電子レンジ対応及び／又は食器洗い機対応とすることができる。実施形態によっては、重量センサ及び食物容器の任意の他の電子構成部品を含み得る土台部を、１つ以上の区画から取り外し可能としてもよい。１つ以上の区画のモジュール式特徴を利用して、食物容器を電子レンジ及び／又は食器洗い機で使用可能とすることができる。次いで、この１つ以上の区画を電子レンジ及び／又は食器洗浄機に使用することができる。

本システムはさらに、単数又は複数の食品を収容する食物容器の画像を撮影する撮像装置をさらに備えていてもよい。撮像装置が撮影する画像を食物認識装置が分析して、１つ以上の区画に保持されている食品の種類を識別することができる。撮像装置によって取得された画像は、食物認識装置の１つ以上のプロセッサに通信されて、１つ以上の区画に保持されている食品の種類を特定することができる。

実施形態によっては、撮像装置を、ハードウェア及びインストールされたソフトウェアを含むスタンドアロン専用装置として実装することができる。この場合、このハードウェアはそのソフトウェアの要件及び／又は機能に厳密に適合したものである。

実施形態によっては、撮像装置を、食物認識装置に搭載しても、つまり食物認識装置と一体化させてもよい。複数の撮像装置を各々、１つ以上の区画に入っている食品各々の画像を撮るように配してもよい。

食品の栄養価を特定する本システムはさらに、表面センサを備えることができる。この表面センサを、１つ以上の区画が保持している食品の組成を分析するように配することができる。表面センサは、様々な方法で食品の組成を識別することができる。一例として、この表面センサは、表面プラズモン共鳴（ＳＰＲ）であってもよい。このＳＰＲは、食品の種類、食品の調製状態、及び食品の追加の調理成分を識別することができる。別の例として、この表面センサは、食品の表面から農薬、アレルゲン、化学組成物、病原体などを検出することができる分光計であってもよい。この分光計は、食品のスペクトルを分析することによって、その食品の種類、調製状態、及び追加の調理成分を識別することができる。食品の組成に基づいて、１つ以上のプロセッサは、食品の種類、調製状態、及び追加の調理成分を識別することができる。実施形態によっては、表面センサは、食物認識装置上に搭載されてもよいし、食物認識装置と一体化されてもよい。

さらなる実施形態では、本システムは、食品の温度を検出する温度測定装置をさらに備えることができる。食品の種類及び／又は調製状態を、この温度測定装置で特定した温度に基づいて特定することができる。実施形態によっては、食品の温度を熱センサによって検出してもよい。

撮像装置により撮影され、食品を含む食物容器とその食物容器の所定の構造特性とを含む画像を与えられると、食物認識装置は、１つ以上の区画内にある食品の種類を識別することができる。この食物認識装置は、１つ又は複数のプロセッサ及び１つのメモリを備えることができる。さらに、食物認識装置は、ネットワークを介してデータベースと通信することができる。食物認識装置は、当技術分野、関連技術分野または、後発技術でユーザ通信装置及びユーザコンピューティングデバイスで一般に見られる１つ以上のプロセッサ及び種々のメモリおよび記憶装置を含んでもよい。

食品の栄養価を特定する本システムは、本開示に記載するように、サーバを実装することができる。このサーバは、あらゆる種々のコンピューティングデバイスとして実装可能である。その例として、汎用コンピューティングデバイス、複数のネットワークサーバ（クラスタ内又はサーバファームとして配列）、メインフレームなどを挙げられる。このサーバを、食品の栄養価を特定するように構成できる食物認識装置に搭載、統合、又は動作可能に関連付けることができる。このサーバは、そのデータベースに様々なデータを保存することができる。

一実施形態において、この食物認識装置は、ハードウェア及びインストールされたソフトウェアを含むスタンドアロン専用デバイスとして実装することができる。このハードウェアはそのソフトウェアの要件及び／又は機能に厳密に一致している。

別の実施形態では、食物認識装置を、システムの構成部品間にネットワークを確立するように構成されたネットワークアプライアンスに搭載しても、統合してもよい。この食物認識装置及びネットワークアプライアンスのうちの１つ又は両方を、食物容器、重量センサ、撮像装置、及び食物認識装置の間でソフトウェア命令及びデータの交換を支援するためのインタフェースとして動作するか、又はそのインタフェースを提供することができるものとし得る。実施形態によっては、ネットワークアプライアンスは、他の装置と一体化された食物認識装置を含むように予め構成されていても、動的に構成されてもよい。

さらに別の実施形態では、食物認識装置をサーバに搭載しても、サーバと一体にしてもよい。例えば、食物認識装置を、サーバ又は本システムのネットワークに接続された他のコンピューティング装置と一体化することができる。このサーバにモジュールを含むことができる。このモジュールにより、サーバをネットワークアプライアンスに導入して、ネットワークアプライアンスが、食物認識装置を１サービスとして呼び出すことができるようにしてもよい。このネットワークアプライアンスの例には、ＤＳＬモデム、無線アクセスポイント、ルータ、基地局、及び食物認識装置を実装するのに十分な所定の計算能力及び記憶容量を有するゲートウェイが含まれるが、これらに限定されない。

さらなる実施形態において、食物認識装置を、撮像装置などの１つの以上の装置に搭載、又は一体化することができる。食物認識装置は、食物認識装置の機能を提供することができる撮像装置を備えた様々なコンピューティングデバイスであれば、いずれでもよい。例えば、一体型カメラを備えるスマートフォン又はタブレットを本システムに実装して、本開示に開示する撮像装置及び食物認識装置の機能を実行させることができる。

さらなる実施形態において、食物認識装置を、撮像装置、食物容器、食物認識装置と一体化する、又は搭載するなど、分散方式で任意の数のデバイスと一体化することができる。

食物認識装置は、ハードウェア又はハードウェアとソフトウェアの適切な組み合わせで実現可能である。実施形態によっては、食物認識装置は、データ解析用の機械可読プログラム命令及び食物容器と撮像装置との間の相互作用を実行する１つ以上のプロセッサを含むハードウェア装置でもよい。この「ハードウェア」は、個別構成部品、集積回路、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、デジタル信号プロセッサ、又は他の適切なハードウェアの組み合わせを含むことができる。「ソフトウェア」は、１つ以上のオブジェクト、エージェント、スレッド、コード行、サブルーチン、別々のソフトウェアアプリケーション、１つ以上のソフトウェアアプリケーション内又は１つ又は複数のプロセッサ上で動作する２つ以上のコードライン又は他の適切なソフトウェア構造を含むことができる。１つまたは複数のプロセッサは、例えば、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、ステートマシン、論理回路、及び／又は動作命令に基づいて信号を操作する任意のデバイスを含むことができる。その他の能力では、このプロセッサを、信号認識、データ処理入力／出力処理、電力制御などのタスク、及び／又は他の機能を実行するために、食品読取装置に関連するメモリ内のコンピュータ読取り命令をフェッチして実行するように構成することができる。食物認識装置は、プロセッサ上で実行するソフトウェアユニットとしてのモジュールを含むことができる。

実施形態によっては、食物認識装置は、全体的又は部分的に、単独で、又は１つ以上のハードウェア資源と連携して動作するソフトウェアアプリケーションを含むことができる。このようなソフトウェアアプリケーションは、異なるハードウェアプラットフォーム上の１つまたは複数のプロセッサによって実行されてもよいし、仮想環境内でエミュレートされてもよい。食物認識装置の態様は、既知の、関連技術の、又は後発既製ソフトウェアを活用することができる。他の実施形態は、モバイル交換センター、ネットワークゲートウェイシステム、インターネットアクセスノード、アプリケーションサーバ、ＩＭＳコア、サービスノード、又はこのいずれかの組み合わせのものを含むいくつかの他の通信システムと一体化又は通信する食物認識装置を備えてもよい。実施形態によっては、食物認識装置を、これらに限定されないものではないが、ファッションアクセサリ（例えば、リストバンド、指輪、時計など）、ユーティリティデバイス（ハンドヘルドバトン(hand-held baton)、ペン、傘、腕時計など）、身体衣類、又はこのいずれかの組み合わせを含むウェアラブル装置と一体化、又はこれらとして実現することができる。

食物認識装置は、ソフトウェア・インタフェース（アプリケーション・プログラミング・インタフェース、グラフィカルユーザインタフェースなど）、ハードウェア・インタフェース（例えば、ケーブルコネクタ、キーボード、カードリーダ、バーコードリーダ、バイオメトリックスキャナ、マイクロホン、カメラ、インタラクティブディスプレイスクリーンなど）又はこの両方を含む、様々な既知の、関連技術の、又は後発のインタフェースの１つ以上を含むことができる。

本開示に記載のシステム及び方法は、食物容器に置かれている１種以上の食品の栄養価を特定することができる。食品の栄養価を特定するプロセスを開始するために、この食物認識装置はさらに、コンピュータビジョン技術を採用して、撮像装置が撮った食物容器の画像を認識することができる。本質的には、この食品栄養価特定方法は、画像取得、画像修正、画像分割、食物識別、及び栄養価特定を含む。

この食物認識装置は、ネットワークを介して撮像装置から１種以上の食品を含む食物容器の画像を取得することができる。以下、この画像を暫定画像と呼ぶ。さらに、食物認識装置は、食物容器に収容されている重量センサが測定した食品の重量を得ることができる。これにより、この食品の暫定画像及び重量が食物認識装置によって識別可能となる。

データベースは、食物認識装置と通信して、食物容器の所定の構造特性及び視覚特性（例えば色）に関連する情報を保存することができる。さらに、このデータベースは、撮像装置から得られる暫定画像と比較するモデルとして、基準食物容器画像を保存することができる。ユーザは撮像装置で、１つ以上の区画が食品を中に入れているときに食物容器の画像を撮影することができる。基準食物容器画像を、画像歪み又は色歪みのない食物容器の画像とすることができる。実施形態によっては、基準食物容器画像を、上から撮影した２次元画像とすることができる。

暫定画像を修正するために、食物容器の暫定画像を基準食物容器画像と比較することができる。利用者が、利用可能な様々な撮像装置を用いて食物容器の画像を取り込むので、その画像は画像歪み又は色歪みを含むことがある。そこで、その食物容器の所定の構造特性及び視覚特性を、暫定画像の構造的及び視覚的特性と比較することができる。

一実施形態において、暫定画像の１つ以上の区画の配置を基準食物容器の画像と比較して、撮像装置により撮影された暫定画像内の食物容器の向きを修正することができる。実施形態によっては、基準食物容器画像を画素毎に暫定画像と直接比較して、画像歪みがあればそれを識別してもよい。食物容器の所定の構造特性がわかっているため、暫定画像の画像歪みがあればそれを調整することができる。実施形態によっては、仕切りの境界部を使って、食物容器の暫定画像の向きを修正してもよい。撮像装置が撮った食物容器の暫定画像に存在する画像歪み（配向歪み）を確認するために、画像の境界部を基準食物容器画像の境界部と比較してもよい。例えば、１つ以上の区画を、特定の順序で配置してもよい。基準食物容器画像から１つ以上の区画の既知の向きが与えられていれば、食物容器の暫定画像を回転させ、それによって暫定画像の向きを調整することができる。その暫定画像内の食物容器の向きを修正するために、食物容器の仕切り、周囲壁、及び境界部を使用することができる。

実施形態によっては、食物容器の正しい向きを示すためのマーキングを食物容器に刻印してもよい。このマーキングは、暫定画像の向きをマーキングの所定の位置を基準に調整することができるように、所定の位置に食物容器に刻印することができる。このマーキングは、任意の記号、文字などでよい。また、暫定画像の色調整を補助するために、マーキングに所定の色を持たせることができる。このマーキングの所定の色を、暫定画像の色構成を調整する基準として使用してもよい。好ましい実施形態において、食物容器の境界部を、本開示に記載のマーキングとして利用することができる。

この食物認識装置によって提供される方法はさらに、食物容器の暫定画像を標準ビュー(canonical view)に補正することを含むことができる。この標準ビューを、基準食物容器画像によって設定してもよい。１つ以上の区画内にある食品の種類を識別するため、暫定画像における画像歪みの修正が必要な場合がある。画像歪みの例としては、スケール歪み、回転歪み、射影歪み、及びバレル歪みが挙げられるが、これらに限定されない。標準ビューは、画像歪みを補償する変換を適用することによって得られる。この変換は幾何変換でもよい。

一実施形態において、この変換は、暫定画像内の食物容器のサイズ及び形状を基準食物容器のサイズ及び形状と比較することによって識別することができる。この比較は、暫定画像から識別される境界部と基準食物容器画像から識別される境界部との間で行うことができる。したがって、この変換は、暫定画像から得られる食物容器の境界部のサイズ及び形状を基準食物容器画像からの得られる食物容器の境界部のサイズ及び形状と比較することによって識別できる。この比較を、暫定画像内の食物容器の任意の構造特性とその食物容器の所定の構造特性との間で行うこともできる。一例として、画像の解像度を比較することができる。同様に、画像の解像度を、画素−ミリメートル変換を識別することなどによって、実際のサイズに変換することができる。別例として、画像撮影時における撮像ユニットと食物容器との間の距離が一定でないために、２枚の画像、すなわち暫定画像及び基準食物容器画像のサイズが別々の場合がある。この場合の暫定画像のサイズを、基準食物容器画像内の食物容器のサイズを参照することによって調整することができる。同様に、様々なタイプの撮像装置及びそこから得られる画像との間で一定ではない焦点距離を、基準食物容器画像から食物容器の所定サイズを識別することによって調整することができる。

別の実施形態では、この変換を、食物容器上にある少なくとも２つのマーキングを識別することによって識別してもよい。食物容器にはその表面に基準点として使用可能なマーキング、パターン等を刻印しておくことができる。このマーキングの二次元座標を食物容器の暫定画像内で識別することができる。このマーキングに所定の二次元座標で割り当てて、暫定画像におけるこのマーキングの二次元座標を所定の二次元座標と比較して変換を識別することができるようにすることができる。暫定画像を、暫定画像と基準食物容器画像との間の２つのマーキングの位置の違いを識別することによって調整することができる。この違いは、２次元空間内で暫定画像を調整することによって補償することができる。例えば、調整は、ｘ軸、ｙ軸、２つのマーキング間の距離、２つのマーキング間の角度などを使って行うことができる。同様に、暫定画像内のマーキングの位置を基準食物容器画像のマーキングの位置と比較して、画像歪みがあればそれを修正可能な変換を識別することができる。比較後、暫定画像に歪みがある場合には、その２つのマーキングを基準食物容器画像のマーキングと一致させることによって暫定画像を調整することができる。

さらに別の実施形態では、食物容器に１つのマーキングを刻印してもよい。この単一マーキングの向きを利用して、デカルト座標系における任意の３次元回転ひずみ、すなわちピッチ、ヨー、及びロールを識別してもよい。このデータベースは、モデルとして提供すべき三次元歪みのないマーキング画像を含むことができる。同様に、基準食物容器画像の境界部を３次元歪みのないモデルとして利用してもよい。基準食物容器画像及び暫定画像の境界部を比較して、３次元歪み（３軸のいずれかにおける回転）があればそれを識別することができる。三次元の歪みが識別された場合、その歪みを修正する変換を計算することができる。この実施形態では、この変換は、３次元デカルト座標系におけるｘ軸、ｙ軸、ｚ軸に沿った角度における３次元歪みと、撮像装置と食物容器との間で変化する距離に起因する暫定画像のサイズにおける歪みを表す。この変換を暫定画像に適用すると、あらゆる三次元歪みを除去することができる。

食物容器の暫定画像がもつ色構成を、食物容器の所定の色に基づいて調整することができる。一実施形態では、割り当てたＲＧＢ値を有する境界部の所定の色を、暫定画像内の境界部の色と比較することができる。色の相違が識別された場合には、画像の色構成を調整することができる。この色構成には、彩度、光変化、コントラスト、明るさなどを含めることができる。暫定画像の色構成を、境界部がもつ所定の色に割り当てられたＲＧＢ値に一致させることができる。

別の実施形態では、食物容器の他の表面がもつ所定の色を同様に利用して、撮像装置により撮影された暫定画像の色構成を調整することにより色歪みを修正することができる。境界部の所定の色を利用する上記実施形態と同様に、食物容器の他の表面に所定の色のＲＧＢ値を割り当て、これを参照として使用して、暫定画像の色構成を基準食物容器画像の色構成と一致するように調整することができる。

さらに別の実施形態では、食物容器に刻印したマーキングの所定の色を同様に利用して、撮像装置が撮った暫定画像の色構成を調整してもよい。

食品を含む食物容器の暫定画像を、１つ以上の区画に基づいて分割することができる。この食物容器の境界部を利用して、食物容器の１つ以上の区画各々を分離してもよい。さらに、暫定画像内の食品を、食物容器から隔離することができる。

暫定画像の背景を取り除くことができる。暫定画像は、食品を入れた食物容器と、その食物容器の周囲環境を表す背景とを含む場合がある。例えば、暫定画像が、食物容器と食物容器が置かれているテーブルとを含む場合がある。実施形態によっては、食物容器とその背景との間の色の違いを分析することによって暫定画像の背景を取り除くことができる。この色差は、暫定画像を画素ごとに分析することによって識別することができる。この実施形態では、食物容器の所定の色を利用して、食物容器に属する画素と背景に属する画素とを識別することができる。実施形態によっては、暫定画像の背景を境界部に基づいて取り除いてもよい。境界部が暫定画像の背景とグラフィック的に対照的である又は明白であるように、境界部の色を背景とは異なる色にすることができる。これにより、暫定画像内の背景を表す部分、例えば暫定画像内で境界部の外側部分を取り除くことによって、暫定画像内の背景を取り除くことができる。

実施形態によっては、暫定画像の背景を境界部の所定の構造特性に基づいて取り除くことができる。境界部を、基準として使用するその所定の構造特性の１つとすることができる。食物容器の所定の構造特性の例として、境界部の位置、サイズ、向き、形状などの任意の組み合わせを挙げられる。境界部の所定の構造特性を利用して、暫定画像内の境界部の位置及び輪郭線を識別して、暫定画像内の境界部の外側部分を取り除くことができる。

実施形態によっては、暫定画像の分割を、食物容器の暫定画像に基準食物容器画像の境界部を位置合わせすることによって行うことができる。画像歪みが除去された状態で、この２枚の画像、すなわち暫定画像及び基準食物容器画像を位置合わせして、１つ以上の区画に分割することができる。実施形態によっては、食物容器の周囲壁を表す境界部を位置合わせして、１つ以上の区画を一括して分割してもよい。実施形態によっては、仕切りを表す境界部を位置合わせして、１つ以上の区画を個別に分割してもよい。食物容器の周囲壁を表す境界部を含むテンプレート画像を、データベースによって保存することができる。同様に、仕切りを表す境界部を含むテンプレート画像を、データベースによって保存することができる。これらの２つのテンプレートを、暫定画像と選択的に、個別に、及び／又は一括して位置合わせして、１つ以上の区画を分割及び分離することができる。

暫定画像の食物容器内の色を、その食物容器の暫定画像に含まれている食品を識別及び隔離するために、（例えば画素ごとに）分析することができる。実施形態によっては、暫定画像内で分割された１つ以上の区画各々を分析して、その１つ以上の区画各々に含まれている食品を識別及び隔離することができる。１つ以上の区画各々の色を分析して（例えば画素ごとに）、暫定画像の食物容器に含まれている食品を隔離してもよい。食品を表さない暫定画像の画素を除去することができるため、それによって、分割された１つ以上の区画をさらに分離して、食品だけの画像を得ることができる。同様に、実施形態によっては、暫定画像内の食品を、上述した分割処理なしで識別及び隔離してもよい。

一実施形態において、食物認識装置は、修正及び分割した暫定画像から、食品の種類を識別するため、その食品の特徴に関する情報を収集することができる。食品の特徴例として、体積、質感、色、スペクトル、形状などの視覚的要素が挙げられる。この食品の特徴に、温度や化学組成などの非視覚的要素も含めてもよい。食物認識装置は、食品の暫定画像から受け取る情報に基づいて、１つ以上の区画各々が保持している食品の種類を識別することができる。実施形態によっては、暫定画像から識別された食品の特徴をデータベースと比較して、一致する食品の種類を特定することができる。このデータベースには、対応食品を示す、予想される特徴を保存しておくことができる。このデータベースは、様々なタイプの食品及びその特徴を保存することができる。食物認識装置はこのデータベースと通信可能であり、これにより様々なタイプの食品が種々の食品各々から予想される対応特徴にリンクされる。一例として、イチゴの色、形状、質感などの視覚的特徴が暫定画像の食品のものと一致すれば、暫定画像に含まれる食品がイチゴであると識別することができる。この例では、赤、三角、有孔などのイチゴの視覚的特徴が、この食品の種類を示すことができる。

種々の食品各々から予想される、その食品に対応する特徴を、データベースに保存しておくことができる。このデータベースは、機械学習プロセスによって構築することができる。モデル食品の画像からそれに対応する特徴を集めることにより種々の食品の特徴を収集することができる。モデル食品及びそれに対応する特徴について、食品の特徴に基づいてその種類を認識できるようにするため、モデル食品の種類ごとに十分な対応特徴が収集されたかどうかの確認試験をすることができる。データベースはさらに、ユーザが本開示で開示した容器を利用するたびに、システムが食品の種類を識別するのにしたがって更新可能である。実施形態によっては、システムの使用前に、種々の食品各々から予想される、その食品に対応する特徴を収集してデータベースに入れておくことができる。

別の実施形態では、暫定画像の食品から抽出された特徴を、データベースに保存されている基準分割食物画像の食品から抽出された特徴と比較することができる。このデータベースは、上述した色の歪み、構造的歪み、及び／又は視覚的歪みのない食品（モデル食物）の画像である参照分割食品画像を含むことができる。この基準分割食品画像から特徴を食品の種類毎に抽出し、データベースに保存し、暫定画像内の食品の種類を識別するための基準として使用することができる。

さらに別の実施形態において、食物認識装置は、参照（例えば、基準分割食物画像）として使用する食品の画像を保存しているデータベースと通信することができる。その画像を暫定画像と比較して食品の種類を識別することができる。例えば、暫定画像とデータベースからの食品の画像とを画素ごとに比較して、暫定画像に含まれる食品の種類を識別すことができる。暫定画像とデータベースからの食品の画像との間の類似性を分析して一致を識別することができる。その類似性が閾値よりも高い場合に、食物認識装置はそれらを一致として識別することができるように、２枚の画像間の類似性を分析する際には閾値を用いてもよい。

その食品が、様々な成分の混合物である場合がある。この実施形態では、食品の種類は、食品の様々な成分各々を個別に識別すること、及び食品の全体的な特徴を集合的に識別することによって識別することができる。食物認識装置は、様々な成分を一致する種類の食品に結びつける情報を記憶するデータベースと通信することができる。一例として、パスタ料理は、多くの場合種々の成分を含んでいる。１つ以上のプロセッサが、様々な成分を含んでいるであろうパスタ料理の画像を分析することにより、食物容器に保持されている食品は、暫定画像から特定された様々な成分、ミートボール及びスパゲッティなどで作られたパスタ料理であることを識別することができる。

実施形態によっては、上述したように様々なコンピュータビジョン技術から、追加調理成分を識別することができる。食物認識装置は、食品の抽出された特徴に基づいて、オイルやスパイスなどの追加調理成分を識別することができる。この追加調理成分の特徴及び／又は画像をデータベースによって保存することができる。例えば、食物容器はパセリを付け合わせとする食品としてパスタ料理を保持する場合がある。食物認識装置は、その食品をパスタ料理として識別することができる上、付け合わせのパセリを追加調理成分として識別することができる。追加調理成分を特定するこの特徴は、特定の食品群にアレルギーを起こす人々にとって重要であり得る。

さらに別の実施形態では、食物認識装置から得た情報をさらに処理して、食品の調製状態を識別することができる。食品の成分は、調理されるとその量、質感、スペクトル、化学組成、色、形状、温度などに変化が起こり得る。食品の調製状態は、暫定画像及び／又はその食品のから抽出された特徴から特定可能である。一例として、食品は調理されると、その色が変化する傾向がある。暫定画像からその食品の色を認識することにより、その食品の調製状態を識別することができる。様々な食品の調製状態を示す特徴及び／又は画像をデータベースに保存することができる。

食物容器の暫定画像から認識される食品の種類及び重量センサによって測定された重量を与えられると、食物認識装置は、食物容器の１つ以上の区画内の食品の栄養価を特定することができる。

一実施形態において、データベースは、栄養値変換情報を保存することができる。この情報は、食品の様々な種類の重量当たりの栄養価を示すことができるものである。これにより、食品の栄養価を、暫定画像の食品の重量及び種類に基づいて特定することができる。この栄養価の例として、カロリー、ビタミン、ナトリウム含有量、脂肪含有量、炭水化物などを挙げられるが、これに限定されるものではない。

別の実施形態では、食品が、様々な成分の混合物である場合がある。この実施形態では、食品の栄養価を、様々な成分の重量及び種類に基づいて、まとめて又は個別に特定することができる。実施形態によっては、食物認識装置は、様々なタイプによる混合食品の栄養価を保存するデータベースと通信することができる。種々の成分の混合物で作られた食品の種類が認識されると、その栄養価を混合食品のタイプ及び重量に基づいて特定することができる。

実施形態によっては、様々な成分による混合物中の成分を個々に識別して、その食品の栄養価を特定することができる。

実施形態によっては、様々な成分による混合物中の成分の空間比を、その混合食品の栄養価を特定するために識別することができる。この空間比は、混合食品中の様々な成分各々の組成を示す。データベースは、空間比−種類情報を保存することができる。これにより、様々なタイプの混合食品に所定の空間比を割り当てることができる。このような混合食品の種類が認識されると、空間比−種類情報を用いて複数成分の空間比を求め、続いて各成分の栄養価を特定することができる。実施形態によっては、暫定画像を分析することによって、混合食品の空間比を特定することができる。混合食品の成分を、暫定画像を分析することによって個々に認識することができる。例えば、暫定画像から隔離された食品を画素ごとに分析して、その混合食品の成分間の空間比を特定することができる。

食物認識装置はさらに、１つ以上の区画内の食品の体積を特定することができる。暫定画像内の食品の種類及び重量に基づいて、その体積を推定することができる。データベースは、様々な食物の種類の密度を伴う種類−密度情報を保存することができる。既知の重量及び既知の密度を用いて、食品の体積を導き出すことができる。その食品の栄養価を、食品の導き出された体積とその種類とに基づいて特定することができる。実施形態によっては、食品の体積は、食品の表面積（例えば、暫定画像を占める食品の画素数）によって近似することができる。実施形態によっては、食品の体積を、異なる角度で撮影された同じ食物容器の２枚以上の暫定画像に基づいて特定してもよい。この場合の体積を、２枚以上の暫定画像に基づいて食品の３次元体積の三角測量によって近似することができる。

食物認識装置はさらに、食物認識装置、システム、そのコンポーネントと相互作用し、その動作を制御するため、ユーザ用コンピュータ支援型ユーザインタフェースと通信することができる。このコンピュータ支援型ユーザインタフェースは、システムのコンポーネントから得られる入力及び出力をすべて表示することができる。食物認識装置の１つ又は複数のプロセッサが処理したデータは、コンピュータ支援型ユーザインタフェースに表示することができる。

一実施形態において、コンピュータ支援型ユーザインタフェースは、ディスプレイを介して食品の重量を示すことができる。重量センサが測定した重量が表示され得る。

別の実施形態では、コンピュータ支援型ユーザインタフェースは、暫定画像の食品画像から得られる情報に基づいて、食物認識装置が特定する食品の種類を表示することができる。

さらに別の実施形態では、コンピュータ支援型ユーザインタフェースは、暫定画像の食品画像から得られる情報に基づいて、食物認識装置が特定する食品の調製状態を表示することができる。

さらなる実施形態では、コンピュータ支援型ユーザインタフェースは、食品の栄養価を示すことができる。食物認識装置は重量センサ及び暫定画像から得られる情報に基づいて食品の栄養価を特定することができる。この栄養価はさらに、食物認識装置が識別する調製状態に基づいて、食物認識装置により特定することができる。

コンピュータ支援型ユーザインタフェースを、ユーザからの入力を受信するように構成することができる。このコンピュータ支援型ユーザインタフェースは、健康状態、食物アレルギー情報などの食事要件に関するユーザからの入力を受信することができる。ユーザから受信した入力をさらに、食品の栄養価及びユーザの食習慣をさらに評価及び監視するために、食物認識装置に伝達することができる。この食習慣には、ユーザが食品を消費する速度、ユーザがある種の食物を消費する頻度、各摂取時又は食事中にユーザが消費する食品の量などを含み得る。この食習慣を監視して、食べるパターンや行動を特定することができる。食物認識装置は、ユーザの入力に基づいて、ユーザに適した推奨食事計画を提供することができる。このユーザ入力は任意の形態でよく、例としてテキスト入力、音声入力などを挙げられるが、これに限定するものではない。推奨食事計画は、ユーザ又は食物認識装置と通信している外部装置から食物認識装置が受信し得るユーザの健康状態に基づいて修正可能である。

ユーザはまた、コンピュータ支援型ユーザインタフェースを介して、食物容器を使用することなく消費した食品についての情報を提供してもよい。ユーザは、コンピュータ支援型ユーザインタフェースを使用して、カロリー又は任意の他の栄養情報を手動で入力することができる。

ここで図１を参照すると、図１は、使用中の食物認識装置及び食物容器の例示的な一実施形態を示している。この実施態様１００において、食物認識装置は、撮像装置の食物認識装置１０１との一体化が可能である。食物認識装置１０１は、３種類の食品１０５、１０６、１０７を含む食物容器１０９の画像（暫定画像）を取り込むように配置され得る。食物容器１０９は、３つの区画１０２、１０３、１０４を内部に形成して有することができる。３つの区画１０２、１０３及び１０４を、食物容器１０９の周囲壁及び仕切り１０８によって区分することができる。仕切り１０８及び食物容器の周囲部（境界部）は、所定の色で示すことができる。この実施形態では、食物認識装置１０１は、スマートフォン又は、本開示に記載の食品認識方法を実行する１つ又は複数のプロセッサ及びメモリを備える他の同様のタイプの携帯型コンピューティングデバイスであってもよい。

図２は、食料画像分離を行うコンピュータビジョン技術方法の一例示的実施形態を示す。この実施形態２００において、この処理を画像取得２０１から開始することができる。画像取得ステップ２０１では、撮像装置が取得した食物容器の暫定画像２０９を食物認識装置で取得することができる。データベースは、基準食物容器画像２０６を保存することができる。基準食物容器画像２０６は、そこに背景を有していない場合もある。データベースはさらに、基準食物容器画像２０６内の食物容器の周囲壁２０７の輪郭線を含むことができる。周囲壁２０７の輪郭線は、これを第１のテンプレート２０７とも呼ぶ場合があるが、食物容器の最外縁を画定することができる。さらに、データベースは、食物容器の３つの区画の境界部を表す第２のテンプレート２０８を含むことができる。

画像修正ステップ２０２において、基準食物容器の画像２０６を暫定画像２０９と比較して、暫定画像２０９を修正することができる。修正暫定画像２１０は、画像修正ステップ２０２の結果であり、画像を含まない。この実施形態では、暫定画像２０９の向きを修正して、基準食物容器画像２０６の向きに１つ以上の区画の配置を一致させる。ここでは境界部及び／又は食物容器の所定の色を利用して、暫定画像２０９の色構成を調整することができる。外周２０３に基づく画像分割のステップでは、第１のテンプレート２０７を修正後の暫定画像２１０に位置合わせすることにより、暫定画像の背景を取り除くことができる。画像２１１は背景のない修正暫定画像２１０を表す。

背景の除去後、第２のテンプレート２０８を、仕切り２０４に基づいて、画像分割のステップのために画像２１１（背景無し）と位置合わせすることができる。第２のテンプレート２０８は、食物容器の仕切りの輪郭線となる。したがって、暫定画像２０９の３つの区画各々を分割することができる（２１２）。食品画像分離のステップ２０５において、２１２に示すように３つの区画を分割したら、暫定画像２０９の食品を、食物容器の他の表面を取り除くことにより、隔離することができる。この隔離は、食物容器の他の表面がもつ所定の色に基づいて分割画像２１２の画素を除去することで実行可能である。

図３は、食品の栄養価を特定するシステムの例示的な一実施形態を示す。このシステムは、複数の重量センサ３０１を埋め込んだ食物容器１０９を備えることができる。複数の重量センサ各々を、食物容器１０９の１つ以上の区画内に保持されている食品の重量を測定するように配置可能である。このシステムはさらに、食物認識装置１０１を備えることができる。この実施形態では、食物認識装置１０１は、撮像装置３０２を搭載した一体型装置として示されている。食物認識装置はさらに、プロセッサ３０３及びコンピュータ支援型ユーザインタフェース３０４を含むことができる。食物認識装置１０１は、ネットワーク３０５を介してデータベース３０６と通信することができる。

図４は、本開示によるコンピュータビジョン技術の例示的な一実施形態のフローチャートである。４０１にて、撮像装置が撮影した画像（暫定画像）を食物認識装置が取得する。ステップ４０２にて、食物認識装置は基準食物容器画像に基づいてその暫定画像を修正することができる。ステップ４０３において、修正後の暫定画像をさらに、境界部に基づいてさらに分割することができる。ステップ４０４にて、暫定画像内の食品を分離して、その種類を識別することができる。食品の種類及び食品の重量がわかったところで、ステップ４０５において、食物容器内の食品の栄養価を特定することができる。

図５は、本開示による画像修正処理のフローチャートである。画像修正処理を開始するために、暫定画像を識別することができる（５０１）。５０２にて、暫定画像を基準食物容器画像と比較し、暫定画像内に存在し得る画像歪みを識別することができる。暫定画像と基準食物容器画像との間の比較（５０３）に基づいて、食物認識装置によって変換を特定することができる。ステップ５０４にて、その変換を暫定画像に適用して、暫定画像を修正することができる（５０５）。

図６Ａ及び図６Ｂは、本開示による食品隔離処理の例示的実施形態を示す。この食品隔離処理は、食物認識装置によって実行可能である。図６Ａにおいて、このプロセスを暫定画像６０１内の色情報分析から開始する。食物容器とその背景との間の色差を暫定画像から識別することができる（６０２）。識別した食物容器とその背景との間の色差に基づいて、暫定画像の背景を取り除くことができる（６０３）。ステップ６０４にて、背景除去後の暫定画像内の食品を、食物容器の他の表面の所定の色に基づいて識別することができる。最後に、暫定画像内に表された他の表面を取り除くことにより、暫定画像内の食品を隔離することができる（６０５）。

図６Ｂにおいて、６０６にて、暫定画像内の境界部を食物認識装置により識別することができる。この境界部は、食物容器の周囲壁を表す第１のテンプレート及び食物容器の仕切りを表す第２のテンプレートを含むことができる。第１のテンプレートに基づいて、背景を取り除くことができる（６０７）。これは、第１のテンプレートを暫定画像と位置合わせすることにより行うことができる。ステップ６０８にて、暫定画像内の食物容器の１つ以上の区画を、第２のテンプレートに基づいて分割することができる。分割後、６０９にて、暫定画像内の他の表面を取り除くことにより、暫定画像６１０内の食品を隔離することができる。

図７Ａ及び図７Ｂは、食品識別処理の例示的な一実施形態をフローチャートで示している。図７Ａは、暫定画像内の食品画像の特徴を、データベースに保存された様々なタイプの食品に対応する、予想される特徴と比較する食品識別プロセスを説明する。このデータベースは、種々の食品を記憶することができ、その各々がその種々の食品各々に対応する様々な特徴にリンクされている。ステップ７０１及び７０５にて、食物認識装置は、暫定画像から隔離された食品を得ることができる。図７Ａでは、隔離食品の特徴を抽出し（７０２）、予想される特徴と比較することができる（７０３）。図７Ｂでは、暫定画像から隔離した食品を、データベースに保存されている基準分割食物画像と比較することができる（７０６）。基準分割食物画像は、種々の食品を表すモデル食品画像である。隔離した食品がモデル食品画像（食品画像）の１つに厳密に一致するかどうかを識別するため、隔離した食品とモデル食品画像とを比較してこの２つの間の類似点を特定することができる。ステップ７０６はさらに、暫定画像から直接抽出された特徴と比較され得る特徴をモデル食品画像から抽出することを含むことができる。好ましい一実施形態では、この特徴は、食品の質感及び色を含むことができる。ステップ７０４及び７０７にて、暫定画像に含まれる食品の種類が識別される。

図８は、暫定画像を修正するために参照される所定の構造特性の概略図を示す。暫定画像８０９を、画像修正８１０を目的として、食物容器の所定の構造特性８０１と比較することができる。この所定の構造特性８０１には、色８０２（食物容器の境界部、他の表面及び／又は他の部分の色）、向き８０３、解像度８０４、サイズ８０５、形状８０６、寸法８０７、及び画素８０８を含めることができる。向き８０３は、暫定画像に存在し得る回転歪みを調整する際に参照することができる。解像度８０４、サイズ８０５、形状８０６、及び寸法８０７は、暫定画像に存在し得るアフィン変換、スケール歪み、及び／又は射影歪みを調整する際に参照することができる。画素８０８は、画素をミリメートルなどの測定単位に変換することが可能な暫定画像のサイズ調整の際に参照することができる。最後に、色８０２は、暫定画像の色構成を調整する際に参照することができる。食物容器のこれら及び他の所定の構造特性は、暫定画像の修正を目的として個別に又は集合的に利用可能である。

図９は、食物認識装置を独立型装置として実装するシステムであって、食品の栄養価を特定するシステムの例示的な一実施形態である。このシステムは、食物認識装置１０１、食物容器１０９、撮像装置３０２、及びデータベース３０６を含むことができ、システムの構成部品は、ネットワーク３０５を介して互いに通信することができる。食物認識装置１０１は、ディスプレイ９０１と、プロセッサ３０３と、ユーザ入力装置９０２とを備える。食物認識装置１０１はさらに、プロセッサ３０３上で実行される様々なモジュールを含むことができる。この様々なモジュールには、データ集約モジュール９０３、画像修正モジュール９０４、画像分割モジュール９０６、食物識別モジュール９０７、及び栄養価特定モジュール９０５が含まれる。データ集約モジュール９０３は、重量センサからの重量及び撮像装置３０２からの暫定画像の取得を担うことができる。画像修正モジュール９０４は、本開示に従って暫定画像を修正する処理及び方法を実行することができる。画像分割モジュール９０６は、本開示で説明するように暫定画像を分割する処理及び方法を提供することができる。食品識別モジュール９０７は、暫定画像に含まれている食品の隔離およびその食品の種類識別を担うことができる。最後に、栄養価特定モジュール９０５は、本開示に従って食品の栄養価を特定する処理及び方法を実行することができる。

本発明のいくつかの変形例を好ましい実施形態又は特定の実施形態の例として示してきたが、本発明の趣旨及び範囲を逸脱することなく更なる実施形態を展開できることは明白である。ただし、そのような修正及び改変も本発明の趣旨及び範囲内であり、これに限定するわけではないが以下に記載する請求の範囲に含まれることを明確に理解されたい。

当業者であれば、本発明の教示内容を保ちつつ、その装置及び方法に多くの修正、応用、及び変更を行うことができることが容易に理解されるであろう。

Claims (29)

1. データベースと通信する食物認識装置を使用し、食品の栄養価を特定するシステムであって、
   １つ以上の区画を備えて前記食品を収容する食物容器であって、前記１つ以上の区画は、仕切りにより表される境界部と前記食物容器がなす周囲部とにより画定される食物容器と、
   前記食物容器の画像を撮影する撮像装置と、
   を含み、
   前記食物認識装置がプロセッサ及びメモリを備え、かつ前記撮像装置と通信して、
   前記撮像装置から前記食物容器の画像を取得し、
   前記画像内の前記境界部を、前記データベースに保存された基準食物容器画像内の前記境界部に位置合わせすることによって、前記画像の向きを修正するように構成されているシステム。
2. 前記食物容器内に配置され、かつ、前記１つ以上の区画の各々に収容されている前記食品の重量を測定するように位置づけられた重量センサをさらに備える、請求項１に記載のシステム。
3. 前記食物認識装置はさらに、
   前記境界部に基づいて前記画像を分割して、前記１つ以上の区画を各々分離し、
   各分割画像を前記データベースに保存された基準分割食物画像と比較することによって前記食品の種類を識別するように構成されている、請求項２に記載のシステム。
4. 前記食品の種類識別ステップは、前記画像からの前記食品の特徴を、前記基準分割食物画像の特徴と比較するステップを含み、前記特徴は、食品の種類を示す色及び質感を含む、請求項３に記載のシステム。
5. 前記食物認識装置はさらに、前記食品の前記重量及び前記種類に基づいて前記食品の前記栄養価を特定するように構成されている、請求項３に記載のシステム。
6. 前記食物認識装置はさらに、前記画像を基準食物容器画像と比較することによって識別される前記画像の画像歪みを補償するために変換を適用することによって得られる標準ビューに、前記画像を補正するように構成されている、請求項１に記載のシステム。
7. 前記変換は、
   前記食物容器の前記画像内の少なくとも２つのマーキングを識別し、
   前記基準食物容器画像に対する前記少なくとも２つのマーキングの各々の２次元座標を決定し、
   前記画像と前記基準食物容器画像との間で前記２次元座標を比較することによって、前記画像内の前記画像歪みを補償する前記変換を特定することにより特定される、請求項６に記載のシステム。
8. 前記食物認識装置はさらに、前記食物容器の少なくとも一部の所定の色であって、前記データベースに保存されている所定の色に基づいて前記画像の色を調整するように構成される、請求項１に記載のシステム。
9. 前記食物認識装置はさらに、前記画像の解像度に基づいて識別される前記画像のサイズを、前記データベースに保存された前記基準食物容器画像のサイズと比較することによって、前記画像のサイズを調整するように構成されている、請求項１に記載のシステム。
10. 前記食物認識装置はさらに、
    前記食物容器の前記境界部に基づいて前記画像内の背景を取り除き、
    前記食品と前記食物容器の他の表面との間の色の違いに基づいて、前記画像内の前記食品を隔離するように構成されている、請求項１に記載のシステム。
11. 前記食品隔離ステップは、前記画像を画素ごとに分析して、前記食品を表さない前記画像の画素を除去することを含む、請求項１０に記載のシステム。
12. 前記食物認識装置はさらに、前記画像内の前記食品の表面積であって、前記画像内に前記食品が占める画素数に基づいて識別される表面積を特定することによって、前記食品の体積を推定するように構成されている、請求項１０に記載のシステム。
13. 前記食物認識装置はさらに、前記食品の体積であって、異なる角度で撮られた前記食物容器の２枚以上の画像に基づいて特定される体積を特定するように構成されている、請求項１に記載のシステム。
14. 前記食物認識装置はさらに、前記画像内の前記食品の成分間の空間比に基づいて前記食品の種類を特定するように構成され、
    前記空間比は、
    前記データベースに保存されている、種類に対する空間比、および
    前記食品中の各成分及びその組成を個別に識別すること
    の少なくとも一方に基づいて識別される、請求項１に記載のシステム。
15. 前記食物認識装置はさらに、前記食品の体積を特定するように構成されており、前記体積は、前記データベースに保存されている種類−密度リスト及び前記食品の重量から前記食品の密度を識別することによって特定される、請求項１に記載のシステム。
16. データベースと通信する食物認識装置を使用し、食品の栄養価を特定するシステムを使用する方法であって、
    １つ以上の区画を備えて前記食品を収容する食物容器であって、前記１つ以上の区画は、仕切りにより表される境界部と前記食物容器がなす周囲部とにより画定される食物容器の画像を撮像装置で撮影し、
    前記食物認識装置と通信する前記撮像装置から前記食物容器の前記画像を食物認識装置で取得し、
    前記画像内の前記境界部を、前記データベースに保存された基準食物容器画像内の前記境界部と位置合わせすることによって、前記画像の向きを前記食物認識装置で修正する、方法。
17. 前記１つ以上の区画の各々に収容されている前記食品の重量を測定するように位置づけられ、かつ前記食物認識装置と通信している重量センサから前記食品の重量を前記食物認識装置で取得することをさらに含む、請求項１６に記載の方法。
18. 前記境界部に基づいて前記画像を前記食物認識装置で分割して、前記１つ以上の区画各々を分離し、
    各分割画像を前記データベースに保存された基準分割食物画像と比較することによって、前記食物認識装置で前記食品の種類を識別することをさらに含む、請求項１７に記載の方法。
19. 前記食品種類識別ステップは、前記画像からの前記食品の特徴を、前記基準分割食物画像の特徴と比較することを含み、前記特徴は、食品の種類を示す色及び質感を含む、請求項１８に記載の方法。
20. 前記食品の前記重量及び前記種類に基づいて、前記食物認識装置で前記食品の前記栄養価を特定するステップをさらに含む、請求項１８に記載の方法。
21. 前記画像向き修正ステップは、前記画像を標準ビューに補正するステップを含み、前記標準ビューは、変換を適用して前記画像の画像歪みを補償することによって得られ、前記画像歪みは、前記画像を前記基準食物容器画像と比較することにより識別される、請求項１６に記載の方法。
22. 前記変換は、
    前記食物容器の前記画像内の少なくとも２つのマーキングを識別し、
    前記基準食物容器画像に対する前記少なくとも２つのマーキングの各々の２次元座標を決定し、
    前記画像と前記基準食物容器画像との間で前記２次元座標を比較することによって、前記画像内の前記画像歪みを補償する前記変換を特定することにより特定されることを含む、請求項２１に記載の方法。
23. 前記画像向き修正ステップが、前記画像のサイズを前記データベースに保存された前記基準食物容器画像のサイズと比較することによって、前記画像の前記サイズを調整するステップを含み、前記画像の前記サイズは、画像の解像度に基づいて識別される、請求項１６に記載の方法。
24. 前記食物容器の少なくとも一部の所定の色に基づいて前記画像の色を前記食物認識装置で調整するステップをさらに含み、前記所定の色は前記データベースに保存されている、請求項１６に記載の方法。
25. 前記食物容器の前記境界部に基づいて前記画像内の背景を前記食物認識装置で取り除くステップと、
    前記食品と前記食物容器の他の表面との間の色の違いに基づいて、前記画像内の前記食品を前記食物認識装置で隔離するステップとをさらに含む、請求項１６に記載の方法。
26. 前記画像内の前記食品の表面積を識別することによって、前記食物認識装置で前記食品の体積を推定するステップをさらに含み、前記表面積は、前記画像内に占める前記食品の画素数に基づいて識別される、請求項２５に記載の方法。
27. 前記食物認識装置で前記食品の体積を特定するステップをさらに含み、前記体積は、異なる角度で撮影された前記食物容器の２枚以上の画像に基づいて特定される、請求項１６に記載の方法。
28. 前記画像内の前記食品の成分間の空間比に基づいて、前記食物認識装置で前記食品の種類を特定するステップをさらに含み、
    前記空間比は、
    前記データベースに保存されている、種類に対する空間比、および
    前記食品中の各成分及びその組成を個別に識別すること
    の少なくとも一方に基づいて識別される、請求項１６に記載の方法。
29. 前記食品の体積を前記食物認識装置で特定するステップをさらに含み、前記体積は、前記データベースに保存された種類−密度リスト及び前記食品の重量から前記食品の密度を識別することによって特定される、請求項１６に記載の方法。

Images