JP2010286960A - 食事ｌｏｇ作成装置、食事ｌｏｇ作成方法および食事ｌｏｇ作成プログラム - Google Patents

Abstract

【課題】自動的に食事のカロリーを推定し、撮影画像に関連する付加情報を容易に得て食事内容を自覚することができる食事ｌｏｇ作成システムを提供する。
【解決手段】携帯端末１００により、食事を摂取する店舗内の食事画像を撮影し、位置情報およびテキスト本文とともにメールサーバー上の外部データ蓄積部４０２に送る。食事ｌｏｇ作成装置２００では、外部データ蓄積部４０２から前記情報を取得し、該情報と付加データ蓄積部２１３に予め蓄積された店舗の情報に基づいて、探索範囲絞込み部２０５によって検索対象店舗を絞り込む。前記撮影された食事画像の食事想定領域の画像を抽出し、色変換して特徴量を求め、類似度計算部２０９によって、画像蓄積部２１２に予め蓄積された店舗の食事画像の特徴量と比較し、類似度の最も高い画像を類似食事画像と判定し、その画像に関連するカロリー値などの付加情報を前記メール情報に付けてブログアップする。
【選択図】図１

Description

本発明は、携帯端末で撮影した食事画像がどのレストランのものであるかを特定するために、ＧＰＳ情報を用いて探索範囲を絞り込むこと、および、画像処理技術を使って蓄積された食事画像データベースの中から、撮影した食事画像と類似している画像を見つけ出すことにより、当該食事画像に関する付加情報を付けた食事ｌｏｇを作成する技術に関する。

健康支援の観点から、日々摂取する食事を記録し、摂取カロリー、食品バランスや体重と合せて、健康指導することが行われている。また、ダイエットの分野においても、食事、体重と総カロリーを記録することで食事内容、間食等を自覚して食生活の改善を図ろうとするレコーティング・ダイエットという手法がある。

例えば、ユーザのカードを利用して、食堂に設置した食堂端末とネットワークを介してホストコンピュータを結ぶことで、ユーザの健康・食事に関する情報を一元管理しようとする技術がある。

この技術としては、特許文献１の健康・食事の一元管理システムが公知となっている。

特許文献１の技術は、ユーザのカードからユーザ識別情報を取得し、選択した食事メニューの情報と共にインターネット等のネットワークを経由して健康管理センタへ送信される。ユーザが希望する（目標とする）健康状態を入力することで、それに見合った塩分やカロリーの適正値が計算され、蓄積されたユーザの情報からユーザの塩分やカロリーの適正値を算出してユーザに提示する。応用としてユーザが食事メニューを選択する際に、適正値でない食事の場合には、ユーザに変更を促すことやシステム側で選択すべきでないメニューを強制的に断ることも可能となる。

特開２００２−３３４１５８号公報

しかしながら、前記従来技術では、システム側からの強制力があるとは言え、これを受け入れるかは、ユーザの判断に負うところが大きく、度が過ぎると不愉快感を生じ、その食堂を利用しないという行動に≡がりやすい危険がある。また、これらは、ヒューマンパワーに寄るところが大きく、本人の自覚と忍耐が無いと、なかなか長期間継続することは困難である。

本発明は、このような事情に鑑みてなされたものであり、その目的は、携帯端末で撮影した画像を日記としてブログに投稿する際に、自動的に食事のカロリーを推定し、撮影した画像に関連する付加情報を容易に得て食事内容を自覚することができる食事ｌｏｇ作成システム、方法、プログラムを提供することにある。

上記課題を解決するための請求項１に記載の食事ｌｏｇ作成システムは、食事を摂取する店舗内の食事の画像を撮影する機能と、位置情報を取得する機能と、前記撮影された食事画像、前記取得された位置情報およびテキスト本文をメール送信する機能とを有した携帯端末と、メールサーバー上に設けられ、前記携帯端末から送信されるデータを蓄積する外部データ蓄積手段と、食事ｌｏｇ作成装置とが通信網を介して接続された食事ｌｏｇ作成システムであって、
前記食事ｌｏｇ作成装置に設けられるか、又は該装置以外に前記通信網を介して接続され、予め入力される各店舗のメニュー情報に基づく食事画像と、前記外部データ蓄積手段から受信した前記携帯端末により撮影された食事画像とが蓄積される画像蓄積手段と、
前記食事ｌｏｇ作成装置に設けられるか、又は該装置以外に前記通信網を介して接続され、予め入力される各店舗のメニュー情報に基づく食事画像に関連する付加情報および前記店舗に関連する付加情報と、前記外部データ蓄積手段より受信した前記携帯端末からの位置情報およびテキスト本文とが蓄積される付加データ蓄積手段とを備え、
前記食事ｌｏｇ作成装置は、
データの送信、受信を行なう送受信手段と、
前記外部データ蓄積手段から受信された携帯端末の位置情報と前記付加データ蓄積手段に蓄積された店舗に関連する付加情報とに基づいて、検索対象店舗を絞り込む探索範囲絞込み手段と、
前記受信された、携帯端末により撮影された食事画像から食事想定領域を抽出する食事領域抽出手段と、
前記食事領域抽出手段により抽出された食事想定領域の画像を色変換して特徴量を求める特徴量算出手段と、
前記画像蓄積手段に蓄積された各店舗のメニュー情報に基づく食事画像を色変換して求められた特徴量を保有し、前記探索範囲絞込み手段により絞り込まれた検索対象店舗のメニュー情報に基づく食事画像を色変換して求められた特徴量と前記特徴量算出手段により求められた特徴量とを比較して類似度を計算し、類似度の最も高い画像を類似食事画像と判定する類似食事画像判定手段と、
前記類似食事画像判定手段によって判定された類似食事画像の所属元である店舗に関連する付加情報および該類似食事画像に関連する付加情報を前記付加データ蓄積手段から取得する付加データ取得手段と、
前記受信された、携帯端末により撮影された食事画像、位置情報およびテキスト本文に、前記付加データ取得手段により取得された付加情報を付加してブログを作成するブログ作成手段とを備え、
前記ブログ作成手段により作成されたブログを前記通信網を介して外部に送信することを特徴としている。

上記構成によれば、携帯端末で撮影した画像を日記としてブログに投稿する際に、自動的にカロリーを推定し、その他、撮影した画像に関係する付加情報を容易に取得することができる。また、食生活改善行動の継続性を促すたまごっちのような電子ペットに撮影した食事を与えることで、ユーザの代わりに、太らせたり、ダイエットさせたりし、ペットとのコミュニケーションを取ることで、長続きさせることができる。また、これらの情報を自動的にｂｌｏｇにアップすることで、簡単にカレンダーに日記を作成し、栄養・健康指導を受ける基礎資料としての役割も持たせることが可能となる。

（１）請求項１〜７に記載の発明によれば、携帯端末で撮影した画像を日記としてブログに投稿する際に、自動的に食事のカロリーを推定し、撮影した画像に関連する付加情報を容易に得て食事内容を自覚することができる。

また、携帯端末の位置情報、例えばＧＰＳ情報により、ブログ作成のための画像を検索する対象を絞りこむことができるので、検索時間も短く、対象となる画像にヒットする確率が高くなるという効果がある。また、色に関する特徴を用いているため、食事の材料のバランスを見ることができる可能性があり、例えば、緑色が少ない場合には、生野菜が不足しているということがわかる効果がある。 また、ユーザの健康管理のために蓄積された食事画像とカロリーを利用することが可能となり、栄養士の方が食事指導を行うことも可能となる。

さらには、体重も合わせて記録しておくことにより、食事内容、カロリーと体重を記録することで、自分の食べた食事内容を自覚することができるため、食事内容の改善につなげることにより、ダイエット効果も期待できる。
（２）請求項２，５に記載の発明によれば、特徴量毎に重みを変えることにより、観点の異なる類似度を計算することが可能となり、類似度算出の意図を変えることができる効果がある。

例えば、形状特徴よりも色特徴を重視して類似度を計算したい場合には、色特徴の重みを大きくすることで実現できる。

あるいは、画像領域中に含まれる色の分布を表す色ヒストグラムにおいて、ある色の度数に比例するように重みをつけると、その色を重視したスコア付けが可能となる。例えば、野菜が多く含まれると（緑色が多いと）、スコアが高くなるように重みを付けることで実現できる。

また、画像を領域分割し、分割された部分領域毎に特徴量を計算する場合には、その面積の大きさに比例した重みを付けることで大きな面積から得られる特徴量を選択的に重視して用いることが可能となる。

このように、特徴量毎に重みを変えることにより、様々な観点で、類似度を計算することが出来るため、バリエーションが増える効果がある。

本発明の実施形態に係る食事ｌｏｇ作成システムの構成図。 本発明の実施形態に係る食事ｌｏｇ作成方法のフローチャート。 本発明の食事ｌｏｇ作成方法の処理例を示し、（ａ）は携帯画面例の説明図、（ｂ）はブログ画面例の説明図。 本発明の実施形態例における、ＧＰＳ位置情報を利用した店舗探索範囲の絞り込み例を示す説明図。 本発明の実施形態例における、店舗と画像に付加される属性（メタ）データの例を示し、（ａ）は店舗と画像の関係構造例の説明図、（ｂ）は店舗に付加される属性（メタ）データ例の説明図、（ｃ）は画像に付加される属性（メタ）データ例の説明図。 本発明の実施形態例におけるマスキング処理を表し、（ａ）は食事領域抽出マスクの説明図、（ｂ）は撮影＆保存対象画像の説明図、（ｃ）はマスキングの説明図、（ｄ）は処理対象画像の説明図。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は、本発明の実施形態に係る食事ｌｏｇ作成システムの一構成例、図２は、本発明の実施形態に係るフローチャートを示す。また、携帯端末の撮影画像からのブログ作成イメージを表した画面例を図３に示す。尚、以下で説明する「携帯」は携帯電話などの携帯端末を指すものとする。

図１において、１００は、食事を摂取する店舗内の食事の画像００１を撮影する機能と、例えばＧＰＳ００２によって位置情報を取得する機能と、前記撮影された食事画像、前記取得された位置情報およびテキスト本文をメール送信する機能とを有した携帯端末である。

２００は、インターネット００３によって前記携帯端末１００と接続される食事ｌｏｇ作成装置である。

３０１はブログサーバーアップ部、３０２はホームページアップ部、４０１は例えばコンピュータ端末で構成されたデータ投入部、４０２はメールサーバー上に設けられ、携帯端末１００から送信されるデータを蓄積する外部データ蓄積部（外部データ蓄積手段）であり、これらはインターネット００３に接続されている。

前記携帯端末１００は、撮影部１０１、位置情報取得部１０２、メール作成部１０３、送信部１０４およびメモリ１０５を有している。

食事ｌｏｇ作成装置２００内の２０１はデータの受信を行なう受信部であり、データの送信を行なう発信部２１５とともに送受信手段を構成している。

２０２は外部データ蓄積部４０２から受信したデータを入力する入力部である。

２０３は食事ｌｏｇ作成装置２００内の各部を制御する制御部（制御手段）である。

２０４は前記受信したデータから携帯端末１００の位置情報を抽出する位置情報抽出部である。

２０５は、前記抽出された携帯端末１００の位置情報と後述の付加データ蓄積部２１３に予め蓄積された店舗に関連する付加情報（位置情報）とに基づいて、検索対象店舗を絞り込む探索範囲絞込み部（探索範囲絞込み手段）である。

２０６は、前記受信したデータの、携帯端末１００により撮影された食事画像から後述するマスキング処理によって食事想定領域を抽出するマスク処理部（食事領域抽出手段）である。

２０７は、前記抽出された食事想定領域の画像を後述する処理によって色変換する色計算部である。

２０８は、前記色変換された画像について後述する処理によって特徴量を計算する特徴量計算部である。

前記色計算部２０７および特徴量計算部２０８によって本発明の特徴量算出手段を構成している。

２０９は、前記探索範囲絞込み部２０５によって絞り込まれた店舗に属する、後述の画像蓄積部２１２に予め蓄積された食事画像を色変換して求められた特徴量と、前記特徴量計算部２０８により求められた特徴量とを比較して類似度を計算し、類似度の最も高い画像を類似食事画像と判定する類似度計算部（類似食事画像判定手段）である。

尚、この類似度計算部２０９は、前記画像蓄積部２１２に予め蓄積された各店舗のメニュー情報に基づく食事画像を色変換して求めた特徴量を、メモリ２１６内に格納して保有している。

２１０は、前記判定された類似食事画像の所属元である店舗に関連する付加情報および該類似食事画像に関連する付加情報を付加データ蓄積部２１３から取得する付加データ取得部（付加データ取得手段）である。

２１１は、前記受信された、携帯端末１００により撮影された食事画像、位置情報およびテキスト本文に、前記付加データ取得部２１０により取得された付加情報を付加してブログを作成するブログ作成部（ブログ作成手段）である。

２１２は、予め前記データ投入部４０１から入力される各店舗のメニュー情報に基づく食事画像と、前記外部データ蓄積部４０２から受信した前記携帯端末１００により撮影された食事画像とが蓄積される画像蓄積部（画像蓄積手段）である。

２１３は、予め前記データ投入部４０１から入力される各店舗のメニュー情報に基づく食事画像に関連する付加情報および前記店舗に関連する付加情報と、前記外部データ蓄積部４０２より受信した前記携帯端末１００からの位置情報およびテキスト本文とが蓄積される付加データ蓄積部（付加データ蓄積手段）である。

尚、画像蓄積部２１２および付加データ蓄積部２１３は、食事ｌｏｇ作成装置２００内に設けるに限らず、該装置２００の外部に設けて、インターネット００３を介して前記装置２００と接続するように構成しても良い。２１４は各種データを表示する表示部である。

尚、食事ｌｏｇ作成装置２００内の前記各部２０１〜２１５の各機能は、例えばコンピュータによって達成される。

上記のように構成されたシステムの全体の処理の流れの概要は以下の通りとなる。
（１）携帯端末１００で食事画像００１を撮影する時にＧＰＳ００２により位置情報を取得し、携帯メールへ添付して送信する。
（２）付加データ蓄積部２１３に予め登録されている店舗・レストランの緯度経度情報と、前記撮影された場所の緯度経度情報を探索範囲絞込み部２０５によって比較し、ある距離範囲内（半径Ｎｍ以内（Ｎは正数），ｅｘ．半径２００ｍ以内もしくは一辺２Ｎｋｍの正方形領域内，ｅｘ．対角線の交点が取得した緯度経度で一辺４００ｍの正方形内）に登録された店舗・レストランが存在するかを調べる。
（３）取得した緯度経度の周辺に予め登録してある店舗・レストラン情報が有る場合には、携帯端末１００のユーザがそのレストランにいると想定する。複数店舗が有る場合には、それらの店舗を検索対象店舗とする。
（４）前記撮影された料理画像のカロリーを推定する際に、その（それらの）店舗・レストランのメニューを照合範囲とすることで、類似している料理画像を検索する対象を絞り込む。
（５）前記照合時には、撮影した画像を、マスク処理部２０６による後述のマスキング処理により、料理画像に分離し、当該画像を、色計算部２０７および特徴量計算部２０８によってＲＧＢからＬ^*ｕ^*ｖ^*データに変換して各種画像特徴を取得し、予め画像蓄積部２１２に蓄積された食事画像とのマッチングを行う。
（６）最も類似している画像を類似度計算部２０９によって食事類似画像と判定し、その画像に対応する、予め付加データ蓄積部２１３に蓄積された付加情報、例えばカロリーを前記携帯端末１００で撮影された食事画像のカロリーと推定する。
（７）付加データ取得部２１０およびブログ作成部２１１によって、前記推定したカロリーなどの付加情報を、携帯端末１００により撮影された食事画像、位置情報およびテキスト本文に追加してブログを作成し、例えばブログサーバーアップ部３０１へ送信する。

以上により、携帯電話（携帯端末）により撮影した位置情報付きの食事画像とその付加情報を用いて簡便に食事ｌｏｇ作成を行うことが可能となる。

図１の食事ｌｏｇ作成システムにおける詳細な処理は、図２に示すステップＳ１０１（スタート）からステップＳ１１７（エンド）までの一連のステップに沿って実行される。

先ず、携帯で撮影する時にＧＰＳ００２により位置情報を取得し、携帯メールへ添付する処理を説明する。ユーザは食事を摂取する際に、携帯端末１００を用いて携帯のカメラで食事を撮影する処理Ｓ１０２を実行し、撮影部１０１を通じて食事画像００１を取得する。そして携帯でＧＰＳ情報あるいはアンテナ基地局情報から現在位置を取得する処理Ｓ１０３を実行する。

ＧＰＳ００２の位置情報を取得できる携帯の場合には、位置取得部１０２を用いて撮影場所のＧＰＳ位置情報を取得する。ここではＧＰＳ００２による位置情報取得を説明しているが、携帯の基地局を３点利用した三角測量により、位置情報を取得する方法でも良い。あるいは写真を撮影すると同時に位置情報が取得され、写真に付加される場合には、位置情報取得部１０２は、撮影した食事画像の写真から位置情報を取得しても良い。

次に取得した食事画像と位置情報を携帯内のメモリ１０５に蓄積する処理Ｓ１０４を実行すると同時に、メール作成部１０３では、携帯のメール機能を用いて、食事画像を添付ファイルとして読み込む処理Ｓ１０５、携帯のメール機能で位置情報をメール本文に読み込む処理Ｓ１０６、携帯のメール機能で食事に関する内容、体重や日記などのテキストを作成する処理Ｓ１０７を実行して、ｂｌｏｇやホームページにアップする日記やｂｌｏｇ記事を作成する。

そして送信部１０４を通じて、携帯のメール機能で指定アドレスにメールを送信する処理Ｓ１０８を実行し、携帯端末１００からインターネット００３を経由してデータをメールサーバー上の外部データ蓄積部４０２に送信する。

そして、食事ｌｏｇ作成装置２００の制御部２０３は受信部２０１に対して、システムがメールを受信する処理Ｓ１０９を実行させ、一定周期間隔でインターネット００３上のメールサーバー上にある外部データ蓄積部４０２より、メールを受信し、入力部２０２でデータを取得し、添付されているデータを食事画像００１と他の付加データとに分けて、それぞれ、画像蓄積部２１２と付加データ蓄積部２１３に蓄積する。

さらに、制御部２０３は、図４に示すように位置情報抽出部２０４に対して、受信したメールから位置情報を取り出し、探索範囲絞込み部２０５により探索対象店舗を当該位置周辺の半径Ｎｋｍ以内もしくは一辺２Ｎｋｍの正方形領域内に含まれる複数店舗に絞る処理Ｓ１１０を実行するように指示する。

探索範囲絞込み部２０５は、付加データ蓄積部２１３に予め登録されている店舗・レストランの緯度経度情報と、前記撮影された場所の緯度経度情報を比較し、ある距離範囲内に登録された店舗・レストランが存在するかを調べる。

図４はＧＰＳ００２で取得した緯度経度位置を中心として、半径Ｎｋｍ以内もしくは一辺２Ｎｋｍの正方形内に存在する複数店舗（図示では４つの印で示される店舗）に絞り込む例を示している。

ここで、図５に示す様に各店舗Ａ，Ｂ…には、複数の食事メニューすなわち、食事画像（画像１，２，３…）がぶら下がっている。従って、撮影した画像は、後述の処理Ｓ１１４において、限定された複数店舗に属する食事メニューの画像群とのマッチングを行うことになり、最も類似している画像を選ぶことになる。そしてその画像が属する店舗（所属元の店舗）が、後述の処理Ｓ１１５で説明するように該当する店舗となり、そこにある付加情報がブログに付け加わることになる。

図５において、各店舗Ａ，Ｂ…に各々付加される属性（メタ）データは、店舗ＩＤ、緯度経度位置、食事画像数（画像ＩＤ数）、店舗地図リンク情報、店舗案内等のＵＲＬ等を含んでいる。

また画像Ａ１，Ａ２，Ａ３…に各々付加される属性（メタ）データは、店舗ＩＤ、画像ＩＤ、緯度経度位置、カロリー値、色ヒストグラム特徴量、モーメント特徴１、２、３…等を含んでいる。

その後、マスク処理部２０６は、図６に示すように、受信したメールに添付されている食事画像に、予め設定しておいた図６（ａ）の食事領域抽出マスクを掛け（図６（ｂ））、強制的に中心の食事想定領域を切出し抽出する処理Ｓ１１１を実行し（図６（ｃ））、食事画像領域の周辺背景領域と相当される部分をカットする（図６（ｄ））マスキング処理を行う。

そして色計算部２０７が、前記切出した画像をＲＧＢ表色系からＨＳＢ表色系，Ｌ^*ｕ^*ｖ^*表色系，またはＬ^*ａ^*ｂ^*表色系に変換する処理Ｓ１１２を実行した後、特徴量計算部２０８が色相（Ｈ）で色ヒストグラムおよびモーメント特徴を取る処理、または、ｕ^*ｖ^*平面あるいはａ^*ｂ^*平面上でのヒストグラムおよびモーメント特徴を求める処理Ｓ１１３を実行する。

ここで、色ヒストグラムおよびモーメント特徴の例を説明する。

色ヒストグラムＨの例としては、色相をｈ個に分割し、画像の各画素がｈ個のグループのうち、どのグループに属するかをカウントして、ヒストグラム特徴とすることができる。

モーメント特徴の例としては、画像Ｐ_ij（ｉはＨＳＢ、Ｌ^*ｕ^*ｖ^*やＬ^*ａ^*ｂ^*の各平面を表し、ｊは各画素のＮｏを表す）の平均をＥ_i、偏差値をσ_i、歪度をＳ_iとし、下記式（１）〜（３）のように表す。

各Ｅ_i，σ_i、Ｓ_iをそれぞれモーメント特徴の要素とすることができる。

ここで、式（１）のＥ_iは画像値の平均、式（２）のσ_iは平均からのばらつき具合、式（３）のＳ_iは、平均からの非対称性（歪み具合）をそれぞれ表している。

なお、予め各店舗のメニュー情報に基づき、データ投入部４０１を用いて食事画像は画像蓄積部２１２へ、店舗情報やカロリー情報は店舗毎にカテゴリ分けして付加データ蓄積部２１３にそれぞれ蓄積しておく。

それから、類似度計算部２０９は、前記特徴量計算部２０８で求められた各ヒストグラムおよびモーメント特徴と、画像蓄積部２１２に予め蓄積されている食事画像から予め計算されている（メモリ２１６内に格納されている）各ヒストグラムおよびモーメント特徴とを比較し、最も近い画像を類似している食事画像と判定する処理Ｓ１１４を実行した後、付加データ取得部２１０で、類似している食事画像が持つカロリー情報を携帯端末１００で撮影した食事のカロリーと見なし、その他のお店情報や地図情報等の付加情報も合わせて付加データ蓄積部２１３から抽出する処理Ｓ１１５を実行する。

このとき、類似度計算部２０９で行なう類似度計算は、例えば画像１と画像２を比較する場合は、特徴量毎に差分を取り、その合計値を比較する。この場合は、類似しているほど、差分値が小さくなる。その際、特徴量毎に重みを付けて合計すると、その影響を勘案することができる。例えば、画像の面積の大きさを重みに使うことが考えられる。この場合、画像内の部分領域毎の比較を行うことを考えると、もし類似度の値が同じだとしても、大きな面積の領域が類似しているのと、小さな面積の領域が類似しているのでは、大きな面積の領域が類似している方が、画像全体に占める影響が大きい。従って、このような場合には、大きな面積の領域から得られる特徴量に対する重みを大きくすることで、大きな面積から得られる特徴量を重視することができる。

また、例えば、形状特徴よりも色特徴を重視して類似度を計算したい場合には、色特徴の重みを大きくすることで実現できる。

あるいは、画像領域中に含まれる色の分布を表す色ヒストグラムにおいて、ある色の度数に比例するように重みをつけると、その色を重視したスコア付けが可能となる。例えば、野菜が多く含まれると（緑色が多いと）、スコアが高くなるように重みを付けることで実現できる。

さらに、ブログ作成部２１１において、メールのテキスト本文と撮影画像にカロリー情報やその他のお店情報や地図情報等の付加情報も合わせてブログやＨＰ（ホームページ）に投稿する処理Ｓ１１６を実行し、制御部２０３は、発信部２１５よりインターネット００３を通じて、ブログサーバーアップ部３０１あるいは、ホームページアップ部３０２に対してブログデータを発信し、ｂｌｏｇあるいはＨＰにアップする。

以上の処理によって例えば図３（ｂ）に示すようなブログ画面画作成される。図３（ｂ）において、ブログ画面は、食事画像、推定カロリー値、本文テキスト、ＧＰＳデータ、店舗周辺地図および娯楽（電子ペット等）性の有るキャラクタ表示等で構成されている。

なお、上記実施形態例では、食事写真（食事画像）の例を説明したが、この仕組みは、食事写真に限らず、本発明を適用した他の例として、携帯電話で撮影した画像を解析し、類似している画像を見つけ出すことにより、それに関連する付加情報をシステム内部あるいはインターネット上を通じて集め、それらの情報を統合化したテキスト情報を作成するフレームワークと考えることも可能である。

その場合には、個々の画像に対応したストーリや処理内容が必要であるが、基本的な考え方は同じであると考えて良い。

同様に上記実施形態例では、ブログ作成の例を説明したが、ブログ作成に限るものではなく、病院や健康管理アドバイザー向けに食事記録のレポート作成など、統合化したテキスト情報作成向けアプリケーションも構築可能である。

また、長期間蓄積されたデータを用いて、例えばある周期（週や月単位）で、カロリーグラフや、体重グラフを作成するアプリケーションも構築可能である。

また、本実施形態の食事ｌｏｇ作成装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の食事ｌｏｇ作成方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

００１…食事画像
００２…ＧＰＳ
００３…インターネット
１００…携帯端末
１０１…撮影部
１０２…位置情報取得部
１０３…メール作成部
１０４…送信部
１０５…メモリ
２００…食事ｌｏｇ作成装置
２０１…受信部
２０２…入力部
２０３…制御部
２０４…位置情報抽出部
２０５…探索範囲絞込み部
２０６…マスク処理部
２０７…色計算部
２０８…特徴量計算部
２０９…類似度計算部
２１０…付加データ取得部
２１１…ブログ作成部
２１２…画像蓄積部
２１３…付加データ蓄積部
２１４…表示部
２１５…発信部
２１６…メモリ
３０１…ブログサーバーアップ部
３０２…ホームページアップ部
４０１…データ投入部
４０２…外部データ蓄積部

Claims (7)

1. 食事を摂取する店舗内の食事の画像を撮影する機能と、位置情報を取得する機能と、前記撮影された食事画像、前記取得された位置情報およびテキスト本文をメール送信する機能とを有した携帯端末と、メールサーバー上に設けられ、前記携帯端末から送信されるデータを蓄積する外部データ蓄積手段と、食事ｌｏｇ作成装置とが通信網を介して接続された食事ｌｏｇ作成システムであって、
   前記食事ｌｏｇ作成装置に設けられるか、又は該装置以外に前記通信網を介して接続され、予め入力される各店舗のメニュー情報に基づく食事画像と、前記外部データ蓄積手段から受信した前記携帯端末により撮影された食事画像とが蓄積される画像蓄積手段と、
   前記食事ｌｏｇ作成装置に設けられるか、又は該装置以外に前記通信網を介して接続され、予め入力される各店舗のメニュー情報に基づく食事画像に関連する付加情報および前記店舗に関連する付加情報と、前記外部データ蓄積手段より受信した前記携帯端末からの位置情報およびテキスト本文とが蓄積される付加データ蓄積手段とを備え、
   前記食事ｌｏｇ作成装置は、
   データの送信、受信を行なう送受信手段と、
   前記外部データ蓄積手段から受信された携帯端末の位置情報と前記付加データ蓄積手段に蓄積された店舗に関連する付加情報とに基づいて、検索対象店舗を絞り込む探索範囲絞込み手段と、
   前記受信された、携帯端末により撮影された食事画像から食事想定領域を抽出する食事領域抽出手段と、
   前記食事領域抽出手段により抽出された食事想定領域の画像を色変換して特徴量を求める特徴量算出手段と、
   前記画像蓄積手段に蓄積された各店舗のメニュー情報に基づく食事画像を色変換して求められた特徴量を保有し、前記探索範囲絞込み手段により絞り込まれた検索対象店舗のメニュー情報に基づく食事画像を色変換して求められた特徴量と前記特徴量算出手段により求められた特徴量とを比較して類似度を計算し、類似度の最も高い画像を類似食事画像と判定する類似食事画像判定手段と、
   前記類似食事画像判定手段によって判定された類似食事画像の所属元である店舗に関連する付加情報および該類似食事画像に関連する付加情報を前記付加データ蓄積手段から取得する付加データ取得手段と、
   前記受信された、携帯端末により撮影された食事画像、位置情報およびテキスト本文に、前記付加データ取得手段により取得された付加情報を付加してブログを作成するブログ作成手段とを備え、
   前記ブログ作成手段により作成されたブログを前記通信網を介して外部に送信することを特徴とする食事ｌｏｇ作成システム。
2. 前記類似食事画像判定手段は、前記特徴量毎に重みを変えて類似度を計算することを特徴とする請求項１に記載の食事ｌｏｇ作成システム。
3. 前記付加データ蓄積手段に蓄積される付加情報は、少なくとも食事の色に関する情報および食事のカロリーの情報を含んでいることを特徴とする請求項１又は２に記載の食事ｌｏｇ作成システム。
4. 食事を摂取する店舗内の食事の画像を撮影する機能と、位置情報を取得する機能と、前記撮影された食事画像、前記取得された位置情報およびテキスト本文をメール送信する機能とを有した携帯端末と、メールサーバー上に設けられ、前記携帯端末から送信されるデータを蓄積する外部データ蓄積手段と、食事ｌｏｇ作成装置とが通信網を介して接続されており、
   前記食事ｌｏｇ作成装置に設けられるか、又は該装置以外に前記通信網を介して接続され、予め入力される各店舗のメニュー情報に基づく食事画像と、前記外部データ蓄積手段から受信した前記携帯端末により撮影された食事画像とが蓄積される画像蓄積手段と、
   前記食事ｌｏｇ作成装置に設けられるか、又は該装置以外に前記通信網を介して接続され、予め入力される各店舗のメニュー情報に基づく食事画像に関連する付加情報および前記店舗に関連する付加情報と、前記外部データ蓄積手段より受信した前記携帯端末からの位置情報およびテキスト本文とが蓄積される付加データ蓄積手段とを備えたシステムにおける食事ｌｏｇ作成方法であって、
   携帯端末が、前記撮影された食事画像、前記取得された位置情報およびテキスト本文を前記外部データ蓄積手段にメール送信するステップと、
   食事ｌｏｇ作成装置の制御手段が、送受信手段によって前記外部データ蓄積手段からメールを受信し、該メールに添付されている情報を取得し、該情報中の前記食事画像のデータを前記画像蓄積手段に蓄積し、前記位置情報およびテキスト本文のデータを前記付加データ蓄積手段に蓄積するステップと、
   食事ｌｏｇ作成装置の探索範囲絞込み手段が、前記受信メールに添付された位置情報と前記付加データ蓄積手段に蓄積されている店舗に関連する付加情報とに基づいて、検索対象店舗を絞り込む探索範囲絞込みステップと、
   食事ｌｏｇ作成装置の食事領域抽出手段が、前記受信メールに添付された食事画像から食事想定領域を抽出する食事領域抽出ステップと、
   食事ｌｏｇ作成装置の特徴量算出手段が、前記食事領域抽出手段により抽出された食事想定領域の画像を色変換して特徴量を求める特徴量算出ステップと、
   食事ｌｏｇ作成装置の類似食事画像判定手段が、前記探索範囲絞込み手段によって絞り込まれた店舗に属する、前記画像蓄積手段に蓄積された食事画像を色変換して求められた特徴量と、前記特徴量算出手段により求められた特徴量とを比較して類似度を計算し、類似度の最も高い画像を類似食事画像と判定する類似食事画像判定ステップと、
   食事ｌｏｇ作成装置の付加データ取得手段が、前記類似食事画像判定手段によって判定された類似食事画像の所属元である店舗に関連する付加情報および該類似食事画像に関連する付加情報を前記付加データ蓄積手段から取得する付加データ取得ステップと、
   食事ｌｏｇ作成装置のブログ作成手段が、前記受信されたメールに添付された食事画像、位置情報およびテキスト本文に、前記付加データ取得手段により取得された付加情報を付加してブログを作成するブログ作成ステップと、
   食事ｌｏｇ作成装置の制御手段が、前記ブログ作成手段により作成されたブログを前記通信網を介して外部に送信するステップとを備えたことを特徴とする食事ｌｏｇ作成方法。
5. 前記類似食事画像判定ステップは、前記特徴量毎に重みを変えて類似度を計算することを特徴とする請求項４に記載の食事ｌｏｇ作成方法。
6. 前記付加データ蓄積手段に蓄積される付加情報は、少なくとも食事の色に関する情報および食事のカロリーの情報を含んでいることを特徴とする請求項４又は５に記載の食事ｌｏｇ作成方法。
7. コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させる食事ｌｏｇ作成プログラム。