JP2019192091A - 食品情報提供システム - Google Patents

Abstract

【課題】ユーザーに応じた食品情報をわかりやすく提供できる食品情報提供システムを提供する。【解決手段】携帯端末２は、忌避情報２７を記憶する端末記憶部２３と、撮影画像と共に忌避情報２７を食品情報提供装置４に送信する画像送信部３０と、食品情報提供装置４から受信した食品情報を撮影画像にオーバーラップさせて表示させるＡＲ表示制御部３１とを備え、食品情報提供装置４は、画像解析によって撮影画像内に写っているパッケージをパッケージ画像として抽出し、パッケージ画像と一致する製品を特定する製品特定部４７と、製品特定部４７によって特定された製品に忌避食材が含まれているか否かを判定する忌避判定部４９と、忌避判定部４９によって忌避食材が含まれていると判定された場合、忌避マークＭを、パッケージ画像とオーバーラップする位置にＡＲ画像として生成するＡＲ画像生成部５１とを備える。【選択図】図１

Description

本発明は、ユーザーに食品に関する情報を提供する食品情報提供システムに関する。

近年、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）によって、ユーザーに商品の情報を提供する技術が提供されている（例えば、特許文献１参照）。

特許文献１では、端末のカメラにより商品が撮影されると、中央管理サーバーが、端末の現在位置およびカメラ撮像方向の情報に基づいて、撮像された商品の情報を端末のモニタに表示する。

特開２０１４−３９６８５号公報

しかしながら、従来技術では、ユーザーに応じた情報を提供することができないという問題点があった。例えば、宗教やアレルギーなどのユーザー固有の理由から、スーパーやコンビニなどで、食品の原材料に注意を払う人は多い。従って、食品の情報を提供する場合には、ユーザーに応じた情報をわかりやすく提供することが望まれている。

本発明は、上記問題点を鑑みてなされたものであり、その目的とするところは、ユーザーに応じた食品情報をわかりやすく提供することができる食品情報提供システムを提供することを目的とする。

本発明の食品情報提供システムは、対象物を撮影する撮影部及び前記撮影部によって撮影した撮影画像を表示する表示部を備えた携帯端末と、食品情報提供装置とからなる食品情報提供システムであって、前記携帯端末は、避ける必要のある忌避食材が登録された忌避情報を記憶する端末記憶部と、前記撮影画像と共に前記忌避情報を前記食品情報提供装置に送信する画像送信部と、前記食品情報提供装置から受信した食品情報を前記撮影画像にオーバーラップさせて前記表示部に表示させるＡＲ表示制御部と、を具備し、前記食品情報提供装置は、画像解析によって前記撮影画像内に写っているパッケージをパッケージ画像として抽出し、製品情報が登録されたデータベースを参照することで、前記パッケージ画像と一致する製品を特定する製品特定部と、前記忌避情報及び前記データベースを参照することで、前記製品特定部によって特定された製品に前記忌避食材が含まれているか否かを判定する忌避判定部と、前記忌避判定部によって前記忌避食材が含まれていると判定された場合、前記忌避食材が含まれていることを示す忌避マークを、前記パッケージ画像とオーバーラップする位置にＡＲ画像として生成するＡＲ画像生成部と、前記ＡＲ画像を前記食品情報として前記携帯端末に送信するＡＲ画像送信部と、を具備することを特徴とする。
また、本発明の携帯端末は、対象物を撮影する撮影部及び前記撮影部によって撮影して撮影画像を表示する表示部を備えた携帯端末であって、避ける必要のある忌避食材が登録された忌避情報を記憶する端末記憶部と、前記撮影画像と共に前記忌避情報を前記食品情報提供装置に送信する画像送信部と、前記食品情報提供装置から受信した食品情報を前記撮影画像にオーバーラップさせて前記表示部に表示させるＡＲ表示制御部と、を具備することを特徴とする。
また、本発明の食品情報提供装置は、対象物を撮影する撮影部及び前記撮影部によって撮影して撮影画像を表示する表示部を備えた携帯端末に対して、食品情報を提供する食品情報提供装置であって、画像解析によって前記撮影画像内に写っているパッケージをパッケージ画像として抽出し、製品情報が登録されたデータベースを参照することで、前記パッケージ画像と一致する製品を特定する製品特定部と、前記忌避情報及び前記データベースを参照することで、前記製品特定部によって特定された製品に前記忌避食材が含まれているか否かを判定する忌避判定部と、前記忌避判定部によって前記忌避食材が含まれていると判定された場合、前記忌避食材が含まれていることを示す忌避マークを、前記パッケージ画像とオーバーラップする位置にＡＲ画像として生成するＡＲ画像生成部と、
前記ＡＲ画像を前記食品情報として前記携帯端末に送信するＡＲ画像送信部と、を具備することを特徴とする。

本発明によれば、忌避マークＭを食品情報として対象物（製品）にオーバーラップさせて表示することができるため、ユーザーに応じた食品情報をわかりやすく提供することができるという効果を奏する。

本発明に係る食品情報提供システムの実施の形態の構成を示すシステム構成図である。 図１に示す食品情報提供装置による食品情報提供動作を説明するフローチャートである。 図１に示す撮影部による撮影例を示す図である。 図１に示す食品情報提供装置の動作を説明する説明図である。 図１に示す携帯端末への食品情報の提供例を示す図である。

以下、図を参照して本発明の実施の形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。

本実施の形態の食品情報提供システム１は、図１を参照すると、携帯電話、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）等のカメラ機能を有する携帯端末２と、サーバー等の食品情報提供装置４とを備えている。携帯端末２と、食品情報提供装置４とは、インターネット等のネットワーク６によって接続されている。

携帯端末２は、食品情報提供装置４から食品情報の提供を受けるための食品情報受信装置であり、撮影部２１と、端末操作部２２と、端末記憶部２３と、端末通信部２４と、端末制御部２５とを備えている。

撮影部２１は、被写体までの距離を測定し、カメラの焦点を自動的に合わせるオートフォーカス機能を備えたデジタルカメラである。

端末操作部２２は、ユーザーインターフェースとして機能するタッチパネルである。端末操作部２２は、表示部として機能する表示パネルと、表示パネルの表面に設けられた入力部として機能する感圧センサーとを備えている。なお、端末操作部２２には、ハードキーを設けるようにしても良い。

端末記憶部２３は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段である。端末記憶部２３には、携帯端末２を食品情報提供システム１の食品情報受信装置として機能させるためのアプリケーションプログラムである受信ＡＰ２６がインストールされていると共に、忌避情報２７と、嗜好情報２８とが登録されている。

忌避情報２７は、ユーザーの宗教、アレルギー、国籍等に起因して避ける必要のある材料や調味料が忌避食材として登録される。例えば、アレルギーに起因して避ける必要のあるアレルゲンとして、小麦や卵等の材料や、しょうゆやみそ等の調味料が登録される。

嗜好情報２８は、ユーザーの食品に対する好みが登録されている。嗜好情報２８としては、例えば、味（甘い、辛い等）、食感（まろやか、硬い等）毎に好き、嫌いを選択した情報が好み情報として登録される。

端末通信部２４は、インターネット等のネットワーク６を介して、食品情報提供装置４と各種データを送受信する機能を有する。

端末制御部２５は、撮影部２１、端末操作部２２、端末記憶部２３及び端末通信部２４にそれぞれ接続され、端末操作部２２から入力された所定の指示情報に応じて携帯端末２全体の動作制御を実行する。端末制御部２５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の演算処理回路である。ＲＯＭには携帯端末２の動作制御を行うための制御プログラムが記憶されている。端末制御部２５のＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、端末操作部２２から入力された各種指示情報に応じて装置全体の制御を行う。

また、端末制御部２５は、受信ＡＰ２６を読み出して、ＲＡＭに展開させることで、登録受付部２９、画像送信部３０及びＡＲ表示制御部３１として機能する。

食品情報提供装置４は、食品情報提供システム１の食品情報受信装置として機能する携帯端末２に食品情報を提供する装置であり、装置通信部４１と、装置記憶部４２と、装置制御部４３とを備えている。

装置通信部４１は、インターネット等のネットワーク６を介して、携帯端末２と各種データを送受信する機能を有する。

装置記憶部４２は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段である。
装置記憶部４２には、製品情報４４と、料理情報４５とが登録されている。

製品情報４４は、加工食品がパッケージに収容された状態で販売されている製品のデータベースである。製品情報４４には、パッケージに記載されている文字列やパッケージデザインが製品を特定するための特定情報として登録されている。なお、特定情報として３次元バーコード等のコード情報やＡＲを表示するトリガーとなる認識マーカーを登録しておいても良い。

また、製品情報４４には、製品に使用されている材料及び調味料が登録されている。さらに、製品情報４４には、味の特徴、材料情報、味や食感が似ている代替品等を登録しておいても良い。なお、製品情報４４の全部もしくは一部は、外部のデータベースからネットワーク６を介して取得するようにしても良い。

料理情報４５は、加工食品が皿等の容器に盛り付けられた料理のデータベースである。料理情報４５には、料理の盛り付け例を示すサンプル画像が料理を特定するための特定情報として登録されている。１つの料理に対して複数のサンプル画像を登録しても良い。

また、料理情報４５には、料理に使用されている材料及び調味料と、味（甘い、辛い等）、食感（まろやか、硬い等）等の味の特徴がそのレベルと共に登録されている。さらに、料理情報４５には、味や食感が似ている代替品等を登録するようにしても良い。なお、料理情報４５の全部もしくは一部は、外部のデータベースからネットワーク６を介して取得するようにしても良い。

装置制御部４３は、装置通信部４１及び装置記憶部４２にそれぞれ接続され、食品情報提供装置４全体の動作制御を実行する。装置制御部４３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の演算処理回路である。ＲＯＭには食品情報提供装置４の動作制御を行うための制御プログラムが記憶されている。装置制御部４３のＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、製品特定部４７、料理特定部４８、忌避判定部４９、嗜好判定部５０、ＡＲ画像生成部５１及びＡＲ画像送信部５２として機能する。

次に、食品情報提供装置４による食品情報提供動作を図２乃至図４を参照して詳細に説明する。
まず、ユーザーは、携帯端末２において端末記憶部２３にインストールされている受信ＡＰ２６を起動させ、忌避情報２７及び嗜好情報２８を登録する。初期設定時や登録指示が入力されると、端末制御部２５は、登録受付部２９として機能する。登録受付部２９は、材料や調味料毎に忌避するか否かを入力するチェックボックス等の選択欄を端末操作部２２に表示し、ユーザーによる忌避情報２７の登録を受け付ける。また、登録受付部２９は、味や食感毎に好き嫌いを入力するチェックボックス等の選択欄を端末操作部２２に表示し、ユーザーによる嗜好情報２８の登録を受け付ける。なお、すでに忌避情報２７及び嗜好情報２８が登録され、変更がない場合には、この動作は省略される。

次に、ユーザーは、受信ＡＰ２６を起動させた状態で、食品情報の提供を受けたい対象物を撮影部２１によって撮影する。すると、端末制御部２５は、画像送信部３０として機能し、撮影部２１によって撮影された撮影画像を、忌避情報２７及び嗜好情報２８と共に食品情報提供装置４に送信する。図３には、食品情報の提供を受けたい対象物として、加工食品がパッケージに収容された製品Ａと、加工食品が皿等の容器に盛り付けられた料理Ｂとが撮影された例が示されている。

携帯端末２からの撮影画像、忌避情報２７及び嗜好情報２８を受信すると（ステップＳ１０１）、食品情報提供装置４の装置制御部４３は、製品特定部４７として機能する。製品特定部４７は、図４（ａ）に示すように、画像解析によって撮影画像内に写っているパッケージをパッケージ画像Ｐとして抽出する（ステップＳ１０２）。

そして、製品特定部４７は、製品情報４４の特定情報を参照することで、ステップＳ１０２で抽出したパッケージ画像Ｐ内の文字列やパッケージデザインと一致する製品を特定する（ステップＳ１０３）。なお、パッケージ画像Ｐ内にコード情報や認識マーカーが存在する場合、製品特定部４７は、コード情報や認識マーカーを読み取って、製品を特定すると良い。

次に、装置制御部４３は忌避判定部４９として機能し、忌避情報２７及び製品情報４４を参照することで、ステップＳ１０３で特定された製品に忌避情報２７に登録された忌避食材が含まれているか否かを判定する（ステップＳ１０４）。

ステップＳ１０４で忌避食材が含まれている場合、装置制御部４３はＡＲ画像生成部５１として機能する。ＡＲ画像生成部５１は、忌避食材が含まれていることを示す忌避マークＭを、図４（ｂ）に示すように、ステップＳ１０２で抽出したパッケージ画像Ｐとオーバーラップする位置にＡＲ画像として生成する（ステップＳ１０５）。ＡＲ画像生成部５１は、ステップＳ１０２で抽出したパッケージと補色関係にある色で、忌避マークＭを生成する。そして、ＡＲ画像生成部５１は、ステップＳ１０２で抽出したパッケージの平均明度に応じて、平均明度が閾値よりも明るい場合、「黒」で、平均明度が閾値よりも明るい場合、白でも忌避マークＭの縁を生成する。なお、忌避マークＭの形状には特に限定ない。例えば、製品と同じ形状の背景色で構成し、製品自体を視認できないようにしても良い。

ステップＳ１０２で複数のパッケージ画像Ｐが抽出された場合、抽出された複数のパッケージ画像Ｐ毎にステップＳ１０３〜Ｓ１０５が実行される。さらに、ステップＳ１０２でパッケージ画像Ｐが抽出されなかった場合、ステップＳ１０３〜Ｓ１０５は省略される。

次に、装置制御部４３は、料理特定部４８として機能し、図４（ｃ）に示すように、画像解析によって撮影画像内に写っている料理（容器に盛り付けられた加工食品）を料理画像Ｒとして抽出する（ステップＳ１０６）。

そして、料理特定部４８は、料理情報４５の特定情報を参照することで、ステップＳ１０６で抽出した料理画像Ｒとサンプル画像が類似する料理を特定する（ステップＳ１０７）。料理特定部４８は、例えば、サンプル画像の料理画像Ｒとの類似度が最も高く、且つ予め設定した類似度閾値よりも高い料理を特定する。

次に、装置制御部４３は忌避判定部４９として機能し、忌避情報２７及び料理情報４５を参照することで、ステップＳ１０７で特定された料理に忌避情報２７に登録された忌避食材が含まれているか否かを判定する（ステップＳ１０８）。

ステップＳ１０８で忌避食材が含まれている場合、装置制御部４３はＡＲ画像生成部５１として機能し、忌避食材が含まれていることを示す忌避マークＭを、図４（ｄ）に示すように、ステップＳ１０２で抽出した料理画像Ｒとオーバーラップする位置にＡＲ画像として生成する（ステップＳ１０９）。

また、ステップＳ１０６で複数の料理画像Ｒが抽出された場合、抽出された複数の料理画像Ｒ毎にステップＳ１０７〜Ｓ１０９が実行される。さらに、ステップＳ１０６で料理画像Ｒが抽出されなかった場合、ステップＳ１０７〜Ｓ１０９は省略される。

ステップＳ１０４、S１０８で忌避食材が含まれていない場合、装置制御部４３は嗜好判定部５０として機能する。嗜好判定部５０は、撮影画像からステップＳ１０２で抽出したパッケージ画像Ｐと、ステップＳ１０６で抽出した料理画像Ｒとを除いた残余領域の面積を算出し、残余領域の面積が予め設定した面積閾値以上か否かを判断する（ステップＳ１１０）。

ステップＳ１１０で残余領域の面積が面積閾値以上の場合、嗜好判定部５０は、嗜好情報２８、製品情報４４及び料理情報４５を参照して、忌避食材が含まれていなかった製品及び料理のユーザーが好きな味及び食感と嫌いな味及び食感とを味覚案内情報として特定する（ステップＳ１１１）。

次に、装置制御部４３はＡＲ画像生成部５１として機能する。ＡＲ画像生成部５１はステップＳ１１１で特定した味覚案内情報を、図５（ａ）に示すように、残余領域にオーバーラップする位置にＡＲ画像として生成する（ステップＳ１１２）。なお、ＡＲ画像では、引き出し線等で、味覚案内情報と対象の製品もしくは料理とを紐づけると良い。また、味覚案内情報の特定及び表示の有無の判断を、残余領域の面積ではなく、抽出した製品画像及び料理画像Ｒの数や特定した製品及び料理の数で行い、予め設定された所定数（例えば、１個）以下の場合に味覚案内情報の特定及び表示を行うようにしても良い。

また、嗜好判定部５０は、味覚案内情報として、ユーザーの好みを表す点数や割合を嗜好スコアとして算出するようにしても良い。例えば、好きな味及び食感から嫌いな味及び食感を減算し、その減算値が大きい程、高い嗜好スコアを算出し、その減算値が小さい程、低い嗜好スコアを算出する。これにより、ユーザーは嗜好スコアを見るだけで直感的に対象の製品もしくは料理が好みか否かを判断することができる。

さらに、味覚案内情報として、製品名や料理名、味の特徴、材料情報、味や食感が似ている代替品等の各種項目を含めても良い。そして、味覚案内情報として含める項目数が複数の場合、嗜好情報２８によって表示させる項目に優先順位を付けて選択可能にすると好適である。この場合、残余領域の面積に応じて優先順位の高い項目から選択して味覚案内情報を生成することができる。

次に、装置制御部４３はＡＲ画像送信部５２として機能する。ＡＲ画像送信部５２は、ステップＳ１０５、Ｓ１０９、Ｓ１１２で生成したそれぞれのＡＲ画像を合成し、食品情報として携帯端末２に送信して（ステップＳ１１３）、食品情報提供動作を終了させる。

携帯端末２において、食品情報としてＡＲ画像が受信されると、端末制御部２５はＡＲ表示制御部３１として機能する。ＡＲ表示制御部３１は、受信したＡＲ画像を撮影部２１によって撮影された撮影画像に合成し、図５に示すように、端末操作部２２に表示させる。

図５（ａ）には、撮影部２１によって撮影された製品Ａ及び料理Ｂの両方に忌避マークＭがオーバーラップしてＡＲ表示された例が示されている。図５（ｂ）には、製品Ａに関する味覚案内情報が残余領域とオーバーラップする位置にＡＲ表示され、料理Ｂには忌避マークＭがオーバーラップしてＡＲ表示された例が示されている。

以上説明したように、本実施の形態は、対象物を撮影する撮影部２１及び撮影部２１によって撮影した撮影画像を表示する表示部である端末操作部２２を備えた携帯端末２と、食品情報提供装置４とからなる食品情報提供システム１であって、携帯端末２は、避ける必要のある忌避食材が登録された忌避情報２７を記憶する端末記憶部２３と、撮影画像と共に忌避情報２７を食品情報提供装置４に送信する画像送信部３０と、食品情報提供装置４から受信した食品情報を撮影画像にオーバーラップさせて端末操作部２２に表示させるＡＲ表示制御部３１とを備え、食品情報提供装置４は、画像解析によって撮影画像内に写っているパッケージをパッケージ画像Ｐとして抽出し、製品情報４４が登録されたデータベースを参照することで、パッケージ画像Ｐと一致する製品を特定する製品特定部４７と、忌避情報２７及びデータベースを参照することで、製品特定部４７によって特定された製品に忌避食材が含まれているか否かを判定する忌避判定部４９と、忌避判定部４９によって忌避食材が含まれていると判定された場合、忌避食材が含まれていることを示す忌避マークＭを、パッケージ画像Ｐとオーバーラップする位置にＡＲ画像として生成するＡＲ画像生成部５１と、ＡＲ画像を食品情報として携帯端末２に送信するＡＲ画像送信部５２とを備える。
この構成により、忌避マークＭを食品情報として対象物（製品）にオーバーラップさせて表示することができるため、ユーザーに応じた食品情報をわかりやすく提供することができる。そして、例えば、言語のわからない土地でも、ユーザーの宗教、アレルギー、国籍等に起因して避ける必要のある材料や調味料が使用された製品を簡単に把握することができ、安心して製品を購入するための情報が得られる。

さらに、本実施の形態において、データベースには、パッケージに記載されている文字列と、パッケージデザインと、コード情報と、認識マーカーとの少なくともいずれか一つが製品を特定するための特定情報として登録されており、製品特定部４７は、パッケージ画像Ｐ内の特定情報に基づいてパッケージ画像Ｐと一致する製品を特定する。
この構成により、撮影画像に基づいて正確に製品の特定を行うことができる。

さらに、本実施の形態において、ＡＲ画像生成部５１は、オーバーラップさせる画像と補色関係にある色で忌避マークＭを生成する。
この構成により、忌避マークＭを目立たせることができる。

さらに、本実施の形態において、ＡＲ画像生成部５１は、オーバーラップさせるパッケージ画像Ｐの平均明度に応じて忌避マークＭの縁を白もしくは黒で生成する。
この構成により、忌避マークＭをさらに目立たせることができる。

さらに、本実施の形態において、携帯端末２において、端末記憶部２３には、ユーザーの味及び食感に対する好き嫌いの嗜好が登録された嗜好情報２８が記憶されていると共に、画像送信部３０は、撮影画像と共に嗜好情報２８を食品情報提供装置４に送信し、食品情報提供装置４は、忌避判定部４９によって忌避食材が含まれていないと判定された場合、嗜好情報２８及びデータベースを参照して、忌避食材が含まれていない製品のユーザーが好きな味及び食感と嫌いな味及び食感とを味覚案内情報として特定する嗜好判定部５０を具備し、ＡＲ画像生成部５１は、味覚案内情報を、パッケージ画像Ｐの除く撮影画像の残余領域にオーバーラップする位置にＡＲ画像として生成する。
この構成により、自分の好みに適合して製品を選ぶことがてきる。

さらに、本実施の形態において、嗜好判定部５０は、残余領域の面積が予め設定した面積閾値以上の場合に、味覚案内情報を特定する。
この構成により、味覚案内情報の視認性を確保することができる。

さらに、本実施の形態において、嗜好判定部５０は、製品特定部４７によって特定された製品の数が予め設定された所定数以下の場合に味覚案内情報を特定する。
この構成により、味覚案内情報の視認性を確保することができる。

さらに、本実施の形態において、データベースには、料理情報４５が登録されており、食品情報提供装置４は、画像解析によって撮影画像内に写っている料理を料理画像として抽出し、データベースを参照することで、料理画像Ｒと類似する料理を特定する料理特定部４８を具備し、忌避判定部４９は、忌避情報２７及びデータベースを参照することで、料理特定部４８によって特定された料理に忌避食材が含まれているか否かを判定し、ＡＲ画像生成部５１は、忌避判定部４９によって忌避食材が含まれていると判定された場合、忌避食材が含まれていることを示す忌避マークＭを、料理画像Ｒとオーバーラップする位置にＡＲ画像として生成する。
この構成により、忌避マークＭを食品情報として対象物（料理）にオーバーラップさせて表示することができるため、ユーザーに応じた食品情報をわかりやすく提供することができる。そして、例えば、言語のわからない土地でも、ユーザーの宗教、アレルギー、国籍等に起因して避ける必要のある材料や調味料が使用された料理を簡単に把握することができ、安心して料理を注文するための情報が得られる。

さらに、本実施の形態において、データベースには、料理のサンプル画像が登録されており、製品特定部４７は、サンプル画像が料理画像Ｒと類似する料理を特定する。
この構成により、撮影画像に基づいて料理を特定することができる。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

１ 食品情報提供システム
２ 携帯端末
４ 食品情報提供装置
６ ネットワーク
２１ 撮影部
２２ 端末操作部
２３ 端末記憶部
２４ 端末通信部
２５ 端末制御部
２６ 受信ＡＰ
２７ 忌避情報
２８ 嗜好情報
２９ 登録受付部
３０ 画像送信部
３１ ＡＲ表示制御部
４１ 装置通信部
４２ 装置記憶部
４３ 端末制御部
４４ 製品情報
４５ 料理情報
４７ 製品特定部
４８ 料理特定部
４９ 忌避判定部
５０ 嗜好判定部
５１ ＡＲ画像生成部
５２ ＡＲ画像送信部
Ｍ 忌避マーク
Ｐ パッケージ画像
Ｒ 料理画像

Claims (11)

1. 対象物を撮影する撮影部及び前記撮影部によって撮影した撮影画像を表示する表示部を備えた携帯端末と、食品情報提供装置とからなる食品情報提供システムであって、
   前記携帯端末は、避ける必要のある忌避食材が登録された忌避情報を記憶する端末記憶部と、
   前記撮影画像と共に前記忌避情報を前記食品情報提供装置に送信する画像送信部と、
   前記食品情報提供装置から受信した食品情報を前記撮影画像にオーバーラップさせて前記表示部に表示させるＡＲ表示制御部と、を具備し、
   前記食品情報提供装置は、画像解析によって前記撮影画像内に写っているパッケージをパッケージ画像として抽出し、製品情報が登録されたデータベースを参照することで、前記パッケージ画像と一致する製品を特定する製品特定部と、
   前記忌避情報及び前記データベースを参照することで、前記製品特定部によって特定された製品に前記忌避食材が含まれているか否かを判定する忌避判定部と、
   前記忌避判定部によって前記忌避食材が含まれていると判定された場合、前記忌避食材が含まれていることを示す忌避マークを、前記パッケージ画像とオーバーラップする位置にＡＲ画像として生成するＡＲ画像生成部と、
   前記ＡＲ画像を前記食品情報として前記携帯端末に送信するＡＲ画像送信部と、を具備することを特徴とする食品情報提供システム。
2. 前記データベースには、パッケージに記載されている文字列と、パッケージデザインと、コード情報と、認識マーカーとの少なくともいずれか一つが製品を特定するための特定情報として登録されており、
   前記製品特定部は、前記パッケージ画像内の前記特定情報に基づいて前記パッケージ画像と一致する製品を特定することを特徴とする請求項１記載の食品情報提供システム。
3. 前記ＡＲ画像生成部は、オーバーラップさせる画像と補色関係にある色で前記忌避マークを生成することを特徴とする請求項１又は２記載の食品情報提供システム。
4. 前記ＡＲ画像生成部は、オーバーラップさせる前記パッケージ画像の平均明度に応じて前記忌避マークの縁を白もしくは黒で生成することを特徴とする請求項１乃至３のいずれかに記載の食品情報提供システム。
5. 前記携帯端末において、前記端末記憶部には、ユーザーの味及び食感に対する好き嫌いの嗜好が登録された嗜好情報が記憶されていると共に、前記画像送信部は、前記撮影画像と共に前記嗜好情報を前記食品情報提供装置に送信し、
   前記食品情報提供装置は、前記忌避判定部によって前記忌避食材が含まれていないと判定された場合、前記嗜好情報及び前記データベースを参照して、前記忌避食材が含まれていない製品のユーザーが好きな味及び食感と嫌いな味及び食感とを味覚案内情報として特定する嗜好判定部を具備し、
   前記ＡＲ画像生成部は、前記味覚案内情報を、前記パッケージ画像の除く前記撮影画像の残余領域にオーバーラップする位置に前記ＡＲ画像として生成することを特徴とする請求項１乃至４のいずれかに記載の食品情報提供システム。
6. 前記嗜好判定部は、前記残余領域の面積が予め設定した面積閾値以上の場合に、前記味覚案内情報を特定することを特徴とする請求項５記載の食品情報提供システム。
7. 前記嗜好判定部は、前記製品特定部によって特定された製品の数が予め設定された所定数以下の場合に前記味覚案内情報の特定することを特徴とする請求項５記載の食品情報提供システム。
8. 前記データベースには、料理情報が登録されており、
   前記食品情報提供装置は、画像解析によって前記撮影画像内に写っている料理を料理画像として抽出し、前記データベースを参照することで、前記料理画像と類似する料理を特定する料理特定部を具備し、
   前記忌避判定部は、前記忌避情報及び前記データベースを参照することで、前記料理特定部によって特定された料理に前記忌避食材が含まれているか否かを判定し、
   前記ＡＲ画像生成部は、前記忌避判定部によって前記忌避食材が含まれていると判定された場合、前記忌避食材が含まれていることを示す前記忌避マークを、前記料理画像とオーバーラップする位置に前記ＡＲ画像として生成することを特徴とする請求項１乃至７いずれかに記載の食品情報提供システム。
9. 前記データベースには、料理のサンプル画像が登録されており、
   前記製品特定部は、前記サンプル画像が前記料理画像と類似する料理を特定することを特徴とする請求項８記載の食品情報提供システム。
10. 対象物を撮影する撮影部及び前記撮影部によって撮影して撮影画像を表示する表示部を備えた携帯端末であって、
    避ける必要のある忌避食材が登録された忌避情報を記憶する端末記憶部と、
    前記撮影画像と共に前記忌避情報を食品情報提供装置に送信する画像送信部と、
    前記食品情報提供装置によって前記撮影画像及び前記忌避情報に基づいて生成された食品情報を前記撮影画像にオーバーラップさせて前記表示部に表示させるＡＲ表示制御部と、を具備することを特徴とする携帯端末。
11. 対象物を撮影する撮影部及び前記撮影部によって撮影して撮影画像を表示する表示部を備えた携帯端末に対して、食品情報を提供する食品情報提供装置であって、
    前記撮影画像と共に、避ける必要のある忌避食材が登録された忌避情報を前記携帯端末から受信し、
    画像解析によって前記撮影画像内に写っているパッケージをパッケージ画像として抽出し、製品情報が登録されたデータベースを参照することで、前記パッケージ画像と一致する製品を特定する製品特定部と、
    前記忌避情報及び前記データベースを参照することで、前記製品特定部によって特定された製品に前記忌避食材が含まれているか否かを判定する忌避判定部と、
    前記忌避判定部によって前記忌避食材が含まれていると判定された場合、前記忌避食材が含まれていることを示す忌避マークを、前記パッケージ画像とオーバーラップする位置にＡＲ画像として生成するＡＲ画像生成部と、
    前記ＡＲ画像を前記食品情報として前記携帯端末に送信するＡＲ画像送信部と、を具備することを特徴とする食品情報提供装置。

Images