JP2023119226A - 飲食品情報提供方法 - Google Patents
飲食品情報提供方法 Download PDFInfo
- Publication number
- JP2023119226A JP2023119226A JP2022021986A JP2022021986A JP2023119226A JP 2023119226 A JP2023119226 A JP 2023119226A JP 2022021986 A JP2022021986 A JP 2022021986A JP 2022021986 A JP2022021986 A JP 2022021986A JP 2023119226 A JP2023119226 A JP 2023119226A
- Authority
- JP
- Japan
- Prior art keywords
- food
- drink
- information
- user
- store
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 281
- 238000000034 method Methods 0.000 title claims description 16
- 235000013361 beverage Nutrition 0.000 title abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 239000004615 ingredient Substances 0.000 claims description 26
- 239000013566 allergen Substances 0.000 claims description 22
- 239000000463 material Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 17
- 238000012795 verification Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 235000014510 cooky Nutrition 0.000 description 3
- 235000015220 hamburgers Nutrition 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 208000004262 Food Hypersensitivity Diseases 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 235000013351 cheese Nutrition 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 235000021186 dishes Nutrition 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 235000020932 food allergy Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 235000012046 side dish Nutrition 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】飲食品店で提供される飲食品についての詳細な情報をユーザに提供する飲食品情報提供方法を提供する。【解決手段】飲食品情報を提供するシステム1において、管理サーバ10は、飲食品店が展示している飲食品それぞれの食品模型を撮影した画像と、その食品模型が模している飲食品を識別する飲食品IDを付した画像を学習データとした機械学習により学習済みモデルを生成し、飲食品毎に飲食品情報を飲食品IDと関連付けたデータベースとして記憶しておく。そして、飲食品店で展示されている食品模型をユーザ端末30のカメラで撮影したユーザ撮影画像を、インターネットNを介して学習済みモデルに入力することにより、撮影対象の食品模型に対応すると推定される飲食品IDを学習済みモデルから出力させ、出力された飲食品IDに関連付けられている飲食品情報をデータベースから抽出してユーザ端末30に提供する。【選択図】図1
Description
本発明は、レストラン等の飲食品店で提供される飲食品に関する情報をユーザに提供するための飲食品情報提供方法に関するものである。
近年、飲食品に対して安全性や安心感を求める人が増えている。そのため、レストラン等の飲食品店で提供される飲食品について、その材料(食材)や産地を知りたいという要請がある。また、食物アレルギー疾患を有している人にとっては、アレルギー症状を引き起こす原因となるアレルゲンが飲食品に含まれているか否かの情報は、非常に重要である。また、宗教上の理由により、特定の食材を食べることができなかったり、所定の処理・調理を経た飲食品しか許容されていなかったりする人もあり、そのような人にとっては、飲食品店で提供される飲食品がその条件を満たしているかどうかの情報は、非常に重要である。
しかしながら、飲食品店で提供される飲食品に関して、上記のような詳細な情報を得ることは難しいのが実情である。
そこで、本発明は、上記の実情に鑑み、飲食品店で提供される飲食品についての詳細な情報を、ユーザに提供することができる飲食品情報提供方法の提供を、課題とするものである。
上記の課題を解決するため、本発明にかかる飲食品情報提供方法は、
「飲食品店は、提供する複数種類の飲食品それぞれの外観を非食材料で模した複数種類の食品模型を展示しており、
前記食品模型それぞれをカメラで撮影した静止画像に、その食品模型が模している前記飲食品を識別する飲食品IDを付した画像を学習データとした機械学習により、学習済みモデルを生成しておくと共に、
前記飲食品ごとに、その飲食品に使用されている材料の少なくとも種類を示す食材情報、及び、前記材料に含有されているアレルゲンに関するアレルゲン情報の少なくとも何れかを含む飲食品情報を、前記飲食品IDと関連付けたデータベースとして店舗サーバに記憶させておき、
前記飲食品店で展示されている前記食品模型の一つを、ユーザが携帯するユーザ端末が備えているカメラで撮影したユーザ撮影画像を、インターネットを介して前記学習済みモデルに入力することにより、前記ユーザ撮影画像の撮影対象である前記食品模型が模している前記飲食品に対応すると推定される前記飲食品IDを、前記学習済みモデルから出力させ、
出力された前記飲食品IDに関連付けられている前記飲食品情報を前記データベースから抽出し、前記店舗サーバを介して前記ユーザに提供する」ものである。
「飲食品店は、提供する複数種類の飲食品それぞれの外観を非食材料で模した複数種類の食品模型を展示しており、
前記食品模型それぞれをカメラで撮影した静止画像に、その食品模型が模している前記飲食品を識別する飲食品IDを付した画像を学習データとした機械学習により、学習済みモデルを生成しておくと共に、
前記飲食品ごとに、その飲食品に使用されている材料の少なくとも種類を示す食材情報、及び、前記材料に含有されているアレルゲンに関するアレルゲン情報の少なくとも何れかを含む飲食品情報を、前記飲食品IDと関連付けたデータベースとして店舗サーバに記憶させておき、
前記飲食品店で展示されている前記食品模型の一つを、ユーザが携帯するユーザ端末が備えているカメラで撮影したユーザ撮影画像を、インターネットを介して前記学習済みモデルに入力することにより、前記ユーザ撮影画像の撮影対象である前記食品模型が模している前記飲食品に対応すると推定される前記飲食品IDを、前記学習済みモデルから出力させ、
出力された前記飲食品IDに関連付けられている前記飲食品情報を前記データベースから抽出し、前記店舗サーバを介して前記ユーザに提供する」ものである。
「飲食品店」としては、レストラン、喫茶店、複合商業施設のフードコートなどの飲食店を、例示することができる。また、菓子店、百貨店やスーパーの食料品売り場では、例えば、商品(飲食品)の外観からは分からない内部の様子を示すために、食品模型を展示していることがあるが、そのような店舗も本発明の「飲食品店」に該当する。つまり、飲食品を提供・販売する店舗であって、食品模型を展示している店舗は、本発明の「飲食品店」に該当する。なお、「飲食品に使用されている材料の少なくとも種類を示す食材情報」には、材料の種類に加えて、材料の産地に関する情報を含めることができる。
本方法によれば、飲食品店で展示されている食品模型をユーザ端末のカメラで撮影したユーザ撮影画像を、インターネットを介して学習済みモデルに入力するだけで、ユーザは店舗サーバを介して、食材情報及びアレルゲン情報の少なくとも何れかである飲食品情報の提供を、受けることができる。これらの飲食品情報は、従来の飲食品店では取得しにくかった情報であり、飲食品に高い安全性、安心感を求めるユーザの要請にかなっている。
また、従来でも、料理(飲食品)の材料等に関する情報を付記したメニュー(献立表)を店内に備えているレストラン等は存在したところ、入店後に自分が望む飲食品がないことが分かったとしても、注文をすることなく飲食品店を出てくることを躊躇する人も多かった。これに対し、本発明の飲食品情報提供方法によれば、飲食品店の店頭に食品模型が展示されている場合に、飲食品店で提供される飲食品に関する詳細な飲食品情報を、店外で得ることができる。
また、飲食品の特定のために食品模型を撮影するという作業は、ユーザにとって、文字入力によって情報を検索するような作業などと比べて、楽しく且つ斬新な作業である。そのため、ユーザの興味を引きやすく、有益な情報を楽しみながら取得できる利点がある。
以上のように、本発明によれば、飲食品店で提供される飲食品についての詳細な情報を、ユーザに提供することができる飲食品情報提供方法を、提供することができる。
以下、本発明の一実施形態である飲食品情報提供方法、及び、この方法を使用する飲食品情報提供システム1について、図面を用いて説明する。飲食品情報提供システム1(以下、単に「システム1」と称することがある)は、図1に示すように、システム運営者が管理する管理サーバ10と、レストラン等の飲食品店の端末、或いは、このシステム1に関する作業を飲食品店から委託された代理店やサービス請負業者である代理者が使用する端末である店舗側端末20と、飲食品店の利用を考慮しているユーザが携帯しているユーザ端末30と、を備えている。管理サーバ10、店舗側端末20、及び、ユーザ端末30は、インターネットNを介して接続されている。
管理サーバ10は、主記憶装置及び補助記憶装置からなる記憶装置と、プロセッサと、インターネットNを介して通信を行う通信装置と、を主に具備するコンピュータである。管理サーバ10の記憶装置には、システム管理手段としてコンピュータを機能させるプログラムが記憶されている。管理サーバ10は、システム1の全体を管理するための総合管理サーバ11と、飲食品店ごとに割り当てられた店舗サーバ12と、機械学習及び画像認識のための学習サーバ13とを備えており、システム管理手段は、総合管理サーバ11における情報処理を行う総合管理手段と、店舗サーバ12ごとに情報処理を行う個別管理手段と、学習サーバ13における情報処理を行う学習管理手段と、を備えている。
ユーザ端末30は、スマートフォンやタブレット端末に例示される携帯型端末であり、主記憶装置及び補助記憶装置からなる記憶装置と、プロセッサと、インターネットNを介して通信を行う通信装置と、画面表示を指やスタイラスペンで押すことにより入力を行うことができるモニタと、カメラと、を備えている。
店舗側端末20は、携帯型端末であっても、デスクトップパソコンなどの非携帯型端末であってもよい。携帯型端末である場合は、上記のユーザ端末30と同一の構成とすることができる。非携帯型端末の場合は、主記憶装置及び補助記憶装置からなる記憶装置と、プロセッサと、インターネットNを介して通信を行う通信装置と、モニタやプリンタ等の出力装置と、キーボードやポインティングデバイス等の入力装置と、を備える構成とすることができる。
次に、本実施形態の飲食品情報提供方法における処理の流れを説明する。
<飲食品店登録、URLの割り当て>
まず、このシステム1を利用したい飲食品店(契約申請者)またはその代理者は、管理サーバ10が運営しているWEBサイトにアクセスする。このときのWEBサイトは、総合管理サーバ11が提供しているWEBサイトである。このWEBサイトの画面にて、飲食品店の名称、住所、電話番号、電子メールアドレス、ログインアカウント、ログインパスワード、その飲食品店に関する情報を管理する担当者名など、契約申請者に関する情報を入力することにより、契約の申請を行う。
まず、このシステム1を利用したい飲食品店(契約申請者)またはその代理者は、管理サーバ10が運営しているWEBサイトにアクセスする。このときのWEBサイトは、総合管理サーバ11が提供しているWEBサイトである。このWEBサイトの画面にて、飲食品店の名称、住所、電話番号、電子メールアドレス、ログインアカウント、ログインパスワード、その飲食品店に関する情報を管理する担当者名など、契約申請者に関する情報を入力することにより、契約の申請を行う。
申請を受けた総合管理サーバ11の総合管理手段は、この飲食品店に店舗IDを付与し、入力された上記の情報とこの店舗IDとを関連付けたデータベースを、店舗基本データベースとして、記憶装置における総合管理サーバ11用の記憶領域に記憶する。その際、総合管理手段は、店舗サーバ12をひとつ複製し、この飲食品店に割り当てる。店舗サーバ12の個別管理手段は、その飲食品店の担当者に接続させる店舗管理WEBサイトと、その飲食品店を利用しようとしているユーザに接続させるユーザ向けWEBサイトを、それぞれ提供するための手段を有しており、これらのWEBサイトそれぞれにURLが割り当てられる。総合管理手段は、これらのWEBサイトそれぞれのURLを、店舗IDと関連付けて店舗基本データベースに記憶する。店舗基本データベースには、店舗の住所に加え、店舗の所在地の緯度・経度情報を含めることができる。
総合管理手段は、新規契約者である飲食品店の電子メールアドレス宛に、店舗管理WEBサイトのURLを通知する。店舗管理WEBサイトは、飲食品店ごとに個別に割り当てられたWEBサイトであるため、このシステム1の契約者であっても、他の飲食品店の店舗管理WEBサイトには接続することができない。
<飲食品情報の登録>
各飲食品店またはその代理者の担当者は、通知されたURLで自己に割り当てられた店舗管理WEBサイトにアクセスし、ログインアカウント、ログインパスワードを入力することによりログインする。店舗管理WEBサイトの画面には、飲食品情報管理表が表示されるため、そこに飲食品情報を入力する。飲食品情報は、その飲食品店で提供される飲食品ごとに登録される飲食品単位情報と、その飲食品店の全体に関して登録される店舗単位情報とがある。
各飲食品店またはその代理者の担当者は、通知されたURLで自己に割り当てられた店舗管理WEBサイトにアクセスし、ログインアカウント、ログインパスワードを入力することによりログインする。店舗管理WEBサイトの画面には、飲食品情報管理表が表示されるため、そこに飲食品情報を入力する。飲食品情報は、その飲食品店で提供される飲食品ごとに登録される飲食品単位情報と、その飲食品店の全体に関して登録される店舗単位情報とがある。
飲食品単位情報としては、飲食品の名称(メニューに記載されている料理の名称、或いは販売される商品の名称)、その名称のふり仮名を含む飲食品基本情報(1)、飲食品に使用されている材料の種類、及びその材料の産地を含む食材情報(2)、飲食品に使用されている材料が含有しているアレルゲンに関するアレルゲン情報(3)、を挙げることができる。
飲食品基本情報(1)には、その飲食品の実物をカメラで撮影した画像である実物画像80d、その飲食品の総カロリー、その飲食品に関して店舗側が用意した説明文、を含めることができる。食材情報(2)には、その飲食品がハラルフード(イスラム教で食べることが許されている食物)に該当するかなど、特定の宗教で許容されている食物に該当するか否かの情報を含めることができる。アレルゲン情報(3)は、表示を義務付けるアレルゲンと表示を推奨するアレルゲンに分けることができ、それぞれ予め設定された項目から選択式に入力する形式とすることができる。
また、飲食品単位情報には、その飲食品が調理されている様子を撮影した動画像など、その飲食品に関する動画情報(4)を含めることができる。(1)~(4)に例示される飲食品単位情報は、店舗ID、及び、その飲食品店で提供される飲食品ごとに付与される飲食品IDと関連付けられたデータベースとして、管理サーバ10の記憶装置において店舗サーバ12用の記憶領域に記憶される。
店舗単位情報としては、その飲食品店で提供される飲食品を、注文数の多い順に並べたランキング情報(5)、飲食品が調理される厨房の様子や、飲食品の提供が行われる客席の様子を撮影した静止画像や動画像による飲食品提供環境情報(6)、を挙げることができる。店舗単位情報は、店舗IDと関連付けられたデータベースとして、店舗サーバ12用の記憶領域に記憶される。
<食品模型を撮影した画像の機械学習>
システム1の契約者である飲食品店は、その飲食品店で提供される飲食品について、その外観や断面を樹脂などの非食材料で模した食品模型を有しており、店頭の陳列棚に食品模型を展示している。或いは、システム1の契約に当たり、新たに食品模型を製造する。例えば、飲食品である料理の複数について、主菜の外観が近似している場合は、副菜の種類や配置を異ならせるなどによって、料理全体として外観上の相違を大きくした上で、これを模した食品模型を製造することが望ましい。
システム1の契約者である飲食品店は、その飲食品店で提供される飲食品について、その外観や断面を樹脂などの非食材料で模した食品模型を有しており、店頭の陳列棚に食品模型を展示している。或いは、システム1の契約に当たり、新たに食品模型を製造する。例えば、飲食品である料理の複数について、主菜の外観が近似している場合は、副菜の種類や配置を異ならせるなどによって、料理全体として外観上の相違を大きくした上で、これを模した食品模型を製造することが望ましい。
各飲食品店またはその代理者は、その飲食品店で提供される飲食品ごとに、それを模した食品模型をカメラで撮影し、静止画像を取得する。食品模型の静止画像は、機械学習のための教師画像とするものである。教師画像としては、その飲食品店の店頭に設置された陳列棚の前に立った撮影者が、陳列棚にある食品模型を撮影した場合と同等の条件で撮影された画像に加え、周囲の明るさ等の撮影条件が異なる複数種類の教師画像を取得することが望ましい。また、ある食品模型の教師画像として、撮影する角度が少しずつ相違する複数種類の教師画像や、撮影対象である食品模型の画像が静止画像の全範囲に占める割合や位置が、少しずつ相違する複数種類の教師画像を取得することが望ましい。
飲食品店側の担当者は、その飲食品店に割り当てられている店舗管理WEBサイトに店舗側端末20から接続し、機械学習登録用のページで、学習用データと検証用データの作成及び登録を行う。学習用データは、上記の教師画像に、その撮影対象の食品模型が模している飲食品の飲食品IDを付したものである。検証用データは、飲食品IDが付されていない教師画像である。店舗側端末20から教師画像を店舗管理WEBサイトに送信し、機械学習登録用のページ上で、教師画像を飲食品IDと関連付けて学習用データとする作業、及び、教師画像を飲食品IDと関連付けることなく検証用データとする作業を行うことにより、学習用データを複数含む学習用データファイル、及び、検証用データを複数含む検証用データファイルが、それぞれ作成される。この作業を、飲食品ごとに行う。すなわち、学習用データファイル及び検証用データファイルは、飲食品IDと関連付けて作成される。上述したように、個々の検証用データには飲食品IDが付されていないが、検証用データファイルは飲食品IDと関連付けられている。
その後、店舗管理WEBサイトの画面において、機械学習の開始を指示するボタンを押すと、学習用データファイル及び検証用データファイルが、店舗IDと共に学習サーバ13に送信され、学習サーバ13用の記憶領域に記憶される。
学習サーバ13の学習管理手段は、飲食品IDが付された教師画像である学習データを使用し、ニューラルネットワークによる機械学習を所定時間行い、学習済みモデルを生成する。更に、生成された学習済みモデルに、飲食品IDが付されていない検証用データを入力することにより、推定される飲食品IDを出力させ、出力された飲食品IDが正しい飲食品ID(検証用データファイルが関連付けられている飲食品ID)となる確率が高まるように、ニューロン間の重み係数が調整される。
このようにして生成された学習済みモデルは、学習用データファイル及び検証用データファイルに関連付けられていた店舗IDと関連付けられて、学習サーバ13用の記憶領域に記憶される。
<ユーザによるシステム利用>
ある飲食品店を利用するかどうか思案中のユーザは、店頭に設置された食品模型の陳列棚を見るのが一般的である。陳列棚には、食品模型をユーザ端末30のカメラで撮影すると、その飲食品についての情報が得られる旨の説明と共に、管理サーバ10が提供するWEBサイトのURLをコード化した二次元コードが表示されている。ユーザは、その二次元コードをユーザ端末30のカメラで撮影することにより、管理サーバ10が提供しているWEBサイトに接続することができる。二次元コードに、店舗IDの情報が含まれている場合は、この店舗IDを参照して、その店舗IDが付与されている店舗サーバ12が提供しているユーザ向けWEBサイトを、ユーザ端末30で閲覧できる状態となる。
ある飲食品店を利用するかどうか思案中のユーザは、店頭に設置された食品模型の陳列棚を見るのが一般的である。陳列棚には、食品模型をユーザ端末30のカメラで撮影すると、その飲食品についての情報が得られる旨の説明と共に、管理サーバ10が提供するWEBサイトのURLをコード化した二次元コードが表示されている。ユーザは、その二次元コードをユーザ端末30のカメラで撮影することにより、管理サーバ10が提供しているWEBサイトに接続することができる。二次元コードに、店舗IDの情報が含まれている場合は、この店舗IDを参照して、その店舗IDが付与されている店舗サーバ12が提供しているユーザ向けWEBサイトを、ユーザ端末30で閲覧できる状態となる。
或いは、ユーザは、種々のアプリケーションソフトをダウンロードさせるWEBサイトを介して、管理サーバ10が提供しているWEBサイトに接続するためのアプリケーションソフトを、ダウンロードすることができる。また或いは、ユーザは、検索エンジンを使用することにより、管理サーバ10が提供しているWEBサイトに接続することができる。
店頭に表示された二次元コードに、管理サーバ10が提供しているWEBサイトのURLに関する情報しか含まれておらず、ユーザが利用しようか思案している店舗に関する情報が含まれていない場合や、種々のアプリケーションソフトをダウンロードさせるWEBサイトから管理サーバ10が提供しているWEBサイトに接続するためのアプリケーションソフトをダウンロードしたために、ユーザが利用しようか思案している店舗に関する情報が含まれていない場合、或いは、検索エンジンを使用した検索によって管理サーバ10が提供しているWEBサイトに接続したことにより、ユーザが利用しようか思案している店舗に関する情報が含まれていない場合は、管理サーバ10が提供しているWEBサイトにおいて利用可能な店舗のリストを表示させ、その中からユーザが利用しようか思案している店舗を選択することができる。これにより、ユーザが利用しようか思案している店舗のユーザ向けWEBサイトが、ユーザ端末30で閲覧できる状態となる。或いは、ユーザ端末30からの了承の入力に基づき、ユーザ端末30がその時点で所在している経度・緯度に関する現在位置情報が、ユーザ端末30から管理サーバ10に送信されるものとすることができる。その場合、総合管理手段は、システム1の契約者である飲食品店それぞれの店舗基本データベースにおける経度・緯度情報と、ユーザ端末30から送信された現在位置情報とを対比することにより、ユーザが利用しようか思案している飲食品店を特定し、その飲食品店に割り当てられた店舗サーバ12が提供しているユーザ向けWEBサイトを、ユーザ端末30で閲覧できる状態とする。
ユーザ向けWEBサイトでは、まず、ユーザ撮影画像81dの送信を受け付けるための撮像送信用画面51が表示される(図2を参照)。ユーザは、ユーザ端末30が備えているカメラを食品模型81の陳列棚90に向け、撮像送信用画面51において撮影対象をおさめるための範囲枠61の内部に、注文することを考慮している飲食品を模した食品模型81の全体が含まれるようにし、「撮影画像の送信」ボタン71を押す。これにより、食品模型81のユーザ撮影画像81dが店舗サーバ12に送信され、店舗IDと関連付けられたユーザ撮影画像データベースとして、店舗サーバ12用の記憶領域に記憶される。
また、ユーザ撮影画像81dは、店舗IDが付された状態で店舗サーバ12から学習サーバ13に送信され、学習サーバ13において画像認識処理に供される。この画像認識処理は、ユーザ撮影画像81dに付された店舗IDと関連付けられた学習済みモデルに、ユーザ撮影画像81dを入力することにより、そのユーザ撮影画像81dの撮影対象である食品模型81が模していると推定される飲食品の飲食品IDを、学習済みモデルから出力させる処理である。学習済みモデルからは、ユーザ撮影画像81dが対応していると推定される確率の高い順に、複数の飲食品IDが出力される。ここでは、三つの飲食品IDが出力される場合を例示する。
学習済みモデルから出力された飲食品IDは、確率が高い順に付された順位IDと共に店舗サーバ12に送信される。個別管理手段は飲食品基本情報(1)のデータベースを参照して、飲食品IDと関連付けられた飲食品の名称を抽出し、ユーザ向けWEBサイトの画面に、ユーザが撮影した食品模型81に対応する確率の高い順に、第1位から第3位まで飲食品名を表示した候補飲食品情報52を表示させる(図3参照)。候補飲食品情報52において各飲食品名は、その飲食品を選択できる飲食品選択ボタン72に表示されている。また、候補飲食品情報52が表示された画面には、ユーザ端末30から送信されたユーザ撮影画像81dを、共に表示させることができる。ここでは、ユーザ撮影画像81dの撮影対象が、名称が「DXハンバーグ」である飲食品の食品模型81である確率が99%と最も高いとして、第1位の飲食品選択ボタン72にその名称が表示され、名称が「デミグラスハンバーグ」である飲食品の食品模型81である確率が97%と二番目に高いとして、第2位の飲食品選択ボタン72にその名称が表示され、名称が「チーズハンバーグ」である確率が67%と三番目に高いとして、第3位の飲食品選択ボタン72にその名称が表示されている場合を例示している。
このように、複数の飲食品をリストアップすることにより、ユーザが本当に飲食したい飲食品を選択することができる。なお、ユーザ撮影画像81dの撮影対象は、ほとんどの場合は第1位の飲食品選択ボタン72にその名称が表示された飲食品であるとも考えられるが、このように複数の飲食品をリストアップすることにより、実際に食品模型81を撮影した飲食品以外にもユーザの注意・興味が向けられるため、注文する飲食品を吟味することができる。
ユーザが、注文を考慮している飲食品の名称が表示された飲食品選択ボタン72を選択し、これを押すと、その飲食品名の表示62と共に、飲食品情報の種類を選択するための情報選択ボタン73を複数備える飲食品情報選択画面53が表示される(図4を参照)。ここでは、情報選択ボタン73として、飲食品単位情報である食材情報(2)、アレルゲン情報(3)、及び動画情報(4)をそれぞれ選択するための情報選択ボタン73a,73b,73cが表示されている場合を例示している。また、ここでは、飲食品名の表示62と共に、その飲食品の実物画像80dが画面に表示されている場合を例示している。このような表示は、上述したように、飲食品基本情報(1)のデータベースに、飲食品の実物画像80dのデータが飲食品IDと関連付けられて記憶されている場合に可能である。
このような飲食品情報選択画面53において、食材情報(2)の提供を選択するための情報選択ボタン73aを押すと、食材情報(2)のデータベースから、選択された飲食品の飲食品IDと関連付けられた食材情報が抽出され、その飲食品に使用されている材料の種類と、その材料の産地が表示される。このとき、飲食品基本情報(1)のデータベースに、飲食品の実物画像80dのデータが飲食品IDと関連付けられて記憶されていると共に、食材情報(2)のデータベースにおいて、飲食品の実物画像80dにおける材料の位置を示す座標が各材料と対応させて記憶されている場合は、図5に示すように、飲食品の実物画像80dに重ね合わせて、各材料の位置に、材料ごとの食材情報である個別食材情報54を表示させることができる。
なお、食材情報(2)のデータベースにおいて、飲食品の実物画像80dおける材料の位置を示す座標を、各材料と対応させて記憶させる処理は、食材情報(2)の登録時、飲食品に使用されている材料に関する情報を入力するための入力用画面に、飲食品の実物画像80dを表示させておき、材料の名称を入力する操作ごとに、飲食品の実物画像80dにおいてその材料に該当する点をポインティングデバイスで特定し、その座標を関連付けることにより、行うことができる。
また、飲食品情報選択画面53において、アレルゲン情報(3)の提供を選択するための情報選択ボタン73bを押すと、アレルゲン情報(3)のデータベースから、選択された飲食品の飲食品IDと関連付けられたアレルゲン情報が抽出され、その飲食品に含まれているアレルゲンの一覧表55が表示される(図6を参照)。この表示は、アレルゲンの一覧表55のみが画面表示されるものであってもよいが、ここでは、飲食品の実物画像80dに重ね合わせて、アレルゲンの一覧表55が表示される場合を例示している。また、ここでは、飲食品の実物画像80dに重ね合わせて、アレルゲンの一覧表55に加え、飲食品の名称を表示する飲食品名称画像65や、キャラクター画像66が表示される場合を例示している。
飲食品名称画像65やキャラクター画像66は、動画像とすることができる。また、キャラクターの発する言葉が、吹き出しの中に表示されたり、ユーザ端末30の備えるスピーカーを介して音声出力されたりする設定とすることができる。このような飲食品名称画像65やキャラクター画像66のデザイン、及びキャラクターの発する言葉の文言は、予めシステム運営者側で、それぞれ複数種類を用意して管理サーバ10にデータベースとして記憶させておくことができる。店舗側の担当者は、飲食品情報を登録するために店舗側端末20から管理サーバ10に接続した際に、好みのキャラクター画像66等を選択することができる。選択されたキャラクター画像66等は、店舗IDと関連付けられたデータベースとして店舗サーバ12用の記憶領域に記憶され、個別管理手段はこのデータベースを参照して、ユーザ向けWEBサイトの表示画面を生成する。
更に、飲食品情報選択画面53において、動画情報(4)の提供を選択するための情報選択ボタン73cを押すと、動画情報(4)のデータベースから、選択された飲食品の飲食品IDと関連付けられた動画情報が抽出され、その飲食品を調理している様子が撮影された動画像が再生される。
以上のように、本実施形態の飲食品情報提供方法によれば、ユーザ端末30で管理サーバ10に接続した後で、飲食品店の陳列棚90の食品模型81をユーザ端末30のカメラで撮影するだけで、食材情報やアレルゲン情報を含む飲食品情報の提供を受けることができる。これらの飲食品情報は、従来の飲食品店では取得しにくかった情報であり、飲食品に高い安全性、安心感を求めるユーザの要請にかなっている。
また、従来でも、飲食品の材料等に関する情報を付記したメニューを店内に備えているレストラン等は存在したが、入店後に自分が望む飲食品がないことが分かったとしても、注文をすることなく飲食品店を出てくることを躊躇する人も多かった。これに対し、本実施形態の飲食品情報提供方法によれば、飲食品店で提供される飲食品に関する詳細な飲食品情報を、店外で得ることができる。
また、飲食品の特定のために食品模型81を撮影するという作業は、ユーザにとって、文字入力によって情報を検索するような作業などと比べて、楽しく且つ斬新な作業である。そのため、ユーザの興味を引きやすく、有益な情報を楽しみながら取得できる利点がある。
加えて、ユーザ端末30で管理サーバ10に接続し、ユーザ向けWEBサイトを閲覧する形式で飲食品情報の提供を受けるため、管理サーバ10が提供するWEBサイトに接続するためのアプリケーションのダウンロードが必要な場合はあるとしても、飲食品情報を提供するというメインのサービスの提供を受けるためのアプリケーションを、ユーザ端末30にダウンロードする必要がない。そのため、ユーザが気楽にシステム1を利用できる利点がある。
以上、本発明について好適な実施形態を挙げて説明したが、本発明は上記の実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。
例えば、クッキーを使用して、ユーザがシステム1を利用した履歴を、管理サーバ10側で把握することができる。ユーザがシステム1を利用した日時、利用した回数、利用した飲食品店、ユーザ撮影画像81dの対象とした食品模型81などの情報を、管理サーバ10を管理するシステム運営者が把握し、把握した情報を解析して飲食品店側に提供することにより、飲食品店による飲食品の提供サービスを、ユーザの要請により沿うものとするための検討をすることができる。その場合、管理サーバ10が提供しているWEBサイトに、ユーザがユーザ端末30から最初に接続した際に、年齢層や性別などユーザの属性に関する情報を入力してもらい、それをクッキーファイルに含めることにより、ユーザの属性ごとに、飲食品店を利用する時間帯、利用される飲食品店の種類、飲食品に関する嗜好や興味などを、解析することができる。なお、ユーザがユーザ端末30のWEBブラウザにおいてクッキーを削除した場合は、そのユーザが次に管理サーバ10が提供しているWEBサイトに接続した際に、改めて属性に関する情報の入力を求めることができる。
また、ユーザが実際に飲食品店で飲食品を注文した場合に、その情報をユーザ端末30から管理サーバ10に送信することにより、店舗サーバ12からユーザ端末30にクーポンを発行したり、ユーザに役立つ情報が送信されたりする構成とすることができる。加えて、そのユーザが撮影した食品模型81が模している飲食品と、実際に注文した飲食品との関係を店舗サーバ12で記録し、集計・解析することにより、飲食品店の事業に関する有益な情報とすることができる。
また上記では、飲食品情報選択画面53で選択できる飲食品情報が、食材情報(2)、アレルゲン情報(3)、及び、動画情報(4)という飲食品単位情報のみである場合を例示した。これに限定されず、飲食品基本情報(1)に含まれる飲食品の総カロリーや、飲食品に関して飲食品店が用意した説明文を、選択できる飲食品単位情報に含めることができる。更に、飲食品単位情報に加えて、店舗単位情報であるランキング情報(5)や飲食品提供環境情報(6)を、選択できる構成とすることができる。
また、上記では、ユーザ向けWEBサイトの使用言語、すなわち、ユーザ端末30の画面に表示される言語が日本語である場合を、図を用いて例示したが、ユーザの選択により英語など他の言語が表示される構成とすることができる。日本を訪れる外国人には、飲食品店の店頭に展示された食品模型81に興味を持つ人が非常に多い。また、外国人は日本の飲食品店で提供される飲食品に詳しくないことが多く、飲食品情報の必要性も高い。そのため、ユーザ向けWEBサイトの画面表示を、日本語以外の言語で表示させることができる構成とすることにより、外国人にとって興味深い方法で、彼らにとって必要かつ有益な飲食品情報を提供することができる。
加えて、上記では、学習サーバ13が管理サーバ10に含まれる場合を例示した。これに限定されず、図7に示すように、学習サーバ40が管理サーバ10とは別個のサーバであってインターネットNを介して接続されており、管理サーバ10のシステム管理手段と学習サーバ40の学習管理手段との間でデータを送受信することにより、連携して機械学習及び画像認識の処理が行われる構成のシステム1bとすることができる。
なお、「飲食品店で提供される飲食品」は飲食品店の店内で飲食する、いわゆるイートインためのものに限定されない。飲食品店で展示されている食品模型に対応する飲食品であれば、テイクアウト対象の飲食品も「飲食品店で提供される飲食品」に含まれる。
1 管理サーバ
11 総合管理サーバ
12 店舗サーバ
13,40 学習サーバ
81 食品模型
81d ユーザ撮影画像
N インターネット
11 総合管理サーバ
12 店舗サーバ
13,40 学習サーバ
81 食品模型
81d ユーザ撮影画像
N インターネット
Claims (1)
- 飲食品店は、提供する複数種類の飲食品それぞれの外観を非食材料で模した複数種類の食品模型を展示しており、
前記食品模型それぞれをカメラで撮影した静止画像に、その食品模型が模している前記飲食品を識別する飲食品IDを付した画像を学習データとした機械学習により、学習済みモデルを生成しておくと共に、
前記飲食品ごとに、その飲食品に使用されている材料の少なくとも種類を示す食材情報、及び、前記材料に含有されているアレルゲンに関するアレルゲン情報の少なくとも何れかを含む飲食品情報を、前記飲食品IDと関連付けたデータベースとして店舗サーバに記憶させておき、
前記飲食品店で展示されている前記食品模型の一つを、ユーザが携帯するユーザ端末が備えているカメラで撮影したユーザ撮影画像を、インターネットを介して前記学習済みモデルに入力することにより、前記ユーザ撮影画像の撮影対象である前記食品模型が模している前記飲食品に対応すると推定される前記飲食品IDを、前記学習済みモデルから出力させ、
出力された前記飲食品IDに関連付けられている前記飲食品情報を、前記店舗サーバを介して前記ユーザに提供する
ことを特徴とする飲食品情報提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022021986A JP2023119226A (ja) | 2022-02-16 | 2022-02-16 | 飲食品情報提供方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022021986A JP2023119226A (ja) | 2022-02-16 | 2022-02-16 | 飲食品情報提供方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023119226A true JP2023119226A (ja) | 2023-08-28 |
Family
ID=87763459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022021986A Pending JP2023119226A (ja) | 2022-02-16 | 2022-02-16 | 飲食品情報提供方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023119226A (ja) |
-
2022
- 2022-02-16 JP JP2022021986A patent/JP2023119226A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8682929B2 (en) | User access to item information | |
KR100883700B1 (ko) | 구매가능 상품추출을 이용한 타겟 광고 방법 및 시스템 | |
US10909564B2 (en) | Fast and versatile graphical scoring device and method | |
CN115151938A (zh) | 用于标识视听内容内的产品的系统 | |
JP6395012B1 (ja) | コンピュータプログラム | |
KR101950870B1 (ko) | 맛성향평가를 이용한 개인 음식 성향의 분석 장치 및 방법 | |
JP2017162377A (ja) | 広告動画管理装置、広告動画管理システム、広告動画管理プログラム、および広告動画管理方法 | |
JP6754190B2 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
US20050159993A1 (en) | System and method of presenting offers by way of a computer network | |
US20130046620A1 (en) | Fast and Versatile Graphical Scoring Device and Method, and of Providing Advertising Based Thereon | |
JP6388994B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
Gunawardena et al. | Bestdish: A digital menu and food item recommendation system for restaurants in the hotel sector | |
US20070143217A1 (en) | Network access to item information | |
KR101657588B1 (ko) | 웹을 이용한 상품 이미지 기반 상품 거래 정보 제공 시스템 및 방법 | |
JP2015207322A (ja) | サーバ装置 | |
KR20010067771A (ko) | 인터넷 상에서 샘플제공에 의한 소비자 설문조사방법 | |
KR20140105059A (ko) | 통합 위시리스트 관리 시스템 및 방법 | |
JP2023119226A (ja) | 飲食品情報提供方法 | |
JP5774320B2 (ja) | サーバ | |
JP7060140B1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP6795556B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
KR101657583B1 (ko) | 모바일 애플리케이션을 이용한 상품 이미지의 해시 태그 추출 시스템 및 방법 | |
Darekar et al. | To study the awareness and emerging concept of dark kitchen from customer’s perspective | |
KR101657586B1 (ko) | 웹을 이용한 상품 거래 정보 기반 개인 성향 정보 제공 시스템 및 방법 | |
KR102622649B1 (ko) | 광고를 디스플레이하는 음식 주문 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240806 |